완벽을 추구한 한 수학자의 이야기 수학 논리의 무모순성 증명 위해 노력한 수학자 힐베르트 모순없는 수학을 향한 발걸음은 오늘날까지도 지속돼

수학은 모든 학문의 기초가 된다…(중략) 최근에는 행정, 관리, 기획, 경영 등에 종사하는 사람들에게도 상당한 수준의 수학이 필요하게 됨으로써…(후략)” 이 글은 고교 참고서 『수학의 정석』 머리말의 일부다. 실제로 수학은 자연과학·공학뿐 아니라 경제·경영, 더 나아가 사회과학 등에도 적용되고 있으며 그 중요성이 널리 인정된다.

19세기 말엽, 수학에는 집합론, 해석학 등의 분야가 생겨났다. 수학계에는 이 분야들에서 생겨난 새로운 개념들과 관련해 여러 역설들이 제기됐다. 그 중 대표적인 것으로 ‘러셀의 역설’이 있다. 이는 “어느 마을에 있는 단 한명의 이발사는 자신의 머리를 스스로 깎지 않는 마을 사람들의 머리를 깎아준다. 이 이발사는 자신의 머리를 깎을 수 있을까?” 하는 질문으로 대표되는 역설이다. 조금만 생각해 보면 이 이발사는 자신의 머리를 깎을 수도, 깎지 않을 수도 없음을 알게 된다. 수학적으로 이 역설은 자기 자신에 속하지 않는 집합, 즉 자기 자신의 원소가 되지 않는 집합들의 집합인 Z={x|x∉Z}에 관한 역설이다. 수학에는 러셀의 역설 외에도 여러 역설들이 제기돼 ‘수학의 위기’가 발생한다. 저명한 수학자였던 다비드 힐베르트는 이러한 상황을 극복하고 논리적으로 완전한 수학을 만들기 위해 ‘힐베르트 프로그램(Hilbert's Program)’을 주창하게 된다. ‘현대 수학의 아버지’ 힐베르트의 탄생 150주년을 맞아, 그가 펼쳤던 모순 없는 수학(수학의 무모순성)을 위한 노력을 살펴보도록 하자.

힐베르트 프로그램

1900년 국제수학자대회에서 수학자들은 19세기 수학의 발전에 취해 여러 역설들이 초래한 수학의 위기를 인지하지 못했다. 그러나 힐베르트는 수학의 기초와 관련된 문제가 모두 해결된 것이 아니라는 것을 알고 있었고 이 대회에서 23가지 문제를 발표한다. 이 중 수학의 무모순성과 관련된 것은 1번 문제인 ‘연속체 가설’과 2번 문제인 ‘산술의 무모순성 증명’이다. 두 문제는 각각 무한 개념의 정당화와 수학의 무모순성에 대한 증명을 꾀하고 있다.

첫번째 문제인 연속체 가설을 이해하기 위해서는 우선 무한집합을 셀 수 있어야 한다. 칸토르(Cantor, 1845~1918)는 두 무한집합 사이에 ‘일대일 대응’을 하나라도 만들 수 있다면 두 무한집합의 원소의 개수가 같다고 주장했다(Hume’s Principle). 실제로 자연수의 집합 N={1,2,3…}과 짝수의 집합 E={2,4,6…} 사이에는 E의 원소의 절반을 취해 N에 대응시키는 일대일 대응이 존재하므로 집합 N의 원소의 개수와 집합 E의 원소의 개수가 같다.
 

무한집합의 원소의 수를 세기 위해 활용되는 기초적인 개념인 '일대일 대응'

흔히 집합의 원소의 개수를 ‘기수(基數, cardinality)’라고 쓰며 특히 자연수 집합의 기수는 ℵ0(aleph zero)로 표현한다. 유리수 집합과 자연수 집합 사이에는 적당한 일대일 대응이 존재해 유리수 집합의 기수가 ℵ0로, 자연수와 같음이 알려져 있다. 그러면 유리수보다 큰 집합인 실수에 대해 ‘실수의 집합과 자연수 집합 사이에 적당한 일대일 대응이 존재해 실수의 집합의 기수도 ℵ0가 되는가’하는 의문에 칸토르는 실수 집합의 원소의 개수가 2ℵ0임을 증명했다. 다시 본론으로 돌아가면, 연속체 가설이란 자연수보다 기수가 크고 실수보다 기수가 작은 집합은 존재하지 않는다는 가설을 말한다.

두번째 문제인 산술의 무모순성 증명은 힐베르트 프로그램과 좀 더 직접적으로 관련돼 있다. 힐베르트는 그의 저서 『기하학의 기초(1899)』에서 산술에 모순이 없음을 가정해 기하학에 모순이 없다는 것을 증명했는데 이는 산술에 모순이 없다면 기하학에도 모순이 없다는 상대적인 증명이었다. 즉 산술의 무모순을 보인다면 수학에 확고한 기초를 부여할 수 있게 된 것이다. 힐베르트는 산술에서 더 나아가 전체 수학에서 모순이 도출되지 않는다는 것을 증명할 수 있을 것으로 믿었고 이러한 생각이 1920년대 가시화돼 ‘힐베르트 프로그램’이 등장한다.

힐베르트 프로그램은 “수학을 형식화해 그 형식체계가 무모순임을 분명한 방법(힐베르트는 이를 ‘유한적 방법’이라 불렀다)으로 증명할 수 있다”는 것이다. 수학을 형식화한다는 것은 먼저 수학을 공리* 체계로 만들고 이를 의미가 없는 형식적인 기호들로 만드는 것과 그 기호들을 문법에 맞도록 하고, 이로부터 다른 논리식을 추론할 수 있도록 규칙을 명시하는 것이다. 힐베르트는 유클리드가 몇 개의 공리와 공준*으로부터 기하학의 체계를 완성시켰듯, 산술(더 나아가 수학 전체)에서도 이러한 공리 체계를 만들고자 했다. 또 그는 반드시 무모순성 증명에 그 방법이 옳은가를 확실하게 조사할 수 있는 과정들만을 사용해야 한다고 주장했다. 하지만 모순 없는 수학을 만들기 위한 힐베르트의 노력들은 1931년 괴델이 발표한 ‘불완전성 정리’에 의해 직격탄을 맞게 된다.

괴델의 불완전성 정리

괴델의 불완전성 정리는 “어떤 체계가 무모순이라면 그 체계 내에서는 참이지만 공리적 방법으로는 증명할 수 없는 명제가 존재(제 1 불완전성 정리, G1)”하며, “어떤 체계가 무모순이라면 그 체계에서 모순이 도출되지 않는다는 것을 그 체계 자체적으로는 증명할 수 없다(제 2 불완전성 정리, G2)”는 것이다. G1에서 말하는 ‘공리적 방법’이란 증명하지 않고 기본적으로 받아들이는 몇 개의 공리와 그로부터 유도되는 정리들로 이론 체계를 구성하는 방법을 의미한다. 어떤 체계가 ‘무모순’이라는 것은 그 체계 내에서 어떤 S라는 명제가 증명됐을 때 S의 부정이 동시에 증명되는 경우가 존재하지 않음을 말하며, 이론이 ‘완전하다’는 것은 체계 내의 참인 명제들을 모두 공리들로부터 유도될 수 있음을 말한다. G1은 ‘공리적 방법’으로 체계 내의 참인 명제들을 모두 증명할 수는 없다는 근본적인 문제를 지적한다.
 

힐베르트 프로그램에 근본적인 의문을 제기한 쿠르트 괴델(Kurt Godel, 1906-1978)

G2는 실제로 공리에서 출발한 체계의 모순성 자체를 결정할 수 없음을 뜻한다. 우선 힐베르트가 제기한 첫번째 문제였던 연속체 가설은 ‘불완전성 정리’가 적용되는 대표적인 예로, 참인지도 알 수 없으며 만약 참이라도 증명할 수 없다(결정 불가능하다). 괴델은 또한 산술 전체가 들어있는 체계의 무모순성을 보일 수 없다는 것을 증명함으로써 힐베르트의 형식주의에 치명적인 타격을 입혔다. 괴델의 불완전성 정리는 흔히 힐베르트 프로그램을 완전히 파괴했다고 받아들여지는데 이는 힐베르트가 말하는 ‘형식체계의 무모순성’과 괴델의 불완전성 정리가 정면으로 대치되기 때문이다. 하지만 박정일 교수(숙명여대 교양교육원)는 그의 논문에서 “괴델의 불완전성 정리에 의해 힐베르트의 프로그램이 완전히 폐기된다고 말하는 것은 편향된 시각에서 나온 주장일 수 있다”고 언급하며 괴델의 불완전성 정리가 힐베르트 프로그램을 완전히 무산시킨 것은 아니라고 말한다. 이러한 견해를 바탕으로 괴델이 불완전성 정리를 발표한 이후에도 꾸준히 힐베르트 프로그램의 논리를 수정해가는 과정이 진행됐다.

힐베르트도 저서 『수학의 기초(1934)』를 통해 ‘유한적 방법’의 개념을 확장—“무한한 것들을 사용하는 추론들이 유한한 절차들에 의해 일반적으로 대치돼야 한다”—함으로써 G1과 G2가 자신의 프로그램에 영향을 준 것을 인정했다. 확장된 ‘유한적 방법’에서는 초한귀납법을 통해 산술의 무모순성이 증명된다.

초한귀납법이란 우리가 알고 있는 수학적 귀납법—먼저 P(1)이 성립함을 증명하고, 임의의 자연수 k에 대해, P(k)를 가정하고 P(k+1)을 증명하는 것—을 확장해 서수에까지 귀납법을 적용시킨 것이다. 가령 자연수 1,2,3,4…는 매우 자연스러운 순서를 갖고 있고, 이를 이용해 유한개의 원소들에 번호를 붙여줄 수 있다. 서수란 칸토르가 1897년에 무한수열의 개념을 도입할 때 도입한 수로, 무한히 긴 수열의 각 ‘순서’를 표현하는 수이다. 초한귀납법의 내용은 우리가 알고 있는 일반적인 수학적 귀납법과 다르지 않으나, 수학적 귀납법에 “임의의 극한서수 λ보다 작은 모든 γ에 대해 P(γ)가 성립한다는 것을 가정하고 P(λ)를 증명”하는 과정이 추가된다(극한서수는 무한히 큰 서수를 의미).
 

수학적 귀납법을 확장해 숫자값이 아닌 순서값을 나타내는 '서수'에까지 적용한 '초한귀납법'

그러나 초한귀납법이 힐베르트가 주장하는 ‘유한적 방법’에 해당하는지에 대한 의문은 여전히 남아있다. 괴델의 불완전성 정리가 발표되기 전, 힐베르트가 말하는 유한적 방법에는 일반적인 수학적 귀납법은 포함됐지만 초한귀납법은 포함되지 않았던 것으로 보인다. 하지만 괴델의 불완전성 정리가 발표된 후 힐베르트는 그의 새로운 유한적 방법에 초한귀납법을 받아들여야 한다고 인정했고, 힐베르트의 조수였던 게르하르트 겐첸은 초한귀납법을 사용해 산술의 무모순성 정리를 증명했다. 사실 초한귀납법은 힐베르트가 원래 말했던 유한적 방법인 “문제에 대한 토론, 주장, 정의를 만들어 내는 과정이나 방법이 옳은가를 확실하게 조사할 수 있는 것”이라고 말하기에는 무리가 있다. 현재 초한귀납법이 힐베르트의 ‘유한적 방법’에 포함될 수 있는지에 대한 일반적인 합의는 존재하지 않는다.

결국 힐베르트가 제기한 문제 중 연속체 가설은 참과 거짓이 ‘결정되지 않는’ 문제로 남게 됐고, 산술의 불완전성 증명은 초한귀납법을 사용해 증명됐다. 그리고 수학을 형식화해 수학 자체의 무모순을 보이겠다는 힐베르트 프로그램은 여전히 미해결 상태로 남아있게 됐지만 힐베르트 프로그램을 해결하는 과정에서 앨런 튜링 등이 컴퓨터의 기본 개념을 확립하기도 했다(『대학신문』 2012년 03월 31일자). 무엇보다 힐베르트 프로그램이 수학자들에게 수학의 기초를 탄탄하게 다지는 계기를 마련했다는 점에서 그 수학사적 의의가 결코 ‘과거에 존재했던 실패한 프로그램’이라는 수식어에 가둘 만큼 작다고 할 수만은 없을 것이다. 수학의 기초에 대한 힐베르트의 연구는 초수학이나 증명론 등의 새로운 분야를 만들어 냈다. 현재도 수학의 근본 논리를 탄탄하게 하려는 수학자들의 노력은 계속되고 있고, 그러한 수학자들의 노력이 힐베르트가 우리에게 남겨준 유산인 것이다. 힐베르트의 묘비에는 그가 고별 연설의 마지막에 남긴 유명한 경구가 적혀 있다.

“Wir mussen wissen, Wir werden wissen(우리는 알아야만 한다, 우리는 알게 될 것이다).”

*공리: 증명 없이 자명한 진리로 인정되며, 다른 명제를 증명하는 데 전제가 되는 원리

*공준: 이론적 지식의 탐구에서 기본적인 전제로 요청되는 명제로, 그것의 논리적 증명은 불가능하지만 필연적으로 요청되는 것