수학의 난제

그들은 왜 페르마의 정리에 매달렸을까

중학교 또는 고등학교 수학에서는 ‘집합과 명제’라는 단원을 배우게 된다. 이 단원은 중등교육 이상의 수학 과목에서 늘 첫단원을 장식하고 있다. 그러나 실상 그것은 수학의 따분한 시작을 알리는 종소리처럼, 수학이란 ‘인생을 사는데 아무 쓸모 없는 탁상공론’이라는 오해의 출발점이 되기 십상이다.

과연 집합이란 무엇이고, 그 집합에 주어진 연산자들(+, -, × 등과 같은)의 새삼스런 언급과 집합이 그 연산자들에 대하여 ‘닫혀있다’라든가 ‘항등원과 역원이 존재한다’라는 식의 표현은 과연 무슨 용도로 쓰이는가? 그래서 어쨌다는 것인가? 또한 ‘함수’ 또는 ‘대응관계’ 등과 같은 내용들도 접하게 되는데, 지금 머리 속에 남아 있는 것은 오직 ‘2차방정식’ ‘3차방정식’ ‘포물선의 방정식’ ‘타원 방정식’ 등과 같은 수식, y = ax² + bx + c 만을 떠올릴 뿐이다.
 

3백60년 동안이나 풀리지 않는 난제를 만든 페르마.

부피가 2배인 새 제단을 만들라

필자는 여기서 ‘집합’과 ‘연산자’, 그리고 ‘함수(대응관계)’들이 수학의 연구 재료이며, 새로운 재료의 성질을 규명하는 도구라는 이야기를 반향없는 메아리처럼 반복하려는 것은 아니다. 다만 독자들에게 다음과 같은 너무나 단순하지만 큰 의미는 없어 보이는 문제가 제기됐다면 과연 얼마나 많은 사람들이 이러한 문제들을 고민하고 해결해보려고 달려들까를 생각해본다.

직선자와 컴퍼스만을 가지고
1) 주워진 원과 같은 넓이를 갖는 정사각형을 작도해보시오.
2) 주어진 정6면체의 두배의 부피를 갖는 정6면체의 한변의 길이를 작도하시오.
3) 임의의 각을 3등분하는 선분을 작도하시오.

이른바 이것들은 고대 그리스 기하학의 3대 작도문제로서 1)원적문제, 2)배적문제, 3)각의 3등분 문제로 잘 알려져 있다. 어쩌면 이것들은 과거 그리스 시대에 농토의 경지정리를 위해서 땅의 모양에 따라 제각각이었던 농경지를 사각형과 같은 정리하기가 쉬운 모양으로 고치려는 데서 그 유래를 연결지을 수도 있겠지만, 한 천문학자의 개인적인 궁금증에서 비롯된 것이라는 주장처럼 생활과는 별 관련이 없을 수도 있다.
배적문제의 경우는 다음과 같은 유래가 전해진다. 기원전 431년에 아테네와 스파르타 사이에 벌어졌던 펠로폰네소스 전쟁 당시 아테네에는 무서운 전염병인 페스트가 번져 아테네 인구의 1/4이 죽었다. 아테네 시민들은 그들의 신인 아폴로 신에게 이렇게 무서운 병마에서 벗어나게 해달라고 소원하게 됐고, 신은 다음과 같이 약속했다.

정6면체의 아폴로 신전의 제단을 똑같은 모양으로 부피가 두배가 되도록 건조하면 소원을 들어주겠다.

아테네 사람들은 제단의 각 모서리 부분을 각각 2배가 되도록 재건축했지만 여전히 사람들은 페스트로 쓰러져 갔다. 제단의 부피가 2배가 아닌 8배로 늘어났기 때문이었다.

결국 이 문제들은 그로부터 2천여년이 지난 1800년대에 들어서 그것들이 모두 불가능하다는 것이 증명됨으로써 끝을 맺었다.

그렇다면 과연 그러한 단순하게만 보이는, 그리고 현실적으로 그다지 쓸모없어 보이는 문제들을 해결하는데 2천여년의 세월은 너무나 긴 시간이 아니었을까? 그에 대한 대답은 뒤로 미루자. 아니, 누구도 정확한 대답을 할 수는 없을 것이다. 수학자가 아니라도 모호함으로부터 명쾌한 이론적 추론을 즐기는 사람들은 그것이 추상적인 상태로서만이 아니라 마음과 몸으로 느낄 수 있는, 그래서 무엇보다도 구체적이고 선명한 모습으로 우리의 실생활을 지배하고 있음을 의심하지 않기 때문이다. 다만 그것은 1969년 인간이 최초로 달에 안착했을 때 한 기자가 말한 것처럼 “인간이 달에 도착해서야 비로소 우리가 살고 있는 지구를 발견”할 수 있었던 것과 마찬가지가 아닐까.

아무튼 위의 3대 작도문제는 1837년에 이르러서야 비로소 그것은 “불가능하다”는 해결 아닌 해결의 열쇠를 얻게된다. 물론 그 불가능성의 증명에 이르는 핵심정리는 대수학과 정수론 등 수학의 역사에 주춧돌을 세운 획기적인 발전으로부터 파생된 극히 부분적인 결론들이다.
 

a+b와 ab

3대 작도 모두 불가능

먼저 우리는 ‘작도가 가능’ 하기 위한 대상체들을 대수적인 문제(숫자와 관련짓는 문제 쯤으로 받아들이면 됨)로의 대응이 필요하게 된다. 즉 ‘실수 a 를 작도한다’라는 것을 어떻게 생각할 수 있을까. 이것을 ‘단위길이가 주어져 있을 때 자와 컴퍼스만을 써서 길이가 a인 선분을 작도함’으로 정의해보자. 그러면 금방 a 와 b 가 작도 가능한 실수라고 하면 a+b 도, 그리고 a > b 일 때 a - b 도 작도가 가능한 실수임을 알 수가 있다.

그러면 ab 와 a/b 는 어떤가. 뒷페이지 (그림1)을 보자 그림에서 1은 주어진 단위길이이고 a와 b 는 각각 주어진 실수들의 크기이다. (그림1)에서 x 는 점 D 를 지나고 선분 BA 에 평행한 직선을 작도함으로써 얻어지고, 이때 다 알고 있는 닮음비를 사용하면 (a+x) : (1+b)=a : 1 을 알 수 있다. 여기서 x=ab 의 값을 얻게 돼 역시 작도 가능한 두 수의 곱도 작도가능함을 알 수 있다. (그림2)에서도 같은 방법으로 (a+1) : (b+x) = a : b 의 비례관계로부터 x=a/b 도 작도 가능한 실수임을 알게된다.

그렇다면 실수 a 가 작도 가능할 때 $\sqrt{a}\도 작도 가능할까? 물론 가능하다. 이것은 원에 내접한 직각삼각형과 닯음비를 이용하면 얻어진다. 이 방법을 쓰든지, 아니면 다른 기발한 방법을 쓰든지 전적으로 독자들의 몫으로 남겨둔다.

어쨌든 위에서 보다시피 단위길이 1로부터 출발해 1+1=2, 1+2=3, 3+2=5등의 모든 정수와 5/3, 3/5, 1/5등의 모든 유리수는 다 작도 가능한 실수임을 알게된다. a 가 작도가능할 때 √a도 작도 가능하므로 모든 유리수의 제곱근들도 작도 가능하다. 일단 이것은 매우 간단해 보이지만 우리는 단순히 4칙연산과 그들 사이의 귀납법적 관계만으로 무수히 많은 작도가능한 수들을 얻은 셈이다. 사실 이것은 매우 놀라운 일이다.

다시 $\sqrt{a}\를 살펴보자. 물론 a 가 유리수이면 위에서 보다시피 $\sqrt{a}\도 작도 가능한 수가 되는데, 이때 $\sqrt{a}\를 x 라 놓으면 x 는 x² = a 라는 2차식을 만족시키는 그 어떤 실수이다( x²- a 는 유리계수 2차 다항식이다). 여기서 우리는 다음과 같은 추론을 해볼 수 있지 않을까.

“실수 α가 작도 가능하기 위해서는 α는 어떤 유한 차수의 유리계수 다항식의 근이 돼야한다.”

비슷하긴 하지만 실제로는 1837년 프랑스의 수학자 반트젤(Wantzel, 1814-1848)은 대수학으로부터 비롯된 다음의 정리를 증명했다(약간 변형된 표현이기는 하지만).

[정리]

실수 a 가 유클리드 작도(자와 콤파스만 씀)가 가능하다면 a 를 근으로 갖는 유리계수 다항식이 존재하고 이러한 다항식들의 최소차수는 2의 멱수(제곱수)들, 즉 2k(k=0, 1, 2, 3...)이 돼야한다.

이 정리를 증명했다면 위에서 다룬 3대 작도문제들은 모두 불가능하다는 사실을 알 수 있다. 각각을 간단히 살펴보자.

1. 원적 문제

정리와는 달리 어떤 실수를 근으로 갖는 유리계수 다항식(유한한 차수의)이 존재하지 않는 경우 그 실수를 초월수라고 부른다. 물론 이러한 수는 위 정리에 의해 작도 가능한 수가 아니다. 1770년 람베르트에 의해 π는 무리수임이 증명됐고, 1882년에 독일의 린데만(Lindeman, 1852-1939)에 의해 초월수임이 증명됐다.

그런데 지금 다루고 있는 원적 문제는, 예를 들면 반지름이 단위길이(=1)인 원의 경우, x² = π를 만족하는 x 를 작도하는 문제가 되며 $\sqrt{π}\는 초월수이므로 유한차의 유리계수 다항식의 근이 될 수 없다. 따라서 정리에 의해 $\sqrt{π}$는 작도 불가능한 실수가 된다.

2. 배적 문제

가령 한변이 단위길이인 정6면체의 2배의 부피를 갖는 정6면체의 한변의 길이를 x라 하면 x³ =2 를 만족하는 x= 3$\sqrt{2}\를 작도하는 문제이다. 알다시피 다항식 x³ - 2 은 더 이상 유리계수 다항식들의 곱으로 인수분해되지 않는 이른바 ‘기약다항식’이 되지만, 그 다항식의 차수 3은 정리에서 말하고 있는 2의 멱수(제곱수)꼴로 나타나지 않으므로 이 역시 작도 불가능한 수가 된다.(주의: 여기서 x³ - 2 가 기약다항식임을 증명할 수도 있지만 이것은 이곳의 설명 범위를 넘어선다. 그러나 중고등학교 정도의 지식으로도 증명해볼만한 가치가 있을 것이다.)

3. 각의 3등분 문제

우리가 쉽게 알고 있는 고등학교 수학의 일부를 활용하기 위해 각 60°의 3등분이 불가능하다는 것을 정리를 이용하여 증명해보자. 만약 우리가 각 60°를 3등분할 수 있다면, 실수 α = cos20° 를 작도할 수 있을 것이다. 우리는 다음과 같은 사실을 고교수학에서 다룬 기억이 있을 것이다.

cos3θ = 4 cos3 θ - 3cosθ

물론 이식을 증명할 수도 있을 것이다. θ=20°를 대입하고 cos60°=1/2 임을 상기하면 다음의 cos20°를 근으로 하는 3차 유리계수 다항식을 얻게된다.

4x³ - 3x - ½ = 0 ⇔ 8x³ - 6x-1= 0

그러나 이 식 역시 기약다항식이며 그 차수가 2의 멱수가 아니다. 따라서 정리에 의해 직선자와 컴퍼스로 작도할 수 없다는 사실을 알게 된다.
 

작도

페르마의 대정리

작도문제들은 결국 기하적인 문제를 대수적인 문제로 환원할 수 있었기에 그 해결이 가능했던 것들이다. 그러한 대수적인 문제는 결국 오늘날 고등수학에서 쓰이는 체(體,Field)라고 부르는 구조나 또는 군(群, Group)이라고 일컫는 구조체의 성질들로부터 얻어지는 것들인데, 이러한 개념들이 정립되기까지는 수많은 세월이 흘렀고 역사상 수많은 수학자가 울고 웃었다. 그 중 3백60년 동안 모든 수학자를 괴롭혀왔던 문제는, 이제는 모든 사람의 상식이 되어버릴 정도로 유명한, 페르마의 마지막 정리일 것이다. 이만큼 단순한 형태의 수학문제이면서 세계의 수많은 수학자를 괴롭혀온 문제가 또 있을까. 알다시피 이것은 다음과 같이 너무나 단순하게 표현된다.

“3 이상의 자연수 n 에 대하여 xn+yn=zn 을 만족시키는 자연수의 쌍, (x, y, z) 은 존재하지 않는다.”

그러나 이에 대한 증명은, 1630년대 페르마가 즐겨보던 수학책인 ‘아리스메티카’의 여백에 이 문제를 주석으로 달아놓은 이래 3백60년이 지나서야 영국인 안드류 와일즈에 의해 그것이 더 이상 추론(Conjecture)이 아닌 정리(Theorem)로서 세상에 다시 태어난 것이다. 20세기 들어 이 문제는 타냐마-시무라 추론과 동치임이 증명됐고, 와일즈는 이것을 이용해(물론 그 외의 엄청난 양의 수학적 결과들이 동원됐음.) 1백30여쪽에 달하는 증명과정을 발표했다. 이것은 1993년의 일인데, 실로 장엄한 광경이었다. 물론 그의 논문에서 활용된 수학적 결과들까지 상술하자면 아마도 1천페이지를 넘어설 것이다.

1993년 당시 그의 발표 이후 몇가지 오류가 발견됐으나, 1994년 가을 모든 오류를 메꿈으로써 증명은 끝이났다. 실로 7년여 세월 동안 칩거 연구 끝에 얻어진 것이었다. 그러나 와일즈는 수학자의 꿈인 필즈상은 수상하지 못할 것이다. 그 상은 나이 제한을 40세 미만으로 한정하고 있기 때문이다. 와일즈의 증명에 오류가 발견됐다는 소문이 나돌던 1994년, 미국 뉴욕의 한 지하철역에는 한 시민의 다음과 같은 낙서가 와일즈와 페르마를 비웃기도 했다.

“나는 지금 페르마의 마지막 정리를 너무나 신비한 아이디어로 증명을 해냈다. 그러나 지금 내가 타려는 전철이 오고 있어서 이곳에 적을 시간이 없다.”

독자들은 지금 페르마의 정리를 n=3 인 경우와 같이 작은 수에서라도 증명을 하고싶은 충동을 느끼지 않는가? 만약 그러한 충동을 느낀다면 지금 당장 연필과 종이를 들고 시작해보라. 이것은 중등교육 이상을 마친 사람이라면 증명해볼 수 있는 재미있는 문제가 될 것이다.

과학 중의 과학

그런데 수학자들은 왜 이렇게 쓸모 없을 것 같은 문제에 매달려왔을까. 그러나 우리는 난제들을 해결하는 과정에서, 추상적인 듯이 보이는 ‘하나의 논리적 사실’이 실재의 ‘현실세계의 해석’에 얼마나 큰 영향력을 행사하고 있는가를 볼 수 있다. 바로 달에 가서야 지구를 확실히 볼 수 있었던 것처럼 수학을 통해서 자연의 현실을 확연히 볼 수 있는 것이다.

모든 자연의 물리적인 현상들은 수학에서 일반화하고 있는 ‘미분방정식’으로 묘사된다. 지금까지 수학자들은 자연계를 기술하는 방정식의 일부에 대해서는 완전한 해를 제공했고, 아직 풀리지 않은 부분에 대해서는 해가 존재하기 위한 조건들과 존재한다면 그 해들을 어떻게 구하는지에 대해서도 많은 방법들을 제공해 왔다. 혹자는 인간이 자연을 기술하는 모든 방정식의 일반해에 도달할 수 있다면 실로 인간은 신(神)의 영역에 들어갈 것이라고 얘기한다. 그것은 분명 사실이다. 이러한 것들은 바로 자연현상을 규명하는 물리학을 지지하는 중요한 기반이 되기 때문이다.

오늘날 첨단기술에 속하는 단층촬영기술은 리 그룹(Lie Group)이라는 수학적 이론을 바탕으로 발전하고 있으며, 디지털 통신은 선형대수학에 이론적 근거를 두고 있다. 이 밖에도 신호분석, 신호처리, 영상처리, 암호이론, 인공지능을 지원하는 퍼지이론, 자연 영상을 구현하는데 쓰이는 프랙탈이론 등 수학의 응용은 그 끝을 알 수 없을 정도다. 그러나 그러한 수학이 일반 대중에게는 한없이 멀게만, 그리고 마치 탁상공론식으로만 느껴지는 이유는 무엇인가? 실제로 수학은 응용과학 자체가 아니라 다른 응용과학의 기초를 제공하고 있다. 때문에 일반 대중들은 응용분야들의 결과물만 직접적으로 피부에 느낄 뿐 그 이론적 지지기반에는 관심이 없다. 그러나 수학이 모든 과학의 뿌리로서 ‘과학 중의 과학’으로 칭송되는 사실을 알만한 사람은 다 안다.
 

과학동아