페르마의 마지막 정리로 유명한 페르마는 정말 그 문제를 증명했을까? 후대 수학자들의 풀이를 토대로 페르마의 진실에 접근해봤다.
지난 3월 15일, 영국 옥스퍼드대 수학과의 앤드루 와일즈 교수가 ‘페르마의 마지막 정리’를 증명한 공로로 ‘수학의 노벨상’이라 불리는 아벨상 수상자로 선정됐다. 와일즈 교수는 1987년부터 장장 8년간 최신 수학 기법들을 총동원해 문제에 매달린 끝에 1995년 페르마의 마지막 정리를 증명하는 데 성공했다. 와일즈 교수의 엄청난 증명과정을 보면 자연스레 의문이 뒤따른다. 페르마는 무슨 수로 문제를 풀었을까?
장난 끼 넘치는 천재의 도발
이 정리는 350여 년간 수많은 수학자를 괴롭힌 ‘페르마의 마지막 정리’다. 피에르 드 페르마는 1601년부터 1665년까지 살다 간 프랑스 법관이자 아마추어 수학자다. 취미생활로 수학문제를 풀었던 페르마는 고대 그리스의 정수론학자 디오판토스가 3세기경 만든 수학문제 논문집인 ‘아리스메티카’를 즐겨 봤다. 페르마는 이 책을 통해 피타고라스와 유클리드 때부터 전해 내려온 정수론을 독학했다. 문제를 풀다 새로운 생각이 떠오르면 아리스메티카의 각 문제 밑에 두서없이 메모를 했다. 기존 문제를 응용해 더욱 복잡한 문제를 만들기도 했다.
1637년, 페르마는 아리스메티카의 8번 문제인 피타고라스의 정리(x2+y2=z2)를 보고 있었다. ‘여기서 지수를 3 이상으로 바꾸면 어떻게 될까’라는 발상이 페르마를 사로잡았다. 그는 피타고라스의 방정식을 변형했을 때 이를 만족시키는 정수해가 없다는 사실을 증명한 뒤 8번 문제 밑에 휘갈겨 적는다. 여백이 좁아 자세한 증명과정을 옮기지 않는다는 말과 함께.
페르마의 말이 거짓일 수도 있다. 실제 증명엔 오류가 있는데 그가 완벽하게 증명했다고 착각했을 수도 있다. 증명과정이 남아 있지 않으니 더욱 그럴 가능성이 높아 보인다. 수학문제 중에는 원래 증명이 불가능한 문제도 있다. 그런데 왜 수많은 수학자들이 페르마의 말에 의심 없이 달려든 걸까.
페르마에 대해 조금 이해할 필요가 있다. 그는 원래 이런 장난을 좋아하던 사람이었다. 다른 수학자들에게 자신이 발견한 수학정리를 아무런 증명 없이 결과만 쓰고 ‘당신도 해 보시죠’라며 약 올리는 편지를 보낸 것으로 유명했다. 하지만 수학실력만큼은 가히 천재적이었다. 페르마가 증명에 성공했다고 밝힌 문제는 나중에 정말로 증명되는 경우가 많았다. 페르마가 증명한 소수와 관련된 문제 하나는 18세기 가장 위대한 수학자 레온하르트 오일러가 7년 동안 매달린 끝에 증명에 성공했을 정도로 고난이도였다.
우회로를 찾아 공략하다
정리 자체의 단순함과 아름다움도 수학자들을 끌어들이는 데 한몫했다. 수학의 일부 난제들은 문제조차 이해하기 힘들지만, 페르마의 마지막 정리는 초등학생도 이해할 만한 수준이다. 여기에 도전하던 수학자들의 좌절이 이어지던 가운데 100여 년 만에 첫 돌파구를 연 사람은 오일러였다. 1753년 오일러는 허수(i)를 도입해 n=3, n=4일 때의 풀이를 증명했다. 그 뒤로 n이 특정 정수일 때 이를 만족하는 정수해가 없다는 사실이 차례로 밝혀졌다. 하지만 모든 n에 대해 증명할 방법은 결코 밝혀지지 않았다.
1980년대, 수학자들은 페르마의 정리를 직접 공략하는 대신 우회로를 찾기 시작했다. 기존의 방정식을 타원방정식(뒤에서 자세히 설명한다)으로 변형하고, 다시 모듈형태(역시 뒤에서 다룬다)로 변형시킨 다음 거기서 풀이하는 방식이었다. 우회로를 찾는 데 가장 큰 공헌을 한 사람은 일본의 전후세대 수학자인 다니야마 유타카와 시무라 고로다. 두 사람은 1954년 도쿄대 수학과 연구원 신분으로 만났다. 이들은 타원방정식과 모듈형태 사이에 놀라운 유사성이 있다는 사실을 발견하고, ‘모든 타원방정식은 모듈형태와 1:1로 대응될 것’이라는 추론을 세운다(완전히 증명되지 않은 정리는 추론이라고 부른다. 사실 페르마의 마지막 정리도 1995년 전까진 ‘페르마의 마지막 추론’이라고 불렀어야 맞다).
다니야마-시무라의 추론은 동떨어진 두 섬(타원방정식과 모듈형태) 사이에 가상의 다리를 놓은 것과 같다. 수학의 역사에서 이런 일은 처음이었다. 독일 뒤스부르크에센대 게르하르트 프라이 교수와 미국 UC버클리 켄 리벳 교수는 여기서 한 걸음 더 나아갔다. 페르마의 마지막 정리를 타원방정식과 연결시킨 뒤, ‘다니야마-시무라의 추론이 옳다면 페르마의 마지막 정리도 옳다’는 사실을 밝힌 것이다. 가상의 다리가 정말 있다면, 그리고 그 다리를 지나가기만 한다면 보물을 얻을 것이라는 말이다.
이제 남은 작업은 하나다. 가상의 다리를 진짜 다리로 바꾸는 일, 즉 타원방정식과 모듈형태가 1:1 대응된다는 ‘다니야마-시무라의 추론’이 옳다는 사실을 증명하는 것이다.
증명에 사용된 어벤져스급 기법들
여기에 도전한 사람이 앤드루 와일즈 교수다. 그는 영국 케임브리지대에서 타원방정식을 전공하고 미국 프린스턴대 수학과에 교수로 자리 잡은 뒤 ‘페르마의 마지막 정리’에 도전하는 기나긴 여정을 시작한다. 타원방정식은 타원의 둘레나 행성의 궤도를 계산할 때 사용하던 방정식으로, 다음과 같은 형태를 띠고 있다.
모듈형태는 복소함수(독립변수와 종속변수가 모두 복소수인 함수)를 기하학적인 형태로 나타낸 복소
평면에서 특별한 대칭성이 나타나는 현상을 말한다. 이해를 돕기 위해 타원방정식과 모듈 형태의 관계를 실수 영역으로 비유하면, 원의 방정식과 삼각함수의 관계와 비슷하다. ‘x2+y2=1’과 ‘x=cosA, y=sinA (A는 실수)’가 같은 의미라는 사실을 떠올려보자. 삼각함수가 대칭성을 띠고 있는 것처럼, 모듈형태도 대칭성을 띠고 있다.
타원방정식과 모듈형태는 해가 여러 급수 형태로 표현된다. 와일즈 교수는 수학적 귀납법으로 이 둘이 같다는 사실을 증명하기로 마음먹었다. 수학적 귀납법은 무한 개의 명제 중에서 첫 번째 명제가 참임을 증명하고, 어떤 명제 하나가 참이면 그 다음 명제도 참임을 증명해 전체를 증명하는 방법이다. 도미노를 쓰러뜨리는 것과 비슷하다.
첫 번째 도미노를 쓰러뜨리기 위해 도입한 방법은 ‘갈루아의 군(group)’이다. 군은 덧셈이나 뺄셈 등의
연산을 사용해 한 데 묶을 수 있는 요소들의 집합을 말한다. 19세기 초반의 천재 수학자 에바리스트 갈루아는 군을 이용해 고차방정식의 해를 찾는 방법을 발견했다. 다양한 타원방정식의 해들도 군을 형성했는데, 와일즈 교수는 이를 놓치지 않았다.
도미노를 연속으로 넘어뜨리기 위해 사용한 방법은 당시 등장했던 수학적 기법인 콜리바긴-플라흐 방법과 이와자와 이론이었다. 이 복잡한 이론들을 독자들에게 효과적으로 설명할 놀라운 방법을 찾았으나 여백이 부족해 적지 않는다. 어쨌든 앤드루 와일즈는 이 모든것을 종합해 페르마의 마지막 정리를 증명한다.
페르마가 이걸 했단 말이야?
풀이과정을 다시 살펴보자. 현대적인 수학기법들이 대거 동원됐다. 굵직굵직한 것만 나열해도 모듈형태, 다니야마-시무라의 추론, 갈루아의 군, 콜리바긴-플라흐 방법 등이다. 와일즈 교수와 수학자들은 페르마의 마지막 정리를 증명하는 과정에서 수학의 ‘대통일이론’인 랭글런즈 프로그램에 첫 발을 디뎠다. 랭글런즈 프로그램은 서로 다른 영역들을 하나로 통합하는 움직임을 말한다.
와일즈 교수가 사용한 수학기법을 350년 전 사람인 페르마가 알았을 리 없다. 따라서 두 가지 가능성이 있다. 페르마가 착각 또는 거짓말을 했거나, 아니면 완전히 다른 방법으로 풀이했거나. 와일즈 교수는 2000년 미국 공영방송 PBS와의 인터뷰에서 “나는 페르마가 증명했을 거라고 믿지 않는다”면서 “페르마는 자신이 증명을 했다고 착각했을 것”이라고 말한 적 있다. 와일즈 교수가 1995년 수학연보(annals of mathematics)에 발표한 증명과정 논문을 보면 무려 109페이지에 이른다(DOI:10.2307/2118559). 페르마에게 정말 여백이 부족했다면, 아마 엄청나게 부족했을 것이다.
과학동아
댓글 없음:
댓글 쓰기