앤드루 존 와일즈(Andrew Wiles) 수학의 난제, 페르마의 정리 해결하다

페르마의 마지막 정리는 17세기 최고의 수학자로 꼽히는 피에르 드 페르마가 1630년 경 남긴 것이다. 이 정리의 증명을 위해 많은 수학자들이 도전했는데, 당시에는 순전히 호기심을 불러일으키는 문제로만 알려졌었다. 하지만 1984년, 타원곡선문제와 관계가 있다는 것이 밝혀지면서 더욱 주목 받게 됐으며, 이 문제는 다양한 문제를 풀 수 있는 출발점이 되기도 했다. 타원곡선문제는 오늘날 암호로 많이 활용되고 있다.

‘페르마의 마지막 정리’는 여러 수학자들이 350여 년 간 증명하기 위해 노력했고, 이 노력들이 수학사의 발전에 토대를 마련했다는 점에서 20세기 이후 과학사 10대 사건으로 꼽을 수 있다.


페르마, 마지막 정리를 남기다

그림 1 피에르 드 페르마. 사진 제공 : 위키피디아

피에르 드 페르마(Pierre de Fermat, 1601~1665)는 현재 역사상 가장 유명한 수학자 중 하나로 기억되고 있지만, 살아생전에는 프랑스의 변호사였고 취미로 수학을 하는 아마추어 수학자였다. 게다가 친구가 쓴 책의 부록에 익명으로 글을 하나 발표한 것이 페르마가 남긴 유일한 수학논문이었다. 변호사로서는 별로 좋은 평가를 받지 못했는데, 그의 상사는 페르마를 두고 ‘일은 안하고 이상한 것(수학)에 관심을 가지고 있다’고 평가한 기록이 남아 있을 정도다.

페르마가 죽은 뒤 그의 아들은 페르마의 연구 결과가 사라질 것을 걱정한 아버지 친구들의 재촉으로 아버지가 남긴 편지, 아버지가 공부했던 책에 적어놓은 메모들을 정리했다. 그 당시에는 책의 여백에 남아있던 짤막한 메모가 그 후 350년간 수학자들을 괴롭힐 문제-페르마의 마지막 정리-가 되리라고는 꿈에도 생각지 못했다.

수백 년간 수학자들을 사로잡은 마지막 정리 

‘페르마의 마지막 정리(Last Theorem)‘라고 알려진 문제는 지난 수백 년 동안 많은 수학자들을 사로잡았다. 그 이유는 바로 문제가 무엇을 묻는지 누구나 쉽게 이해할 수 있어서였다. 문제 자체는 이렇다.

3, 4, 5, … 중에서 숫자를 하나 선택한다. 예를 들어 3을 골랐다고 하자. 0보다 큰 자연수 세 개를 아무렇게나 선택한다. 그들을 ,,라고 하자. 를 3회, 즉 세 번 곱하고() 거기에 를 세 번 곱해서() 더하면 를 세 번 곱한() 것과 같아질 수 있을까?

 ???

페르마는 이 문제를 만족시키는 답은 절대 있을 수 없다고 추측했고, 그것을 마지막 문제라고 불렀다. 이 문제는 1994년, 와일즈가 증명하기 이전에도 사람들은 그것을 마치 증명된 것처럼 일반적으로 ‘정리(Theorem)’라고 불렀다.

직각삼각형의 3개의 변을 a, b, c라 하고 c에 대한 각이 직각일 때, 가 된다는 피타고라스의 직각삼각형을 예로 들어보자. 삼각형 세 변의 길이가 3, 4, 5 또는 5, 12, 13이면 제곱을 했을 때 두 개의 합이 나머지 한 개의 제곱이 된다.

3² + 4² = 5² 즉, 9 + 16 = 25

5² + 12² = 13² 즉, 25 + 144 = 169

이런 세 개의 자연수가 피타고라스 정리에 나오는데, 페르마가 읽던 책에서는 수천 년 전부터 알려진 피타고라스 정리를 설명해주고 있었다.
페르마는 그 책의 여백에 짤막하게,
“나는 정말 놀라운 증명을 했는데 여백이 모자라 여기에 그 증명을 적을 수는 없다”
라고 적었다.

‘정말 놀라운 증명’은 다음과 같다. 제곱 대신 세제곱, 네제곱, 다섯 제곱,… 들은 피타고라스 정리처럼 두 개를 더하면 다른 한 개가 되는 자연수가 없다는 것이다. 다시 말해서 자연수들은
이 될 수 없으며
도 될 수 없고
도 될 수 없고 ….
다만 피타고라스 삼각형인 경우에는 가 될 수 있다는 것이다.

페르마는 세제곱과 네제곱(지수 )인 경우 분명히 증명방법을 알고 있었는데, 영국의 수학자들과 교류한 서신에 그 기록도 남아있다. 하지만 페르마는 마지막 정리 메모를 작성한 이후, 다시는 마지막 문제에 대해 언급하지 않았다. 현대 학자들은 그가 수학 역사상 가장 훌륭한, 최상급 수학자만이 할 수 있는 착각을 했다고 생각하고 있다. 이 착각이란 마지막 문제를 페르마 자신이 증명했다고 생각한 것을 말한다.

그 후 200년간 많은 일류 수학자들이 마지막 문제를 증명했다는 생각에 사로잡혀 흥분했었지만, 에른스트 쿰머(Ernst Kummer, 1810~1893)가 반론을 제시해 증명이 물거품 됐다. 하지만 역설적으로 이러한 반론이 마지막 문제를 더욱 유명하게 해주었고, 이에 힘입어 대수학이라는 커다란 분야가 발전하게 됐다.

그림 2 타원곡선 그래프의 예. 사진 제공 : 위키피디아

한편, 마지막 문제를 증명하는 아이디어는 게르하르트 프레이(Gerhard Frey, 1944~ )가 발견했다. 프레이는 마지막 문제가 타원곡선에서 유명한, 시무라-다니야마-베이유(Shimura-Taniyama-Weil) 가설이라는 50년 된 문제와 관련돼 있을 것이라는 대담한 추측을 했다.

1955년, 일본의 수학자 다니야마(Yutaka Taniyama)가 타원함수, 즉 꼴의 함수에 대해 어떤 문제를 제기했고, 시무라(Shimura)와 베이유(Weil)

 

가 이 문제를 더 연구해 하나의 가설 을 제기한 것이 시무라-다니야마-베이유의 가설이다. 이 가설을 통해 한 가지 형태의 방정식이었던 페르마의 마지막 문제는 무수히 많은 방정식들을 다룰 수 있게 됐다.

이후, 여러 학자들이 페르마의 마지막 문제를 증명하기 위해 축적해 놓은 결과를 바탕으로 시무라-다니야마-베이유 가설만 증명하면 마지막 문제가 증명된다는 것이 밝혀졌다. 이렇듯 하나만 증명하면 마지막정리까지 두 가지 문제를 증명했다는 영예를 동시에 얻을 수 있어, 대가들 사이에 조용하지만 치열한 경쟁이 일어났다. 1986년에는 이미 마지막 문제가 곧 해결될 것이라는 소문이 돌았으며, 대가들이 주고받은 편지를 복사해서 연구하는 젊은 교수도 있었다. 또한 그 편지 복사본의 복사본을 가지고 세미나를 하기도 했다.

와일즈, 마지막 정리를 증명하다

그림 3 페르마의 마지막 정리를 증명한 앤드루 와일즈. 사진 제공 : C. J. Mozzochi, Princeton N.J

이렇듯 여러 수학자들의 도전에도 증명되지 않던 페르마의 마지막 정리는 350여 년 만에 영국의 수학자, 앤드루 존 와일즈(Andrew Wiles, 1953~ )에 의해 증명됐다.

시무라-다니야마-베이유 가설을 증명하면 마지막 문제가 증명된다는 것이 밝혀지자, 당시 프린스턴 대학의 정교수였던 와일즈는 조용히 이 문제의 해결에 들어갔다. 시무라-다니야마-베이유 가설에 관해서는 그 누구보다도 와일즈 자신이 전문가였기 때문이다.

그 후 7년간의 외로운 연구 끝에 1993년, 드디어 연구결과를 발표했다. 이후의 이야기는 매우 잘 알려져 있는데, 자신의 논문을 심사할 심사위원 6명을 와일즈 본인이 지명했고(보통 한 사람이 심사한다) 증명에 미흡한(gap) 점이 발견됐다. 이 gap을 해결하기 전에는 다른 사람들에게 공개적으로 “수학에는 99% 증명한다는 것이 없다”, “수학은 맞거나 틀리거나 둘 중 하나일 뿐이다”, “에베레스트 정상에서 50m 아래까지만 갔으면 가지 않은 것이다”라는 등의 평가를 받았었다. 하지만 혼자서는 도저히 미흡한 점을 해결하지 못하자 시무라-다니야마-베이유 가설을 세계에서 두 번째로 잘 아는 사람(자신의 학생)과 공동으로 미흡한 점을 해결해서 1994년, 별도의 짧은 논문으로 발표했다. 여기서 정말 대단한 사실은, 프린스턴 대학이 7년간 아무 연구업적이 없던 와일즈를 괴롭히지 않았다는 점이다.

그림 4 페르마의 마지막 정리 증명 과정과 연관이 있는 것으로 알려진 ‘타원곡선이론’. 현재 타원곡선암호는 교통카드, 신용카드 등으로 널리 사용되고 있다.

와일즈는 마지막 문제를 증명하면서 지금까지 알려진 수많은 이론들을 사용했고, 이 증명을 처음부터 끝까지 이해할 수 있는 사람은 전 세계에서도 손으로 꼽을 수 있을 정도로 드물다. 따라서 어려운 이론은 생략하고 간략히 정리하면, 와일즈는 시무라-다니야-베이유 가설문제로부터 출발해 마지막 문제의 증명을 끝내게 됐다.


증명 과정, 수학사 발전 가져와

이렇듯, 수학자들이 350여 년간 페르마의 정리를 증명하기 위해 꾸준히 도전하는 사이에 새로운 이론이 탄생하고, 또 그 이론이 증명됐다.

또한 수학자들은 페르마의 마지막 문제가 200년 가까이 꾸준히 연구해 오던 타원곡선 문제와 깊이 연관돼 있다는 점도 알게 됐다. 타원곡선에 대한 연구는 노르웨이의 수학자 아벨(Niels Henrik Abel, 1802~1829) 이후 오랜 기간 연구된 분야로, 최근에는 타원곡선 암호에 많이 사용되고 있다.

그림 5 타원곡선암호가 사용된 교통카드. 사진 제공 : 동아일보

타원곡선 암호는 흔히 공개키 암호라고 부르는 것 중에서 가장 고급수학을 사용하는 방식이다. 대표적인 장점으로는, 기존 공개 키 암호 방식 보다 짧은 키를 사용하면서도 비슷한 수준의 안전성을 제공한다는 것이다. 특히 무선 환경과 같이 전송량과 계산량이 상대적으로 열악한 환경에 적합하다. 영화에 자주 나오는 미국의 국가안보국(NSA)에서도 타원곡선 암호를 사용하고 있다.

게다가 타원곡선 암호를 사용하면 암호에 사용하는 비밀번호의 길이를 대폭 줄일 수 있어 스마트카드에서 선호하고 있다. 스마트카드는 대용량의 정보를 담을 수 있는 전자식 신용카드로, 금융기관, 의료보험증, 교통카드, 신용카드 등에 이용되고 있다.
이처럼 페르마의 정리는 결과적으로 수학사의 발전에 큰 영향을 미쳤으며 그 영향은 앞으로도 이어질 것이다.

[교육팁] 페르마의 마지막 정리와 관련이 깊다고 밝혀진 타원곡선문제는 현재 타원곡선암호로 많이 사용되고 있다. 기존 소수를 이용한 암호보다 길이는 짧으면서도 풀기는 어려워 그 이용도는 점점 증가하고 있다. 그렇다면 이러한 암호는 어떻게 만들까? 암호는 어려운 공식이나 수학적 지식 없이도 쉽게 만들 수 있다. 간단한 암호를 만들어보면서 암호의 원리를 이해하자. 우선 가장 쉽게 암호를 만들 수 있는 방법은 한글을 숫자나 영어로 바꾸는 것이다. 예를 들어, 자음 ‘ㄱ’은 숫자 ‘1’, 모음 ‘ㅏ’는 숫자 ‘2’ 라고 정한다. 이런 식으로 각 자음과 모음에 숫자를 정한 뒤, 보내고 싶은 문자를 숫자로 보내면 된다. (‘12=가’ 가 된다.) 이번에는 책을 이용해본다. 일단 두 사람이 같은 책을 하나 지정한다. 한 사람이 책을 보면서 보내고 싶은 글자를 찾는다. 만일 12페이지의 3번째 줄 45번째 글자라면, 다른 사람에게 ‘12345’라고 암호를 보낼 수 있다. [교육 과정] - 중학교 3학년 수학, 피타고라스의 정리

한국과학창의재단 사이언스올