실연으로 자살하려던 이를 구한 수학 문제 358년 동안 누구도 풀지 못했던 페르마의 마지막 정리

 어릴 적 수학학원 좀 다녀본 경험이 있다면 반드시 들어봤을 만한 이름이 있다. 바로 피에르 드 페르마(1601~1665)다. 피타고라스, 유클리드와 더불어 가장 유명한 수학자지만 사실은 그가 프랑스의 법대를 졸업한 변호사임을 모르는 사람이 꽤 많다. 그는 수학풀이를 취미로 즐겼을 뿐이다. 

고대 그리스 때 디오판토스라는 수학자가 있었다. 그 시절 수의 계산이란 노예처럼 천한 신분의 사람이 하는 일이었기에 교양인이라면 주로 도형이나 공간을 다루는 기하학을 공부했다. 하지만 특이하게도 디오판토스는 숫자 대신 문자를 써서 방정식을 계산하는 대수학에 몰두했다. 훗날 그의 묘비에는 이렇게 적혀 있게 된다. 

‘신의 축복으로 태어난 그는 인생의 6분의 1을 소년으로 보냈다. 그리고 인생의 12분의 1이 지난 뒤에는 얼굴에 수염이 자라기 시작했고, 다시 7분의 1이 지난 뒤에는 아름다운 여인과 결혼했다. 결혼 후 5년 만에 귀한 아들을 얻었지만, 가엾은 아들은 아버지의 반밖에 살지 못했다. 깊은 슬픔에 빠진 그는 4년간 정수론에 몰입하다 일생을 마쳤다.’ 

맞다. 이건 방정식이다. 사망 당시 나이를 미지수로 두고 계산해보면 그 결과는 84세가 나온다. 어떤 정신 나간 인간이 묘비에 방정식 문제를 써둘까 생각하겠지만 그의 이런 기행 덕에 적어도 그가 몇 살까지 살았는지 알아낼 수 있었다. 너무 오래전 기록이라 출생이나 사망 시기에 대한 단서가 전혀 없었지만 말이다.

디오판토스의 ‘산술’ 여백에 적힌 문제

피에르 드 페르마. [위키피디아]

그는 수학 문제에 처음으로 문자를 도입했으며 덕분에 복잡한 수식은 훨씬 간단해졌다. 그의 저서 가운데 ‘산술’이라는 유명한 책이 있는데, 오늘의 주인공 페르마가 늘 부적처럼 지니고 다니다 여백에 자신이 증명해냈다고 밝힌 문제 중 하나가 바로 ‘페르마의 마지막 정리’다. 증명은 했지만 증명 방식은 여백이 모자라 적지 않는다는 글은 수많은 패러디를 양산했지만, 실제로 페르마는 항상 여백에 뭔가를 적었기 때문에 아마 여백의 부족함을 탓하던 그의 푸념 섞인 낙서가 단순히 허세만은 아니었을 것이다. 

평소 ‘사람낚시’를 좋아했던 그는 다른 수학자에게 너도 한번 해보라는 식으로 수학 문제를 남겼다. 정수론의 기본 정리 가운데 하나인 ‘페르마의 소정리’도 그에 속한다. 간단히 말해 어떤 특별한 규칙을 갖는 큰 수를 나눈 나머지가 무조건 1이 된다는 것인데, 페르마가 언급한 문제의 증명은 1683년 독일 수학자 라이프니츠가 해냈다. 아쉽게도 정확한 증명을 제시했던 라이프니츠의 소정리가 아닌 페르마의 소정리로 불린다. 

페르마를 유명하게 만든 것은 이런 경우가 한둘이 아니라는 데 있다. 이탈리아 수학자 토니첼리도 페르마에게 낚여 삼각형의 세 꼭짓점으로부터 거리의 합이 최소가 되는 점을 힘겹게 구했으나, 대다수는 이를 ‘페르마의 점’이라 칭한다. ‘페르마의 다각수 정리’는 라그랑주-가우스-코시가, ‘페르마의 두 제곱수 정리’는 스위스 수학자 오일러가 증명했지만, 역시 페르마의 이름이 붙었다. 열정적인 오일러는 50년에 걸쳐 페르마가 무작정 남긴 내용을 대부분 증명해냈으며, 덕분에 수학계에 많은 공헌을 했다. 물론 페르마만 유명해졌지만. 

독일 수학자 레오폴트 크로네커는 이런 말을 남겼다. ‘수학자들의 진정한 천직은 시인이다. 단, 자유롭게 만들고 나면 나중에 엄밀히 증명해야 한다. 그것이 우리의 숙명이다.’ 숙명을 뒤엎었던 낚시왕 페르마 덕에 뒷수습하던 수학자들만 죽어났다. 

수학적 정리를 직관적으로 찾아내는 것 역시 엄청난 업적이지만 증명은 아예 다른 영역이라 할 정도로 오래 걸리고 힘들다. 게다가 수학을 취미 삼아 한 변호사가 던진 떡밥이라 자존심도 상하지만, 막상 문제를 보면 재미있고 풀어볼 만해 빠져들지 않을 수 없었다. 그래서 그동안 그렇게 열심히 수학자들을 갈아 넣어(?) 해결해나갔는데, 그중 유일하게 증명되지 않고 남은 것이 페르마의 마지막 정리다. 페르마가 마지막에 내놓은 난제가 아니라 무려 358년 동안 버티며 마지막까지 증명되지 않았기에 그렇게 불리게 된 것이다.

기네스북에 오른 ‘가장 까다로운 수학문제’

파울 볼프스켈. [포항공대]

‘하나의 세 제곱수는 다른 두 개의 세 제곱수의 합으로 표현될 수 없고, 네 제곱수 역시 다른 두 개의 네 제곱수의 합으로 표현할 수 없다. 일반적으로 3차 이상의 거듭제곱 수를 같은 차수의 합으로 표현하는 것은 불가능하다. 나는 경이로운 방법으로 증명했으나 여백이 충분하지 않아 여기 적을 수 없다.’ 

1637년 페르마가 36세에 메모한 내용을 글로 쓰니 복잡해 보이지만 그렇지 않다. 아마 피타고라스의 정리는 알고 있을 테다. 3의 제곱(9)과 4의 제곱(16)을 더하면 이건 5의 제곱(25)이다. 두 수의 각각 제곱의 합이 또 다른 수의 제곱이 된다는 것인데, 여기서 제곱을 세 제곱이나 그 이상으로 바꾼다면, 제곱과는 달리 이걸 만족하는 정수는 절대 없다는 것이다. 

식 자체가 초등학생도 이해할 수 있을 정도로 간단하다는 것이 이 난제의 가장 큰 함정이었다. 해볼 만해 보이는데 아무리 해도 답은 안 나오니 미칠 지경이었을 것이다. 희망고문은 늘 절망으로 바뀌었고 페르마의 마지막 정리는 가장 악마적인 수학 난제로 불렸다. 

이제 수많은 수학자의 여정이 시작됐다. 우선 오일러, 르장드르, 베르트랑, 힐베르트 등은 특정한 지수에서 빈칸에 들어갈 수 있는 정수가 존재하지 않는다는 것을 독창적인 방법으로 증명했다. 하지만 이건 부분적인 증명이라 아직 해결할 식은 산더미처럼 많았다. 

이 문제를 굉장히 유명하게 만든 수학자가 있었는데, 바로 독일 수학자 파울 볼프스켈이다. 짝사랑하던 여성에게 차이자 자살을 결심했던 그는 수학자답게 정확히 자정에 삶을 끝내기로 하고, 무려 자살 직전 수학 서적을 뒤지며 남은 시간을 보냈다. 그때 그의 눈에 들어온 것이 바로 페르마의 마지막 정리에 관한 논문이었다. 그 논문에서 계산오류를 발견하고 이를 해결하려고 몰두한 사이에 시간은 자정이 훌쩍 넘어버렸고, 페르마의 마지막 정리 덕에 새로운 삶의 목표를 찾은 그는 이를 증명한 사람에게 자신의 이름을 딴 볼프스켈상을 수여하고 전 재산(10만 마르크)을 상금으로 주라는 유언을 남겼다. 

그에 따라 1908년 제정된 이 상으로 인해 페르마의 마지막 정리는 대중적 명성을 얻었다. 이후 볼프스켈상 심사위원회로 셀 수 없이 많은 증명이 도착했고 쌓아둔 증명의 높이만 무려 3m에 달했다. 심지어 페르마의 마지막 정리는 틀린 증명이 가장 많이 발표된 정리가 됐고 ‘세상에서 가장 까다로운 수학 문제’로 기네스북에 올랐다.

밀레니엄 7대 난제의 시작을 알리는 신호탄

앤드류 와일즈. [위키피디아]

1955년 일본 수학자 다니야마와 절친 시무라는 변형해도 형태가 유지되는 보형형식을 연구하다 ‘다니야마-시무라 추측’을 발견했다. 이건 전혀 상관없어 보이는 보형형식과 타원곡선이 서로 연관 있다는 것이다. 어려우니 그냥 보형형식을 당근, 타원곡선을 당근케이크라고 치자. 대부분 먹기를 꺼리는 당근을 당근케이크로 바꾸면 굉장히 잘 팔린다. 즉 보형형식으로 도저히 풀리지 않는 문제를 타원곡선으로 바꾸면 비교적 쉽게 풀린다는 것이다. 

그로부터 20여 년 후인 1986년 독일 수학자 게르하르트 프레이는 페르마의 마지막 정리도 타원곡선으로 바꿀 수 있다는 놀라운 주장을 펼쳤다. 이렇게 만들어진 가상의 타원방정식이 존재하지 않는다는 것만 밝혀내면 페르마의 마지막 정리를 만족하는 정수가 없다는 말이니 증명했다고 볼 수 있다. 이로써 다니야마-시무라 추측만 증명되면 페르마의 마지막 정리는 자동으로 증명될 수 있게 된 것이다. 

영국 수학자 앤드류 와일즈는 10세 무렵 하굣길에 지역 도서관에 우연히 들렀다 페르마의 마지막 정리를 발견하고 매료됐다. 이후 이것을 증명할 기회만 엿보며 꾸준히 수학자의 길을 걸었다. 하지만 그의 지도교수 역시 증명이 불가능해 보이던 페르마의 마지막 정리 대신, 당시까지는 전혀 관계없던 타원곡선을 전공할 것을 추천했다. 행운이란 준비가 기회를 만났을 때 나타난다. 놀랍게도 페르마의 마지막 정리와 가장 밀접한 것이 바로 그의 전공이던 타원곡선이었다. 

쉬운 일은 결코 아니었다. 당근을 당근케이크로 바꿨지만 무한개의 당근케이크가 전부 존재하지 않는다는 것을 밝혀야만 했다. 검토 과정에서 문제점이 발견되기도 했지만 1년이 넘는 은둔 생활 끝에 간결한 증명을 해냈다. 그것을 논문으로 발표한 게 1995년. 비록 완벽한 증명은 아니었지만 전설적인 난제를 정복하기에는 충분했다. 볼프스켈상(상금 5만 달러) 역시 1997년 89년 만에 주인을 찾게 됐다. 

페르마의 마지막 정리 증명으로 수학자들은 행복해졌을까. 반대로 그들은 기뻐하기는커녕 목표를 잃었다고 좌절했다. 와일즈는 페르마의 마지막 정리를 증명한 이후 새 문제를 만들어달라는 부탁에 시도 때도 없이 시달리게 됐다. 그래서 탄생한 것이 바로 밀레니엄 7대 난제로, 수학자들은 유일하게 증명된 푸앵카레 정리를 제외한 나머지 6개 난제에 도전하고 있다. 페르마의 마지막 정리에 관한 이야기는 여기까지다. 사실 이번 내용은 아름다운 증명 과정에 비유를 포함해 훨씬 경이로운 글로 작성했으나 지면 여백이 충분하지 않아 여기 모두 적을 수 없었다는 점을 밝혀둔다.

주간동아