페르마의 마지막 정리를 푸는 것에는 별 관심이 없었습니다. 그보다는 존경하는 수학자 장 피에르 세르가 제시한 문제를 푸는 것에 도전을 느꼈죠. 페르마의 마지막 정리를 증명하는 데 공헌할 거라고는 생각하지 못했습니다.”
지난 1993년 영국 수학자 앤드루 와일스 교수는 358년 동안 풀리지 않았던 수학 난제 ‘페르마의 마지막 정리’를 증명해 일약 수학계의 슈퍼스타가 됐다. ‘3차 이상의 제곱수를 같은 차수의 제곱수의 합으로 나타내는 것은 불가능하다’는 페르마의 마지막 정리는 1637년에 처음 나온 뒤 와일스 교수가 1993년 증명할 때까지 수학자들을 괴롭혔다.
와일스 교수가 페르마의 마지막 정리를 증명할 수 있었던 배경에 여러 수학자의 공헌이 있었다. 현재 미국수학회장을 맡고 있는 케네스 리벳 미국 버클리 캘리포니아대 교수가 그중 한 명이다. 10월 5일 서울 강남구 인터콘티넨탈 서울 코엑스 호텔에서 리벳 교수를 만났다.
케네스 리벳 미국 버클리 캘리포니아대 교수. 사진 이서연(AZA 스튜디오)
리벳 교수는 1948년 미국 뉴욕에서 태어났다. 1989년 페르마의 마지막 정리 증명에 대한 핵심적인 기여로 ‘페르마 상’을 받았다. 리벳 교수는 정작 "어린 시절부터 페르마의 마지막 정리를 증명하는 것을 꿈꿨던 와일스 교수와는 달리 리벳 교수는 그런 목표는 없었다"고 담담하게 말했다. ‘리벳 정리’로 페르마의 마지막 정리를 증명하는 데 중요한 기여를 한 그가 정작 자신은 그 문제를 풀 의도가 없었다는 것이다.
리벳 정리는 필즈상 수상자인 프랑스의 수학자 장 피에르 세르 교수가 제시한 ‘엡실론 추측’에 이를 해결한 리벳 교수의 이름을 붙인 것이다. 세르 교수는 엡실론 추측을 제시하면서 이를 풀면 페르마의 마지막 정리 해결에 한 걸음 더 다가가게 된다고 주장했다. 엡실론 추측과 더불어 페르마의 마지막 정리에 나오는 방정식이 모듈러 곡선을 갖지 않는다는 것만 보이면 난제가 해결되기 때문이다.
페르마의 마지막 정리 증명에 기여한 것은 행운
리벳 교수에게 행운은 마치 운명처럼 다가왔다. 자신이 존경하는 수학자인 세르 교수가 제시한 문제인 동시에 페르마의 마지막 정리를 해결할 열쇠가 자신의 전공 분야였던 것이다.
1985년 세르 교수가 엡실론 추측을 제시하자마자 이 문제에 도전해야겠다고 마음을 먹은 리벳 교수는 UC버클리에서 학생들을 가르치면서 틈틈이 문제의 해법을 고민했다. 이듬해 독일 막스플랑크 수학연구소에 잠시 머물며 연구를 이어가던 그는 불현듯 특수한 경우에 한해 엡실론 추측을 증명할 수 있는 아이디어가 떠올랐다고 말했다. 그 증명을 검증하기 위해 한 달 동안 꼬박 다른 일은 전혀 하지 않고 연구에만 매달렸다.
장 피에르 세르 교수가 2011년 포스텍을 방문해 강연하는 모습. 케네스 리벳 교수는 세르 교수가 제시한 엡실론 추측을 증명해 페르마의 마지막 정리를 증명하는 돌파구를 마련했다. 포스텍 제공
특수한 상황에 대한 해법은 빨리 찾았지만 그것을 일반화하는 것은 쉽지 않았다. 문제가 풀리지 않자 리벳 교수는 베리 메저 미국 하버드대 수학과 교수에게 도움을 받을 수 있을 거라 생각하고 편지를 썼다. 하지만 메저 교수로부터 답장을 받지는 못했다.
기회는 우연히 찾아왔다. 1986년 세계수학자대회가 자신이 재직 중인 UC버클리에서 개최됐는데, 길을 걷다가 우연히 메저 교수와 마주친 것이다. 용기를 내서 그에게 편지 이야기를 꺼냈다. 메저 교수는 만난 김에 같이 커피나 한 잔 하자며 카페에 자리를 잡고 앉았다.
메저 교수에게 엡실론 추측에 대한 증명을 일반화시키지 못하는 상황을 설명하자 그는 짧은 조언을 건넸다. 증명을 위해 더 필요한 요소가 있겠지만 거기에 매이지 말고 그대로 둔 채 증명을 전개해 보라는 말이었다. 그러면 결국 언젠가는 풀리게 된다는 것이다.
리벳 교수는 “그 말을 듣자마자 내가 엡실론 추측을 증명했다는 느낌이 들었다”면서 “하지만 사람들에게 설명하려고 하면 이상하게 제대로 되지 않았다”고 말했다. 그래서 리벳 교수는 약 1년 가까이 UC버클리 수학연구소에서 다른 학자들과 토의하며 자신의 증명을 논문으로 작성했다.
이렇게 페르마의 마지막 정리를 증명하는 데 꼭 필요한 문제를 해결한 것이다. 그로부터 7년 뒤 와일스 교수가 남은 부분을 채우면서 페르마의 마지막 정리를 증명했다. 리벳 교수는 “내 증명이 페르마의 마지막 정리를 증명하는 데 유용할 거라고 생각지 못했기 때문에 누군가 증명했다는 것 자체가 정말 놀라웠다”며, “수학계의 유명한 난제를 푸는 데 내가 핵심적인 기여를 했다는 것은 정말 특별한 경험이었다”고 말했다.
잘 하는 걸 선택한 것이 성공의 비결
스스로 “운이 좋았다”고 말하지만 리벳 교수가 수학 역사에 오랫동안 기억될 업적을 세울 수 있었던 데에는 ‘진로 선택 기준’이 큰 몫을 차지했다. 우선 그는 자신이 가장 잘 하는 것을 택했다. 리벳 교수는 “어렸을 때부터 수학을 잘 했기 때문에 대학에 입학할 때 자연스럽게 수학을 전공으로 택했다”고 말했다. 드라마틱한 계기가 있었거나 ‘난제를 풀겠다’는 포부가 있었던 것은 아니다.
케네스 리벳 교수는 10월 5일 한국과 독일 수학자들이 함께 개최한 ‘한국독일공동국제학술회의’에서 자신의 최근 연구를 소개하는 기조강연을 했다. 대한수학회 제공
리벳 교수는 스스로를 다른 사람보다 탁월한 능력을 가졌다기보다는 주변 사람들의 이야기에 귀를 잘 기울기는 사람이라고 평가했다. 대학에 입학한 뒤 만난 교수의 조언에 따라 어떤 분야를 공부할 지 선택했고, 박사 학위를 딴 뒤에도 동료들이 제시하는 문제를 풀면서 실력을 쌓았다. 리벳 교수는 “박사 졸업을 한 뒤에도 수학자로서 독립적으로 연구하는 법을 배우기까지 오랜 시간이 걸렸다”면서, “내가 했던 성공적인 연구 가운데 상당수는 그 과정에서 다른 사람들이 제시한 문제들을 풀었던 것”이라고 말했다.
리벳 교수는 “내가 기여할 수 있는 문제인지가 연구 주제를 선택하는 기준”이라고 말했다. 대학원을 졸업한 뒤에도 이 기준을 가지고 연구 주제를 선택했다. 그랬기 때문에 자신감을 가지고 문제를 풀 수 있었다. 리벳 교수는 리벳 정리를 증명하는 과정을 설명하며 “세상 어느 누구도 내가 생각한 것을 알고 있는 사람은 없었다”고 표현했다. 또 “많은 학자들이 내 증명을 즉시 이해하지는 못했지만 확신이 있었기 때문에 실망하지 않았다”고도 말했다. 자신이 가장 잘 할 수 있고, 기여할 수 있는 문제를 선택해서 풀었기 때문에 이런 자신감과 확신을 가지고 연구할 수 있었던 것이다.
수학자의 길은 넓다. 두려워 말고 선택하라
리벳 교수는 재능이 없다고 생각해서 수학자가 되는 것을 포기할 필요는 없다고 강조했다. 리벳 교수는 “재능은 종류가 다양하며 열심히 노력하는 것과 관련이 있다”고 말했다. 특히 “수학을 좋아하는 사람이 오랫동안 수학을 연구할 수 있으며, 성공적인 수학자가 반드시 가우스나 리만처럼 학문의 정점에 서 있는 사람은 아니다”라고 했다.
최근 들어 수학적인 기법이 생물학과 금융은 물론 인공지능(AI) 등 다양한 기술분야에서 활용되면서 수학자들의 길은 더욱 넓어지고 있다. 리벳 교수는 “미국의 경우 10~15년 뒤에는 수학 박사들의 대다수가 대학이 아닌 산업계와 정부 기관 등으로 진출할 것으로 전망된다”며 “가령 생물학을 전공한 사람이 수학을 공부해서 연구에 적용하는 것보다 수학을 전공한 사람이 생물학을 연구하는 것이 빠르다”고 설명했다. 그런 의미에서 수학은 여러 분야로 진출하는 데 가장 좋은 출발점이 될 수 있다고 강조했다.
엡실론 추측과 페르마의 마지막 정리
페르마의 마지막 정리를 증명한 앤드루 와일스 교수가 1995년 페르마의 출생지에 방문해 페르마를 기념하는 동상 앞에서 촬영한 사진. Klaus Barner(W) 제공
페르마의 마지막 정리는 수학계에선 오랜 난제로 남아 있었다. 그러던 중 1984년 독일 수학자 게르하르트 프라이 교수가 타니야마-시무라 추측만 증명하면 페르마의 마지막 정리를 증명할 수 있다는 주장을 제기했다. 타니야마-시무라 추측은 모든 타원방정식은 모듈러 곡선으로 대응시킬 수 있다는 내용이다. 이때 프라이 교수는 페르마의 마지막 정리는 타원방정식으로 변환할 수 있는데, 이 식은 모듈러 곡선으로 변환할 수 없는 특수한 형태라는 걸 증명해 보였다.
타니야마-시무라 추측이 참이라면 페르마의 마지막 정리를 변환한 타원방정식은 해가 없는 방정식이 돼 페르마의 마지막 정리가 참이라는 것이다.
하지만 프라이 교수의 증명에는 보완할 부분이 있었다. 만약 페르마의 마지막 정리가 정수해를 가진다면 모듈러 곡선으로 표현할 수 없는 타원방정식이 존재한다는 것도 증명해야 했다. 이를 발견한 세르 교수가 엡실론 추측이라는 이름으로 문제제기를 했다. 이 문제를 리벳 교수가 해결해 페르마의 마지막 정리를 푸는 실마리를 제공한 것이다.
와일스 교수가 페르마의 마지막 정리에 나온 식이 바로 모듈러 곡선으로 나타낼 수 없는 타원방정식이라는 걸 밝혀 즉 정수해가 없다는 걸 보여 페르마의 마지막 정리를 완벽하게 증명했다. 신기하게도 타니야마-시무라 추측은 페르마의 마지막 정리 증명법을 이용해 1999년 와일스 교수와 제자들이 해결했다.
댓글 없음:
댓글 쓰기