100만불을 노려라! 수학 7대 난제

지난 2000년 5월 프랑스 파리에서 미국의 클레이수학연구소가 공식적인 회견을 통해 현대 수학의 7대 난제를 제시하고 각각에 100만 달러 현상금을 내걸었다. ‘밀레니엄 수학 7대 난제’(이하 7대 난제)라고 불리는 이 공모는 기간제한이 없으며, 문제를 풀고 국제 학술지에 게재한 후 2년 동안 검증과정을 거쳐 오류가 없다고 판단되면 현상금을 지급한다.

수학 난제의 공모 역사는 1900년 8월 8일 파리로 거슬러 올라간다. 제2차 국제수학자회의 초청 강연에서 당시 수학계를 이끌던 독일 수학자 힐베르트는 20세기 수학 발전을 위해 해결해야할 미해결 문제 23개를 나열했다. ‘힐베르트 문제’로 불리는 이 문제들은 그가 생각한 것보다 쉬운 문제도 있었지만, 대부분 매우 어렵고 중요한 문제로 인정받았다.

그동안 수많은 수학자가 힐베르트 문제에 도전해 대부분을 푸는데 성공했다. 이 사건은 20세기 수학 발전에 지대한 영향을 준 것으로 평가받는다. 클레이수학연구소는 이런 기대를 가지고 7대 난제를 미국이 아닌 파리에서 발표했다.

얼마나 어렵고 중요한 문제이기에 무려 100만 달러나 주는 것일까? 우선 어떤 문제인지 이름만 나열해 보자. 7대 난제는 리만 가설, P대 NP 문제, 푸앙카레 추측, 호지 추측, 내비어-스톡스 방정식, 양-밀스 이론과 질량 간극 가설, 버츠와 스위너톤-다이어 추측이다.

전문가에 따르면 7대 난제를 일반인이 이해하기는 매우 어렵고, 수학에 대한 호기심과 도전 정신이 높은 아마추어 수학자조차 도전하기 쉽지 않다고 한다. 이에 필자는 힐베르트의 8번째 문제였지만 약 150년 동안 풀리지 않아 다시 7대 난제에 포함된 리만 가설을 중심으로 간략하게나마 소개하고자 한다.

리만 가설은 1859년 독일 수학자 리만(G. Riemann)에 의해 처음 제기돼 아직까지 풀리지 않은 난제다. 리만 가설은 어떤 복소수로 만들어진 함수가 0이 되는 값들의 분포에 대한 가설이다. 리만 가설에 쓰이는 리만의 제타함수는 다음과 같이 정의된다.

ζ(s) = 1 + 2^-s + 3^-s + 4^-s + ··· (s는 복소수)

이 함수값을 0으로 하는 해 중에서 실수부가 1 이상인 복소수는 없고, 실수부가 0 이하인 복소수에 대해서는 -2, -4, -6, ···처럼 음의 짝수인 경우만 해가 될 수 있다는 것이 밝혀졌다.

그런데 리만은 실수부가 0보다 크고 1보다 작은 복소수에 대해서는 해가 무한이 많다는 사실을 알게 됐다. 여기서 ‘실수부가 0보다 크고 1보다 작은 복소수의 해에서 실수부는 모두 1/2일지도 모른다’는 생각을 하게 됐는데 이것을 ‘리만 가설’이라고 부른다.

이 함수는 모든 소수에 대한 오일러 곱공식으로 나타낼 수 있다. 즉 리만 가설의 핵심에는 2, 3, 5, 7과 같이 1과 자기 자신으로만 나눠지는 소수에 어떤 패턴이 있다는 내용이 담겨있어 리만 가설이 풀리면 소수를 쉽게 찾아낼 수 있게 된다. 이것은 현재까지 널리 사용되는 소수를 이용한 ‘공개키 암호체계’가 무용지물이 될 수 있다는 얘기다.

소수를 이용한 공개키 암호체계는 예를 들어 설명하면 다음과 같다. ‘22,663은 어떤 소수의 곱인가’를 물으면, 즉 인수분해를 하라고 하면 시간이 많이 걸린다. 반면 ‘131x173을 계산하라’고 하면 앞에서보다 훨씬 빠르게 22,663이 나온다. 이처럼 곱하는 것은 쉬워도 역으로 인수분해가 어려운 특성을 고려해 만든 체계가 공개키 암호체계다.

현재는 소수의 자리수를 수십에서 1백자리 이상으로 늘려서 암호로 사용하고 있다. 이렇게 만들어진 수는 자리수만 수백자리가 되므로 어떤 수의 곱으로 이뤄졌는지 슈퍼컴퓨터로 계산하더라도 수천년에서 수억년 이상이 걸려 우리는 암호를 풀 수 없다고 말한다. 그런데 리만 가설이 풀리면 소수 패턴을 알아내 소수를 빠르게 구할 수 있게 되고, 이에 따라 암호로 사용된 소수를 쉽게 찾아져 공개키 암호체계가 무용지물이 되는 것이다.

혼자 연구했던 리만은 가설의 증거를 남기지 않고 죽을 때 모든 서류를 불태워버렸다. 영화 ‘뷰티풀 마인드’의 실제 주인공이며, 1994년 노벨경제학상 수상자인 존 내쉬가 리만 가설을 풀기위해 노력했으나 실패했다고 알려져 있다. 2004년 미국 퍼듀대의 루이스 드 브랑지 교수가 문제를 풀었다며 가설 증명을 발표했으나 아직 현상금이 주어지지는 않았다.

나머지 6가지 난제를 간단히 요약하면 다음과 같다.
◆ 버츠와 스위너톤-다이어 추측(Birch and Swinnerton-Dyer Conjecture) :
타원곡선을 유리수로 정의하는 방정식이 유한개의 유리수해를 가지는지 무한개를 가지는지를 알 수 있는 간단한 방법을 구하라.

◆ 푸앙카레 추측(Poincare Conjecture) :
어떤 하나의 밀폐된 3차원 공간에서 모든 밀폐된 곡선이 수축돼 하나의 점이 될 수 있다면 이 공간은 반드시 원구(圓球)로 변형될 수 있다는 것을 증명하라.

◆ 호지 추측(Hodge Conjecture) :
어떤 대상체도 모두 기하학 조각의 조합이라는 사실을 증명하라.

◆ P대 NP 문제(P vs NP Problem) :
알고 보면 쉬운 문제가 답을 알기 전에도 쉬운 문제인지 증명하라.

◆ 내비어-스톡스 방정식(Navier-Stokes Equation) :
비행기 날개 위로 흐르는 공기 같은 기체 흐름과 배 옆으로 흐르는 물 같은 유체의 흐름을 기술하는 편미분 방정식의 해를 구하라.

◆ 양-밀스 이론과 질량 간극 가설(Yang-Mills and Mass Gap) :
양자물리학에서 나온 ‘원자 양-밀스 이론’과 ‘질량 간극가설’을 수학적으로 입증하라.

지금까지 제시한 수학의 7대 난제를 보면서 나와 거리가 멀고 당장 돈이 되거나 실용성이 없다고 생각할 수 있다. 하지만 고등학교 시절 수학자에게만 필요할 것이라 생각되던 미적분이 미래를 여는 과학기술의 기초가 되고 있다는 점을 생각한다면 문제를 보는 눈이 달라질 것이다. 실용성과 현실성이 미래를 향한 길이라면 호기심과 도전은 지름길이 아닐까?

KISTI의 과학향기