인류 문명을 발전시킨 힐베르트의 23가지 문제

오늘날의 수학은 자연과학뿐만 아니라 인문, 사회과학으로 그 영역을 넓혀가며 거의 모든 학문과 관계를 맺고 있다. 이렇듯 수학의 새로운 분야들은 인류 문명의 발전을 이끌어 가고 있는데, 그 시작은 바로 힐베르트1)가 제안한 23개의 문제이다. 이 23개의 문제들이 각각 현재 과학 발전에 어떻게 기여하고 있는지 하나씩 집어내기는 어렵다. 오래전 과거에 있었던 소수의 발견이 현재 정보통신분야의 암호로 활용되고 있듯이, 수학 이론을 응용하기 위해서는 짧게는 수십 년에서 길게는 수백 년이라는 오랜 시간이 걸리기 때문이다. 하지만 케플러의 추측이 원자 결정체의 구조를 이해하는 데 도움을 주고, 더 나아가 경제 이론, 디자인, 건축학에 응용되는 것처럼 수학 이론의 응용은 지금도 계속되고 있다. 수학이야말로 기초과학분야의 기본 토대를 마련한다는 점에서 힐베르트가 제안한 23개의 문제는 매우 중요한 의미를 갖는다.

인류 문명을 발전시킨 힐베르트의 23가지 문제.

19세기 교통의 발달, 수학 발전 앞당겨

19세기에 들어서자 수학은 공간의 수리적인 성질을 연구하는 기하학과 수 대신 문자를 쓰거나 수학 법칙을 간단명료하게 나타내는 대수학, 그리고 주로 함수를 다루는 해석학 등의 모든 분야에서 놀랄만한 업적을 이루었다. 이 발전의 크기는 그 이전의 어떤 세기에도 비교할 수 없을 정도였다.게다가 교통의 발달로 교류가 점차 확대되자, 두 사람 사이에 몇 달씩 걸리던 편지의 교환도 짧은 시간에 이루어지게 됐다. 19세기의 이런 여러 가지 변화에 힘입어 수학을 전문적으로 다루는 잡지가 출판되기 시작했고, 수학자들끼리 개인적인 왕래도 증가했다. 또한 유럽의 각 나라와 미국에서는 수학학회와 수학자들의 국제적인 모임이 만들어지면서 서로간의 교류가 매우 활발하게 진행됐다.

각각의 학회에서 활동하던 여러 나라의 수학자들은 여기서 더 나아가 새로운 이론의 발굴, 풀리지 않는 난제의 해결 등의 협력을 위해 국제적인 수학모임이 필요하다고 생각해 1893년 국제수학자 학술대회를 시카고에서 개최했다. 이 모임은 4년 뒤인 1897년에 공식적인 수학자들의 정기 학술대회로 자리 잡게 됐는데, 그 모임의 이름이 바로 국제 수학자 회의(International Congress of Mathematicians, ICM)이다. 이 대회는 두 차례의 세계대전과 1980년대 후반까지 지속됐던 냉전으로 잠시 중단된 경우를 빼고 4년마다 개최되고 있다. 이 대회가 처음 열린 곳은 스위스의 취리히였고, 두 번째는 1900년 프랑스의 파리였다. 2010년에는 인도의 하이데라바드에서 개최되었고,2014년에는 우리나라의 서울에서 개최될 예정이다. 이 대회가 유명한 것은 두 가지 이유에서이다. 첫째는 1900년 회의에서 발표된힐베르트의 23개 문제 때문이고, 둘째는 바로 이 대회에서 수학의 노벨상인 필즈상을 수여하기 때문이다.

힐베르트, 수학의 황제로 등극

힐베르트는 1900년 인류의 문명 발전에 기여할 것으로 예상되는 23개의 문제에 대해 강연한다.

19세기 후반, 수학의 폭발적인 발전과 수학자들의 교류 증가로 수학에 관심을 갖는 사람들이 많아지면서 수학자들은 더욱더 늘어났지만, 어느 누구도 폭발적으로 발전하고 있는 수학의 미래를 예측하지는 못하고 있었다.

수학의 미래를 짐작할 수 없다는 것은 어떤 문제가 수학적으로 의미가 있고 문명을 발전시키는 데 필요한 문제인가를 판단할 수 없다는 뜻이다. 특히 수학자들은 수학의 황제 가우스2)가 죽자, 두 번 다시 그런 인물이 나타나지 않을 것이라며 더욱 당황했다. 하지만 얼마 후, 프랑스의 앙리 푸앵카레(Henri Poincare, 1854~1912)와 독일의 힐베르트가 등장하며 수학자들의 이러한 걱정은 해결됐다.

20세기가 시작되는 첫 해인 1900년 프랑스 파리에서 열리게 된 국제 수학자 회의(ICM)는 그 당시 기하학의 기초 확립으로 유명하던 수학자 힐베르트에게 기념강연을 부탁했다. 힐베르트는 당시에 복잡하게 얽혀 갈 길을 찾지 못하고 있던 수학의 미래를 전망하는 강연을 하기로 결심했다. 그래서 그는 수학뿐만 아니라 인류의 문명이 발전할 수 있을 것으로 예상되는 23개의 문제를 선택했다. 힐베르트는 자신이 선택한 23개의 문제가 다가오는 100년 동안 수학자들을 바쁘게 만들 것이며, 미래의 수학 발전에 방향을 제시할 것이라고 생각했다.

힐베르트가 제시한 23개의 문제

힐베르트의 23개 문제3)는 수학에서 다루고 있는 각각의 전문분야에서 중요한 것만을 선별한 것이기 때문에 일반인들이 그 내용을 이해하는 것은 쉽지 않다. 그래서 여기에서는 그 가운데 여러분이 많이 들어 봤을만한 두 가지를 간단히 소개하겠다.

암호 체계의 비밀, 리만 가설

리만가설로 알려진 8번째 문제가 참이라면 소인수분해를 이용한 오늘날의 암호방식은 쉽게 뚫릴 것이다. <출처: gettyimages>

먼저 리만가설4)로 알려진 문제 8을간단히 해석하면, 결국 주어진 수보다 작은 소수들이 일정한 패턴을 가지고 있다는 가설이다. 이 문제는 아직 해결되지 않았으며, 100만 달러의 현상금이 걸려 있다. 힐베르트는 이 문제가 해결되면 쌍둥이 소수의 쌍이 한없이 있다는 예상도 증명될 수 있을 것이라고 생각했다. (쌍둥이 소수는 소수 가운데 3과 5, 5와 7, 11과 13 등과 같이 연속한 두 소수의 차이가 2인 소수이다.)

만일 리만가설이 참이라고 한다면 어떤 일이 벌어질까? 이해하기쉬운 예를 들어 알아보자. 예를 들어, 10보다 작은 소수의 개수는 2, 3, 5, 7로 4개인데, 이렇게 어떤 수보다 작은소수의 개수를 찾는 방법을 공식으로 나타낼 수 있다고 하자. 이제, 100보다 작은 소수의 개수를 알고 싶다면 그 공식에 100을 대입하기만 하면 될 것이다. 즉, 100보다 작은 소수가 25개이므로, 25개의 소수를 모두 찾았을 경우 더 이상 찾을 필요가 없고, 25개 보다 적게 찾았을 때는 좀더 찾아 보아야할 것이다.따라서 아무런 제한 없이 하나하나 소수를 찾는 것 보다는 소수를 찾는 데 굉장한 도움이 된다.

소수를 찾는 것은 매우 중요하다. 그 이유는 오늘날 우리가 소수를 암호에 활용하고 있기 때문이다. 예를 들면, 은행에 개설해 놓은 통장의 비밀번호나 인터넷에서 사용하는 각종 아이디와 패스워드가 거의 대부분 소수를 이용해 만들어진다. 이와 같이 소수를 이용한 암호방식인 공개키 암호 방식은 매우 복잡하게 만들어져 있지만 그 원리는 다음과 같이 아주 간단하다.

두 소수 p=47과 q=73의 곱이 3431임을 계산하는 것은 쉽지만, 거꾸로 3431을 소인수 분해해 두 소인수 47과 73을 찾는 것은 쉬운 일이 아니다. 공개키 암호방식은 이 원리를 이용해 아주 큰 두 소수 p, q를 비밀로 하고, 그의 곱 n=pq를 공개하는 방식이다. p와 q가 각각 130자리 정도의 소수라면 현재의 계산 방법과 컴퓨터로 이것을 푸는 데 약 한 달이 걸리며, 각각 400자리라면 약 10억년이 걸린다고 한다.

공개키 암호체계를 뚫을 수 있는 유일한 방법은 어떤 수를 빠르게 소인수분해(주어진 합성수를 소수의 곱의 꼴로 나누어 소인수들의 곱으로 나타내는 과정)하는 것인데, 소인수분해를 빠르게 하려면 먼저 어떤 수가 소수인지 아닌지 알아야 한다. 이때 리만가설이 참이라면 소수인지 아닌지를 좀더빠르게 판별할 수 있는 방법이 제공되는 것이므로 소인수분해를 이용한 오늘날의 암호방식은 쉽게 뚫릴 것이다.

과일을 최적으로 쌓아라, 케플러의 추측

최적의 과일 쌓기. 단순해 보이는 과일 쌓기에도 수학이 들어있다. <출처: gettyimages>

힐베르트의 문제 18은 합동인 다면체(평면 다각형으로 둘러싸인 입체 도형)로 공간을 완전히 채우는 것이다. 이 문제는 영국의 항해 전문가인 월터 랠리 경으로부터 시작됐다. 그는 1590년대 말 항해하기 위해 배에 짐을 싣던 중, 자신의 조수였던 토머스 해리엇(ThomasHarriot, 1560~1621)에게 배에 쌓여 있는 포탄 무더기의 모양만 보고 그 개수를 알 수 있는 공식을 만들라고 했다. 수학자였던 해리엇은 특별한 모양으로 쌓여 있는 포탄의 개수를 계산하는 공식을 찾았다. 그는 더 나아가 배에 포탄을 최대한 실을 수 있는 방법을 찾으려고 했다. 그러나 그는 자신이 이 문제를 해결할 수 없다고 생각해, 당시 최고의 수학자이자 천문학자인 요하네스 케플러(Johannes Kepler, 1571~1630)에게 편지를 보냈다.

케플러는 이 문제를 1611년 자신의 후원자인 존 와커(John Wacker)에게 바친 [눈의 6각형 결정구조에 관하여]라는 논문에 처음으로 거론했다. 이 논문에서 케플러는 평면을 일정한 도형으로 채우는 문제를 생각했는데, 평면을 완전하게 채울 수 있는 가장 간단한 도형은 정삼각형이라는 사실로부터 그의 생각을 들여다보자.

같은 크기의 동전 여러 개를 평평한 탁자 위에 올려놓고 이리저리 움직여 붙여보자. 동전의 밀도 즉, 전체 공간에 대해 동전이 차지하는 공간의 비율을 가장 높게 배열하는 방법은 하나의 동전이 6개의 서로 다른 동전들로 둘러싸도록 하는 것이다. 따라서 동전들을 정육각형 형태로 규칙적으로 배열하면 평면을 덮을 수 있다. 각 정육각형의 일부는 원이 차지하고 있고, 일부는 빈 공간으로 남아 있다. 정육각형은 정삼각형으로 나눌 수 있기 때문에 삼각형의 밀도를 계산하기만 하면 이 배열의 밀도를 구할 수 있다.여기서 자칫 어려워 질 수 있는 밀도 계산법은 생략하겠다. 결과적으로 동전을 정육각형 모양으로 배열하면 평면의 약 90.7%를 덮을 수 있다. 마찬가지로 정사각형 모양으로 배열하면 평면의 약 78.5%를 덮을 수 있다.

케플러는 물질을 구성하는 작은 입자들의 배열 상태를 연구하던 중, 부피를 최소화 시키려면 입자들을 어떻게 배열시켜야 할지를 생각했다. 모든 입자들이 공과 같은 구형이라고 한다면 어떻게 쌓는다 해도 사이사이에 빈틈이 생긴다. 문제는 이 빈틈을 최소한으로 줄여서 쌓인 공이 차지하는 부피를 최소화 시키는 것이다. 케플러는 여러 가지 다양한 방법으로 그 효율성을 일일이 계산해 보았지만, 끝내 결론을 내리지 못하고 추측만을 남겨 놓게 됐다. 이러한 케플러의 추측은 약 400년 동안이나 수학자들을 괴롭히다가, 결국 1998년에 미시건 대학의 토머스 해일스(Thomas Hales)에 의해 증명됐다.

케플러의 추측.

그렇다면 케플러의 추측이 현재 생활에 어떤 영향을 끼쳤을까? 1883년 화학자 윌리엄 발로(William Barlow, 1845~1934)는 케플러의 추측과 같이 멜론을 쌓는 최적의 방법이 원자의 구조와 배열과관련이 있을 것이라고 생각했다. 그는 이를 바탕으로 수년간 연구한 끝에 영국의 과학 잡지 <네이처(Nature)>에 다섯 가지 형태의 원자 배열에 관한 논문을 게재했다. 다시 말하면 최적의 멜론 쌓기는 결정체의 구조를 이해하는 데 큰 도움을 준 것이다. 또한 최적의 과일 쌓기 모델은 단순하게는 물품을 컨테이너 안에 쌓는 데에 활용되기도 하고,경영분야의 기본원칙인 '이윤 최대화와 비용 최소화' 등에까지 응용된다. 현재에도 응용분야는 꾸준히 확대되고 있다.

이번엔 케플러의 추측과 연관이 있는 최소 겉넓이 문제를 살펴보자. 수박을 비롯한 과일들은 왜 거의 둥근 모양을 하고 있을까? 모든 과일은 번식을 위해 과육의 부피를 최대로 하면서 겉넓이를 가장 작게 하는 쪽으로 진화했다. 그 결과, 과일들은 수분 손실이 적으면서도 과육을 최대로 가질 수 있는 공 모양이 된 것이다.

1933년 영국의 수학자 라도(Rado, 1906~1989)는 이 문제를 곡면으로 확장시켰다. 이 원리를 설명하기 위해 필요한 ‘극소곡면의 원리’라는 고차원적인 수학은 생략하고, 이 원리가 실제로 적용되는 비누막을 간단히 소개한다. 비눗물로 비누막을 만들면 비누막은 곡면을 가능한 작게 형성하려는 극소곡면상태를 유지하려 한다. 이런 성질을 이용해 많은 건축물들이 만들어졌는데, 그 중 1972년 독일에서 열린 뮌헨 올림픽 경기장이 가장 대표적이다. 2008년 베이징 올림픽 수영경기장인 ‘워터큐브’ 역시 이런 성질을 이용했다.

미해결 문제를 향한 끊임없는 도전

21세기에 접어든 오늘날의 수학자들은 대부분의 주요 문제는 이미 해결됐다고 했던 18세기 후반의 수학자들의 주장과, 19세기 말에 모든 문제가 해결될 수 있다고 공표했던 힐베르트의 주장이 모두 옳지 않았다는 것을 알고 있다. 왜냐하면 새로운 이론의 등장과 더불어 훌륭한 성과가 수학에서만 매년 약 30만개 이상에 이르고 있으며, 풍성한 결과를 기다리고 있는 새로운 분야와 수학자들을 유혹하는 매력적인 문제가 지속적으로 발굴되고 있기 때문이다.

2011년 현재 힐베르르가 제시한 23개의 문제 중 12개가 해결되고 나머지 11개 문제는 부분적으로 해결 됐거나 미해결 된 상태이다. 아직 해결되지 않은 문제를 해결하기 위한 수학자들의 도전은 지금도 계속되고 있다. 수학자들의 끊임없는 도전은 수학을 더욱 풍성하고 알차게 하기 때문에 수학은 쉬지 않고 전진하고 있다. 이와 같은 발전에 대해 여러 분야의 저명한 학자들은 가까운 미래에 우리가 사는 세상이 수학 없이는 움직이지 못하는 ‘수학세상’이 될 것이라는데 의견을 같이하고 있다.

• 네이버캐스트