미적분의 재발견 탄생 의심스러운 토대 위에 싹트다

근대 철학의 아버지이자 해석기하학의 창시자인 르네 데카르트는 “물리학의 모든 대상은 기하학으로 환원된다”고 했다. 기하학은 당시 사람들이 수학과 같은 뜻으로 쓰던 말이었다. 자연현상을 이해하는 데 수학의 중요성을 강조한 데카르트 덕분에, 이후의 학자들은 놀라운 발전을 이끌게 됐다. 그 중심에 미분과 적분이 있었다.

뉴턴과 라이프니츠, 일반적인 법칙을 정리하다

17세기 유럽의 많은 수학자들은 각자 특별한 방법으로 미적분을 발전시키고 있었다. 1629년 현대적 의미의 미분에 대한 아이디어를 최초로 떠올린 사람은 프랑스의 수학자 피에르 드 페르마였다. 독일의 수학자이자 천문학자였던 요하네스 케플러는 극대 또는 극소값 근방에서 함수가 증가하는 양이 무한히 작아진다는 것을 알았는데, 페르마가 이를 극대값과 극소값을 결정하는 방법론으로 발전시켰다. 영국의 수학자 아이작 배로는 그 뒤를 이어 미분과 적분이 역연산이라는 사실을 최초로 깨달았다(이 중요한 발견이 소위 미적분의 기본 정리다). 하지만 당시까지 미적분은 특별한 문제를 풀기 위한 방법에 불과했다.

기본 이론을 보다 엄밀하게 정립한 학자는 아이작 뉴턴과 고트프리트 빌헬름 라이프니츠였다. 17세기 후반, 두 천재는 미적분의 모든 방법과 문제 사이의 일반적인 관계를 밝혀냈다. 미적분을 발명한 것이다.

뉴턴은 1665년 10월의 마지막 날에 ‘곡선에 어떻게 접선을 그릴 것인가?’라는 짧은 연구 논문을 쓰기 시작했다. 여기에서 그는 자신의 ‘유율법’을 소개했다. 여러 형태의 연속적인 운동을 시간에 따라 변하는 합성함수로 그린 뒤, 순간적인 변화량인 ‘유율’을 기하학적으로 구하는 방법이다. 예컨대, 그는 좌표에서 움직이는 점의 속도의 구성성분(가로와 세로 방향의 속도)을 조합해 기울기를 구했다. 유율법에 따르면, 접선의 속도 벡터는 가로와 세로 벡터의 합이 된다.

라이프니츠의 미분법은 다소 달랐다. 그는 독립적인 연구 끝에 20여 년 뒤인 1684년, 미분공식을 확립해 발표했다. 함수 f(x)에서 x가 무한히 작은 양만큼 변할 때 f(x)의 변화량을 계산하는 방법이다. 상수, 함수의 합과 차, 곱과 나누기는 물론 함수의 거듭제곱과 거듭제곱근 등을 미분하는 법칙도 공식화했다. 현대적인 기호인 dx와 dy 등도 라이프니츠의 발명품이다.



유한이자 무한한 양이 도대체 뭐요?

뉴턴이 역학 연구로부터 미분법에 도달했을 때, 거기에는 ‘끝없이 다가간다’는 뜻의 ‘극한’ 개념이 있었다. 라이프니츠가 미분이나 적분을 나타내는 새로운 기호를 만들었을 때, 새로운 수학을 예견하는 날카로운 통찰력이 있었다. 하지만 당시 두 사람은 미적분의 본질을 완전히 인식하지는 못했다. 기초 개념을 정확히 규명하기에 앞서 이론을 전개하고 응용하는 데 바빴기 때문이다. 좀 더 따지고 들면 두 사람의 이론은 애매한 대목이 너무도 많았다.



특히 미분의 가장 기본이 되는, 무한대로 쪼개 아주 작아진 ‘무한소’라는 개념에 대해서는 그 누구도 만족스러운 답을 내놓지 못했다. 라이프니츠는 “dy/dx 를 구하기 위해서는 무한소가 유한의 아주 작은 양이어야 하지만, 단순히 유한한 양이면 안 되고 유한이자 무한이어야 한다”고 했다. 0인 동시에 0이 아니라는, 모호한 이야기였다. 미적분은 분명 접선을 구하거나 최댓값이나 최솟값을 구하는 데 매우 훌륭한 수단이었지만, 부정확한 추론에서 정확한 답이 나왔다는 것을 당시 사람들은 받아들일 수 없었다.

철학자이자 주교인 조지 버클리는 1734년 ‘해석학자’라는 에세이에서 뉴턴을 비판하며 다음과 같은 유명한 질문을 던졌다. “유율이란 무엇입니까? 사라져 가는 증가량의 속도? 사라져 가는 똑같은 증가량이란 무엇입니까? 이건 유한한 양도 무한히 작은 양도 아니면서, 무(無)도 아닙니다. 그냥 죽은 양의 유령이라고 부르면 안 됩니까?”

이 난문제는 나중에 수학자가 아닌 철학자 헤겔이 해결했다. 헤겔이 칸트의 이원론 극복을 자기 철학의 과제로 삼았을 때, 그의 형이상학적 사유의 핵심은 바로 ‘유한과 무한을 어떻게 화해시킬 것인가’였다. 그는 유한과 무한의 동일성을 연구하면서 무한을 둘로 구분했다. 직선처럼 끝없이 진행하는 ‘악무한’과 원처럼 끝이 있는 ‘진무한’이다. 이 과정에서 무한에 대한 개념이 정립되며 미적분도 영향을 받았다.

코시, ‘극한’ 개념으로 미적분을 확립하다

미적분을 보다 엄밀하게 발전시킨 수학자는 프랑스의 수학자 오귀스탱 코시다. 코시는 극한과 연속, 급수의 합 등의 개념을 정확하게 확립했다. 특히 미적분의 근본을 극한이라고 여겼는데, 이 정의는 수학자들에게 ‘고전’처럼 여겨진다.


 

 

코시는 원의 넓이를 그 원에 내접하는 정다각형의 넓이의 극한으로 구하는 것으로 설명했다. 다각형의 넓이는 결코 원의 넓이와 같지 않지만, 규정한 허용범위 안에서 원의 넓이와 가까운 정다각형을 찾을 수 있다는 것이다. 그는 극한을 “어떤 변수에 대응하는 값이 어떤 ‘고정된 값’으로 다가가는데, 그 차이가 우리가 원하는 만큼 작아질 때 그 고정된 값을 다른 모든 값들의 극한이라고 부른다”고 정의했다.

이로써 무한소는 ‘그 양의 극한이 0일 따름’이라는 뜻이 됐다. 무한소라는 모호한 개념 위에 있던 미적분을 극한 개념을 통해 일반화, 합리화한 것이다. 코시는 오늘날 미적분을 ‘계산’에서 ‘논리’의 단계로 올려놓았다는 평가를 받고 있다.

미분의 원리가 완벽해진 이후 수학자들은 복잡한 대수적 내용을 미분을 이용해 어떻게 발전시킬 것인지 연구했다. 임의의 함수의 도함수를 찾는 문제와 2계 미분, 그리고 보다 더 어려운 문제인 적분도 고민하기 시작했다. 상미분방정식, 편미분방정식, 미분기하학, 변분학, 무한급수, 복소함수, 보험통계학, 변분법, 고차함수, 화법기하학 등 수많은 분야가 창조됐다.

그 결과, 미적분은 수학의 패러다임을 바꿨다. 기하학으로 한정돼 있던 수학의 범위를 대수학으로 확장했다. 이전까지 수학자들은 종이에 삼각형을 그려놓고 연구했는데, 이제 원과 곡선을 수식으로 표현할 수 있게 된 것이다. 좌표를 이용해 더 복잡하고 다양한 연구를 할 수 있게 됐다. 따로 발전하던 기하학과 대수학은 서로 경계를 넘나들며 방대한 혁신을 이끌었다. 미적분의 발명으로 2000년 이상 지속된 초등수학의 시대는 마감되고 찬란한 고등수학의 세계가 열린 것이다.
동아사이언스