복잡계와 혼돈이론

“브라질에서 한 나비의 날개 짓이 다음 달 텍사스에서 토네이도를 발생시킬 수도 있다.” 이른바 ‘나비효과’라 불리는 이 가상의 현상은 기상학자 로렌츠(Edwards Lorentz)가 공기의 대류현상과 기후변화에서 기존의 물리학이 설명할 수 없는 ‘초기조건에의 민감한 의존성’, 즉 작은 변화가 엄청난 변화를 초래할 수 있음을 단적으로 표현하고자 농담 삼아 즐겨 사용하던 말이다. 흔히 무질서한 현상의 대명사로 알려져 있는 유체의 운동(예를 들어 대기의 흐름, 수도꼭지에서 쏟아져 나오는 물의 운동, 뿜어진 담배연기의 퍼짐 등등)이라든가 군집 생태학에서 다루는 특정지역에 대한 생물체의 분포와 변화 등에서는 우리의 경험으로도 쉽게 느낄 수 있듯이 입력의 미세한 차이가 출력에서 엄청난 큰 차이로 나타난다. 이들은 결정론적인 고전과학의 관점에서 보면 예측 불가능한 무질서와 혼돈으로서 실제 자연계에 엄연히 존재한다. 그렇다면 자연계의 질서와 조화를 일차적으로 다루어 온 기존의 물리학은 더 이상 자연현상을 완벽하게 설명할 수 없는 것일까? 자연은 더 이상 규칙성과 예측가능성보다는 불규칙성과 무질서가 지배하는 것일까?

뉴턴역학에서 아인슈타인의 상대성이론, 양자이론, 소립자 물리학, 그리고 우주론으로 발전되어온 물리학은 변화무쌍한 자연세계를 수학적으로 모델화하려는 인간의 노력의 하나이다. 매우 복잡한 양상을 띠고 있는 현상계를 몇 개의 자연법칙이 지배하는 부분들의 집합체로 단순화하고, 부분들에 대한 분석을 통해 전 체계에 대한 정보를 얻어내려는 것이다. 뉴턴역학에 기반 하여 유체역학도 유체의 흐름을 지배하는 자연법칙을 수학적으로 모델화한 수학방정식을 만들어 내었다. 그러나 이러한 무질서한 유체운동을 실제로 설명함에 있어서는 무력하였는데, 그것은 물리학이 몇 가지 방법론적 가정에 기초하고 있기 때문이다.

첫째는 뉴턴적인 결정론에 대한 믿음이다. 즉 어떤 계의 초기조건과 그것을 지배하는 자연법칙(흔히 미분방정식으로 표현되는 운동방정식)을 정확히 알면, 그 계의 과거 및 현재, 미래의 상태를 모두 다 ‘거의 정확하게’ 예측할 수 있다는 것이다. 이는 자연계가 거대한 기계처럼 어떤 결정론적인 질서 하에서 움직이고 있음을 뜻한다.

둘째는 수렴과 근사에 대한 믿음이다. 즉 나뭇잎 하나의 떨어짐이 지구와 태양간의 만유인력에 어떠한 영향을 끼치지 않듯이 극히 미세한 영향은 무시될 수 있으며, 또한 사물의 행동양식은 일정한 틀에로 수렴하려는 경향이 존재한다는 믿음이다. 즉 자연계를 질서정연한 부분들로 구성된 매우 안정된 집합체로 본다. 따라서 흔히 경험하는 불규칙한 요동이나 소음과 같은 교란들은 로렌츠의 주장과는 달리 그 효과가 매우 미약한 것으로 쉽게 간과된다.

셋째는 선형성(linearity)의 사상이다. 실제로 자연계를 모델화한 수학방정식들은 대부분 비선형성을 띠고 있음에도 불구하고 많은 사람들은 이를 풀기가 난해하다는 이유로 근사적으로 선형적인 형태로 변형하여 풀거나, 아니면 일차적으로 비선형적인 항들(가령 실제세계에서 피할 수 없는 마찰이나 소음과 같은 영향들)을 제거하고 푼 다음 비선형 항들을 선형적인 결과에 요동 혹은 섭동의 형태로 포함시키는 방식으로 근사적으로 푼다. 그 결과 초기조건이 약간 달라지면 그 결과도 약간 달라지는 입력과 출력간의 비례관계가 형성된다.

넷째는 전체에 대한 정보는 그것을 구성하는 부분들에 대한 정보로부터 획득될 수 있으며 그래서 전체는 그것을 구성하는 부분들의 산술적인 총합과 동일하다는 믿음이다. 한마디로 전체를 이해하는데 그것을 구성하는 부분에 대한 정보로 충분하다는 것이다. 가령 어떤 고체의 성질은 그것을 구성하는 원자들의 성질과 원자들 간의 결합구조로 충분히 이해된다. 이는 바로 환원론이라 부르는 과학의 전형적인 방법론이다.

결국 현대물리학의 전 분야에서도 흔히 사용되고 있는 고전과학의 이와 같은 방법론적 가정 하에서는 유체현상의 복잡성이 제대로 반영되지 못할 뿐 아니라 로렌츠가 주장한 ‘나비효과’도 근본적으로 존재할 수가 없게 된다. 또한 H2O라는 분자 차원에서는 나타나지 않다가 물 전체를 보면 나타나는 액체 현상도 설명할 수 없게 된다. 물리학이 아닌 영역에서는 아주 흔한, 부분에서는 결코 나타나지 않던 성질들이 이들을 결합한 전체 차원에서는 나타나는 소위 창발적인 현상들(가령 뇌에서의 의식 현상)에 대해 전반적으로 설명이 어렵게 된다.

혼돈이론은 바로 나비효과와 같은 현상이 발생할 수도 있는 유체현상을 설명하기 위해, 로렌츠를 필두로 기존 물리학의 이러한 방법론적 가정들에 대한 회의에서 출발하였다. 더욱이 60년대와 70년대 스메일(Stephen Smale), 요크(James Yorke), 메이(Robert May), 만델브로트(Benoit Mandelbrot) 등으로 이어지는 수학자들의 모델화 작업과 컴퓨터의 발달은 비선형 방정식을 풀 수 있는 가능성을 열어 줌으로써 혼돈이론 연구에 새로운 전기를 마련했으며, 기존의 선형적인 접근방식으로는 도저히 얻을 수 없었던 자연계의 신비한 모습을 드러내 주었다. 다름 아닌 혼돈과 안정이 공존하는 세계, 질서와 혼돈이 함께 생성되는 세계, 즉 부분적으로 예측 불가능하지만 전체적으로 안정적인 세계를 밝혀낸 것이다. 군집생물학에서 특정지역에서 특정 생물체의 전체 개체수의 변화과정을 모델화한 로버트 메이의 유명한 단순모형을 토대로 혼돈이론의 이러한 특성을 자세히 살펴보자.

메이에 따르면 특정지역에서 생물체의 개체수는 적을 때는 빠르게 증가하고 중간 값일 때에는 거의 증가하지 않다가 많을 때에는 그 증가를 억제하는 요소로 인해 감소하는 생태계적 성질을 지닌다. 가령 토끼 수가 적을 때에는 토끼풀이 급속히 성장하고 토끼 수가 적정선에 이르면 토끼풀도 균형을 유지하지만, 토끼 수가 많아지면 토끼풀은 급속하게 줄어든다. 토끼풀이 줄어들면 다시 토끼수도 줄게 되고 토끼풀은 다시 성장하는 식으로 생태계는 순환을 반복한다. 이 생태계의 모형을 단순화하여 수학적으로 표현해 보면, 의 비선형식이 된다. 여기서 r은 매개변수로서 번식률을 나타내며, 은 이전 개체수, 은 이후 개체수를 가리킨다. (원래 이 식은 로지스틱 방정식이라 불리는 미분방정식 으로 19세기에 인구증가 모델로 제시되었는데, 오늘날 군집 생태학에서 개체수 증가 모델로 사용되고 있으며 여기서는 미분 대신 차분 방정식의 형태로 재구성을 하였음.) 이제 r값을 점차 증가시킴에 따라 개체수가 어떻게 증가하는가를 살펴보기 위한 수치실험을 하면, 아래의 [그림 1]과 같은 모양이 나타난다.

[그림 1] r 값의 연속적 변화에 따른 로지스틱 맵의 분기 곡선

정상상태에서 출발한 개체 수는 r값(그림의 가로축)이 증가함에 따라 둘로 쪼개지는 쌍갈래(bifurcation) 과정을 겪는데 이는 이 범위에서 개체 수(그림의 세로축)가 두 값 사이에서 규칙적으로 요동(주기 2의 규칙적 운동)함을 가리킨다. r값이 점점 더 커지면 쌍갈래 과정이 무수히 반복하여 나타나면서 개체수의 변화가 무질서하게 나타나는, 초기조건의 변화에 매우 민감한 혼돈 상태에 도달하게 된다.(그림의 검은 색 영역들) 그러나 놀랍게도 최초의 혼돈 다음(최초의 검은 색 영역 다음의 흰색 영역 – ‘혼돈 중에 나타나는 질서의 창’)에는 다시금 처음의 정상상태 때와 유사한 규칙적인 상태가 반복된다.(아래의 [그림 2] 참조) 그리고 이러한 과정은 r값이 증가함에 따라 혼돈 영역과 질서 영역이 반복적으로 나타나면서 이후로 끊임없이 반복하여 나타난다.

[그림 2] r 값의 특정 영역에서 쌍갈래 과정이 반복되는 모습

바로 고전물리학에서는 상상도 할 수 없었던, 혼돈과 질서가 결정론적 모델로 부터 함께 생성된 것이다. 이 뿐만이 아니다. [그림 2]에서 보았듯이 그 변화의 전체 패턴은 거의 유사한 형태로 부분의 영역에서 반복해서 나타나는 자체유사성이 존재하고 있다. 즉 영역을 아무리 작게 잡거나 크게 확대하더라도 복잡성의 정도가 일정한 쌍갈래 과정의 전체 패턴이 유사하게 반복해서 나타난다. (경제학에서의 예를 들면 하루 동안 주가변동 패턴은 한 달간의 그것과 일 년 동안의 그것과 매우 유사한데, 이는 전체의 패턴이 부분 속에서 반복적으로 나타남을 의미한다.) 이렇게 동일한 패턴이 전체와 부분 속에서 반복되는 구조를 프랙탈 구조라 부른다. 또한 개체 수의 변화를 r, X의 공간이 아닌 위상공간상에서 나타내면 그 궤도가 끊임없이 수렴해 가는 ‘이상한 끌개’(strange attractor)가 나타나는데, 이는 개체수의 변화가 무질서해 보이면서도 상당히 안정된 구조를 지니고 있음을 의미한다.

결국 혼돈 이론에서 비선형성은 불규칙성이 끊임없이 규칙적으로 반복되는, 전체적으로는 안정된 구조를 가진다. 그런 의미에서 불규칙성은 완전한 무질서가 아니라 불규칙한 패턴이 일정하게 규칙적으로 반복하여 나타난다는 의미의 질서를 내포하고 있다고 말할 수 있다. 그렇다면 혼돈은 불안정성과 전혀 같은 의미가 아니다. 오히려 안정된 혼돈, 규칙적인 불규칙성이 중요하다.

현재 혼돈 이론은 여전히 수학적인 모델 탐구에 제한되어 있으며, 실제세계에서는 기후변화나 유체의 흐름과 같은 현상에 주로 적용되고 있다. 아직까지는 기대하는 만큼 많은 영역에 실제로 적용되고 있지 못하다. 하지만 외부로부터 끊임없이 에너지가 유입되어 불안정적이며 예측 불가능한 것으로 보이는 열린 계들(가령 비평형 상태의 화학적 반응계, 비가역적인 생명계 등)이나 환원적인 분석 방법이 더 이상 적용되기 어려운 창발 현상을 일으키는 계(가령 뇌 등)에 대해 혼돈 이론의 적용은 매우 유용해 보인다. 한마디로 복잡계 현상들에 대해 혼돈 이론은 좋은 설명을 제공해 줄 것으로 기대해 볼 수 있다. 한편 혼돈 이론은 기존물리학의 방법론에 대한 도전 때문에 때때로 물리학의 새로운 패러다임인 양 불려 지기도 하지만, 현대물리학의 방법론이 여전히 현실세계의 많은 분야 가령 우주론, 소립자 물리학, 핵물리학, 고체물리학, 광학, 그리고 공학 등에서 지배적 위치를 점하고 있음을 간과해서는 안 된다. 이렇게 볼 때 혼돈 이론은 물리학 전반에 대한 새로운 지표설정이라기 보다는 물리학의 한계극복이라는 보완적 의미가 아직은 강함을 강조하지 않을 수 없다.

그럼에도 불구하고 혼돈 이론은 다음과 같은 새로운 철학적 의미를 함축하고 있다. 이제는 복잡계를 단순한 계들의 집합으로 인식하지 않고 복잡계 그 자체에 있는 그대로 접근하려 한다는 점이다. 달리 말해 오늘날 주류의 과학 방법론으로 정착된 환원론적 분석 방법 대신 비환원론적 접근 방법을 택하고 있다. 그리고 특정한 시각에서의 정태적인 상태보다는 계의 동적인 변화 과정을 중시한다. 다시 말해 ‘무엇임’이라는 고정된 존재성 보다는 ‘무엇으로 됨’이라는 끊임없이 변화하는 과정을 강조한다. 또한 뉴턴 물리학의 결정론적 예측 가능성이나 이후 양자이론에서 언급된 확률적 예측 가능성 모두를 부정적으로 바라본다. 예측 가능성을 정립하는 것이 과학의 핵심적인 문제가 더 이상 아니라는 것이다. 마지막으로 선형적인 사고 대신 비선형적 사고를 강조한다. 특히 이는 오늘날과 같이 모든 것들이 다자간 상호 네트워크 구조로 얽혀 있는 경우 매우 유용하다. 뇌의 구조 뿐 아니라 사회적인 관계를 설명할 때 매우 유용하기 때문이다. 혼돈 이론이 이러한 철학적 의미를 잘 살려 보다 잘 확립된 과학방법론으로 구체화, 정식화되길 기대해 본다.

사이언스올