이곳에 시인이 왔어야 했다!

가상현실 경험은 말로 표현하기 참 힘들다. 꿈을 설명하는 것 같다. 현실과는 뭔가 다른데, 현실처럼 생생한 느낌. 이걸 말로 어떻게 표현하면 좋을까. 혹시 이 느낌을 객관적인 수치로 표현할 방법은 없을까?

 

오큘러스 리프트 - 오큘러스 리프트는 2012년 8월 첫 번째 개발자 버전(DK1), 2014년 7월 두 번째 개발자 버전(DK2)이 발표됐다. 최근 나온 세 번째 시제품 크레센트 베이는 DK2에 비해 해상도와 반응속도가 좋아졌다. 개발자 버전과 달리 판매되지 않고 있다. 내년 상반기에 등장할 소비자 버전과 가장 비슷하다. 전 세계에 30대가 있는데 그중 29대가 미국에 있고, 1대가 우리나라에 있다.

“오큘러스 리프트는 써보셨나요?” 가상현실 기사를 준비하면서 취재원들에게 가장 많이 들은 말이다. 머리 덮개형 디스플레이(HMD)를 직접 경험 해보지 않은 사람에게 가상현실을 설명하기 힘들다는 뉘앙스가 담겨 있었다. 현재 가상현실 기술 수준을 묻는 기자의 질문에 “일단 한번 써보세요. 그리고 이 야기하죠”라고 답한 취재원도 있었다. 황당하지만, 맞는 말이었다. 백문이 불여일견이라고 하지 않았던가. 그래서 특별한 경로로 직접 한번 써 봤다. 오큘러스의 마지막 시제품이자 한국에 있는 유일한 제품, ‘크레센트 베이’를.

사실 써 보기 전까진 의심이 많이 들었다. 3D 영화 처음 볼 때도 눈앞에 뭔가 만져질 것처럼 다들 호들갑 떨다 실망한 경험이 한 번쯤 있지 않나. 괜히 어지럽기만 하고. 더구나 가상현실이라면 이미 영화나 드라마 에서 수도 없이 우려먹은 ‘사골 아이템’이다. 기술보다 상상력이 수십 년 앞서 있는지라 웬만한 가상현실은 눈에 차지도 않을 터. 그래도 세계를 떠들썩하게 한 새로운 가상현실 기술이라기에 기대 반 의심 반으로 체험해봤는데….

그것은 신세계였다. 고개를 이리저리 돌려봐도 사방으로 가상현실이 보였고, 내가 움직이는 데로 따라 변했다. 무릎을 굽혀 앉으면 물체가 올려다 보이 고, 가까이 다가가면 커 보였다. 가상이라고 생각하기 힘들만큼 생생했다. 가상현실에서 나는 시가지 전투의 한 가운데 놓여있었다(112쪽 사진). 미사일을 쏘는 거대로봇에 맞서 군인들이 싸우고 있는데, 느린 화면으로 총알이 날아다니는 게 보였다. 로봇이 박살 낸 건물에서 돌이 튀어 눈앞으로 다가오는데 나도 모 르게 손을 휘저으며 옆으로 피했다. 자동차가 미사일에 맞아 위로 솟구쳐 오르는 모습이 보였다. 앉아서 보니 거꾸로 뒤집어진 차안에서 아이가 비명을 지르고 있었다.

여기까지다. “오-, 오!”하고 탄성을 뱉으며 HMD를 벗었다. 콜럼버스가 이런 느낌이었을까. 현실로 돌아 오고도 한동안 정신이 혼미했다. 영화 ‘콘텍트’를 보면 여주인공이 웜홀을 통과한 뒤 은하를 바라보며 이런 말을 한다. “시인이 왔어야 했어.” 기자도 비슷한 심정이다. 시인이 왔어야 했다.

 

가상현실에서는 새가 되어 하늘을 날아볼 수도 있다. 버들리 프로젝트를 구상한 맥스 라이너 교수 인터뷰가 114쪽에 실려있다.

객관적인 수치로 표현할 방법 없을까

표현의 한계를 절감하고 절필을 할까 잠시 고민하 다가, 그래도 이 ‘진짜 같은 느낌’을 뭔가 사람들이 알아듣게 표현할 방법이 있을 거라는 생각이 퍼뜩 들었다. 과학기자도 나름 잘하는 분야가 있지 않은가. 시인처럼 아름다운 말은 포기하고, 깔끔하게 숫자로 표현해보자.

일단 여기저기 논문을 뒤져봤다. ‘진짜 같은 느낌’ 을 객관적인 수치로 표현한 연구가 혹시 있을까 했는 데…, 진짜 있었다! 커뮤니케이션학이나 정보통신분야의 학자들이 연구하는 실재감(Presence)이라는 개념이었다. 사람이 물리적으로 한 장소나 환경에 있으면서도 다른 장소나 환경에 있다고 느끼는 주관적인 경험을 실재감(또는 현존감)이라고 부른다. 20여 년전부터 가상현실이 사회적 이슈로 떠오르면서, 학자들도 가상현실에서 사람들이 느끼는 실재감에 대해 연구하기 시작했다. 미 육군 행동사회과학 모의실험시스템 연구소의 밥 위트머와 마이클 싱어는 1998년 사람들에게 실재감을 묻는 설문지를 개발했다. 질문이 24개고 각 7점씩 총 168점 만점인데, 점수가 클수록 실재감이 높다고 할 수 있다.



미 육군은 이 설문지를 가지고 HMD를 썼을 때 실재감이 얼마나 높은지 살펴봤다. 실재감이 높을수록 가상훈련 효과도 좋았다. 헬리콥터 전투원들은 NCM3라는 가상현실 시뮬레이터로 훈련을 받는데, 일반 LCD 화면을 볼 때보다 HMD(시야각 60 , 해상도 1280×1024인 ‘nVisor MH60’)를 착용했을 때 더 표적을 잘 맞췄다. HMD를 썼을때의 실재감이 쓰지 않을 때보다 평균 9% 높았고, 표적 명중률은 18% 향상됐다.

위트머와 싱어 덕에 실재감을 비교적 객관적으로 수치화할 수 있게 됐지만, 설문지에는 한계가 있다. 체험자가 자신이 느끼는 실재감을 과장하거나 축소해서 표현할 수 있다는 점이다. 그래서 설문지 대신 뇌 활성화 정도로 실재감을 측정하려는 과학자들이 있다. 이형래 한양대 의용생체공학과 교수팀은 2006년, 가상현실을 체험할 때는 뇌 특정 부위가 활성화된다는 사실을 발견해 ‘인지과학’ 저널에 발표했다. 뇌기능영상(fMRI)을 촬영한 결과, 실재감이 클수록 인지작용과 관련된 부위인 전대상피질 등이 활성화됐다. 연구팀은 가상현실이 실재와 비슷할수록 어색함이 사라지고 몰입하게 돼 특정 부위가 활성화된 것으로 봤다.




뇌파로 실재감을 측정하려는 시도도 있다. 노기영 한림대 언론정보학부 교수는 작년 6월 사이버커뮤니케이션학보에 발표한 논문에서 실재감이 커질 때 특정 뇌파가 증가한다고 발표했다. 대표적으로, 각성상태일 때 전두엽에서 많이 나오는 감마파(30∼50Hz)와 집중할 때 나오는 베타파(13∼30Hz)가 있다. 특히 뇌의 감각운동 피질에서 나오는 SMR파(12∼15.9Hz)와 Mid-베타파가 증가했다. 실재감을 좀 더 객관적으로 측정할 수 있는 가능성이 열린 것이다.

처음으로 돌아가서, 기자가 체험한 크레센트 베이의 실재감을 수치로 바꾸면 얼마가 나올까. 실재감 설문결과나 뇌 활성화 정도를 찾아봤으나 아쉽게도 아직 발표된 논문이 없었다. 혹시 오큘러스 본사에서 측정한 게 없을까 해서 안주형 오큘러스 한국지사 차장에게 물어봤으나 “공식적으로 측정해서 발표한 자료는 없다”는 답만 들었다. 2012년 등장한 DK1으로 실험한 논문들이 작년부터 나오고 있는 걸 보면, 앞으로 최소 1~2년은 더 기다려야 크레센트 베이의 실재감 수치도 확인할 수 있을 것으로 보인다. 한동안은 시인에게 자리를 양보해야겠다.


PLUS | 우리는 가상현실도 ‘일단’ 현실로 본다?
 

우리는 왜 가상현실에서 실재감을 느낄까. 분명히 실재가 아니라는 걸 아는데 말이다. 이 문제를 진화심리학적으로 해석한 학자들이 있다. 사람들은 강력한 반증이 없는 한 오감으로 들어오는 정보를 일단 사실로 받아들이는 경향이 있다. 이탈리아 파도바대 쥬세페 만토바니 심리학과 교수는 1995년 ‘인간관계’ 저널에 발표한 논문에서 “일단 사실로 받아들이는 게 생존에 유리하기 때문”이라고 말했다. 가상현실이 없던 과거를 생각해보자. 상황에 즉시 반응하는 게 중요하지, 정확성은 그리 중요하지 않았다. 가상현실을 현실로 느끼려고 특별히 노력하지 않아도 우리는 자연스럽게 실재감을 느낀다.

미국 스탠포드대 커뮤니케이션학과의 바이런 리브스 교수와 크리포드 내스 교수가 1996년 발표한 책 ‘미디어 방정식’에 따르면, 우리가 작은 화면보단 큰 화면에서, 정적인 물체보단 움직이는 물체에서 더 실재감을 느끼는 것도 모두 진화의 결과다. 더 크거나 더 빨리 움직이는 물체는 인간에게 위협이 될 수 있으므로 나도 모르게 뇌가 강하게 반응하는 것이다.

테러현장 한복판에 당신이 선다면?

양적인 변화는 질적인 변화를 부른다. HMD를 동반한 몰입형 가상현실은 단순히 과거보다 콘텐츠의 실재감을 높이는 데 그치지 않는다. 강한 실재감을 바탕으로 기존에 겪지 못한 새로운 경험을 사람들에게 선사한다. 대표적으로 최근 등장한 ‘가상현실 저널리즘’이 있다. 실제 사건을 바탕으로 만든 가상현실 속으로 들어가 뉴스를 ‘몸으로 경험’하는 것이다.

가상현실 저널리즘이란 개념을 처음 내세운 미국 기업 앰블러머틱그룹은 최근 다양한 콘텐츠를 공개했다. 시리아 주택가에서 발생한 폭탄 테러를 다룬 ‘프로젝트 시리아’는 시청자들을 테러현장 한복판으로 데려간다. 테러현장의 모습과 당시 사람들의 움직임을 가상현실로 만든 다음, 여기에 당시 찍었던 영상과 소리를 입혔다. 가상과 현실을 섞은 것이다.

체험자는 기존 뉴스를 볼 때보다 감정적으로 훨씬 몰입해 사건을 경험하게 된다. 미국의 흑인 청년 트래이본마틴이 별다른 이유 없이 백인에게 살해당한 사건인 ‘어느 어두운 밤’이나 멕시코 불법체류자가 미국 경찰에게 폭행당해 죽은 사건을 재현한 ‘폭력의 사용’을 경험한 사람들은 소리를 치거나 눈물을 흘리기도 했다. 우리로 치면 세월호 사건을 가상현실로 만들어 침몰하고 있는 배 속의 시공간을 경험하는 것과 같다.





INTERVIEW | “가상현실에서 새가 될 수 있다”- 스위스 취리히 예술대 맥스 라이너 교수
 

실재감을 높인 몰입형 가상현실은 우리에게 어떤 새로운 경험을 선사할까. 맥스 라이너 교수는 지난 1월 세계 최고의 독립영화 페스티벌 ‘선댄스 영화제’에서 새처럼 도시 상공을 날아보는 가상현실 비행 시뮬레이터 ‘버들리(Birdly)’를 선보여 주목받았다(111쪽 사진). 버들리는 HMD로 비행영상을 보는 동시에 높이 1m의 움직이는 기계장치에 수평으로 엎드려 온몸으로 새가 된 느낌을 받을 수 있다. 4월 30일 서울 코엑스에서 열린 ‘CT(Culture Technology) 포럼 2015’에 참석하러 한국을 찾은 맥스 라이너 교수를 만났다.

Q. 이전에도 가상현실 비행시뮬레이터는 많았다. 버들리가 유독 인기를 끈 비결은?
A. 사용자가 감정적으로 몰입할 수 있어서다. 기존 비행기 시뮬레이터는 복잡한 기계를 조종하는 데 집중해야 했다. 여유롭게 즐기다간 사고 난다. 버들리는 훈련을 받아야만 탈 수 있는 기계가 아니다. 30초면 직관적으로 이해할 수 있다. 새처럼 양팔을 퍼덕여 날갯짓을 하면 떠오르고, 몸을 기울이면 방향을 틀 수 있다.

Q. 체험하는 사람들이 진짜 새가 되어 하늘을 나는 것 같은 실재감을 느낀단 말인가.
A. 실재감이 커서 공포감을 느끼는 사람도 있다. 높은 곳에 떠 있는 것 같으니까. 어릴 때부터 하늘을 나는 꿈을 꿔 왔는데, 그 꿈을 이뤘다고 말하는 사람들도 있었다. 감각적이고 강렬한 경험이다.

Q. 사실 우리는 새라는 동물이 날면서 어떤 경험을 하는지 알 수 없다. 인간의 인지범위를 벗어나니까. 그래서 실재감이 있다는 말도, 새 입장이 아니라 ‘인간이 상상하는 새의 비행’이라는 측면에서 실재감이 있다고 봐야 하지 않나.
A. 맞다. 그래서 비행 배경도 도시의 빌딩이다. 인간이 가장 익숙하고 잘 아는 공간이 도시니까. 우리 머리 위바로 10m에서 비행하도록 했다. 평소에도 충분히 상상하고 꿈꿔볼 수 있는 경험을 주기 위해서.

Q. 시뮬레이터를 개선하면 실재감을 더 크게 느낄 수 있지 않을까? 예를 들어 아래로 떨어질 때 가속도를 느끼게 한다거나.
A. 지금도 일부 사람들이 멀미와 공포감을 느낀다. 밑으로 10~20°만 고개를 숙여도 머리에 피가 쏠려서 오래 지속할 수 없다. 한계가 있다.

Q. 버들리를 타 본 사람만이 얻을 수 있는 변화는?
A. 2차원에 묶여 있던 사람들이 3차원을 느끼게 됐다. 비싼 돈 주고 항공기를 사지 않아도, 오랜 기간 훈련받지 않아도, 자기가 원하는 방향으로 자유롭게 날 수 있다. 궁극적으로 이동의 자유가 생긴 거다. 과거 자전거라는 새로운 이동수단이 등장해 여성의 인권향상에 기여했다. 더 이상 남편의 차에 의존하지 않아도 됐기 때문이다. 움직임은 자유와 관련이 크다. 손쉬운 3차원 경험은 사람들에게 자유와 상상력을 줄 것이다.

미국 스탠포드대 애넌버그 커뮤니케이션스쿨의 이관민 교수가 2004년 발표한 보고서에 따르면 실재감은 7가지 효과를 일으킨다. 가상현실 저널리즘에서처럼 각성을 일으켜 반응수준을 높이며, 사람에게 즐거움이나 흥미를 느끼게 하고, 기억을 증가시킨다. 또 콘텐츠가 주는 메시지의 설득력을 높인다. 미 육군의 사례처럼 작업능력을 향상시키거나 기술을 빨리 배우 게도 한다. 반면 노출된 자극에 심리적 둔감화를 불러 일으키고, 지나친 몰입으로 두통이나 안구피로가 생기는 등 부작용도 있다.

가상현실의 실재감이 기억을 회상시키는 점에 초 점을 맞춰 최근 새롭게 등장한 치료기법도 있다. 외상 후 스트레스장애(PTSD)를 치료하려면 일단 환자가 당시 기억을 생생히 더듬어 내야 한다. 그런데 그 과정 이 고통스러워 환자는 의식적으로 기억회상을 거부 한다. 미국 서던캘리포니아대 정신과 전문의 스킵 리 초 박사는 이라크 및 아프가니스탄 참전용사를 위한 가상체험 치료시스템을 개발했다. 환자는 중동지역 을 배경으로 10가지 정도의 가상 시나리오를 경험하 며 자연스럽게 당시 기억을 떠올린다. 연구팀은 전투 화가 자갈을 밟는 소리, 군인들의 농담, 현지에서 들 을 수 있는 새소리 등을 삽입해 현실감을 높였다.

정반대로 기억 회상을 방해하는 데에도 가상현실 이 쓰이기도 한다. 화상 환자들은 상처부위를 치료할 때 종종 화상 당시 기억을 떠올린다. 이 경우 고통은 더 커진다. 미국 워싱턴대 하버뷰 화상센터에서는 눈 밭으로 뒤덮인 가상현실을 보면서 치료를 받으면 고 통을 줄일 수 있다는 점을 발견했다. 가상현실에서 느 끼는 실재감이 클수록 기억, 고통, 감정과 관련있는 후 대상피질이 활성화되면서 가짜 기억(눈밭)이 떠오르 기 때문이다. 그것도 HMD로 보면 일반 화면으로 볼 때보다 두 배 이상 효과가 좋았다. 뇌졸중 환자에게도 HMD로 가상현실을 경험하게 하면, 죽어있던 운동뉴 런을 재생하는 데 도움이 된다.

가상현실의 등장을 가장 반기는 곳은 산업계다. 미 국 월트디즈니사는 HMD를 쓰고 디즈니랜드를 체험 하는 가상현실 테마파크를 준비 중이다. 유터버스사 는 체험형 포르노 콘텐츠를 개발했고, 포스트미디어 사는 가상현실 여행 콘텐츠를 개발해 본격적인 시장 경쟁에 뛰어들었다. 게임업계는 HMD의 가장 큰 무대 이자 수혜자다. 애플의 앱스토어 같은 콘텐츠 시장인 ‘오큘러스 쉐어’에는 벌써 가상현실 게임 콘텐츠가 약 300여 개 올라와 있다. 기자가 만났던 취재원들은 대 부분 10년 안에 HMD가 지금의 스마트폰 자리를 차 지할 것이라고 내다봤다. 지하철에서 너나할 것 없이 HMD를 보고 있을 거란 말이다. 어떤 혁명적인 변화 가 생길까. 상상하는 사람이 새로운 세상의 주인이 될 것이다.

          과학동아