"가상현실과 증강현실이 인간 능력을 강화시킬 것"...디지털 식스센스 시대

4차 산업 혁명이 인류를 ‘신세계(新世界)’로 안내하고 있다. 인공지능과 클라우드가 모든 산업의 근간을 뒤흔들고 5세대 통신이 현실과 가상현실(VR)의 경계를 무너뜨린다. 인간 두뇌와 컴퓨터를 연결해 정보를 주고받는 기술도 진화를 거듭한다. 200억개가 넘는 사물의 연결, 급속한 클라우드화, 일상화된 인공지능, 가상화폐와 가상현실의 보편화 등이 특징인 고도의 정보화 사회가 성큼 다가온 것이다. 조선비즈 특별취재팀은 전 세계 곳곳을 돌아다니며 4차 산업 혁명이 이끄는 고도의 정보화 사회, 이른바 ‘매트릭스(matrix)’로 불리는 세계를 집중적으로 취재했다. 진화의 방향을 알면 우리의 대응 방법이 보이기 때문이다. 

<제1부 극단의 기술 융합 > ② "가상현실과 증강현실이 인간 능력을 강화시킬 것"...디지털 식스센스 시대

지난 5월 18일(현지시간) 미국 샌프란시스코 유니티(Unity) 본사. 유니티는 게임 개발에 필요한 3차원(3D) 그래픽 엔진(도형 및 영상 처리 기술)을 개발하는 회사다. 토니 패리시(Tony Parisi) 유니티 글로벌 총괄(VR·AR 전략 부문)이 기자를 건물 지하로 안내했다. 지하실에는 다양한 가상현실(VR) 콘텐츠를 체험할 수 있는 공간이 마련돼 있었다.

▲ 기자가 직접 유니티 본사 VR 룸에서 VR 콘텐츠를 시연해보고 있다. 시연하는 프로그램은 틸트 브러시로 3D 그래픽 아트 프로그램이다. 360도 전체 공간을 활용해 3D로 그림을 그리고 창작자들은 이 결과물을 전시하거나 다른 프로그램에 사용할 수 있다. /샌프란시스코=김범수 기자

“번쩍”

기자가 미국 오큘러스리프트가 제조한 가상현실 헤드셋을 착용하자, 콘크리트 벽들이 순식간에 ‘블루 스크린’으로 변했다. 영화 ‘매트릭스’의 주인공 네오가 ‘기계의 신’을 만나기 위해 찾아간 장소와 비슷했다. 영화에서는 모든 벽이 모니터에 둘러싸인 것처럼 묘사된다. 기자의 손에 있었던 컨트롤러(조종기)는 어느 새 ‘라켓'으로 변해 있었고 좁은 지하 공간은 실제 스쿼시 코트처럼 광활해졌다.

기자는 눈 앞에 뜬 공을 치기 위해 팔에 잔뜩 힘을 줬다. PC게임이나 모바일 게임에서 캐릭터를 조종하는 것과는 차원이 달랐다. 온 몸을 이용해 공을 쳐야 목표하는 곳에 공을 보낼 수 있었다. 라켓을 몇 차례 휘두르자 다리와 팔 근육이 뻐근해졌다.

“가상현실(VR)이라고 하든, 증강현실(VR)이나 혼합현실(MR)로 부르든 용어 자체보다 더 중요한 것은 ‘실시간 3D 그래픽 시대’가 열렸다는 점이죠. 현실과 완벽하게 결합하는 실시간 3D 그래픽은 인간의 능력을 무한대로 확장시켜 우리의 삶에 엄청난 변화를 몰고 올 겁니다.”

패리시 유니티 총괄은 “스마트폰이 우버, 에어비앤비 등을 등장시킨 것 이상의 효과를 VR과 AR이 가져올 것”이라고 단언했다.

▲ 토니 패리시 유니티 VR·AR 전략 총괄이 VR 기기를 시연해 보이고 있다. 그는 VR과 AR, MR 등이 실제 인간 생활 영역에 큰 변화를 가져올 것이라고 내다봤다. /샌프란시스코=김범수 기자

◆ 인간의 학습 능력 ‘점프’

VR·AR이 인간의 능력을 확장시킬 수 있다는 점은 같은 날 샌프란시스코에서 약 60㎞ 떨어진 마운틴뷰의 쇼어라인앰피시어터에서 열린 구글 연례 개발자 행사(구글 I/O)에서도 확인할 수 있었다.

학생들이 스마트폰 ‘레노버 팹2 프로(Phab2 Pro)’와 아수스의 ‘젠폰(Zenfone)’를 이용해 스마트 교과서를 열고는 크고 작은 탄성을 내질렀다. 이 2개 폰에는 구글의 AR 플랫폼 ‘탱고'가 탑재돼 있다. VR은 자신(객체)과 배경·환경 모두 현실이 아닌 가상의 이미지를 사용하는데 반해, AR은 현실의 이미지나 배경에 3D 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이다.

▲ 탱고 플랫폼이 탑재된 스마트폰으로 교실에서 화산이 폭발하는 모습을 공유할 수 있다. /구글 제공

학생들이 스마트폰 카메라를 책상에 비추자 3D 그래픽으로 된 산(山)이 책상 위에 나타났다. 학생들의 위치는 제각각이었고 산도 책상마다 나타났다. 책상 위에 우뚝 선 산은 갑자기 마그마가 분출하는 활화산으로 바뀌었다. 3D 그래픽이었기 때문에 다양한 각도에서 산의 변화를 살펴 볼 수 있었다.

클레이 베이버 구글 부사장은 학생들이 VR과 AR 기술을 활용해 시공간을 뛰어넘는 학습 사례를 하나 더 소개했다. 가령, 미국 국립 자연사 박물관에서 거대한 공룡의 뼈를 스마트폰으로 비추면 티라노사우르스, 트리케라톱스 등 공룡이 스마트폰에 나타난다.

▲ 클레이 베이버 구글 VR·AR 부문 부사장은 지난 5월 구글 I/O 당시 아시아 기자들과 직접 만나 비전 컴퓨팅이 디지털 정보를 실제로 경험하게 해 현실에 영향을 미칠 것이라는 비전을 제시했다. /마운틴뷰=김범수 기자

그는 “VR과 AR는 정보나 지식을 사용자가 실제로 경험할 수 있게 해준다”며 “이건 현실 세계와 디지털 세계가 결합하는 시대가 개막했다는 의미"라고 말했다.

실제로 일본 항공사 JAL은 마이크로소프트의 ‘홀로렌즈’를 활용해 조종사와 엔지니어 교육을 실시한다.
홀로렌즈는 머리에 쓰는 디스플레이 장치(Head Mounted Display)로 고글처럼 생겼다. 오큘러스 리프트나 HTC 바이브와 같은 기기가 시야를 완전히 차단하는 별도의 디스플레이를 통해 VR을 구현하는 방식이라면, 홀로렌즈는 반투명한 디스플레이를 통해 사용자의 주변 환경을 볼 수 있도록 했다는 점이 다르다. 전면부에 센서가 탑재돼 있어 공간과 주변 사물을 인식한다.

홀로렌즈를 착용하면, 모의 훈련 장소가 실제 조종석으로 바뀌고 창문 너머로 활주로와 하늘이 보인다. 예비 파이럿들은 이·착륙 테스트까지 할 수 있다. 엔지니어의 경우, 홀로렌즈를 통해 비행기의 내부 구조를 훤히 들여다보고 부품의 정보도 확인한다. 마이크로소프트는 현실세계에 가상정보를 더하는 AR을 넘어, 현실과 가상현실을 자연스럽게 합성하고 서로 상호작용까지 한다는 의미로 MR의 시대가 왔다고 주장하고 있다.

▲ 일본 항공사 JAL은 MS의 홀로렌즈를 도입해 항공기 운항 교육을 하고 엔진을 3D로 구현해 엔지니어들을 교육한다. 단순히 모습을 재현하는 것이 아니라 특정 부분을 표시해 어떤 기능을 하는지 정보도 제공한다. /MS 제공

◆ 페이스북과 삼성전자의 야심…“식스센스 시대 선점하겠다”

마크 저커버그 페이스북 창업자는 2014년 가상현실 기기를 만드는 오큘러스를 인수하는 데만 2조원을 투자하는 등 VR과 AR에 회사의 미래를 걸고 있다. 그는 2015년 2분기 실적 컨퍼런스에서 “VR은 사람들의 생각을 공유하는 플랫폼이 될 것이다”라고 선언하며 오큘러스를 사업의 핵심 플랫폼으로 육성할 의지를 나타냈다.

또 지난 4월에 열린 페이스북 개발자 콘퍼런스 ‘F8’에서는 “VR과 AR 기술 덕분에 해외에 있는 친구와 바로 옆에 있는 것처럼 이야기를 나눌 수 있다”면서 “물리적인 것들이 더이상 물리적일 필요가 없게 된다면, 참으로 경이로워질 것”이라고 말했다.

저커버그는 “AR 기기가 TV나 스마트폰 같은 기존 IT기기까지도 대체할 것"이라며 ‘AR 안경’을 개발하는 데 박차를 가할 뜻을 내비쳤다. 그는 “효율적이고 자연스러운 방식으로 사용자의 시각과 청각을 증강하는 연구를 강화하고, 안경 형태 기기로 가상 이미지를 현실 세계에 투영해 주는 ‘시스루(see-through)’ AR 기술 개발에 나설 것”이라고 말했다. AR 안경만 있으면 언제 어디서나 원하는 동영상을 볼 수 있고 유명 박물관과 미술관의 작품을 감상할 수 있는 등 그야말로 디지털 세계와 현실 세계의 경계가 사라진다는 것이다.

▲ 프라나브 미스트리가 식스 센스 관련 기기를 테스트 중이다. /테드(TED) 캡처

VR과 AR을 통해 거의 모든 물리적 장벽의 방해없이 디지털 세계와 현실 세계가 상호작용하는 소통 혁명을 준비하는 기업이 또 있다. 바로 삼성전자다. 인도 출신의 천재 과학자 프라나브 미스트리(Pranav Mistry·36)가 지난 6월 삼성전자 (2,607,000원▼ 17,000 -0.65%)최연소 전무급 타이틀을 달았다. 그는 미국 실리콘밸리의 삼성 리서치 아메리카(SRA)에서 SVP(Senior Vice President, 전무)로 승진했다. 그는 MIT 미디어랩, 마이크로소프트, 구글, 미국 항공우주국(NASA) 등을 거쳐 2012년 삼성전자리서치아메리카(SRA) 연구위원으로 합류했다.

그는 MIT 연구원으로 재직하던 시절, ‘식스 센스(Sixth Sense·비범한 인지능력)’라는 주제로 TED인도(Technology·Entertainment·Design) 발표자로 나섰다. 그는 기존에 물리적 한계로 인간이 느끼지 못했던 감각을 기계와의 상호작용으로 구현하는 기술에 대해 소개해, VR과 AR 비전을 제시했다. 실제로 그는 삼성전자에서 360도 VR 카메라를 개발했으며, ‘식스센스’ 개념에 기초한 새 인터페이스를 개발 중이다.

◆ 현실 세계-디지털 세계의 상호 작용 결과는…”매트릭스와 현타 사이"

현실 세계와 디지털 세계가 완벽하게 상호작용하면 어떤 일이 일어날까. 내가 나비가 된 것인지, 나비가 내가 된 것인지 모를 21세기 판 ‘호접몽(胡蝶夢)’의 단면은 일본 도쿄 한복판과 미국 캘리포니아 실험실에서 확인할 수 있었다.

지난 7월 22일 오후 12시 일본 도쿄 아키하바라. 일본 성인용 비디오·콘텐츠 제작사 ‘소프트 온 디맨드(SOD·SOFT ON DEMAND)’는 한국으로 따지면 용산전자상가인 아키하바라에 ‘SOD VR 방’을 운영하고 있다. SOD VR은 한국에서는 이른바 ‘우동’이라고 불리는 ‘VR 야동(야한 동영상)’을 보는 곳으로 알려져 있다.

SOD VR 직원은 기자에게 “방 하나당 한 명이 들어가서 VR을 감상할 수 있다”며 한글로 된 이용설명서와 USB 잠금키, VR 금고 비밀번호, 남성용 자위기구, 물티슈를 건네줬다. USB 키로 컴퓨터 잠금을 풀고 비밀번호를 금고에 맞추면 VR 헤드셋을 꺼낼 수 있다. 이후 컴퓨터에 접속해 ‘SOD VR’(2D)과 ‘SOD 3D VR’을 선택해 감상하면 된다.

▲ VR 영상 재생 화면 / 도쿄=이다비 기자

VR 영상인 만큼 일반 PC 성인용 동영상보다 몰입감이 강했다. VR 헤드셋을 착용하니 ‘나와 그녀’ 둘만이 있다는 기분이 들었다. VR 영상에 등장하는 사람은 실제 사람 크기와 같았고, 손짓 하나도 실감이 났다. 3D인만큼 원근감도 느껴져 손을 뻗으면 닿을 것 같은 느낌도 들었다.

3D 영상은 실제 사람 크기와 같았다. 3D 영상은 손을 뻗으면 손을 잡아줄 듯한 느낌도 들었다. 한 남성 이용자는 “VR 영상 몰입감이 강해, SOD VR방 퇴실할 때 나도 모르게 (방금 전과는 달리) 현실에서 여자가 없다는 ‘현타(욕구 충족 이후에 오는 현자타임의 준말)’가 왔다”고 후기를 전했다. 고령화 사회로 진입한 일본에서는 고령층의 성욕 해소와 몸이 불편해 성 활동에 제약을 받는 장애인의 성욕 해소의 해결책으로도 VR이 떠오르고 있다.

‘현타(현실세계)’에서 심각한 스트레스를 받던 사람이 ‘매트릭스(가상세계)’의 경험을 통해 심리적 치유를 받는 연구도 속속 진행되고 있다. 미국 캘리포니아주의 서던캘리포니아대학(USC)은 현재 VR을 이용한 외상 후 스트레스 장애(PTSD) 치료를 연구 중에 있다. 참전 당시 다리를 잃은 군인의 정신적인 상처를 치료하기 위해서 가상에서 걷는 경험을 통해 마음의 상처를 극복하는 것이다. PTSD에 가장 효과적인 치료로 증명된 ‘지속 노출 치료’를 VR로 구현할 수 있다. 이밖에도 실제로 경험하지 못하는 세상을 가상현실로 시뮬레이션하면 트라우마를 극복하게 하는 효과를 거둘 수 있다.

▲ 캐나다 군인인 조디 미틱(Jody Mitic)은 참전 당시 두 다리를 잃었다. 사진은 그가 USC의 치료 프로그램을 테스트하는 모습. /USC 영상 캡처

토니 패리시 유니티 총괄은 “가상현실이 뇌에 다양한 영향을 줄 수 있지만, 부정적인 영향보다는 긍정적인 영향이 더 많을 것”이라면서 “영화 ‘매트릭스’처럼 가상 세계의 도움으로 인간의 치유와 잠재력을 끌어올릴 수 있을 것”이라고 말했다.
조선일보