Trends Analysis on Virtual Reality

가. 출력 기술

출력 기술은 정보를 인지하는 기본 감각인 시각을 통한 정보전달을 위한 가상현실 및 증강현실의 핵심 기술로, 영상 출력 인터페이스 기술로 발전하고 있다.

임장감(Presense)과 몰입감(Immersion)은 시각을 통해 효과적으로 향상될 수 있으며, 가상현실의 어지러움과 모션블러 현상을 제거하기 위해 해상도 향상 및 성능을 향상시키는 방향으로 기술이 발전하고 있다[<표 3> 참조]. 가상현실 기술에서 가장 중점적인 연구개발이 이루어지고 있는 분야로 HMD와 Augmented Reality(AR) Glass, 공간 프로젝션, 홀로그램 등의 기술로 구분된다.

<표 3>

가상현실 디스플레이 성능개선 사례

HMD는 머리에 착용하는 디스플레이로 넓은 시야각(Field of View)으로 몰입감을 향상시키며, 좌우 양안 시차를 이용하여 입체감을 표현하는 스테레오스코픽(Stereoscopic 3D)방식을 주로 사용한다. 스테레오스코픽은 좌우에 깊이감을 표현할 수 있는 영상을 투사하여 입체감을 표현하는 방식이다. AR Glass는 실사와 가상을 결합하는 증강현실을 목적으로 투명 패널에 편광을 이용하는 방식과 투과형 디스플레이로 구현된다.

나. 음향 기술

음향 기술은 시각과 함께 콘텐츠를 인지하는 기본 감각인 청각을 통한 정보전달 기술로 시점 이동에 따른 입체표현과 임장감 및 몰입감 극대화를 위한 3D 실감음향 기술로 발전하고 있다. 3D 실감음향 기술은 영상객체의 움직임, 사용자의 움직임 등을 실시간으로 예측함으로써 음향에 방향성을 부여하고 임장감 및 몰입감을 향상시키는 음향기술이다. 3D TV 등 3D 입체영상 콘텐츠의 대중화에 따라 입체감을 표현하는 3D 실감음향 기술이 발전하고 있으며, 가상현실은 사용자의 움직임과 상호작용에 방향성을 표현하는 3D 실감음향 표현이 필수적인 요소이다. 3D 실감음향은 크게 헤드폰 방식과 스피커 방식 두 가지로 구분된다. 헤드폰 방식은 음향 출력 공간 제어가 가능하므로 3D 실감음향 표현이 용이하며 HMD 기기와 일체형이거나 연결 방식으로 제공되며, 스피커 방식은 공간 내 음향 출력을 움직임에 따라 제어하는 기술로 개발에는 어려움이 있으나 헤드폰 방식 대비 입체감이 뛰어나 향후 홀로그램 등 무안경 방식 3D 입체표현 및 가상현실 기술 발전과 더불어 사용자가 착용하지 않는 음향 기술 수요가 증가할 것으로 전망된다.

다. 오감 기술

오감 기술은 가상현실 콘텐츠의 실감성과 몰입감 향상을 위해 촉각·후각·미각 기관 등 오감을 자극하여 정보를 전달하는 인터페이스 기술로 발전하고 있다.

촉감 및 역감 등을 포함하는 촉각 인터페이스(Haptic)는 스마트폰의 진동 표현이 대표적 사례이며, 진동 강도와 패턴으로 입체감을 표현하는 수준으로 진화하고 있으며, 물체의 접촉을 통한 촉각 이외에도 압축공기를 이용한 택타일(Tactile) 인터페이스 개발 등 감각을 확장하는 기술도 등장하고 있다. 디즈니 연구팀에서 개발한 에어리얼(Aireal)은 인터페이스 장치로부터 대상(사용자의 손 또는 얼굴)까지의 거리를 계산하여 링 형태의 압축 공기를 분사함으로 촉각을 느끼게 하는 기술이다.

후각, 미각과 같은 화학적 감각기관은 감각전달체계가 복잡하며 화학적 감각표현을 위한 원천기술 개발이 선행되어야 하며, 콘텐츠의 입출력 인터페이스 적용을 위해서는 장기적인 연구가 필요하다. 공간에서 후각 전달 제어 및 미각 전달이 어려워 초기 프로토타입 형태로 사용자가 착용하는 인터페이스 형태로 개발되고 있다[<표 4> 참조].

<표 4>

오감을 자극하는 인터페이스 사례

라. 모션 기술

모션 기술은 가상현실과 접목되어 적절한 모션을 제공하여 사실적인 체험을 극대화할 수 있는 기술로, 향후 공간과 비용이 최소화된 새로운 형태의 차세대 모션 플랫폼으로 발전이 예상된다. 차세대 모션 플랫폼은 탑승라이딩 디바이스를 전후좌우로 움직이는 기계공학적 기술로 움직임 자유도에 따라 3DOF, 6DOF로 구분된다.

가상현실과 접목하여 뇌를 속이는 실감의 단계에 머물지 않고 실제 모션을 체험할 수 있는 체감 융합형 모션 플랫폼으로 발전되고 있다. 그 예로 광시야각 HMD, 바람 체감, 입체 음향과 함께 가상현실 영상과 동기화된 모션이 제공되는 가상현실 융합형 모션 플랫폼이 개발되고 있다[<표 5> 참조].

<표 5>

가상현실 융합형 모션 플랫폼 사례

마. 입력 기술

입력 기술은 가상현실의 상호작용을 실현하기 위한 인식기능이며, 직관적인 인터페이스 활용을 위한 Natural User Interface(NUI) 방식으로 진화하고 있다.

상호작용 인터페이스는 단일 기능을 이용하는 방식에서 음성, 동작 등 복수 기능을 복합 활용하는 멀티모달 형태로 진화하고 있다. 기기 활용에 따라 주가 되는 입력 방식은 다르나, 자연스러움과 편의를 중심으로 몰입감과 실감성을 향상시킬 수 있는 기술이 개발되고 있다.

동작인식 기술은 움직임과 동작을 추적하여 사용자의 의도를 파악하는 것이 핵심 기술 요소이며, 보다 정밀한 추적을 위해 3D 센싱 기술 등을 활용한다. 3D 센싱은 추적 부위에 따라 Body, Head, Hand, Eye Tracking 등 카메라를 이용하여 배경과 사람을 분리하고 3D 공간 정보를 제공하는 기술이다. 특히 카메라 영상을 분석하여 동작을 인식하는 기술이 기본이며, 공간에서의 움직임을 인지하기 위해 Depth 카메라를 주로 사용한다. Depth 카메라는 구조광패턴(Structured Light Pattern), 스테레오 비전(Stereo Vision), Time of Flight(ToF) 기술을 이용한다[<표 6> 참조]. 마이크로소프트의 키넥트는 IR 구조광 패턴(Kinect V1)과 ToF(Kinect V2)를 이용하여 공간의 움직임을 인식하고, 립모션은 스테레오 비전을 이용하여 공간의 움직임을 인식한다

<표 6>

3차원 센싱기술 종류별 원리

가. 초기 생태계

Virtual Reality(VR)은 디바이스로부터 콘텐츠에 이르기까지 복합적으로 연결된 생태계형 산엄으로 기술의 완성도 향상이 필요하고 시장 또한 본격적으로 조성되지 않아 기술개발 중심으로 생태계가 조성되는 단계이다.

CPND 가치사슬 중 디바이스의 기술개발 경쟁이 가장 치열하여 다양한 유형의 디바이스가 시도되는 단계로, 특정 기업에 의해 산업이 주도되지 못하고 있으며, 기술의 완성도와 경쟁력 확보 등 초기 생태계 주도권을 확보하기 위해 기업 간 협업이 활발하게 진행되고 있다. 삼성전자는 오큘러스와 함께 기어 VR을 개발하였고, HTC는 글로벌 게임 유통사인 밸브코퍼레이션과 함께 스팀VR 플랫폼과 하드웨어인 Vive를 개발하였다.

기업 간 협업은 국가 간 경계를 넘어 주력 분야를 앞세워 취약점을 상호보완하는 협력관계가 형성되고 있으며, 산업의 생태계를 좌우하는 플랫폼은 스마트·모바일플랫폼 주도권을 가상현실로 확장하려는 시도와 PC콘솔 플랫폼 주도권을 가상현실로 확장하려는 시도가 계속되고 있다. 특히 가상현실의 광범위한 활용 가능성으로 다양한 유형의 콘텐츠가 실험적으로 시도되고 있으며, 주로 게임과 360도 영상 콘텐츠를 중심으로 이용자를 확보할 수 있는 콘텐츠 출현이 예상된다.

나. 융복합 생태계

가상현실을 실현하는 핵심 ICT는 물론, 다양한 분야에서의 융합 가능성으로 다학제적 요소가 융합·;결합하는 생태계 특성을 가지며, 실재하지 않는 실감성과 몰입도 향상을 위해서는 기술과 인접 학문 간 융·복합이 필수적으로 요구된다. 특히 인간의 경험을 습득하는 생체 인지적 특성과 가상현실의 경험에 따른 심리에 대한 분석이 중요하게 부각될 것이며, 가상현실이 인체에 미치는 영향과 부작용이 방지될 수 있도록 가상현실 콘텐츠의 휴먼팩터의 선행적 연구가 필요하다.

다. 혁신 생태계

창의적인 기술과 아이디어를 갖춘 소규모 개발조직이 산업 발전의 중추적 역할을 하는 혁신 생태계 특성을 보이며, 근래의 가상현실 산업은 미국 스타트업이 개발한 오큘러스 리프트에 의해 촉발되는 등 조직 규모보다는 혁신성이 산업을 주도하는 핵심 경쟁력으로 작용된다. 오큘러스 리프트는 2012년 킥스타터 크라우드 펀딩에서 1개월만에 240만 달러의 투자를 이끌어내어 2013년 개발자 버전을 출시하였고, 2014년 페이스북에 인수된 이후에도 독립적인 운영이 보장되고 있다.

가상현실 표현과 UI/UX 등 기술이 표준화·획일화 되지 않은 상태로 창의적 기술에 의한 스타트업 생태계 진입이 가능하다. 동작인식 기술은 트레드밀, 글러브, 바디슈트 등 생체인식이나 햅틱 등 다양한 아이디어와 접근 방식이 시도되고 있다. 또한, 아이디어 혁신성으로 크라우드 펀딩과 VC 등의 경로를 통해 자금 조달이 가능하며, 글로벌 기업과 인수·합병이 활발하게 진행되고 있다. 오큘러스, 사이버리스, 버툭스옴니 등은 크라우드 펀딩으로 자금을 조달하였으며, 오큘러스와 매직리프는 각각 페이스북과 구글로 인수 및 투자를 유치하는데 성공하였다. 특히 크라우드 펀딩은 자금 조달 이외에도 산업적 이슈화가 가능하여 가상현실의 산업의 활성화와 시장 조성에 주요하게 기여할 것으로 예상된다. 글로벌 기업은 혁신적 기술과 아이디어를 갖춘 스타트업을 인수하여 단시간 내에 주도기업으로의 경쟁력을 확보하고 있다. 구글은 증강현실 번역앱 개발사인 ‘Quest Visual’와 가상현실 오디오 솔루션 개발사인 ‘Thrive Audio’, 콘텐츠 개발사 ‘Skillman & Hackett’ 등을 인수하였다.

가. 콘텐츠

가상현실 생태계에서 글로벌 기업과 플랫폼 사업자는 디바이스 및 플랫폼 SDK를 공개하고 다수의 콘텐츠 기업이 가상현실 콘텐츠를 제작하고 개발하여 공급될 것으로 전망된다. 초기 가상현실 산업은 게임과 영상 등 엔터테인먼트 위주의 서비스가 형성되고, 이후 교육이나 의료 등 타 산업으로 확대될 전망이며, 가상현실 콘텐츠를 제작하고 개발하는 저작도구는 PC나 모바일 3D 게임의 영향으로 다수의 개발자를 확보하고 있는 유니티와 언리얼 등 게임엔진이 주도하고 있다.

나. 플랫폼

가상현실 생태계를 좌우할 핵심요소로 관측되며 구글, 페이스북, 애플 등 글로벌 기업이 플랫폼 주도권을 확보하기 위해 경쟁하고 있다. 특히 스마트폰 운영체제를 확보한 구글, 애플은 기존 플랫폼을 가상현실까지 확장하는 전략으로 디바이스 기업과 협력하거나 신기술을 보유한 기업을 인수하는 등 기술확보에 집중하고 있다. 삼성전자, 마이크로소프트, 소니 등은 사용자에게 가상현실의 새로운 경험을 제공하여 플랫폼을 비롯하여 자체 생태계를 확보하기 위한 전략을 추진하고 있다.

다. 네트워크

가상현실은 기존 콘텐츠 서비스에 비해 막대한 데이터 트래픽을 유발하므로 5G 등 기가인터넷 기술이 필수적인 요소이다[<표 7> 참조]. 가상현실 게임이나 영상의 모션블러(Motion Blur) 현상을 최소화하기 위해서는 초당 75Hz 이상의 주사율이 필요하다. 또한, 360도 영상과 4K 이상 고해상도 영상 등 데이터량 증가에 따른 기하급수적인 인터넷 트래픽 증가가 예상된다. 미국 연방통신위원회(FCC)에 따르면 이러한 상황에 대비해 미래에는 25Mbps의 광대역 네트워크가 요구될 것으로 예측하고 있고, 현재의 급속한 가상현실 시장 확산 정도에 의하면 향후 인터넷 트래픽 문제는 더욱 심각할 것으로 예상된다[2].

<표 7>

가상현실 기술과 생태계 구분

라. 디바이스

가상현실 디바이스는 이용자에게 직접적으로 가상현실 콘텐츠를 제공하는 디스플레이나 HMD를 비롯하여 상호작용을 위한 센서 등이 있다.

전세계 HMD 제품은 2015년 2.7백만 대에서 2016년 14.9백만 대로 약 5배 정도 증가하며, 2018년에는 38.8백만 대까지 확대될 전망이며[3], 상호작용을 위한 기타 디바이스 컨트롤러를 위한 센서, 장갑, 조끼 등의 정밀도 및 프로세서의 성능 향상이 필요하다.

가. 페이스북

페이스북은 가상현실을 촉발시킨 오큘러스사를 20억 달러에 인수하며 주력 사업으로 추진하고 있으며, 향후 10년간의 로드맵 발표(F8, ‘16.4)에서 향후 3년 정도의 시간에 자체 생태계를 안착시키는데 주력할 예정이다. 이후 2년 동안 동영상, 메신저, 그룹, 와츠업, 인스타그램을 강화하여 생산성을 향상시키고, 5년여의 시간에 걸쳐 연결성(Connectivity), 인공지능(AI), 가상현실(VR)·증강현실(AR) 등을 완성시킬 계획을 추진 중이며, 특히 가상현실 생태계 형성을 위해 소셜VR, 모바일VR, 증강현실(AR)에 주력하며, 오큘러스를 활용하여 영화, TV, 게임, 교육, 업무용 미팅 등에 몰입형 3차원 경험을 제공하기 위한 차세대 플랫폼 전략을 추진하고 있다[9].

나. 구글

구글은 자사의 본질적인 비즈니스 모델인 광고시장에서의 영향력 확대를 위해 오픈소스 소프트웨어 플랫폼을 확대하여 생태계 확장과 주도권을 확보하는 전략에 주력하고 있으며, 가상현실 대중화에 기여한 카드보드는 설계도를 공개하여 누구나 쉽게 스마트폰을 HMD로 활용하는 방법을 제시하고 있다. 2016년 구글 개발자 회의에서 차기 안드로이드(Android N)에 통합되는 VR 플랫폼인 데이드림을 발표하고, 카드보드보다 월등한 성능의 VR HMD가 시장에 출시될 것을 발표하였다. 또한, 구글은 이미 유투브에서 360도 영상 서비스를 제공하고 있으며, 360도 라이브 방송까지 확대하여 제공하고 있으며, Google Advanced Technology and Project Group(ATAP)에서는 360도 영상에 맞는 다양한 스토리텔링을 시도하며 유명 헐리우드 감독과 VR 영화인 ‘Help’를 제작하여 공개하는 등 가상현실 콘텐츠 제작도 적극적으로 추진하고 있다[<표 10> 참조].

<표 10>

3차원 센싱기술 종류별 원리

다. 소니

소니는 전 세계 콘솔게임 시장에서의 절대적 지위를 이용하여 게임콘솔과 연동하는 HMD(PS VR) 출시 예정이며 2014년 Game Developers Conference(GDC)에서 HMD 시제품을 공개하였으며, 2015년 GDC에서 두 번째 프로토타입을 공개하였고, 2016년 GDC에서 상용화 버전 출시를 발표하였다.

PSVR은 오큘러스와 같이 시야가 차단되는 HMD 타입이며, 자사의 플레이스테이션과 연결하여 콘텐츠를 이용하는 방식으로, 4K 해상도를 지원하고 PSVR 콘텐츠를 이용할 수 있는 PS 4.5(현재는 PS4)가 2017년에 출시될 것으로 관측된다.

라. HTC

스마트폰 제조사인 HTC는 세계 최대 게임 유통사인 밸브코퍼레이션과 협력하여 게임 유통 플랫폼인 ‘스팀(Steam)’의 가상현실 버전인 ‘스팀VR’을 플랫폼을 이용하는 Vive HMD와 콘트롤러를 출시하였다. 후발주자임에도 불구하고 전면부 센서를 통한 사용자 움직임 트래킹이 오큘러스 리프트보다 우수한 것으로 평가되며, 무선 콘트롤러를 통해 상호작용 제공하여 몰입도가 뛰어난 것으로 평가된다. 시야가 차단되는 HMD 형태이나 HMD 전면에 카메라를 부착하여 HMD 착용 중에도 실제공간을 볼 수 있게 설계하는 등 증강현실에 대한 기술적 연구를 진행하고 있다.

마. 마이크로소프트

마이크로소프트는 증강현실 HMD인 ‘홀로렌즈(Holo-Lens)’를 공개하며 증강·가상현실 기기개발 경쟁에 합류하였다. 증강현실 기기임에도 불구하고 EGD보다 HMD에 가까운 형태를 띄고 있으며, 현실시야보다 3D 가상영상에 초점을 맞추어 개발되고 있다. 2016년 3월에 프로토타입 디바이스와 개발킷을 공개하였으며, 개발자에게 제품을 우선 공급하여 완성도를 향상시킬 예정이다. 자사 애플리케이션 스토어를 통해 ‘Skype’(화상 통화 및 회의)와 ‘HoloStudio’(3D 콘텐츠 저작툴), ‘RoboRaid’(증강현실 게임) 등을 제공하고 있다. 특히 기기 내부에 CPU, GPU는 물론 홀로렌즈 전용 HPU를 탑재하여 외부기기 연결 없이 자체적으로 구동 가능한 점이 특징이다.

바. 삼성전자

삼성전자는 2015년 오큘러스 VR과의 협업을 통해 개발한 ‘기어 VR (Gear VR)’을 출시하여 본격적으로 가상현실 시장에 진출하였다. 오큘러스 모바일 SDK를 기반으로 구동되는 HMD 방식의 기기로, PC와 연동되는 오큘러스 리프트와 달리 스마트폰의 기능(디스플레이, 센서 등)을 이용하여 HMD 형태로 제공하고 있다.

스마트폰이 가상현실 콘텐츠의 재생 및 출력 역할을 하기 때문에 기존의 PC 및 콘솔 연동기기 대비 휴대성이 향상되었으며, 일반 소비자가 360도 영상을 쉽게 촬영할 수 있는 360 카메라(‘기어360’)를 출시하였다. 특히 전방위 입체각을 촬영할 수 있도록 360도에 상하 방향까지 추가된 전방위 입체각 카메라로 16개의 메인 카메라와 1개의 상단 카메라로 구성하여 가상현실 영상을 취득하는 디바이스인 프로젝트 비욘드(Project Beyond)도 진행하고 있다.

사. LG전자

LG전자는 2016년 MWC에서 모듈 교환식 스마트폰인 G5 출시와 함께 VR HMD인 ‘360VR’ 및 ‘360 Cam’ 출시하며 본격 진출하였다. ‘360VR’은 스마트폰과의 연결이 필요하나 960×720 해상도(649 ppi)의 자체 디스플레이를 갖춘 독립형 HMD 방식으로, ‘360 Cam’을 이용해 응용 프로그램을 개발할 수 있는 SDK를 공개하는 등 개발자 생태계 구축을 시도하고 있다.