VR/AR 게임기술 동향

가. VR 디스플레이

VR 게임의 방식, 몰입도 등은 VR 기기의 종류, 형태, 및 성능에 의존적이다. HMD는 사용자의 머리/헬멧 부분에 장착되어 사용자의 눈앞에 영상을 출력하는 기기이다. VR HMD는 VR 애플리케이션을 위한 대표적인 VR 디스플레이 기기로, VR 게임공간 내에서 게임 플레이어의 자유로운 시선 이동이 가능하게 한다. 개발 초기의 VR HMD는 해상도나 광학계 등에 다수의 문제가 있었을 뿐 아니라 착용이 불편하고 가격도 비싸 상품화가 어려웠다. 그러나 최근의 VR HMD에서는 이전의 문제들이 상당히 개선되어 고해상도 3D 화면을 제공하는 상용 제품들이 출시되고 있다. Oculus VR의 Rift[12]와 같은 상용 VR HMD 기기의 등장은 다양한 VR 게임 개발을 가속화하고 있다. 주목할 만한 점은 HMD가 단순히 고품질 VR 영상만 출력하는 것이 아니라 센서 기술 등이 접목되어 사용자의 시선 움직임에 따라 VR 영상을 출력하는 ‘헤드 트래킹(head tracking)’ 등의 기능을 제공하기도 한다.

<표 1>

>출시 및 출시 예정인 HMD 기기[13]

HMD 개발에는 미국의 Oculus VR을 선두로 Sony, 삼성전자 등이 참여하고 있는데, 2016년에는 더 다양한 고성능 HMD들이 다수 출시될 것으로 예상한다[13]. 출시 또는 출시 예정인 대표적 VR HMD 기기들은 <표 1>과 같다. 편안한 착용감과 입체감 있는 시각 효과를 위해서는 여전히 상당한 기술적 개선이 필요하다. VR HMD 장치 착용 후 VR 콘텐츠를 이용할 때 사용자 인지부조화에 의해 발생하는 VR 멀미현상은 VR 게임 시장 확대를 위해 해결되어야 할 주요 문제 중에 하나이다.

나. 신체동작 추적 및 상호작용 기기

VR 애플리케이션은 HMD를 기본적으로 이용하지만, 게임과 같은 분야에서 사용자의 신체동작 추적(body tracking)을 이용하기 위한 다양한 사용자 인터페이스(User Interface: UI)가 개발되고 있다[3]. 신체동작 추적을 위한 모션 플랫폼은 게임공간 안에서 걷거나 뛰거나 하는 등의 게임 플레이어의 신체동작을 인식한다. VR 기술이 적용된 모션 플랫폼의 대표적인 기기가 Virtuix Omni[14]에서 개발한 ‘옴니트레드밀(Omni Tread-mill)’이다[(그림 4) 참조]. CES-2015에서 공개된 옴니트레드밀은 아직 상용화 초기 단계이며, 게임시장 내 보급을 위해 저가화 및 시스템 성능 향상이 필요하다. Cyberith의 ‘버추얼라이저(Virtualizer)’는 USB 연결로 인식되는 PnP(Plug-and-Play) 방식의 모션 플랫폼 기기로 120kg의 체구의 사용자가 360도 전 방향으로 몸을 돌리는 것이 가능한 게이밍 인터페이스 기기이다[(그림 4) 참조][15]. 버추얼라이저 SDK[16]를 통해 개인-맞춤형 프로그래밍도 가능하다.

(그림 4)

VR 모션 플랫폼

(a) 옴니트레드밀 [14]

(b) 버추얼라이저 [15]

신체동작 추적뿐 아니라 뇌 활동 정보를 VR 애플리케이션에 이용하기도 한다. NeuroSky[17]는 2008년에 VR 게임용의 MindSet이라는 웨어러블 장비를 공개했다. 그 MindSet은 실시간으로 인간의 뇌 활동을 분석하여 무선으로 호스트 컴퓨터와 통신한다. Emotiv Systems[18]도 비슷한 기능의 Epoc 헤드셋을 공개하였다.

VR 게임 개발을 위해 Oculus SDK[19], Middle VR[20], VR ONE[21], SixenseVR[22], Dive Unity Plugin[23] 등의 SDK를 이용할 수 있다. Oculus VR은 Rift 및 GearVR용의 VR 콘텐츠를 Oculus Store를 통해 제공하고 있으며, Sony나 HTC 등도 자사의 HMD에 최적화된 콘텐츠 공급을 위해 노력하고 있다.

출시된 또는 개발 중인 VR 게임들의 대부분은 VR HMD 전용 게임이다. 게임 플레이어는 HMD를 착용하고 3D VR 공간에서 게임 영상을 감상하거나 영상에 따라 상호작용하며 게임을 즐긴다. <표 2>에 현재 공개된 대표적인 VR 게임들을 정리하였다. 2015년도에도 여러 컨퍼런스에서 다양한 VR 게임들이 공개되었으며, 그중 다수는 2016년 출시를 목표로 하고 있다.

<표 2>

>VR 게임의 예

현재 출시된 또는 출시 예정인 VR 게임들은 남극(예, 엣지 오브 노웨어)이나 해저(예, 월드 오브 다이빙)의 탐험, 우주(예, 이브 발키리, 애드리프트, 스타 시티즌) 배경의 전투 게임이 다수인데, 이는 VR 기술에 의한 체험 효과, 특히 시각적으로 사용자에게 몰입감을 극대화하기 위함으로 보인다.

VR HMD의 성능 및 기능은 게임 진행을 차별화한다. 우주에서 유도 미사일, 기관총 등을 사용하여 적을 파괴하는 게임인 이브 발키리는 Oculus Rift를 통해 사용자가 110도의 시야각과 3D 입체 화면을 느낄 수 있다. Oculus VR의 Rift에는 중력 센서와 자기 센서가 내장되어 있어서 사용자가 머리를 상하좌우로 움직이는 것을 감지할 수 있다. 이브 발키리에서는 Rift의 이 헤드 트래킹 기능이 활용되어, 게임 내에서 발사 버튼을 누른 채 적 기체를 바라보면 유도 미사일이 조준된다.

가. 실감형 VR 게임

VR 기술이 이용되어 자연 체험, 탐험 등의 시각 중심의 실감형 VR 게임들이 다수 개발될 것이다. 이를 위해서는 고해상도 광시야각을 제공하는 VR HMD 기기와 현실감 있는 가상 이미지를 모델링/렌더링 하기 위한 기술들이 필수적이다. VR 게임 몰입도 향상을 위해서는 ‘VR 멀미’ 문제의 해결도 필요하다. VR 멀미는 사용자가 경험하는 VR 정보가 시각적으로만 전달되어 현실세계에서의 다른 감각과 동기화되지 않아 나타나며, 장시간 플레이에 의한 피로도, HMD의 낮은 해상도, 불편한 착용감 등에 의해 심해질 수 있다. VR 멀미 문제를 해결하기 위해, 국외 및 국내에서 다양한 연구가 진행 중이다. Stanford 대학에서는 자연스러운 초점-움직임 변경을 위해 라이트필드 스테레오스코프 기술이 적용된 장시간 VR 체험이 가능한 VR HMD 제작 기술을 연구하고 있다. 이 외에도 Nvidia, AMD 등은 사용자 움직임을 예측하여 가상 콘텐츠의 응답시간을 최소화하기 위한 저지연-렌더링 기술 등에 대해 연구하고 있다.

나. 기능성 VR 게임

현재는 시각 효과 중심의 VR 게임이 대부분이다. 그러나 차세대 VR 게임은 그 목적과 내용에 따라 최소 시스템 요구사항을 갖고 일부 기능에 특화된 VR 기기나 보조 VR 기기가 필요할 것이다. 예를 들어, 멀티플레이를 지원하는 VR 골프 게임의 경우, 게임 플레이어의 헤드, 핸드 등의 신체동작을 추적하는 기능과 네트워크 기능이 지원되어야 한다. 비행선 등을 이용하는 VR 어드벤처 게임의 경우, 게임 플레이어에게 자연스러운 조작 기능이 지원되어야 한다. 최근 일부 VR 기기에서 지원하는 헤드 트래킹 기능을 이용하면, 비행선을 타고 여행을 하는 게임 내에서 장애물 충돌을 피하기 위해 게임 플레이어의 시선 방향에 따라 조작이 되도록 할 수 있다[3].

다. 소셜 VR 게임

VR 게임 플레이어들은 게임공간을 공유하고 의사소통 하기를 원한다. AltspaceVR은 CES-2015 전시회에서 소셜 VR 시스템의 데모를 시연하였다. 그 시연에서는 Oculus Rift를 착용한 4명의 체험자가 고개를 움직이고 손짓하는 등의 행위가 VR HMD 및 3D 카메라에 의해 포착되어 가상공간 내 아바타에 반영되었다. 게임 플레이어의 아바타가 가상의 VR 공간에서 대화 및 신체 표현이 가능하도록 이 기술을 이용할 수 있다.

라. 인터랙티브 VR 게임

(그림 5)

가상 관제 센터 I-Room[2]

VR 공간은 더 다양한 상호작용(interactive)이 가능할 것이다. I-Room[2] 프로젝트에서는 VR 공간에서 사용자/시스템/에이전트 사이의 상호작용과 협력을 지원하기 위한 지능형 시스템이 연구되었다[(그림 5) 참조]. 이러한 연구를 이용하면 공유되는 VR 게임공간에서 게임 플레이어 간 상호작용이 가능해질 것이다.

AR은 현실세계에 가상의 이미지를 겹쳐 하나의 영상으로 보여주기 위해 시스루(see-through) 디스플레이를 사용한다[4]. AR HMD인 Epson Moverio BT-200 AR 글래스는 ‘마이크로-프로젝션(micro-projection)’과 시스루 영상 기술을 이용하여 2m 스크린에 이미지가 투영된 것처럼 느껴지게 한다[(그림 6) 참조][15]. Moverio App을 다운받거나 Moverio SDK를 이용한 개발도 가능하다[29]. 일부 AR HMD는 WiFi나 Bluetooth를 통해 다른 기기와의 통신도 가능하여, 영상은 그 AR HMD를 통해 출력하고 주변 기기 상태를 인지하여 부가적인 기능 수행이 이루어지도록 할 수 있다[15]. AR HMD는 하드웨어적으로 편하고, 전력-효율적인 시스템에서, 다양한 센서들의 환경과 결합하여 생생한 시스루 AR 경험을 전달할 수 있어야 한다[4].

(그림 6)

Epson Moverio BT-200 AR 글래스[15]

AR 게임 개발을 위해 Vuforia[30], Wikitude[31], Ku-dan[32], ARToolkit[9], D’Fusion[33] 등의 SDK를 이용할 수 있다.

가. 카메라 추적

AR 게임 서비스를 위해서는 카메라로부터 들어오는 영상을 이해하고 현재 카메라가 위치한 공간의 위치를 정확히 추정할 수 있는 카메라 트래킹 기술의 발전이 필요하다[34]. AR 게임에서는 현실 영상과 가상의 그래픽을 겹쳐 보여주기 때문에 정확한 영상 합성을 위해서는 가상 객체들을 화면에 정확히 위치시킬 수 있어야 하기 때문이다. 이 부분을 구현하기 위해서는 게임 플레이어가 현재 보고 있는 실세계 화면에 대한 카메라의 3차원 좌표계를 실시간에 계산할 수 있어야 한다. 또한, 카메라 영상에 나타나는 실세계 객체들의 카메라로부터의 상대 위치 계산도 실시간에 이루어져야 한다. 실세계 영상의 카메라 좌표값과 실세계 객체의 상대 위치정보가 파악되면 원하는 위치에 가상객체를 겹쳐 넣을 수 있다.

게임이나 객체를 이용한 애플리케이션(예, 광고)은 컴퓨터 비전 기반의 추적 기술이 필요하다[4]. 센서들만을 이용한 추적의 경우, 정확도가 떨어져 쇼윈도에 진열된 상품에 증강된 정보를 제공되도록 보여지는 데 문제가 있다. 이러한 문제를 극복하기 위해, 센서들과 결합된 컴퓨터 비전 기술을 이용한다[4]. 예를 들면, GPS 정보를 이용하여 찾는 지역을 좁히고 비전-기반 추적으로 국지화(localization)한다.

또 다른 방법이 고성능 센서 기반의 수학적 통계를 바탕으로 한 실시간 추적이 국지화 성능을 향상시킨다. 예를 들어, 컴퓨터 비전 기반에서 빠르게 움직이는 대상의 경우, 추적이 쉽지 않다. 이때, 자이로나 가속계 등을 이용할 수 있다.

나. 렌더링

효과나 질감을 렌더링하는 기술이 상당히 진보하였지만, 사실감 있는 AR 애플리케이션을 위해 다수의 가상 객체들을 실시간으로 생성하고 현실세계에 현실감 있게 겹쳐 표현하기 위한 실세계 조명 정보를 실시간으로 가상콘텐츠에 적용시킬 수 있는 전역조명모델(Global Illumination Model)을 이용한 실시간 렌더링 기술의 개발이 필요하다[44].

VR에 비해 AR 기술은 사용자의 이동과 주변 환경 변화에 실시간 대응이 어렵고 콘텐츠 활용 공간과 웨어러블 하드웨어 기기 기기의 제약으로 초기에는 주목받지 못하였다. 그러나 GPS, 카메라, 가속도 센서, 조도 센서 등이 지원되는 스마트 기기들과 다양한 웨어러블 기기들이 보급되고, 현실 세계 객체와 반응하여 실세계의 객체와 다양한 인터랙션이 가능한 AR 기술의 장점 때문에 새롭게 주목받고 있다[45]. 최근 스마트폰의 대중화와 컴퓨팅 계산 성능 향상 및 그래픽 성능 향상으로 스마트폰을 활용한 다양한 AR 게임들이 출시 및 개발되고 있다. <표 3>에 현재의 AR 게임들에 대해 정리한다.

<표 3>

>AR 게임의 예

초기의 AR 게임들은 AR 카메라 추적 기술 부족과 낮은 3D 그래픽 성능으로 마커(marker) 위에 단순한 3D영상을 정합하는 카드 게임이 대부분이었다. 그런 카드 게임들은 2014년 출시된 드레이커즈처럼 화려한 영상을 보여주게 되었고, 이러한 게임들이 점차 발전하여 테이블 아이스하키처럼 역동적인 AR 게임이 개발되었다.

AR 게임은 현실공간을 이용하기 때문에, 위치 기반 게임 콘텐츠와 결합하여 시너지 효과를 낼 수 있다. 포켓몬스터 도감 3D 프로, 인그레스 등이 그 예이다. 포켓몬Go 게임의 경우 게임 플레이어가 게임에 등록된 위치로 직접 이동하여 게임에서 주어진 미션을 수행한다.

HMD 기기의 착용의 불편함은 게임 서비스에서 큰 장애요소일 수 있다. 최근 AR 기술 중 사람들의 관심을 받는 것은 홀로렌즈를 이용한 마인크래프트이다. 미국 LA에서 열린 게임쇼 ‘E3 2015’에서 ‘Microsoft’는 홀로렌즈(hololens)[43] AR 기기를 착용하여 즐기는 ‘마인크래프트(Minecraft)[42]’ 데모 시연을 하였다. 홀로렌즈 AR은 단일 CPU와 GPU, Holographic Processing Unit(HPU)이 탑재되어 3D 홀로그램 광학 프로젝터와 연동하여 증강현실을 디스플레이한다. 카메라 영상을 획득하기 위해, 스마트 기기를 들고 다닐 필요 없이, 홀로렌즈 AR 기기를 착용하여 현실세계에 가상의 이미지가 합성된 영상을 볼 수 있다.

가. 실외 환경에서의 AR 게임

카메라 트래킹에 있어서 특정 마커를 사용하거나 이미지를 이용하여 카메라 좌표를 추출할 수 있다. 카메라 영상 이미지를 이용한 Simultaneous Localization and Mapping(SLAM)기반의 마커리스(markerless) 카메라 트래킹 기술이 관심을 받고 있다. 그러나 트래킹 기술의 정밀도 향상과 함께, 빛, 그림자 등의 환경 변화와 실외 공간에서의 적응 문제를 개선하기 위한 기술적 진보가 필요하다.

나. 사용자 위치 기반의 모바일 AR 게임

사용자 위치 기반의 모바일 게임에서는 스마트 기기를 가진 게임 플레이어의 실제 위치에 따라 게임이 진행된다. 일반적으로, 게임 플레이어의 위치를 탐지/추적하기 위해 GPS 센서를 사용하고, 시선 방향을 추정하기 위해 자이로 센서를 사용한다. 그 위치 기반 모바일 게임에 AR 기술이 적용되어 더 다양한 서비스가 가능하다. 최근에는 AR 기술이 사용되어 게임, 위치, 소셜이 융합된 애플리케이션이 등장하고 있다[5].

사용자 위치 기반 모바일 AR 게임의 서비스 품질 향상을 위해서는 객체 탐지/추척/인식 및 게임 플레이어의 위치 탐지/추적 기술의 정확도/정밀도 향상이 필요하다. AR 및 네트워크 기술을 이용하여 GPS 기반의 사용자 위치 추적 오차가 보완되어 감에 따라 AR 기술을 사용한 실외 환경의 체험형 게임으로 발전하고 있다[46].

다. 3D 아바타를 이용한 소셜 AR 게임

학계 연구로 Georgia Institute of Technology에서 개발한 AR Second Life[47][48]은 실제 환경에 3D 아바타를 등장시켰다. AR Facade game에서는 플레이어들이 가상의 결혼 커플을 아파트에 등장시켜 대화하며 상호작용한다[3]. 이 기술은 현실세계를 배경으로 한 멀티플레이어 게임 개발에 이용될 수 있다.

라. 드론을 이용한 AR 게임

‘드론(drone)’은 조종사 탑승 없이 지정된 임무 수행을 위해 제작된 무인 비행체이다. 카메라가 장착된 드론은 공중에서 실시간 영상을 촬영하여 사용자가 가지고 있는 모바일 단말로 전송하고, AR 기술은 촬영영상에 가상의 3D영상을 정합하여 사용자에게 보여주고, 사용자는 이러한 영상을 보면서 드론 기기를 조정한다. AR 기술이 이용된 대표적 드론 게임에는 AR 퍼슈트[40]와 AR 드론 플라이트(AR Drone Flight)[41]가 있다.

대중적 관심을 받는 드론을 이용한 게임이 출시되지 못하고 있는 이유는 드론 조정의 어려움과 드론 게임을 위한 공간의 제약, 그리고 드론의 빠른 움직임에 적용 가능한 AR 기술의 부재로 인한 것으로 보인다. 하지만 이러한 장애는 드론의 하드웨어 기술 발달과 AR 관련 소프트웨어 기술 발달로 점차 극복되고 있다. 국내 유명 게임업체인 엔씨소프트는 2014년 드론 제조업체인 바이로봇에 15억을 투자했고, 미국 최대 소셜클라우드펀딩 플랫폼인 ‘킥스타터’에서 2015년 게임용 드론 출시를 위한 펀딩을 진행했다. 킥스타터에서는 ‘토비리치 베가스’라는 드론을 이용한 공성전이나 레이싱 등의 게임을 만들 계획이라고 한다.

마. NUI 기반의 인터랙티브 AR 게임

Natural User Interface(NUI)는 사용자의 자연스러운 행동을 입력으로 시스템을 효과적으로 구동 및 제어하기 위한 직관적/실감형 상호작용의 사용자-시스템(특히, 기계, 컴퓨터 프로그램 등) 인터페이스이다. NUI는 신체에 직접 부착하거나 닿게 하여 사용하는 ‘장착형’(Gear(삼성전자), iWatch(Apple) 등)과 신체 접촉 없이 사용하는 ‘비장착형’이 있다. 손목시계형, 안경형, 신체매립형 등 접촉식 장착형은 몸에 부착하기 때문에 체온의 변화나 맥박과 같은 것들을 확인하는 등 직접적 정보 확인이 가능하다. 이러한 인간의 상호작용을 위한 HCI 기술을 활용하여 게임 플레이어의 체험 활동에 자유로움을 줄 수 있다. NUI를 사용하는 게임은 조이스틱, 조이패드, 키보드, 마우스 등 입력장치를 활용한 일반적인 게임들과 달리, 핸들조작, 총을 이용한 조준 및 발사, 몸을 이용한 춤 추기 등 실제상황에서 체험할 수 있는 행동으로 이루어질 것이다. 체감형 게임은 실제 신체를 사용하기 때문에, 게임공간에서의 체험은 사용자의 의식과 육체에 내면화되어 현실감을 준다.

마커(marker) 기반의 AR 애플리케이션들은 사용자가 3D 객체들이 어떻게 프로그램되어 있는지 알아야 하므로, 사용자와 상호작용에 제한적이다. NUI의 장점은 사용자가 마우스나 키보드를 사용하여 의사 결정을 하지 않더라도 일부는 사용자의 의사에 맞춰가면서 컴퓨터를 사용할 수 있도록 한다는 것이다. 즉, 사용자의 입력이 의식적으로 관심 가는 것을 알리지 않아도 컴퓨터가 알아서 판단하고 준비할 수 있다.