몰입형 기가미디어 서비스 플랫폼 기술 개발 동향

최근 여러 기술 분야에서 제공되고 있는 서비스 플랫폼의 특징은 다중 사용자가 다양한 단말에 적용 가능한 복합 서비스가 서로 연동되어 하나의 통합된 환경에서 고품질 서비스를 받을 수 있다는 것이며, 서비스 연동 환경은 개방형 구조로 확대되어 플랫폼의 경쟁력 강화가 확대되고 있다는 것이다.

(그림 1)과 같이 서비스별로 특화된 독립적인 운영체제와 플랫폼을 제공하던 기존 방식에서 탈피하여, 기기에 상관없이 동일한 이용 환경을 제공하는 개방형 서비스 플랫폼이 필요하다. 본 장에서는 대표적인 개방형 서비스 플랫폼 각각에 대한 장·단점을 분석해 본다.

(그림 1)

개방형 서비스 플랫폼

가. 웹기반 서비스 플랫폼

웹 기반 서비스 플랫폼은 응용 프로그램 개발에 많은 장점이 있다. 하드웨어 의존성이 적어 다양한 디바이스에 동일한 인터페이스를 제공할 수 있으며, 웹의 개방성을 통해 다양한 응용 및 모델을 확보할 수 있다. 또한, 웹에서도 복잡한 애플리케이션을 쉽게 개발할 수 있다. 특히 HTML5는 웹 문서 표현 강화, 멀티미디어와 2D /3D 그래픽스 처리 기능, 웹 기반 디바이스 제어 등 다양한 운용제체에서도 동일한 서비스를 제공할 수 있도록 API 기능이 추가되어 웹 기반 서비스 확장성을 제공한다[2].

나. 모바일 서비스 플랫폼

모바일 및 소셜 네트워크 서비스 확대에 따라 동일한 플랫폼 환경에서 다양한 서비스를 쉽게 제작할 수 있도록 플랫폼 및 SDK를 제공하는 서비스 플랫폼이 확대되고 있다. 서비스 개발자가 생산성 향상을 위해 확장성, 안정성, 신뢰성을 위해 복잡하고 어려운 아키텍처를 구축하는 것은 쉽지 않은 일이며, 이러한 부담을 줄이고 서비스의 핵심 개발에 더욱 집중할 수 있도록 편리한 환경을 제공한다. 안드로이드, iOS와 같이 운영체제와 연계되어 모바일 서비스를 개발할 수 있는 SDK를 제공하거나, 카카오톡과 같이 사회관계망을 기반으로 모바일 서비스 개발을 지원하는 사례와 API를 활용할 수 있는 플랫폼을 제공하고 있다.

다. 가상 현실 서비스 플랫폼

차세대 플랫폼으로 가상 현실 서비스 플랫폼은 가상 현실(VR: Virtual reality), 증강 현실(AR: Augmented reality), 혼합 현실(MR: Mixed reality)을 위한 콘텐츠를 제작하고 구성할 수 있도록 SDK와 인터페이스, 컨트롤러, 헤드셋 등 소프트웨어와 하드웨어적인 요소를 모두 통합하여 제공하는 플랫폼이다. 가상 현실 컨텐츠 제작뿐만 아니라 유통을 위한 플랫폼으로 진화하고 있으며 여러 분야에 적용할 수 있는 플랫폼 구조를 제공한다. 현재 가상 현실 서비스 플랫폼은 구글 VR 플랫폼 데이드림(DayDream)을 공개하였으며, SK텔레콤에서는 티 리얼 VR 스튜디오(T real VR studio)를 데이드림과 연계, 기능을 확대한 플랫폼을 공개하였다. 마이크로소프트는 윈도우 운영체제를 기반으로 윈도우 홀로그래픽(Windows Holographic-Mixed Reality[3]) 이라는 가상현실 플랫폼을 시장을 확대하고 있다. VR 시장을 활용하여 독자적인 생테계를 구축하고 있는 페이스북에서는 사회적 관계망을 활용한 텔레포테이션(Teleportation)을 발표하여 친한 사람들과의 소셜 VR을 경험할 수 있는 환경을 지원하고 있다.

최근 텔레프레즌스 영상회의 시장은 대기업 중심으로 한 프로젝트에서 중소기업의 수요가 서서히 생겨나고 있다. 영상회의 솔루션의 요구가 대기업 뿐만 아니라 중소기업에게 까지 확대되고 있으므로 이를 위한 제품 및 서비스들이 개발되고 있다. 영상회의 장비의 품질이 SD에서 HD급으로 이동하고 있는데, 이것은 HD급 동영상 인코더 칩의 가격하락과 HD급 카메라의 생산단가 하락으로 에릭슨엘지 등 IP 텔레포니 업체들도 영상회의 솔루션과의 시너지를 노리며 HD급 텔레프레즌스 영상회의 솔루션 시장에 참여하고 있기 때문이다.

HD급 해상도를 더욱 부추기는 것은 그린 IT 기반인 ‘스마트워크’의 개념과 이를 뒷받침해주고 있는 텔레프레즌스로 기존의 영상회의가 지향해 오던 출장을 대체한다는 개념을 더욱 시각화하여 발전시켜 동일 공간에서 회의하는 느낌으로 줄 수 있어 새로운 이슈로 떠오르고 있다. 기존 텔레프레즌스 영상회의 제품은 비디오 코덱 장치를 통해서 비디오, 오디도, 데이터 등을 압축하여 실시간으로 송수신하는 하드웨어 형태의 제품이 많았다. 최근에는 PC에서 소프트웨어 형태로 구현하여 간편하게 영상회의를 진행하는 제품들도 늘어나고 있다.

국내 영상회의 전용 장비 기업인 (주)주신에이브이티[4]에서는 기업들이 회의실 구조 변경, 내부 인테리어 변경 등에 대한 부담 없이 빠른 시간내에 영상회의를 적용할 수 있도록 만든 완제품 형태의 텔레프레즌스 영상회의 시스템을 개발해서 판매하고 있으며, 영상회의 기능을 충실히 제공하면서도 일반적인 회의 환경에 필요한 프레젠테이션 기능도 함께 제공하고 있다.

소프트웨어 기반 영상회의/영상교육 솔루션 업체인 (주)새하컴즈[5]에서는 기존의 PC, 인터넷 전화 외에 안드로이드, iOS 계열의 스마트폰, 태블릿 등 여러 모바일 기기에서도 편리하게 영상회의를 진행할 수 있는 ‘멀티뷰(MultiView) 영상회의 온라인 서비스’ 솔루션을 개발하였다.

WebRTC 방식[(그림 2) 참조]은 전용 영상회의 응용프로그램의 설치가 필요했던 기존 영상회의와 달리 PC, 모바일 단말 구분 없이 웹브라우저에 접속하는 것만으로 영상회의에 쉽게 접근할 수 있는 형태를 취하고 있기 때문에, 앞으로 차세대 텔레프레즌스 영상회의 핵심 기술로 기대되고 있다.

(그림 2)

WebRTC 구조

[출처] WebRTC.org, “WebRTC Architecture,” 2017. 7.

국내 유무선통합 영상회의 솔루션 전문기업인 (주)유프리즘[6]은 어플리케이션 다운로드 없이 웹브라우저에서 바로 실행하는 WebRTC 기반의 영상회의 및 상담 솔루션을 개발해서 제품을 출시하였다. 또한, 국내 통신업체인 (주)SKT에서는 영상, 음성 제어 기능뿐만 아니라 다양한 멀티미디어 데이터 송수신 기능을 포함한 WebRTC 기술을 활용하여 쉽게 영상회의 및 멀티미디어 서비스를 개발할 수 WebRTC 개발 도구 및 서비스 인프라를 제공하고 있다.

몰입형 서비스는 5G 서비스 로드맵 2022에서 분류한 5개의 서비스군 중 하나로서 VR/AR, 대용량 콘텐츠 스트리밍을 포함한다[7]. VR/AR은 인간과 컴퓨터 사이의 인터페이스로서, VR은 시뮬레이션 환경에서 상호작용을 통하여 사용자가 실제 물리적 환경에 있는 것처럼 해 주는 역할을 한다. 반면, AR은 가상 객체 또는 정보를 실제 환경에 합성함으로써 객체/정보가 실재하는 것처럼 만들어 준다. AR/VR 서비스는 대용량 콘텐츠 스트리밍이 가능한 5G 환경에서 다양한 콘텐츠 정보를 제공함으로써 실시간 몰입형 서비스를 활용할 수 있다.

가. VR/AR 서비스

VR/AR은 콘텐츠(Content), 서비스 플랫폼(Platform), 네트워크(Network)와 디바이스(Device)가 결합된 C-P-N-D 생태계형 산업[8]으로써 사용자가 서비스를 제공하는 플랫폼에 접속하고, 체험/상호작용 입출력 디바이스를 통해 콘텐츠를 이용하게 된다.

실시간 VR 서비스를 통하여 경기장, 공연장에 가지 않고도 원격지에서 실제 현장과 동일한 체험이 가능하다. 실시간 AR 서비스를 통해서는 실제 환경에 가상 사물 및 정보를 합성하여 교육 및 커머스 등에 활용하고 있다. 향후 실시간 스트리밍 기반 모바일 홀로그램 기술의 발전에 따라 홀로그램 문자 송수신 및 영상 통화가 가능하다.

VR/AR 서비스 기술은 그 경계가 허물어져서 몰입감을 증대시키기 위한 혼합 현실(MR) 기술로 발전하고 있다[9]. 마이크로소프트는 이를 위해 혼합현실 기반 웨어러블 기기인 홀로렌즈(Hololens)를 출시하여, 현실 화면에 3D 이미지를 출력하고 자유롭게 조작할 수 있게 하였다.

또한, HMD 착용을 통한 시각 중심의 기술에서 청각과 촉각 등 인간의 오감을 활용하는 실감 미디어 서비스로 발전하고 있다[10]. VR/AR의 3차원 입체 음향 구현을 위해 MPEG(Moving Picture Experts Group)-H 3D Audio, 구글의 VR 사운드 오픈 소스인 옴니톤 공개 등으로 청각 기술을 활용하고 있다.

4D 의자, 웨어러블 장비 등을 이용한 고정형 공간에서 앉은 상태에서 360도로 3차원 콘텐츠를 디스플레이하는 정적인 기술이, 이동형 공간에서 콘텐츠를 구축한 양방향 인터랙티브 VR 시스템으로 확장되고 있다. 강촌레일파크의 Interactive VR 플랫폼은 사용자가 HMD를 착용하고 터널을 지나갈 때 VR 체험을 느낄 수 있는 서비스를 제공하고 있다. 실외 이동형 VR 체험과 함께, 향기/버블/에어젯 등의 실감 효과를 제공하여 고객의 오감을 통해 몰입감을 극대화한다.

나. 대용량 콘텐츠 스트리밍 서비스

5G 속도를 통해 콘텐츠의 한계가 단순 이미지, 텍스트, 동영상을 넘어 움직이는 3D 영상과 4K 같은 고화질 영상의 실시간 스트리밍을 가능하게 하고 있다. 향후 실시간 스트리밍 기술은 가상현실, 증강현실, 홀로그램과 같은 대용량 콘텐츠를 대상으로 기술이 발전하고 있다. 이미 생방송으로 오큘러스나 VR 헤드셋 같은 장비를 통해 NBA, PGA 등의 경기를 360도로 볼 수 있다. 향후 홀로그램 기술의 발전에 따라, 스포츠 경기를 홀로그램 라이브 생방송으로 시청하고 소비할 수 있게 될 것이다.

사실감과 현장감을 제공하는 실감 미디어에 대한 요구 증가로 사용자에게 영상의 깊이감과 입체감을 제공해 줄 수 있는 다시점 콘텐츠 서비스가 가능할 것으로 예상된다. 다시점 미디어 전송을 위해서는 MPEG의 Dynamic Adaptive Streaming over HTTP(DASH)[11] 및 MPEG Media Transport(MMT) 기술이 활용되고 있다. DASH는 HTTP 기반의 적응형 전송 기술로서 모바일과 데스크탑 등 모두에서 활용 가능한 서비스 모델로 활용되었다. HEVC(High Efficiency Video Codec) 전송 규격을 통한 8K 미디어 전송이 가능하여 대용량 콘텐츠 스트리밍 기술로 활용할 수 있다. MMT는 방송망과 인터넷을 동시에 서비스하는 하이브리드 방송 등 실시간 스트리밍에 적합한 기술이다.

현재 ETRI에서는 (초)다시점 미디어 영상 회의 시스템, 협업 서비스, 교육 서비스 등에 (초)다시점 미디어 전송 서비스 기술을 활용하고 있다[12].

가. 기가미디어 서비스 플랫폼 구조

기가미디어 서비스 플랫폼은 다수의 사용자 접속 환경에서 협업 서비스를 효율적으로 제공하기 위하여 애플리케이션에서 요구되는 제어 기능 및 관리 기능을 수행하는 여러 개의 컴포넌트로 구성되고, 컴포넌트 간의 복합 수행을 통해 서비스가 제공되는 플랫폼 구조를 제공한다. ETRI에서는 (그림 3)과 같이 사용자 단말의 특성에 따라 웹(Web) 또는 앱(Application) 기반 서비스를 통합하여 제공되기 위해 하나의 인터페이스와 3개의 계층으로 구성되는 공통 플랫폼과 핵심 기술 개발이 진행 중이다. 사용자 접속의 편리성과 웹 기반 사용자 환경 지원을 위한 Web Service Interface(REST API 및 SDK) 처리 부분과 기가미디어 서비스를 위한 특화된 기능 블록들의 모음인 공통 컴포넌트 계층, 그리고 플랫폼의 자원 및 컴포넌트들 간의 세부 연동 운용성을 관리하는 플랫폼 관리 계층으로 구성된다. 계층적 구조를 제공하는 기가미디어 서비스 플랫폼은 단위 기능 개발(Develop-ment)과 플랫폼 적용(Deployment) 그리고 서비스 유통(Distribution)이 하나의 플랫폼 구조에서 가능하도록 3 Layer-3D를 제공한다.

(그림 3)

기가미디어 서비스 플랫폼

나. 기가미디어 서비스 플랫폼 운용

현재 기가미디어 서비스 플랫폼은 (그림 4)와 같이 다중 사용자를 위한 협업형 서비스를 제공한다. 각각의 서비스는 사용자가 메쉬업 형태의 여러 서비스 도메인에서 사용할 수 있도록 컴포넌트 형태의 제어 기능으로 구성되며, 상호 운용성을 기반으로 완성된 서비스가 가능하다. 특히 다중 사용자 환경의 차세대 텔레프레즌 영상회의 서비스와 웨비너(Webinar)를 위한 몰입형 서비스는 본 플랫폼을 통하여 제공되는 대표 서비스 형태이다. 다수 사용자를 위한 협업형 서비스는 각각의 사용자의 접속 환경과 제어 정보를 관리하고 여러 사용자와 공유하기 위한 플랫폼 관리 기능이 필요하다. 영상회의 및 몰입형 서비스를 위하여 사용자 관리, 영상회의 대화방 관리, 공유 콘텐츠 관리, 사용자와 서비스 상태 그리고 서비스를 위한 디바이스 관리 기능을 제공한다. 기가미디어 서비스 플랫폼은 사용자의 서비스 접속 환경과 플랫폼에서 구동할 수 없는 Back-end 서버 구조를 포함하는 환경으로 서로 다른 프로세서를 위한 제어 환경을 제공한다.

(그림 4)

몰입형 기가미디어 서비스

차세대 텔레프레즌스를 위한 중요한 구성요소로 다지점 제어 장치(MCU: Multipoint control unit) 기술이 있다. (그림 5)는 다지점 제어장치의 구조를 나타낸 것으로, 회의에 참여한 모든 사용자 클라이언트의 영상을 믹싱해서 다시 전송해 주는 기능을 수행한다.

(그림 5)

다지점 제어 장치 구조

영상회의 호처리 서버 기능은 클라이언트가 영상회의에 참여하거나, 회의에서 탈퇴하는 호처리 기능을 제공한다. 동적 레이아웃 기능은 주화자 검출 기능에 의해서 결정된 주화자를 메인 화면으로 비디오 믹싱 하는 기능을 제공한다. 정적 레이아웃 기능은 회의방 관리자가 요청한 정적 레이아웃 모드에 따라서 비디오 믹싱 하는 기능을 수행한다. 주화자 검출 기능은 회의 참여자의 음성을 분석해서 주화자를 검출하는 기능을 제공한다. 미디어 트랜스코딩 기능은 클라이언트의 비디오 코덱 정보가 다를 경우에 영상회의를 할 수 있도록 연동시키는 기능을 제공한다. MCU 비디오/오디오 패킷 손실 복구 기능은 네트워크의 문제로 손실된 영상회의 비디오/오디오 패킷 복구 기능을 제공한다. 미디어 암호화 기능은 영상회의에서 사용되는 비디오/오디오 미디어 데이터를 허가되지 않는 제삼자가 확인할 수 없도록 암호화 기능을 제공한다.

FHD(Full HD)보다 해상도/화소가 4배 높은 고화질 해상도로 보다 선명한 화질로 영상회의가 가능한 4K (UHD: Ultra high definition)는 높은 몰입감을 제공한다. 4K급 영상회의를 위해서는 원활한 영상 품질 제공을 위해 비디오 데이타를 저지연으로 처리해야 하며, 이를 위해서 GPU 기반 비디오 믹싱 고속 처리 기술과 저지연 H/264/HEVC 코덱 인코딩/디코딩 기술이 필요하다[(그림 6) 참조].

(그림 6)

4K(UHD) 비디오 믹싱 구조

가. 기가미디어 몰입형 서비스 기술

기가미디어 서비스 플랫폼은 다중 사용자 환경의 몰입형 텔레프레즌스 서비스와 실시간 사용자 분석 기반 몰입형 서비스를 제공한다.

몰입형 텔레프레즌스를 위한 멀티모달 인터페이스를 지원하기 위한 방안으로, 사용자의 음성을 인식하거나 웨어러블 디바이스를 이용하여 웹상의 가상 키보드를 이용하여 웨비나 프레젠테이션 제어 기능을 제공한다. 웹 환경에서 음성 명령만으로 마우스나 키보드를 통해 슬라이드 이동이 가능하고, 음성 분석을 통한 자연어 처리가 될 경우 지능형 몰입형 텔레프레즌스 서비스를 활용할 수 있다.

웨비나 환경에서 몰입형 텔레프레즌스를 위해 기가미디어 서비스 플랫폼에서는 사용자 영상 처리 기술을 활용하여, Motion Detection을 이용한 사용자 영상 대체 기능, 3D 카메라를 이용한 사용자 전배경 합성 기능 등을 제공한다. 오디오 및 비디오를 이용한 텔레프레즌스를 이용할 때 일부 사용자는 프라이버시 등의 이유로 영상 송출 기능을 원하지 않을 수 있다. 이를 위해 웹캠의 사용자 영상을 3D 모델 아바타로 대체하여 비디오 컨퍼런싱을 이용할 수 있다. 사용자 전배경 합성 기능은 인텔의 리얼 센스 카메라 등을 이용하여 사용자를 분리하고 분리된 영상을 공유 콘텐츠 상에 오버레이 한다. 추출된 사용자 영상은 마스크 연산을 통한 필터링을 통해 윤곽선을 보정 처리하여 배경으로부터 사용자 영상을 보다 정확하게 분리된다. 다자간 영상 회의를 진행하면서 콘텐츠 공유 서비스에 대한 몰입감을 증대시키기 위해 발표자나 회의 참여자 영상에서 배경을 제거하여 추출한 후 공유 콘텐츠(동영상 혹은 문서 공유 등) 상에 오버레이 된다. 공유 콘텐츠에 대한 제어 권한을 갖는 발표자의 카메라 영상으로부터 제스처를 인식하여 콘텐츠를 제어함으로써 몰입감을 높일 수 있다.

(그림 7)은 실시간 사용자 분석 기반 몰입형 서비스 기능으로 영상회의에 참여하는 사용자의 실시간 영상에서 특정 표정과 움직임을 자동으로 인식하고 인식 결과를 기반으로 회의/협업 몰입도를 분석하여 사용자에게 몰입도 피드백을 제공한다. 물리적으로 한 장소에 모여서 하는 오프라인 회의에 비해 참석자들의 몰입도를 통제하기 어려운 온라인 영상회의 서비스의 한계를 극복하기 위하여 사용자에게 지속해서 피드백을 제공함으로써 스스로 협업에 참여하고 몰입할 수 있도록 유도한다.

(그림 7)

실시간 사용자 분석 기반 몰입형 서비스

나. AR/VR 기반 실감미디어 기술

실감미디어는 사용자 만족도 향상을 위해 시간·공간적 제약 없이 몰입감과 현장감을 극대화할 수 있도록, 사용자에게 사실감 있는 정보를 제공하기 위한 차세대 미디어이다. ETRI에서는 센서와 미디어로부터 실감요소를 추출하여 실감효과 메타데이터(SEM: Sensory effect metadata)를 MPEG-V 표준에 맞게 자동생성하는 XD미디어(X-dimensional media) 서비스 핵심 기술 개발을 진행 중이다. XD미디어는 시청각 중심의 표현 한계 극복을 위해 추가적 감각 정보를 전달하여 몰입도를 극대화하는 실감미디어를 의미한다.

AR/VR 기술을 이용한 실감미디어 서비스는 다양한 기술의 융합으로 실현된다. 이를 위해 하드웨어 센서 기반의 입·출력 인터페이스, 콘텐츠 생성을 위한 저작도구, 콘텐츠 유통 및 서비스를 위한 플랫폼 기술 등이 필요하다.

입·출력 인터페이스 기술은 HMD, 스마트폰, 실감 음향 기기 등의 출력 기술과 각종 센서를 이용한 상호 작용 기술이 필요하다. HMD, 공간 프로젝션, VR 홀로그램 등이 시각을 통한 정보 전달 기술로 활용되고 있으며, 3D 실감 음향 기술 등을 이용하여 영상객체 및 사용자의 시점 이동에 따른 입장감 및 몰입감을 극대화한다. AR/VR 콘텐츠 상호 작용은 직관적 인터페이스인 NUI (Natural user interface) 방식을 이용하여 음성, 동작 등 멀티모달을 지원하는 형태로 진화하고 있다. ETRI에서는 몰입형 기가서비스를 위해 시선 추적, 동작 인식, 센서 기반 인터랙션 기술을 개발하여 VR/AR 서비스에 활용하고 있다.

AR/VR 콘텐츠는 Unity 등을 이용하여 주로 저작되며, 콘텐츠 입력 및 출력을 위한 디바이스 특성에 맞는 기술이 사용된다. VR의 경우 360 카메라의 획득 및 스티칭을 위한 실사 영상 생성 기술과 게임 엔진과 같은 그래픽스 기술을 이용한 실시간 컴퓨터 그래픽 영상 합성 기술로 나뉜다. ETRI에서는 XD미디어 서비스의 VR 콘텐츠 기술로 Unity에서 SEM 기반 실감 미디어 저작을 위한 플러그인을 개발하고 있다.

기가미디어 서비스 플랫폼은 웨비나, 앱 등의 텔레프레즌스 서비스와 함께 대용량 미디어 전송, AR/VR 콘텐츠 서비스 등의 몰입형 서비스를 제공하고 있다. AR/VR 등의 콘텐츠는 실시간 멀티 카메라 영상, 4K/8K 등 고화질 해상으로 인한 대용량 데이터가 요구되어 인터넷 트래픽이 확대된다. 막대한 데이터 처리를 위해서는 5G 이동 통신 및 기가 인터넷 등의 네트워크 고도화가 요구된다. 기가미디어 서비스 플랫폼은 기가 네트워크 환경에서 360 VR 동영상 콘텐츠 서비스 및 실시간 스트리밍 기능을 통하여, 실감 미디어의 콘텐츠 저작에서 배포까지 지원하는 통합 플랫폼 기술을 제공한다.