초다시점 미디어 전송 기술동향

The Technical Trend of Super Multi-View Media Transmission System

저자
윤재관, 박상욱, 구기종, 한미경, 장종현 / 실감감성플랫폼연구실
권호
31권 5호 (통권 161)
논문구분
5G 기가통신 기반기술 특집
페이지
70-79
발행일자
2016.10.01
DOI
10.22648/ETRI.2016.J.310508
초록
최근 들어 초다시점 미디어, 홀로그램과 같은 미래 지향적 미디어 기술에 대한 연구가 활발히 진행되고 있다. 초다시점 미디어는 기존의 무안경식 3D 기술의 단점을 극복하기 위하여 양안에 보일 수 있는 시점의 개수를 증가시킨 미디어로 홀로그램 기술 이전의 상용화 기술로 각광받고 있다. 현재까지의 기술은 초다시점 미디어를 획득, 부호화, 이를 디스플레이하기 위한 기술에 치우쳐 있다. 그러나, 미래의 다양한 서비스에 접목하기 위해서는 초다시점 미디어를 효과적으로 전송하는 기술에 대한 연구가 필요하다. 초다시점 미디어는 시점의 수가 많으므로 대용량의 데이터 전송 기술이 필요하고, 전송 중 데이터의 오류가 발생할 경우 그 시점의 뷰 자체가 사용되지 못하기 때문에 그 특성을 반영한 기술 개발이 필요하다. 본고에서는 현재까지의 초다시점 획득, 디스플레이 기술에 대한 동향을 간략하게 살펴보고, 초다시점 미디어의 전송 기술로 많이 연구되고 있는 MPEG의 DASH 및 MMT 기술과 이러한 전송 기술을 이용하는 서비스 혹은 개발 중인 기술에 대하여 살펴보고자 한다.
   3603 Downloaded 6322 Viewed
목록

Ⅰ. 머리말

디지털 시대가 도래함에 따라 디지털 영상 분야에서는 실감미디어에 대한 관심이 높아지고 있다. 최근에는 이러한 실감미디어의 대안으로 다시점 비디오(Multi-view Video), 초다시점 비디오(Super Multi-view Video), 홀로그래피(Holography) 등과 같은 기술에 대한 연구가 활발히 진행되고 있다. 또한, 국제표준화기구인 MPEG에서는 두 대 이상의 카메라를 통해 여러 방향의 시점 획득하고 이를 사용자에게 제공하는 다시점 비디오 부호화(MVC)에 관한 표준화 작업이 추진되었고, 최근에는 80개 이상 시점을 가지는 초다시점 비디오(SMV)에 관한 표준화가 진행되고 있다.

초다시점 비디오는 다시점 비디오 보다 더욱 많은 시점의 영상을 이용하기 때문에 임의시점의 영상을 합성했을 때 영상이 부드럽게 이어지고 눈의 피로감을 감소시키는 등 화질이 더욱 향상되는 장점이 있다. 초다시점 비디오를 생성하는 방법은 카메라 시스템, 컴퓨터 그래픽스(CG), 광선추적(Raytrace) 방식 등이 사용된다. <표 1>은 MPEG 표준화 회의에서 사용되는 초다시점 비디오 실험 콘텐츠의 제작 기관, 시퀀스 이름, 시점 수 및 제작 방식을 보여준다.

광주과기원(GIST)에서는 2015년부터 MPEG의 다시점 영상 부호화 기술을 연구하면서 다시점 카메라 리그 설계, 다시점 영상 획득 시스템 구현 및 깊이맵 구현 기술을 개발하고 있다. 또한, KIST, KETI, ETRI 등 국내 연구소에서도 다시점 영상 획득을 위한 카메라 캘리브레이션 기술, 뎁스맵 생성 기술, 다시점 영상 처리 기술 및 다시점 방송 기술 등에 관한 연구를 진행 중이다.

<표 1>

MPEG 초다시점 비디오 실험 콘텐츠[1]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_t001.jpg

초다시점 미디어 디스플레이 기술에서는 기존의 다시점 3D 디스플레이가 가지는 문제인 시점 수에 따른 해상도 저하, 시점 간 크로스토크 발생으로 인한 3D 화질 저하, 해상도 문제에 따르는 시점 수 제한으로 발생하는 좁은 시역의 문제 그리고, 눈의 피로현상 발생 등의 문제를 해결하기 위하여 시점수를 증가시키고 동공 내에 다수의 시차영상을 제공하는 방법을 적용하고 있다. 이 기술은 일본 Telecommunication Advanced Organization (TAO)에서 진행된 2nd 3D Project에서 고안된 개념으로 이후 동경농공대에서는 투사 광학계를 이용한 다양한 초다시점 디스플레이 기술을 선보였다[2]-[4]. 한국에서는 KIST에서 초다시점 조건에 대한 연구를 진행하고 있다[5].

초다시점 미디어 전송 기술은 획득된 초다시점 미디어를 초다시점 디스플레이에 표현하기 위해 방송망 혹은 데이터망을 통해 부호화된 초다시점 미디어를 송수신하는 기술이다. 초다시점 미디어는 굉장히 많은 시점의 영상 정보를 포함하고 있어 데이터 양이 매우 커서 이를 압축 및 전송하는 기술이 매우 중요하다. 캐나다에서는 DASH기반의 Free-viewpoint video(FVV) 스트리밍 시스템[6]이 연구되고 있고, 일본에서는 (그림 1)과 같이 Synthesis Error COmpeNsateD Multiview Video plus Depth(SECOND-MVD) 3D 포맷을 전송하는 기술이 연구 개발되고 있다. 국내에서는 ETRI에서 MPEG의 DASH 및 MMT를 이용한 초다시점 미디어 전송 기술을 개발하고 있다. 초다시점 미디어 기술은 게임에서의 3차원 가상 시점, N개의 카메라의 영상들로부터 입력된 영상을 선택할 수 있도록 하는 시점 스위칭 등으로 적용될 수 있다. 또한, 실감영화, 실감광고 및 실감교육 등에도 다양하게 활용될 수 있다. 본고에서는 초다시점 미디어 전송 기술을 중심으로 초다시점 미디어 획득 및 초다시점 미디어 디스플레이 디스플레이 기술의 동향에 관해 기술하고자 한다.

(그림 1)

SECOND-MVD에서의 시점 전송 및 뷰 합성 기술[7]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f001.jpg

II. 초다시점 미디어 획득 기술동향

3차원 실감서비스를 제공하기 위해서는 고품질의 초다시점 미디어를 획득하는 기술이 무엇보다 중요하다. 이를 위해서 다양한 형태의 카메라 시스템이 제안되었다. 초다시점 카메라는 여러 대의 카메라를 일정한 형태로 배열한 뒤, 동시에 장면을 촬영함으로써 초다시점 영상을 얻는다. 다수의 카메라를 평행선상에 배열하여 촬영하는 평행 카메라 배열이 가장 널리 사용되고 있으며, 인접한 카메라 사이에 일정한 각도를 가지는 아치형 카메라 배열이나 원형 카메라 배열도 사용된다. 좀더 자유로운 시점의 영상을 얻기 위해 1차원 카메라 배열을 여러 층으로 쌓아 올린 형태의 2차원 카메라 배열을 사용하기도 한다. 일본 Nagoya 대학이 사용한 카메라 시스템으로 (그림 2a)는 100개의 카메라를 5cm 간격으로 1차원 평행 배열로 구성하였고, (그림 2b)는 100개의 카메라를 반원형으로 배열한 시스템이다.

(그림 2)

Nagoya 대학의 카메라 시스템

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f002.jpg

다시점 카메라를 이용해 영상을 촬영한 후 각 영상을 다시 정렬한다. 이후 영상 사이의 색상 불일치를 보정하고 깊이맵을 생성한다. 다시점 비디오 부호화에서 가장 많이 사용하는 예측 구조는 시점 축으로는 I-B-P-B-P 구조이며, 시간 축으로의 예측은 계층적 B 화면인 구조이다[1]. (그림 3)은 계층적 B 화면을 이용한 사용한 시-공간적 예측 구조를 보여준다. 다시점 비디오 부호화를 위해서는 기본 부호기로 H.264/AVC(Advanced Video Coding)를 이용한다.

(그림 3)

계층적 B 화면을 이용한 사용한 시-공간적 예측 구조[1]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f003.jpg

H.264/AVC에서는 시점 간의 상관도만 고려하지만, 깊이 영상과 색상영상의 상관도를 이용하지 않는다. HEVC는 기존 부호기인 H.264/AVC에 비해 약 2배 향상된 압축 성능을 제공한다. MV-HEVC(Multi-view HEVC)와 3D-HEVC는 각각 다시점 부호화 및 3차원 비디오 압축이 가능하게 기존 HEVC를 확장한 부호기이다.

국내에서는 ㈜쓰리디팩토리, ㈜앤미디어, ㈜네오스코프 등을 중심으로 초다시점 미디어 제작, 초다시점 디스플레이 제작 및 초다시점 미디어 획득 시스템 활용한 다시점 영상 콘텐츠 서비스 사업을 추진 중이다.

III. 초다시점 디스플레이 기술동향

초다시점 디스플레이는 다시점 디스플레이 중 시점 간의 간격이 동공 크기보다 작아 하나의 동공 안에 여러 개의 시점 영상이 투사되도록 만들어진 디스플레이 장치이다. 초다시점 디스플레이는 (그림 4)와 같이 시점 간의 간격을 조밀하게 하여 한쪽 눈에 여러 개의 시점 영상이 동시에 투사되게 함으로써 양안 시차뿐만이 아니라 눈의 초점 조절도 올바른 깊이면에 맞추도록 하는 기술이다.

(그림 4)

초다시점 디스플레이 기본 원리[8]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f004.jpg

초다시점 디스플레이는 일본 동경농공대의 Takaki 교수팀에서 지속적으로 연구를 진행하고 있고, 2010년에는 (그림 5)와 같이 다수의 다시점 패널을 투사하여 시점들이 중첩되게 함으로써 256시점의 초다시점을 구현하였다[8].

(그림 5)

256시점 뷰 시스템[8]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f005.jpg

그 이후에는 동공 추적 기술을 적용하여 동적 초다시점 구현 방식을 검증하였다. 국내에서는 KIST에서 108시점을 지원하는 초다시점 미디어 디스플레이를 개발 중이다. 또한, 삼성전자, LG전자, SONY, Dolby, Dimenco 등 세계 주요 가전사에서 4K UHD 영상을 기반으로 해상도를 높인 무안경식 다시점 미디어 디스플레이 시제품을 발표하였다. 2015년에 삼성전자는 미국 라스베가스에서 열린 가전박람회에서 8K 영상을 기반으로 한 무안경 3DTV을 전시하였다.

IV. 초다시점 미디어 전송 기술동향

기존 비디오 스트리밍 서비스에서 Real-time Transport Protocol(RTP)는 User Datagram Protocol (UDP)를 기반으로 동작하기 때문에 방화벽이나 Network Address Translator(NAT)에 의해 서비스가 제한을 받는다는 문제점이 있었다[9]. MPEG에서는 다양한 HTTP 적응적 스트리밍 서비스의 포맷을 통일하기 위해 DASH 표준을 정의하였다. 또한, MMT는 디지털 방송 분야에서 전 세계적으로 널리 사용되고 있던 MPEG-2 TS 대신 스마트TV, UHDTV, 다시점TV 등 미래의 방송 및 멀티미디어 서비스에 사용하기 위해 MPEG에서 표준화 중인 미디어 전송 표준이다. 초다시점 미디어를 전송하기 위해서는 MPEG의 DASH 및 MMT 기술이 활용되고 있다. 본 장에서는 초다시점 미디어 전송 기술에 대하여 설명한다.

1. DASH기반 초다시점 미디어 전송 기술

HTTP기반의 적응형 전송 기술은 다양한 기기와 네트워크 환경을 고려한 미디어 전달 기술로 유연하고 효율적인 멀티미디어 서비스가 가능하여 모바일, 데스크탑 등의 대부분의 운영체제에서 지원 가능한 전송규격으로 수용되어 범용적 상용 서비스 모델로 활용되었다. 특히, MPEG DASH(Dynamic Adaptive Streaming over HTTP)[10]인 경우 네트워크 대역폭 사용률을 기존 H.264 대비 2배 이상의 효율성을 보이는 HEVC 부호화된 전송 규격을 지원하여 비디오 해상도 8K이상 급의 미디어 전송을 가능하게 하여 고품질 미디어로 생성되는 다시점 미디어를 전송하는 기술로써 가능성 있는 후보로 여겨질 수 있다.

DASH기반 다시점 미디어 전송 기술과 관련된 연구를 통해 예를 들면, (그림 6)의 송신 단에서는 Media Presentation Description(MPD)를 통해 네트워크 환경 적응형으로 전송 가능한 분할된 다시점 미디어를 시간 정보화 함께 각 시점별로 제공하고, (그림 7)의 수신 단에서는 HTTP GET으로 분할된 미디어를 HTTP Server를 통해 수신하여 다시점 미디어로 재현한다. 이때, (그림 8)에서의 수신 단말에서는 분할된 미디어를 복호화하여 버퍼에 보관하고 각 시점별 분할 미디어가 모두 수신되면 다시점 미디어로 변환하고 생성하여 재현하는 연구가 진행되었으며 버퍼링에 의한 전송 지연 및 동기화 문제 극복 등의 이슈가 남아있다[6].

(그림 6)

DASH 적용 송신 구조도[8]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f006.jpg
(그림 7)

DASH 적용 수신 구조도[8]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f007.jpg
(그림 8)

DASH기반 초다시점 미디어 단말 처리 구성도[8]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f008.jpg

ETRI에서도 각각 다른 다시점 미디어 디스플레이를 보유한 다수의 사용자에게 DASH의 네트워크 적응형 전송 기술을 응용한 시점 적응형 미디어 공유 및 협업 기능을 제공하기 위한 초다시점 미디어 협상 기술을 개발 중이다. 송신 단에서 사용자가 보유한 다시점 단말에 적합한 미디어를 전송하기 위해 지원하는 시점별로 분할된 미디어의 MPD 관리를 하며 수신 단에서 미디어 공유 요청을 받게 되면 적합한 다시점 미디어 MPD를 제공한다. 수신 단 단말에서는 MPD를 통해 받은 분할된 미디어로 생성된 다시점 미디어 시점과 재현 가능한 디스플레이어의 종류에 따라 크로핑이나 중간시점 생성 기술을 통해 최적화된 초다시점 미디어를 재현하는 기술 등을 적용할 예정이다.

또한, 다시점 미디어의 협업을 위한 선형(Linear) 전송 기술을 개발 중이며, 협업 선형 전송 기술은 주문형 비디오(Video on demand)와 실시간(Live) 전송의 중간형태로 다수의 시청자가 동시간에 같은 내용의 미디어를 감상하며 재생 제어를 가능하도록 하는 기술로, DASH기반으로 제공할 때 각 사용자별 지연 차이 성능 등을 개선해야 하는 이슈가 있다[11].

2. MMT기반 다시점 미디어 전송 기술

초다시점 미디어는 기존의 다시점 미디어와 비교하여 많게는 10배가 넘는 시점 정보를 포함하고 있으므로 대용량의 초다시점 미디어를 전송하기 위해서는 IP 망에서 실시간성을 고려한 프로토콜의 사용이 필요하다. MMT는 MPEG에서 표준화를 진행하고 있는 차세대 미디어 전송 규격으로 방송망(Broadcast Network)과 인터넷을 동시에 서비스할 수 있는 하이브리드 방송에 적합한 기능을 제공한다. (그림 9)는 ETRI에서 개발 중인 MMT기반 초다시점 미디어 전송 시스템의 구조도를 보여준다.

(그림 9)

MMT기반 초다시점 미디어 전송 시스템 구조도

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f009.jpg

우선, 초다시점 미디어 송신 모듈에서는 카메라 혹은 ISO Base Media File Format(ISOBMFF)파일에서 입력받은 영상을 인코딩한다. MPU 파일 생성기는 하나 이상의 MPU 파일들을 생성하는데 이 과정에서 MPU 변환을 위한 초기화, MPU 생성, MOOV Box Conversion, MMT Hint Track Generation, MOOF MDAT Box Conversion, MMT Hint Sample Generation 등의 작업이 이루어진다. 이후 MMTP Payload 모듈에서는 MPU metadata, Fragment metadata, MFU 부분의 세 가지 Fragment type에 따라서 Packetizing 된다. Packetizing된 데이터가 MMTP Packetizing 모듈로 전달되면 NTP Timestamp와 추가 정보들을 Packetizing하고 이 패킷을 Error Control 모듈로 전달한다. Error Control 모듈에서는 MMTP 패킷이 정상적으로 전송되었는지를 확인 후 패킷이 손실되면 재전송 처리를 해 준다. (그림 10)은 여러 시점을 하나의 타일 이미지로 구성하고 이를 MMT로 전송하는 구조도를 보여준다.

(그림 10)

MMT기반 송신 구조도

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f010.jpg

초다시점 미디어 수신 모듈에서는 서버가 송신한 MMTP 패킷을 Transport 모듈을 통해 수신하고, 패킷의 손실 여부를 확인한 후 이상이 없으면 수신 버퍼에 저장한다. 패킷 손실이 있을 경우 Error Control 모듈은 MMT 시그널링 메시지를 생성하여 손실된 패킷에 대한 재전송을 서버에게 요청한다. 수신 버퍼에 저장된 MMTP 패킷을 MMTP Depacketizing을 통해서 MMTP Payload Depacketizing 모듈로 전달하고, metadata의 정보를 바탕으로 인코딩된 데이터를 디코더로 전달한 후 복호화된 초다시점 미디어를 초다시점 미디어 디스플레이에 맞게 합성한 후 이를 재생한다. (그림 11)은 MMT기반의 수신 구조도를 보여준다.

(그림 11)

MMT기반 수신 구조도

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f011.jpg

Ⅴ. 초다시점 미디어 전송 서비스 동향

본 장에서는 RTP, DASH 및 MMT 등의 표준화된 전송 기술을 이용한 초다시점 미디어 전송 서비스 기술동향에 대하여 설명한다.

1. 초다시점 광고 서비스

초다시점 미디어를 구성하는 시점의 개수가 늘어나게 되면 전송을 위한 데이터의 양은 기하급수적으로 늘어난다. 기존에는 다시점 디스플레이가 지원하는 해상도가 낮았기 때문에 다시점 미디어의 용량이 크지 않았지만 4K를 지원하는 다시점 미디어 디스플레이가 개발됨에 따라 점차 8K/12K 이상의 초고화질 콘텐츠 전송 기술이 필요하게 되었다. 8K/12K의 초다시점 미디어를 플레이하기 위하여 초다시점 미디어를 4K의 4개 혹은 9개로 획득하고 이를 각각 인코딩하여 클라이언트 단말로 전송한 후 각 단말에서 연결된 모니터로 동기화하여 디스플레이한다.

관련 기술로는 일본의 Takaki 교수팀에서 연구가 수행되고 있고[8], 국내에서는 KETI 및 ETRI에서 개발을 진행하고 있다. 특히, KETI에서는 IEEE 1588 표준 프로토콜인 Precision Time Protocol(PTP)를 사용하여 각 단말의 네트워크 시간을 동기화시켰다[12]. 이와 같이 동기화된 시스템 클럭을 이용하여 각 단말이 동일한 시간에 영상을 재생할 수 있도록 하였다. 다채널 디스플레이로는 Dimenco사에서 1×3의 3개 다시점 디스플레이를 가로로 출력하는 제품이 출시되고 있고, Magnetic 3D 사에서 12개의 다시점 모니터를 3×4로 배치하여 7680×3240의 해상도를 지원하는 제품이 출시되고 있다.

2. 초다시점 영상 회의 서비스

초다시점 카메라 및 초다시점 디스플레이의 보급이 활성화되면 초다시점 영상 회의 서비스가 여러 분야에서 활용될 수 있다. MCU는 참여자 간에 미디어를 배포하기 위한 브리지(Bridge)처럼 동작하는 서버이다. MCU들은 비디오 컨퍼런스에서 각기 다른 해상도, 코덱, 프레임율, 변환부호화(Transcoding)의 조작, 선택적 스트림 포워딩의 실행, 그리고 오디오와 비디오의 혼합(mix)및 녹화/녹음 등의 기능을 제공한다. ETRI에서 개발되고 있는 MCU기반 초다시점 미디어 영상 회의의 구조는 (그림 12)와 같다.

(그림 12)

초다시점 미디어 영상 회의 서비스 구조도

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f012.jpg

MCU기반 초다시점 미디어 영상 회의 시스템은 초다시점 카메라로부터 획득된 영상을 연결된 사용자들에게 송출하여 초다시점 미디어 디스플레이에 재현할 수 있는 단방향 영상 전송/수신 기능과 2~4자의 사용자가 MCU에 접속하여 입체 화상회의를 진행할 수 있는 양방향 영상 전송/수신 기능으로 구성된다. 초다시점 미디어의 실시간성을 보장하기 위해 하드웨어 및 소프트웨어 인코딩, 디코딩을 지원하고 전송된 초다시점 영상을 실시간으로 화면에 디스플레이하기 위하여 하드웨어 가속을 사용한다.

현재 ETRI에서 개발 중인 초다시점 미디어 영상 회의 시스템은 초다시점 카메라에서 4K의 9시점 영상을 입력으로 사용한다. 이는 영상 회의의 특성상 실시간성을 고려한 것으로 MCU에서는 4K의 4개 이미지를 수신 받아 4K 이미지로 Resizing 및 Mixing하여 사용자에게 전송한다. 전송된 영상은 4K 초다시점 디스플레이에 2자 혹은 4자 화면으로 디스플레이 된다.

3. 초다시점 협업 서비스

초다시점 미디어 기술의 활용 예로 시제품 디자인 및 신제품 사업화 회의를 영상회의로 진행하며 회의 주제가 되는 대상 제품을 초다시점 미디어로 획득 및 공유하여 몰입감 있는 협업을 수행할 수 있다. ETRI에서는 객체에 대해 360도 방향의 초다시점 미디어를 획득한 후 획득된 미디어를 회의 참석자들에게 전송하고 이를 공유하며, 인터랙션을 통해 초다시점 객체를 다양한 각도에서 바라보면서 몰입감 있는 협업을 진행할 수 있는 기술을 개발하고 있다.

회의에 참석한 제품 시연자는 고속으로 제품의 수평 360도 초다시점 이미지를 획득한다. 획득된 초다시점 이미지 시퀀스를 압축한 후 5G 전송 네트워크를 통해 회의 참석자들에게 전송한다. 회의 참석자는 이미지 포맷팅, 시점 선택 및 다중화 기능을 탑재한 초다시점 미디어 플레이어를 이용해 초다시점 미디어를 재현한다. 또한, 회의 참석자는 제스쳐 인터랙션을 통해 초다시점 이미지의 특정 시점 이미지를 선택할 수 있고, 인터랙션 공유를 통해 회의 참석자들이 동일한 시점의 초다시점 미디어를 볼 수 있다.

4. 초다시점 교육 서비스

초다시점 미디어 기술의 활용 예로 인터넷 강의를 진행하며 강사가 줌인(Zoom-in)/줌아웃(Zoom-out), 좌우 회전 등 사용자 인터랙션 적용이 가능한 CG 콘텐츠 교보재를 조작함으로써 강의 몰입도를 향상 시킬 수 있다. ETRI에서는 생성된 CG 객체와 실시간으로 획득된 초다시점 실사 영상을 전송하여 사용자들이 CG와 실사가 합성된 초다시점 미디어를 디스플레이할 수 있는 기술을 개발하고 있다.

강사는 강사측 초다시점 카메라를 이용하여 실시간으로 초다시점 영상을 획득하고 HW/SW 코덱으로 초다시점 영상을 인코딩한 후, 5G 네트워크를 통해 이를 전송한다. 강의 참석자는 초다시점 콘텐츠 공유 서버를 통해 공유된 초다시점 CG 콘텐츠를 다운로드 받은 후, 수신된 실사 초다시점 영상과 초다시점 CG 객체를 합성하고 초다시점 디스플레이에 재현한다. 초다시점 CG 객체는 9시점 이상 108시점을 지원하고 실사 영상은 실시간성을 고려하여 9시점을 지원하고 있다. 강사는 인터랙션을 통해 CG 객체를 조작할 수 있고, 강사의 인터랙션 정보는 공유서버를 통해 참석자의 CG 객체에 동일하게 적용된다.

VI. 맺음말

3D 기술이 발전하면서 3DTV 등 다시점을 이용한 다양한 서비스들이 개발되었다. 그러나, 일반적인 다시점 디스플레이의 경우 양안 시차에 의해 투사되는 영상 자체는 2차원이기 때문에 눈의 초점이 영상이 아닌 디스플레이 패널면에 초점을 맞추게 된다. 즉, 양안 시차와 눈의 초점 조절이 서로 상응하지 못하는 경우에는 피로감을 유발하게 된다. 이러한 문제점을 해결하기 위하여 시점 간의 간격을 조밀하게 하여 한쪽 눈에 여러 개의 시점 영상이 동시에 투사되게 함으로써 양안 시차와 눈의 초점 조절도 올바른 깊이면에 맞추도록 하는 초다시점 서비스 기술이 개발되고 있다.

초다시점 서비스를 위해서는 초다시점 미디어 획득, 전송, 디스플레이하는 기술이 어우러져 개발되어야 한다. 현재까지는 대부분 초다시점 미디어를 획득하고 부호화하며 이를 디스플레이하는 기술에 초점이 맞추어져 있다. 그러나, 초다시점 미디어 서비스가 활성화되기 위해서는 초다시점 미디어를 효율적으로 전송하기 위한 기술도 필요하다. 본고에서는 초다시점 미디어 획득 기술, 초다시점 미디어 디스플레이 기술, 그리고, 이를 부호화하기 위한 표준화 동향을 살펴보았다. 또한, 초다시점 미디어를 표준화하고 있는 MPEG에서의 DASH 및 MMT를 이용한 전송 기술과 이를 이용한 전송 서비스 동향에 대하여 살펴보았다.

초다시점 기술은 홀로그램으로 발전하기 전의 단계로 향후 실감서비스와 관련되어 다양한 기술로 발전할 것으로 예상된다. 초다시점 미디어는 기존 미디어와는 달리 부호화하는 데 시간이 많이 소요되고 실시간성을 보장하기 위해서는 전송해야 하는 데이터의 양이 커지게 되며 영상의 중간에 일부라도 데이터 손실이 발생하게 되면 합성된 시점 영상은 전혀 입체영상이 되지 못하고 사용자에게 피로감을 주게 되는 특성이 있다. 향후에는 이러한 전송된 초다시점 미디어의 오류 검출 및 이를 복구하기 위한 기술에 대한 연구가 필요하다고 예상된다.

용어해설

MMT(MPEG Media Transport) 기존의 방송망 중심의 MPEG-2 TS 스트리밍 프로토콜과 IP 망에서의 RTP 스트리밍 프로토콜의 장점을 살려서 만들어진 차세대 미디어 전송 규격

초다시점 입체 디스플레이 시점간의 간격을 조밀하게 하여 한쪽 눈에 여러 개의 시점 영상이 동시에 투사되게 함으로써 양안 시차 뿐만 아니라 눈의 초점 조절도 올바른 깊이면에 맞추도록 하는 디스플레이

약어 정리

ARQ

Automatic Repeat Request

AVC

Advanced Video Coding

DASH

Dynamic Adaptive Streaming over HTTP

FVV

Free-viewpoint Video

HEVC

High Efficiency Video Coding

ISOBMFF

ISO Base Media File Format

MCU

Multipoint Control Unit

MFU

Media Fragment Unit

MMTP

MPEG Media Transport Protocol

MPD

Media Presentation Description

MPU

Media Processing Unit

MOOF

Movie Fragment Box

MOOV

Movie Box

MPEG

Moving Picture Experts Group

MVC

Multi-view Video Coding

MV-HEVC

Multi-view extension of the HEVC

NAT

Network Address Translator

NTP

Network Time Protocol

PTP

Precision Time Protocol

TAO

Telecommunication Advanced Organization

RTP

Real-time Transport Protocol

RTCP

Real-time Transport Control Protocol

SECOND-MVD

Synthesis Error COmpeNsateD Multiview Video plus Depth

SMV

Super Multi-view Video

UDP

User Datagram Protocol

UHDTV

Ultra HDTV

[1] 

호요성, “초다시점 비디오의 국제 표준화 동향,” 한국통신학회지(정보와통신), 제32권 제3호, 2015. 2, pp. 3-10.

[2] 

D.M. Hoffman et al., “Vergence-Accommodation Conflicts Hinder Visual Performance and Cause Visual Fatigue,” J. Vis., vol. 8, no. 3, Mar. 28th, 2008, pp. 1-30.

[3] 

Y. Takaki and N. Nago, “Multi-Projection of Lenticular Displays to Construct a 256-View Super Multi-View Diplay,” Opt. Express, vol. 18, no. 9, 2010, pp. 8824-8835.

[4] 

Y. Takaki et al., “Super Multi-View Windshield Display for Long-Distance Image Information Presentation,” Opt. Express, vol. 19, no. 2, Jan. 2011, pp. 704-716.

[5] 

김성규, “초다시점(SMV) 3D 디스플레이의 소개,” 한국통신학회지 (정보와통신), 제31권 제2호, 2014. 1, pp. 37-43.

[6] 

A. Hamza and M. Hefeeda, “A DASH-based Free Viewpoint Video Streaming System,” Proc. of the ACM Networking and Operation System Support on Digital Audio and Video Workshop, Mar. 2014, pp. 1-6.

[7] 

Y. Kenji, “Super Multi-view Display and Transmission toward Ultra-realistic communication Systems,” Imaging and Applied Optics, July 2016.

[8] 

http://web.tuat.ac.jp/~e-takaki/research/pdf/global3d.pdf

[9] 

김상욱, 윤두열, 정광수, “DASH 기반의 다시점 비디오 서비스에서 시점전환 지연 최소화를 위한 비디오 전송 기법,” 정보과학회논문지, 제43권, 제5호, 2016. 5, pp. 606-612.

[10] 

ISO/IEC, Information Technology “Dynamic Adaptive Streaming over HTTP (DASH) - Part 1: Media Presentation Description and Segment Formats,” ISO 23009-1:2012, International Organization for Standardization, Geneva, Switzerland, 2012.

[11] 

H. Andrew, “Live Linear Streaming-The TV Everywhere Accelerator for Pay TV,” The Fourth W3C Web and TV, May 2014.

[12] 

조경신 외, “초다시점 디스플레이를 위한 영상 동기화 시스템 구현,” 한국통신학회 하계종합학술발표회, 2015. 6. 23, pp. 1584-1585.

(그림 1)

SECOND-MVD에서의 시점 전송 및 뷰 합성 기술[7]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f001.jpg
(그림 2)

Nagoya 대학의 카메라 시스템

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f002.jpg
(그림 3)

계층적 B 화면을 이용한 사용한 시-공간적 예측 구조[1]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f003.jpg
(그림 4)

초다시점 디스플레이 기본 원리[8]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f004.jpg
(그림 5)

256시점 뷰 시스템[8]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f005.jpg
(그림 6)

DASH 적용 송신 구조도[8]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f006.jpg
(그림 7)

DASH 적용 수신 구조도[8]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f007.jpg
(그림 8)

DASH기반 초다시점 미디어 단말 처리 구성도[8]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f008.jpg
(그림 9)

MMT기반 초다시점 미디어 전송 시스템 구조도

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f009.jpg
(그림 10)

MMT기반 송신 구조도

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f010.jpg
(그림 11)

MMT기반 수신 구조도

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f011.jpg
(그림 12)

초다시점 미디어 영상 회의 서비스 구조도

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_f012.jpg
<표 1>

MPEG 초다시점 비디오 실험 콘텐츠[1]

images_1/2016/v31n5/ETRI_J003_2016_v31n5_70_t001.jpg
Sign Up
전자통신동향분석 이메일 전자저널 구독을 원하시는 경우 정확한 이메일 주소를 입력하시기 바랍니다.