무안경 다시점 3DTV 기술 및 표준화 동향

1. 다시점 3DTV 기술 개요

인간은 두 눈을 통하여 3차원 세계를 인식하는 양안시차 원리를 이용한다. 즉, 인간은 수평방향으로 약 6.5cm 떨어져 위치한 두 눈을 통해 두 개의 시점이 다른 영상을 획득하고, 이러한 두 영상의 차이를 뇌에서 분석하여 깊이감이 있는 단일한 3차원 영상으로 재구성하여 인식을 하게 된다. 따라서 현실에서 우리가 두 눈에 맺히는 것과 동일하게 두 개의 영상을 획득하여 이를 좌우 각각의 눈에 서로 섞이지 않고 보여주는 것이 3DTV의 기본 원리이다. 이때, 좌우 두 눈에 다른 시점의 영상을 제시하여 주는 방식이 3DTV 기술의 핵심이 라고 할 수 있다. 현재는 특수안경을 통하여 좌우 영상을 분리하여 시청자의 좌안과 우안에 제공하는 스테레오스코픽 3DTV가 보편화 되어있다.

이와 달리 안경을 쓰지 않는 무안경 다시점 3DTV는 두 시점 혹은 그 이상의 다시점 영상을 동시에 제시하여 주는데, 이때 여러 시점을 분리하여 좌우 두 눈에 전달 되도록 하는 기술이 필요하다.

시청자가 실세계에서 물체를 볼 때에는 (그림 1 (a))에서와 같이 머리를 좌우로 움직이면 각 시점 위치에서 다른 장면이 보이게 된다. 실세계의 경우이기 때문에 시점이 무한히 존재한다고 볼 수 있다. (그림 1 (b))는 시청 가능한 위치를 한정한 것으로, 한정된 각 시점 위치에서만 그 위치에서의 시점영상을 볼 수 있다. 이러한 기본 원리를 이용한 것이 무안경 다시점 3D 기술로, (그림 1(C))에서 보는 바와 같이 두 시점 이상의 영상을 획득한 뒤, 이를 각 지정된 위치에서 서로 다른 시점의 영상을 좌우 두 눈으로 볼 수 있도록 디스플레이 해주는 기술이다. 즉, 두 시점 이상의 영상들을 화면에 동시에 표시하여주고, 각 시점의 영상이 지정된 위치에 갈 수 해주는 기술들을 이용하여 좌우 두 눈에 각각 서로 다른 시점의 영상을 보내주게 된다.

(그림 1)

무안경 다시점 3D 기술의 원리

이러한 다시점 3D 기술은 기존 양안식 3D 기술과 는 달리 안경착용이 불편함이 없고, 시청자의 움직임에 따라 다른 영상을 보여주는 운동시차를 제공함으로써 입체감을 향상시킬 수 있는 장점을 가진다.

다시점 3DTV 방송을 제공하기 위한 기술로는 기존 스테레오스코픽 3D 영상을 이용하여 수신 단말에서 다시점 3D 영상을 합성하여 시청자에게 제공하는 기술과 획득에서 소비에 이르는 전 과정을 다시점 3D 영상을 이용하는 방법으로 나눌 수 있다.

기존 스테레오로스코픽 3D 영상을 이용한 방법은 이미 상용서비스가 제공 중인 기존 양안식 3D 방송 콘텐츠 및 인프라를 그대로 이용할 수 있는 장점이 있으며, 제공되는 콘텐츠가 스테레오스코픽 3D 영상을 기반으로 하고 있어 다시점 3D 영상 고유의 화질 및 깊이감을 제공하기는 어려운 단점을 가지고 있다.

이에 비하여 콘텐츠 획득에서 소비까지 다시점 3D 영상을 기반으로 하는 경우에는 기존 방송인프라를 그대로 이용하기 어렵고, 시점 수에 따라 처리 및 전송해야 할 영상 데이터가 증가하는 단점은 있으나, 다시점 3D 영상으로 제공할 수 있는 깊이감이나 운동시차 등을 제공할 수 있는 장점이 있다.

한편, 다시점 3D 영상을 기반으로 3DTV 방송서비스를 제공하기 위해서는 시점 수 증가에 비례하여 증가하는 비디오 데이터를 효율적으로 부호화하여야 한다.

본 장에서는 무안경 다시점 3D 디스플레이 기술과 다시점 3D 영상 부호화 기술에 대하여 기술한다.

2. 다시점 3D 디스플레이 기술

무안경 방식의 다시점 3D 디스플레이 방식은 공간분할 방식으로서 빛의 투과여부에 의해 방향성을 부여하는 패랠랙스 배리어(Parallax Barrier) 방식과 빛의 굴절에 의해 방향성을 부여하는 렌티큘러 렌즈(Lenticular Lens) 방식으로 나눌 수 있다.

무안경 방식의 다시점 3D 디스플레이에서는 여러 시점 영상의 빛의 진행에 방향성을 부여하기 때문에 시청 위치에 따라 입체영상의 화질이 달라지고, 여러 시점의 영상들을 하나의 디스플레이 패널에 공간적으로 적절히 분할 배치시켜야 하므로 디스플레이에서 제공하는 시점수만큼 해상도 저하가 발생한다. 이러한 해상도 저하문제를 해결하기 위하여 경사의(slanted) 패랠랙스 배리어 또는 렌티큘러 렌즈 기술개발되어 적용되고 있으나 이 기술은 수평과 수직 양방향으로 비슷한 비율로 해상도를 저하시켜 특정방향으로만 해상도가 저하되는 것을 방지하기 위한 것으로써, 이 기술도 어느 정도의 해상도 감소는 발생한다. 최근에는 4K UHD 패널을 사용하여 3D 모드에서도 HD급의 고화질 입체영상을 제공하는 제품도 출시되고 있다.

가. 패랠랙스 배리어 방식

패랠랙스 배리어 방식은 빛을 차단하는 액정 슬릿을 2D 디스플레이 패널의 앞면 또는 뒷면에 위치시켜 디스플레이 공간상에서 좌, 우 또는 여러 시점을 표현하는 화소들의 빛의 투과 여부를 조절함으로써 양안에 들어오는 영상을 분리하여 안경을 착용하지 않고 입체를 인식시키는 방식이다. (그림 2)에는 패랠랙스 배리어 방식의 구조 및 작동원리를 나타내었다[1].

(그림 2)

패랠랙스 배리어 방식의 구조 및 작동원리

(그림 3)

패랠랙스 배리어 방식의 2D/3D 모드전환 방식의 예[2]

패랠랙스 배리어 방식은 일반적으로 소형 디스플레이에 사용되고 있는 기술로 구조가 단순하고 기존의 액정패널 기술로 구현 가능하며 전기적으로 액정의 슬릿을 ON/OFF 할 수 있어 2D/3D 모드전환이 가능((그림 3) 참조)하지만 빛을 차단하여 좌, 우 영상을 분리하므로 절반 이상의 빛이 흡수되어 소실되므로 휘도가 감소하는 단점이 있다. 패랠랙스 배리어 방식은 시점 수에 비례하여 휘도가 감소하기 때문에 패랠랙스 배리어 방식은 휘도 감소와 해상도 손실을 최소화하기 위해 주로 1인 시청용 기기인 핸드폰, 전자액자, 노트북, 모니터 등에 주로 사용된다.

최근에 출시된 페랠랙스 배리어 방식의 디스플레이로는 2011년 LG 전자에서 출시한 DX-2000 모델이 있다. 이 제품은 1인 시청용 20인치 3D 모니터로 시선 추적기능을 내장하고 있고 5시점용 경사 페랠랙스 배리어로 설계되었으며 서브 픽셀 단위의 영상 렌더링 방식에 의해 시청자의 눈의 위치에 맞게 입체영상을 동적으로 제공한다. 디스플레이 패널의 해상도가 1,600×900이고 5시점용으로 설계되어 있어 좌, 우 시점당 960×300의 해상도를 제공한다. 또한, 닌텐도 3DS, LG 옵티머스 3D 등에서도 페랠랙스 배리어 방식을 채용하고 있다.

나. 렌티큘러 렌즈 방식

렌티큘러 렌즈 방식은 빛의 굴절에 의해 빛의 방향을 바꾸는 실린더 형태의 렌즈 어레이를 2D 디스플레이 패널의 전면에 부착시켜 디스플레이 공간상에서 좌, 우 또는 여러 시점의 영상들의 방향을 조절함으로써 양안에 들어오는 영상을 분리하여 안경을 착용하지 않고 입체를 인식시키는 방식이다. (그림 4)에는 렌티큘러 렌즈방식의 구조 및 작동원리를 나타내었다.

(그림 4)

렌티큘러 렌즈 방식의 구조 및 작동원리

(그림 5)

능동형 렌티큘러 렌즈 2D/3D 모드전환 원리의 예[3]

렌티큘러 렌즈 방식은 렌즈에 의해 빛을 모으고 굴절시켜 좌, 우 영상을 분리하므로 휘도 손실이 거의 없지만 렌즈설계가 복잡하고 3D 모드 전용으로 2D 모드에서는 영상변형과 화질을 열화시키는 단점이 있다. 이러한 2D/3D 모드전환의 문제를 해결하기 위하여 노트북이나 휴대폰에 렌티큘러 렌즈를 탈·부착함으로써 2D/3D 모드전환이 가능한 방안이 적용되기도 하였다. 최근에는 (그림 5)에서 보는 바와 같이 렌티큘러 렌즈내에 액정을 주입하고 액정에 전기적 신호를 인가하여 액정에 의한 편광을 바꾸어 렌즈 내 굴절률을 바꿀 수 있는 능동형 렌티큘러 렌즈기술에 의해 2D/3D 모드전환이 가능한 제품이 출시되었다.

여러 명이 동시에 3D를 시청하기 위해서는 시점 수가 많아야 한다. 앞서 설명한 바와 같이 패랠랙스 배리어 방식은 시점 수 증가에 따른 휘도 감소가 크고 이러한 휘도 감소는 시점 수에 비례적으로 증가하여 적용이 어렵다. 따라서 현재까지 적용되는 다인(multiple user) 시청용 무안경 3D 디스플레이는 대다수가 렌티큘러 렌즈 방식이다.

렌티큘러 렌즈 방식의 디스플레이는 2008년 LG 전자에서 HD 기반의 9시점 디스플레이를 출시한 바 있으며, Philips 등에서도 상용 출시한 바 있다. 그러나 이들 디스플레이들은 시점당 해상도가 낮고, 3D 전용 디스플레이로서 기존 2D 비디오를 시청할 수 없어 3DTV로는 적합하지 않다.

(그림 6)

도시바 무안경 3DTV의 2D/3D 모드전환 원리

최근에는 삼성전자, LG전자, SONY, Dolby, Philips, Dimenco 등 세계 주요 가전사에서 UHD를 기반으로 해상도를 높이고, 2D/3D 모드 변환이 가능한 무안경 다시점 3DTV 시제품을 발표하였으며, 특히 일본 도시바에서는 상용제품을 출시하였다.

도시바에서 발표한 제품은 다인 시청용 55인치 3DTV로서 렌티큘러 렌즈와 디스플레이 패널 사이에 편광 전환 박판(Polarization Switching Sheet)을 추가함으로써 (그림 6)에서와 같이 2D/3D 모드전환이 가능하다.

해당 제품은 9시점 렌티큘러 렌즈로 설계되어 있어 2D 모드에서 4K UHD(3,840×2,160)의 해상도를 제공하고 3D 모드에서는 HD급(1,280×720)의 해상도를 제공한다. 또한 안면 추적용 카메라가 내장되어 있어 시청자의 위치에 따라 시야각 조절도 가능하다.

3. 다시점 3D 비디오 부복호화 기술

다시점 3D 비디오는 대표적으로 컬러영상으로만 구성된 포맷과 컬러영상과 깊이영상으로 구성되는 포맷으로 분류할 수 있다.

가. 다시점 컬러 비디오 부호화 기술

다시점 3DTV의 경우에는 여러 개의 카메라를 이용하여 여러 시점에서의 영상을 촬영하고, 이를 시청자에게 제공하기 때문에 시청자들은 자신이 시청하고 있는 위치에 따라 각기 다른 시점을 가지는 입체영상을 즐길 수 있다.

(그림 7)에는 다시점 3DTV 시스템의 예를 나타내었다[4]. 이 그림에서 보는 바와 같이 3DTV 시스템은 N개의 시점에 대한 비디오를 전송한 뒤, 수신기의 종류 즉, 기존의 2D 수신기, 양안식 3D 수신기, 다시점 3D 수신기 등의 수신기 성능에 따라 필요한 개수의 비디오를 복호화하여 디스플레이 하는 구조는 가진다. 따라서, 다시점 비디오 부/복호화기는 기존의 2D 및 양안식 비디오 부복호화기와 호환성을 가져야 한다.

이러한 요구사항을 만족시키기 위하여 MPEG(Moving Picture Experts Group)에서는 기존 AVC(Advanced Video Coding)와 호환이 되면서 다시점 3D 비디오 부호화 효율을 높이기 위한 다시점 3D 비디오 부호화 기술로 MVC(Multiview Video Coding)에 대한 표준화를 완료하였다. MVC는 MPEG-4 AVC의 확장으로, 주로 뷰 간 예측을 적용한 다시점 3D 비디오의 압축성능 향상, 2D 비디오 스트림 추출 및 복호화, 양안식 3D 비디오 스트림 추출 및 복호화가 가능하도록 High-Level Syntax 수정을 중심으로 표준화가 완료되었다. (그림 8)에는 MVC의 가장 큰 특징 중 하나인 뷰 간 예측 구조를 나타내었다[5].

(그림 7)

다시점 3DTV 시스템의 예

(그림 8)

MVC 뷰 간 예측구조의 예

나. 다시점 컬러 및 깊이 비디오 부호화 기술

다시점 디스플레이는 제품에 따라 다양한 수의 시점을 지원하며, 디스플레이 제조사에 따라 시점 수가 다를 수 있다. 이러한 다양한 종류의 다시점 디스플레이를 지원하기 위해서는 부호화 되어 전송되어온 다시점 비디오 스트림을 가공하여 디스플레이에 맞는 시점수의 비디오를 생성하는 것이 필요하다. 특히, 디스플레이에서 지원하는 시점 수가 다시점 비디오 스트림의 시점 수 보다 많은 경우에는 수신한 비디오 스트림을 이용하여 중간 영상을 합성하여 디스플레이에 맞는 다시점 비디오를 생성하여야 한다.

앞 절에서 설명한 MVC는 다시점 3D 영상을 제공하기 위한 컬러영상 부호화만 지원하기 때문에 주어진 컬러영상을 기반으로 중간 영상을 생성하여야 하며, 지원하는 시점수가 늘어날수록 전송하여야 하는 비디오 스트림의 수가 비례하여 증가하는 문제점이 있다.

이러한 문제점을 해결하기 위한 방법으로, 디스플레이에서 필요로 하는 시점 수보다 적은 수의 영상과 각 영상에 대응되는 깊이영상과 함께 전송하고, 이들을 이용한 중간시점 영상생성을 통하여 사용자에게 N개의 영상을 제공함으로써 전송효율을 높일 수 있다. 이때 중간영상 생성을 위해서는 DIBR(Depth Image Based Rendering) 기술을 사용한다. (그림 9)에는 이의 한 예로서 3개 시점 영상을 입력 받아 9시점 영상을 출력하는 예를 나타내었다.

(그림 9)

3시점 입력에 대한 9시점 출력 예[6]

1. 3D 비디오 부호화 표준화 동향

3D 비디오 부호화 표준화는 이미 표준화된 기술인 AVC[7] 및 MVC[7], 그리고 HEVC(High Efficiency Video Coding)[8]와의 호환성에 따라 분류된다. 3D 비디오 부복호화 기술은 기존 2D 비디오 부복호화를 위한 AVC 또는 HEVC 같은 기존 기술과 호환되면서 이에 대한 확장 개념으로 개발되었다. 이런 조건은 3차원 비디오로 부호화된 비트스트림이 3차원 복호화기를 통한 복호화되면서 기존의 AVC 혹은 HEVC를 이용하여도 일부의 뷰는 복호화가 가능해야 하는 순방향 호환성을 유지하기 위함이다.

따라서 3D 비디오 부호화는 AVC/MVC 및 HEVC와의 호환성 유지를 기반으로 개발이 진행되고 있다. AVC/MVC호환 기술로는 다음의 2가지 기술이 있다.

MVC+D 기술은 MVC 호환기술로 기존 표준화가 완료된 MVC 기술 기반으로 깊이영상의 부호화까지 포함한 기술이다. MVC+D에서는 HLS(High-Level Syntax) 추가만을 통해서 복잡한 툴 개발은 배제하고 이루어 졌다. 기존의 MVC 기술이 완료된 시점에서 HLS 추가하는 과정은 빠르게 이루어졌기 때문에 이미 2013년 1월 FDAM(Final Draft Amendment)[9] 승인으로 표준화가 완료되었다.

반면, 3D-AVC 기술은 한 개의 기본 뷰에 대해 AVC와의 호환성 유지를 제한조건으로 가지고 있다. 3D-AVC 기술은 새롭게 추가되어 컬러영상과는 전혀 새로운 성질을 가지는 깊이영상에 대한 기술뿐 아니라, 컬러 영상의 뷰 간 상관관계 및 컬러영상과 깊이영상 간의 상관관계 등을 이용하여 압축효율을 최대한 높이는 데 중점을 두고 있다. 이 과정에서 수많은 압축 툴들이 제안되고 채택되는 과정을 거치면서 2013년 7월 FDAM이 발행되면서 표준화가 완료되었다.

한편, HEVC 호환기술은 아래의 2가지로 분류된다.

MV-HEVC 기술은 AVC 기반 기술 중 MVC와 같이 HEVC 기반 기술을 다시점 비디오로 확장한 표준으로서, HEVC에서 사용하고 있는 툴만을 사용하여 다시점 비디오 및 깊이영상 코딩을 수행한다. 3D-HEVC 기술은 HEVC를 기반으로 다시점 비디오와 깊이영상 코딩을 위해 기본 시점(Base view)과 향상 시점(Enhancement view)을 분리해서 코딩을 하게 되며, 기본 시점은 HEVC와의 호환성을 유지하면서 향상 시점에 대해서는 최대의 코딩 효율 향상을 위해 블록레벨에서 특화된 코딩 툴을 사용하는 것을 허용하고 있다. 2014년 3월 현재까지 JCT-3V(Joint Collaboration Team–3D Video)에서는 3D-HEVC 분야에서 PDAM (Proposed Draft Amendment)까지 표준화가 진행되었으며[10], MV-HEVC 분야에서는 Draft version 6로 Study of ISO/IEC 23008-2:200x:DAM2까지 진행되었다.

이와 같이 HEVC를 기반으로 한 3D 비디오 표준화는 3D-HEVC와 MV-HEVC가 long-term과 short-term의 일정으로 각각 진행되고 있다. 3D-HEVC는 2015년 6월에 MV-HEVC는 2014년 7월에 마무리될 예정이다.

MV-HEVC는 HLS만을 다루고 있으므로 HEVC HLS에 다시점 비디오를 처리하기 위한 추가적인 Syntax만을 추가하였다. 이에 따라 Video Parameter Set에 VPS_extension과 Sequence Parameter Set에 SPS_extension를 추가하여 다시점 비디오를 위한 reference 관리를 수월 하게 할 수 있도록 하였으며, 또한 다시점 비디오에 대한 부가정보를 담기 위해 SEI(Supplemental Enhancement Information) 메세지에 3D reference display information과 Depth representation information을 추가하였다. 이 SEI 메시지에서 다루고 있는 것들을 정리하면 아래와 같다.

2. 자유시점 비디오 표준화 동향

MPEG에서는 지난 2001부터 자유시점 비디오에 대한 표준화를 꾸준하게 진행해 왔다. 이러한 노력으로 과거 AVC를 기반으로 한 다시점 비디오 부호화 기술인 MVC가 표준으로 채택되었으며, 2008년부터 지금까지는 다시점 비디오와 깊이영상 부호화를 하기 위해 JCT-3V에서 표준화를 진행하고 있다. JCT-3V의 표준화는 2015년 완료될 예정이다.

MPEG에서는 JCT-3V 표준화 완료 이후를 대비하기 위하여 2013년 7월부터 MPEG Requirement 그룹에서 새롭게 초다시점 비디오 부호화 표준화를 준비하기 시작하였다[12][13]. 이는 이전까지 다시점 비디오의 확장된 개념으로 출발하는 것이 아닌 새로운 3D 비디오서비스를 목표로 다양한 실험 및 관련 기술에 대한 조사를 FTV(Free-viewpoint TV) AhG(Ad hoc Group)에서 진행하고 있다. 현재까지 논의되고 있는 내용을 정리하면 다음과 같다.

가. 초다시점 비디오서비스

현재 디스플레이 기술의 발전으로 고해상도 기반의 무안경 다시점 디스플레이가 개발되어 상용화가 목전에와 있으나, 고품질의 초다시점 영상서비스를 제공하기 위해서는 초다시점 디스플레이 개발뿐만 아니라 초다시점 비디오에 대한 입력 포맷을 정의하는 것이 필요하다. 따라서 새로운 형태의 입력 포맷을 정의하고 이를 어떻게 압축하여 전송할지에 대해 논의가 진행 중이다.

나. Integral Photography

상하좌우의 운동시차를 가지고 있는 Integral Photography 디스플레이에 대한 영상 서비스 역시 FTV AhG에서 관심을 가지고 있는 분야이다. 여기서는 응용 시나리오에 따라 각 기초영상(elementary image)에 대한 해상도가 천차만별로 존재하기 때문에 이를 표준화에서 어떤 범위까지 포함시켜야 하는지에 대해 논의가 필요한 실정이다.

다. 자유시점 비디오서비스

여러 대의 카메라를 통해 찍혀져 나온 영상을 사용자가 임의로 지정하거나 비디오의 장면을 자유롭게 지나다닐 수 있는 서비스로 이는 기존의 2D 디스플레이나 무안경 디스플레이 심지어는 Integral Photography 디스플레이까지 서비스를 제공할 수 있는데, 이와 같은 입력 비디오는 카메라 배치에 있어 다양한 토폴로지를 제공해야 하기 때문에 이를 부복호화 관점에서 어떻게 처리해야 하느냐에 대한 논의가 진행되어야 할 것이다.

FTV AhG 그룹에서는 현재까지는 위와 관련된 기존 기술이 어느 정도까지 왔는지를 살펴보고 있으며, 본격적으로 표준화가 진행되고 있지는 않다. 하지만 지난 과거 10년 동안의 FTV AhG 그룹의 활동으로 예측하건대, 향후 미래의 입체 비디오서비스에 대한 압축 및 전송에 대한 표준화 작업은 FTV AhG 그룹에서 활발하게 진행될 것으로 예상할 수 있다.