디지털 홀로그래픽 테이블탑형 디스플레이 기술

본 절에서는 광 시야각 및 대화면 제공이 가능한 평판형 홀로그래픽 디스플레이에 대하여 미국의 MIT와 QPI(Quantum Photonic Imager), 영국의 QinetiQ, 독일의 SeeReal, 대한민국의 ETRI에서 개발한 주요 연구 내용을 소개한다.

가. MIT

MIT의 미디어 랩(Meida Laboratory)에서는 1990년대 초부터 다양한 홀로그래픽 비디오 시스템인 Mark I, II, III를 개발하였다[(그림 2, 3) 참조][2]. 평면파 광변조를 위하여 압전 소자에 대하여 전기신호를 인가하여 압전소자에 대한 기계적인 진동을 발생시켜 평면파를 발생시키면 입사되는 광파가 회절되는 음향광학(acousto -optic)적인 현상이 발생된다.

(그림 2)

MIT Mark I 시스템 구조도[2]

(그림 3)

MIT Mark II 시스템 구조도[2]

이런 현상을 이용하여 홀로그램 패턴 신호를 전기신호로 변환하여 음향 평면파를 발생시키며 입사된 입사파(incident wave)를 회절시킴으로써 홀로그램 영상을 재현할 수 있다. 투명한 고체에서 이러한 음향광학(acousto-optic) 현상이 발생되는 소자를 AOM(Acou-stic Optic Modulator) 또는 브래그 셀(Bragg cell)이라고 한다. MIT는 (그림 2)와 같이 AOM 소자를 공간광변조기로 사용하여 홀로그래픽 비디오 시스템을 개발하였는데, 수평 회전미러를 이용하여 수평 라인상에 영상을 생성시키는 수평 스캐닝을 제공하고 수직 미러는 수평 미러보다 느린 속도로 회전시킴으로써 수직 스캐닝을 할 수 있다. 약 3도의 회절각을 제공하는 AOM으로 15도 정도의 시야각이 생성되도록 광학적으로 영상을 생성하였고, 5mm³ 정도의 홀로그램 영상을 재현하였다.

성능이 향상된 Mark II에서는 (그림 4)과 같이 AOM을 사용하여 18개 채널을 구성하였으며, 이로써 병렬로 18개의 스캔 라인들을 출력하도록 하였고, 선형으로 배열된 갈바노미터 스캐너(galvanometric scanner)를 이용하여 기존 미러들을 교체하였다. 이와 같은 구조로 많은 AOM 채널과 수평 미러를 추가하여 홀로그램 영상의 크기와 해상도를 크게 증가시켰다. 이로써 Mark II는 30도의 시야각을 갖고, 150×75×150mm(가로×세로×깊이) 체적의 홀로그래픽 디스플레이를 재현하였다.

(그림 4)

Ostendo사의 QPI 칩 구조도[3]

나. QPI

미국 캘리포니아주에 있는 Ostendo사는 양자광재생기(QPI)라고 불리는 마이크로-LED(Light Emitting Diode) 디스플레이를 9년 동안 개발해 왔다. 이 디바이스는 수직 도파관 구조 층를 포함한 R/G/B LED 발광층이 후면 기판(backplane)부에 내장된 구조이며, 10µm의 픽셀피치를 갖는 이 단위 재현 패널의 해상도는 426×240이다. 이 디스플레이는 증강 현실 또는 가상 현실용 헤드셋, 프로젝터, HUD, 3D 광선 장(light field) 디스플레이 등의 엔진으로 응용될 수 있다. 이 디바이스는 내장형 LED 조명광을 사용하기 때문에 1,000,000:1 이상의 높은 명암대조비를 제공할 뿐만 아니라 5ns 미만의 빠른 응답 시간 특성을 제공한다. 또한, 이 칩은 120Hz(frame rate)에서 20,000nit이상의 휘도를 제공하며, 소비 전력은 300mW이고, 40,000시간의 수명을 갖는다[(그림 4) 참조].

DARPA(Defense Advanced Research Projects Agency)가 지원한 개발 프로젝트를 통하여 이 회사는 3D 광선 장 디스플레이를 만들기 위해서 단위재현 패널을 2×4로 타일링 방법에 의해 데모용 패널을 구성하였고, 매우 좁은 각도 안으로 빛을 모으기 위해서 이 패널 위에 마이크로 렌즈들의 배열 층을 추가로 배치하였다. 단위재현 패널 당 20×16개의 렌즈들이 정열되어 있으며, 이 렌즈 배열 층은 다른 이미지들이 다른 방향으로 각각 진행되도록 해준다. 따라서 Ostendo사는 광선장 영상을 재생하기 위해 80×32개의 렌즈들과 단위재현 패널들이 2×4로 타일링 형태로 통합된 QPI 모듈을 제작하였다. 수평 및 수직 시차를 제공할 수 있는 2,500 시점들(perspective views)을 가진 동영상은 공간상에 재현된 3개의 회전하는 주사위들은 패널 앞에, 패널 면에, 그리고 패널 뒷면에 각각 존재하도록 구현하였으며 2014년 6월에 Display Week에서 시연하였다[(그림 5) 참조].

(그림 5)

Ostendo사가 시연한 QPI의 3차원 영상[4]

다. QinetiQ

홀로그래픽 디스플레이에서 높은 공간대역폭을 얻기 위하여 MIT Mark II처럼 여러 개의 AOM을 적층하여 홀로그램 패턴을 이어 붙여 타일링(tiling)하는 방법이 있으며, 디지털 마이크로 미러의 2차원 어레이로 구성된 DMD(Digital Micro-Mirror Device)나 LCoS(Liquid Crystal on Silicon)와 같은 EASLM(Electronically Addressed SLM)을 사용하여 광학적인 타일링 방식으로 높은 공간대역폭을 얻는 영국의 QinetiQ사에서 개발한 방식이 있다[5].

하나의 EASLM을 사용하여 여러 개의 홀로그램 영상을 고속으로 생성하여 타일링하면 한 장의 홀로그램 영상이 가지고 있는 공간대역폭 이상의 홀로그램 영상을 생성할 수가 있다.

(그림 6)과 같이 광셔터(shutter) 배열을 이용하여 하나의 EASLM으로 부터 25개(5×5)의 홀로그램 영상을 OASLM(Optically Addressable SLM) 영역에 투영함으로써, 1,024×1,024 해상도를 5,120×5,120 해상도로 5배 증가시키는 것이 가능하다. 또한 집적 광학계를 통하여 투영되는 홀로그램 영상을 50% 이상 축소시킴으로써, OASLM에 투영되는 홀로그램 영상의 픽셀피치가 13.2µm에서 6.6µm로 줄어들어 EASLM의 시야각의 2배 이상인 약 5도로 시야각이 증가되는 효과를 가질 수 있다.

이 디스플레이 소자는 광센서 배열을 적층한 LCD (Liquid Crystal Display) 패널로서 시정수에 의하여 픽셀피치를 더 작게 할 수 없는 EASLM의 박막 트랜지스터의 기술적 한계를 극복한 패널 기술이라고 할 수 있다. QinetiQ사는 상기 모듈 4개를 평행하게 이어 붙여서 약 100m(5,120×20,480)픽셀 정도의 해상도를 갖는 홀로그램 영상을 생성하는 디스플레이 시스템을 개발하였다.

(그림 6)

QinetiQ 홀로그래픽 디스플레이 구조[5]

라. SeeReal

룩셈부르크에 모회사를 가지고 있으며 독일 드레스덴에 연구소가 있는 SeeReal Technologies사는 2002년 설립한 이래 현재까지 평판 LCD 패널을 기반으로 한 3D 홀로그래픽 디스플레이 분야에서 기술 마케팅 및 IP 솔루션을 지원해오고 있다. 2007년에 이 회사는 시야 창 추적형 기술을 독자적으로 개발하여 20인치 LCD 패널에서 실시간(30 frames per second)비디오 홀로그래픽 디스플레이를 시연한 바 있다[6][7]. 이 기술은 시청자 눈의 동공 영역으로 들어가게 영상 정보만이 재생 시 필요한 영상 데이터라는 사실과 디스플레이 패널의 픽셀 구조에 의한 회절 현상으로 생성된 주기적인 시야 창을 이용한다. 이 가상의 시야창을 통하여 시청자는 재생된 홀로그래픽 3D 영상을 볼 수 있다[(그림 7, 8) 참조].

(그림 7)

SeeReal사가 시연한 홀로그래피 단말 prototype 및 재생된 홀로그래픽 3차원 영상[6][7]

(그림 8)

SeeReal사의 서브-홀로그램 및 시야 창문 생성 개념도[6][7]

예를 들어 20×20µm 픽셀피치를 갖는 LCD 패널은 시청 거리 80cm에서 20×20mm의 시야 창이 만들어진다. 이 작은 영역을 통하여 3D 장면을 두 눈으로 시청하기에는 충분하지 않기 때문에 시간분할 방식을 이용함으로써 각각의 눈을 위한 두 개의 시야 창을 지원할 수 있다. 이 기법은 시야창 바깥에 존재하는, 원치 않는 광학적 잡음들을 제거할 수 있을 뿐만 아니라 여러 시청자들을 위한 디스플레이로 확장이 가능하다. 기존의 홀로그래피 방식과 달리, 시야창 기술은 소위 서브-홀로그램(sub-hologram)이라고 하는 하나의 홀로그램 조각에 의해 장면의 한 점을 부호화한다.

서브-홀로그램 기법은 시야창 내에 주어진 정보만을 부호화하기 때문에 홀로그램 계산에 요구되는 컴퓨팅 부하를 줄일 수 있게 함으로써 홀로그래피 동영상 구현을 실시간으로 가능하다는 것을 보여주었다. 2012년부터 일본 Sharp사의 2인치 급의 위상 변조형 LCD 패널을 사용한 복소수 홀로그램 구현 SLM을 개발하여 홀로그래픽 3D 영상을 구현할 수 있음을 보였다. 이상에서 살펴본 바와 같이 SeeReal Technologies사는 현재의 해상도 수준의 LCD를 이용하여 비디오 홀로그래피의 가능성을 보여줌으로써 고객입장에서 홀로그래픽 디스플레이 분야의 시장성 개척할 수 있는 큰 잠재력을 가지고 있다.

마. ETRI

ETRI에서는 20인치급 LCD 패널을 이용한 대화면의 양안식 천연색 3D 홀로그래픽 디스플레이를 개발하였다[8]. 광변조를 위해 사용한 LCD패널은 IBM사의 T221로 픽셀피치가 124.5×124.5µm이며 픽셀 수는 3,840×2,400개 이다. 홀로그램의 회절각은 홀로그램이 기록된 매질의 픽셀피치와 반비례하므로 픽셀피치가 124.5µm인 상기 패널만으로 시청자가 만족할만한 충분한 공간대역폭을 갖도록 하는 홀로그래픽 디스플레이 구현이 쉽지 않다. 이런 문제를 극복하기 위하여 ETRI 홀로그래픽 디스플레이에서는 SLM을 통해 복원된 홀로그램 영상을 관측자의 좌우안 동공에 정확히 집속하여 양안 홀로그램을 제공함으로써 큰 픽셀피치로 인한 좁은 시야각 한계의 단점을 보완하였다. 20인치급 대면적 공간 광변조 액정패널을 이용하여 구축한 ETRI의 홀로그래픽 디스플레이 시스템을 아래 (그림 9)에서 보여주고 있다.

(그림 9)

광 시야각 대화면 홀로그래픽 디스플레이[8]

본 디스플레이는 관찰자의 시점 이동 시 광원의 위치를 제어(steering)함으로써 시야창 위치를 이동 시킬 수 있도록 동공의 위치를 계산하는 카메라 기반 동공 추적모듈과 간섭성 광원을 생성하는 광섬유 기반의 광원 모듈과 광원의 위치를 제어하는 모터기반 스테이지 모듈로 구성된다. 광원 모듈은 RGB 각 파장의 광섬유 레이저 광원에 대하여 색선별 거울(dichroic mirror)이 내장된 RGB 광결합기(beam combiner)를 통하여 RGB 광원을 백색광으로 만드는 구조를 갖는다.

2개의 공간광변조기를 통하여 복원된 좌우안용 홀로그램 영상 중, 좌안용 홀로그램은 광분리기(beam splitter)에 의해 반사되어 좌안에 입사되며, 우안용 홀로그램은 광분리기에서 투과되어 우안에 입사된다. 상기 방법으로 각 시점에 대응하는 양안 홀로그램 영상을 제공함으로써 3D 입체시의 가장 큰 인지요인인 양안시차를 갖는 3차원 영상을 생성하는 홀로그래픽 디스플레이를 구현하였다.

무안경 입체 디스플레이의 한 종류인 체적형(volumetric) 디스플레이는 고속으로 회전하는 반사거울을 이용하여 공간상에 입체감을 갖는 물체상을 제공하는 3차원 영상 재현 기술이다. (그림 10)은 미국 USC대학교에서 개발한 체적형 디스플레이로서, 900~1200rpm의 속도로 360도 회전하는 분산경(diffusing mirror)에 768×768 해상도를 갖는 13×13cm 크기의 영상을 30~40Hz의 재생률로 고속 렌더링함으로써 360도 수평시야각을 갖는 입체영상을 재현할 수 있다[9].

(그림 10)

체적형 3차원 디스플레이[9]

아울러, 시선추적이 가능한 카메라 시스템과 연동하여 화자 간의 상호작용이 가능한 3D 비디오 텔레컨퍼런스 기능을 제공할 수 있다. 하지만, 체적형 디스플레이는 기본적으로 2D 영상을 공간상에 제공하는 것이므로 3D 입체영상을 구성하는 깊이감을 재현하지는 못한다. 또한, 고속으로 회전하는 반사경과 같은 기계적 구성장치로 인한 시스템 크기, 진동, 내구성 등의 물리적 제약사항을 수반하는 단점을 갖고 있다.

테이블탑형 디스플레이는 사용자가 협업을 할 때 작업공간을 공유하거나, 다양한 작업을 하는 경우에 유용한 형태이다. 본 절에서는 기존에 개발된 테이블탑형 3차원 디스플레이 중 대표적인 NICT와 Microsoft의 디스플레이 기술현황에 대하여 살펴보기로 한다.

가. NICT

NICT는 다음과 같은 요구사항을 갖는 새로운 양안식 테이블탑 디스플레이를 구현하였다[10].

즉, 테이블 주위의 여러 사람이 방해 받지 않고 3D 영상을 시청할 수 있어야 하며, 3D 영상은 테이블 주위의 임의의 방향으로 관찰되어야 하며, 특정 3D 안경이 필요하지 않아야 하는 조건이 필요하다. 이러한 요구사항을 만족하는 테이블탑형 디스플레이를 개발하기 위하여 NICT는 (그림 11)과 같은 테이블탑형 3차원 디스플레이를 광 필드를 제안하였다. 관찰자가 3차원 영상을 제대로 관찰할 수 있는 영역을 시야 영역이라고 부른다. NICT는 이용자들이 테이블 주위로 협업을 하기 위해서는 링 모양의 시야영역을 형성하는 것을 제안하였다.

(그림 11)

테이블탑형 3차원 디스플레이의 광 필드[10]

(그림 12)는 NICT의 테이블형 디스플레이에서 약 25도 정도 다른 3개의 시점의 복원된 영상을 사진으로 찍은 영상이며, 다른 시점의 영상이 잘 복원됨을 확인할 수 있다[6].

(그림 12)

복원된 3차원 영상[10]

나. Microsoft

Microsoft는 NICT와 달리 수 백대의 프로젝터를 사용하지 않고 360도 시청이 가능한 3D 디스플레이를 제안하였다[11]. 또한 3D 영상과 인터랙션하는 장치를 추가 개발하여 상용으로 활용할 수 있는 가능성을 제시하였다. 이를 구현하기 위하여 광학적인 착시현상을 일으키는 두 개의 파라볼릭 거울(parabolic mirror)을 사용한 시스템을 개발하였다. 또한 디스플레이 위에 Kinect Camera를 위치시켜 손가락을 인식하여 3D 영상과 인터랙션이 가능하도록 하였다. 또한 적외선 카메라를 이용하여 이용자 입력 패턴을 구현하는 작업을 수행하였다.

(그림 13)의 시스템은 한 쌍의 파라볼릭 거울 밑에 위치하고 있는 회전하는 광학계를 통하여 360도 시청 가능한 테이블탑형 디스플레이를 구현하였다. 파라볼릭 거울은 직경이 50cm인 Mirage제품을 사용하였고, 프로젝션 스크린은 회전하는 스테이지 위에 45도 기울어진 채로 구현되었다. 또한 Animatics사의 SM2316D Smart Motor와 벨트를 사용하여 스테이지를 회전시키는 기능을 구현하였다. 3D 영상의 다중 렌더링은 고속 DMD 프로젝터를 사용하여 구현하였는데, 고속 DMD 프로젝터와 Smart Motor와 시간적으로 동기화시켜 해당 재생 시간에 대응되는 시점(view point)의 영상을 프로젝션 스크린에 투영되도록 하였다. 추가적으로 적외선 카메라를 장착하여 사용자 입력을 감지하도록 하였다.

(그림 13)

파라볼릭 거울을 사용한 테이블탑 디스플레이[11]

기가코리아 사업의 테이블탑형 홀로그래픽 단말은 이상적인 홀로그램 재현 형태로 공간상에 실제로 있는 것과 같은 입체영상을 재현함으로써 실재감 있는 텔레프레즌스(tele-presence) 서비스를 제공할 수 있는 홀로그래픽 테이블탑형 디스플레이에 기반을 둔 시스템으로서, 수평 360도 수직 60도의 시야각과 수평 및 수직 시차의 입체공간을 실시간 생성하고 재현하기 위한 관련 핵심 요소기술을 개발하는 것을 목표로 한다[12]. 테이블탑 형태의 홀로그래픽 디스플레이 시스템의 개념은 (그림 14)와 같다.

(그림 14)

디지털 홀로그래픽 테이블탑형 디스플레이 개념도[13]

특히, 기존 홀로그래픽 디스플레이가 갖고 있는 제한된 시야각 범위를 획기적으로 확장함으로써, 완전 입체적 3차원 영상을 360도 방향에서 자유자재로 즐길 수 있는 홀로그래피 고유의 특성을 실현한다는 점에서 매우 혁신적이며 도전적인 과제라 할 수 있다.

제한된 회절각을 갖는 SLM으로 상기와 같은 도전적 성능목표를 달성하기 위해서는 동공추적을 이용한 시야창(viewing window) 기반의 홀로그래픽 디스플레이 재현방식 또는 고속의 시공간적 분할(spatial and temporal multiplexing) 기법에 의해 재현되는 홀로그램의 크기 및 시야각을 확장하는 방식에 기초를 두고 있다. 다음 절에서는 홀로그래픽 테이블탑 디스플레이 시스템의 형상구조에 대하여 살펴본다.

테이블탑형 홀로그래픽 디스플레이는 여러 개의 SLM을 타일링하거나, SLM으로부터 재현된 홀로그램 영상을 고속으로 스캐닝함으로써 시공간 다중화를 하여 대화면 홀로그램을 넓은 시야각에서 관찰하도록 구현 할 수 있다. 본 과제에서는 SLM을 통해 변조한 광파를 렌즈를 통해 동공 크기의 시야창으로 집속하는 시야창 기반의 홀로그래픽 디스플레이 방식을 기본 구조로 하며, 생성된 시야창을 수평 방향으로 360도 회전함으로써 사용자들이 생성된 3차원 홀로그래픽 입체 영상을 사방에서 보는 것이 가능한 시스템이다[13].

시스템의 공간 대역폭은 공간광변조기의 픽셀 개수에 비례하므로 다수의 공간광변조기 배열을 통해 공간 대역폭을 증대할 수 있다. 360도의 광시야각을 갖는 테이블탑형 홀로그래픽 디스플레이 구현은 SLM을 원형 띠 형태로 배열한 홀로그래픽 디스플레이 타일링 기술을 통해 구현 가능하나, 이러한 방법은 다수의 공간광변조기의 설치에 따른 부피의 증대 및 복잡한 광학 구조와 이에 따른 고비용이 요구되므로 실효성이 없는 것으로 판단되었으며, 효율적인 시스템 개발을 위하여 상기 단점을 보완한 비구면 거울을 이용한 시야창 방식의 테이블탑형 홀로그래픽 디스플레이 구조를 채택하였다.

기본 시스템 구조인 시야창 기반의 홀로그래픽 디스플레이에서는, 360도의 수평 시야각을 가지는 동시에 SLM의 소요 개수를 줄이기 위하여 반사경을 장착한 회전 모터를 이용하여 시공간 다중화 방법을 사용한다. 이를 위해서는 360도 각 시점별 해당 홀로그램을 고속으로 생성하고 홀로그램 영상 데이터를 동기화하여 출력하는 제어기술이 사용된다. SLM에서 발생한 변조된 회절 광파를 비구면경에 수평 방향으로 회전시켜 연속적인 시야창을 형성하고, 동시에 수직 시야각 확대를 위해서는 SLM을 호(arc) 형태로 배열한 수직 공간적 다중화 방법을 사용한다.