디지털 홀로그래피 콘텐츠 기술

이번장에서 컴퓨터 그래픽을 이용한 홀로그래피용 3D 콘텐츠 획득 방법과 실물로부터 홀로그래피용 3D 콘텐츠를 획득하는 방법을 소개한다.

가. 컴퓨터 그래픽스 기반 3D 콘텐츠 획득

360° 전 방향의 CG 콘텐츠 제작을 위해 3D 모델링 프로그램으로 사용되는 대표적인 소프트웨어는 3D Max, Rhino, 그리고 Maya 등이 있다.

1995년에 처음 공개된 3D Max는 최근 3Ds Max 2018버전으로 출시되어 있다. Polygon 모델링 방식을 사용하는 이 소프트웨어는 2D 형태의 삼각형을 기반으로 한 다각형 표현법에 의해서 3D 모델링을 하는 방식이다. 데이터 용량이 비교적 적어서 애니메이션 및 3D 게임 등에서 주로 사용이 되고 있지만, 물체의 표면이 다각형을 통해 표현되기 때문에 곡선과 같은 부드러운 표면을 정밀하게 나타내지 못하는 한계점을 갖는다. 그러나 다양한 확장 Plug-in을 지원하기 때문에 3D Max 자체에서 부족한 3D 표현을 위한 렌더링 관련 기능을 보완할 수 있다. 예를 들어, 360° 촬영이 가능하도록 그룹으로 지정된 3D 물체를 애니메이션을 통해 만들어 주고, V-ray Plug-in을 이용해 RGB 컬러 및 Depth-map을 추출할 수 있다.

수학적 계산에 의한 정확한 3D 모델링으로 특화된 Rhino는 2010년에 공개된 이후 Rhinoceros 5버전까지 발표되었다. NURBS(Non-Uniform Rational B-Spline) 방식을 사용하는 이 소프트웨어는 기하학적 3D 물체를 수학적으로 재현하는 방식이다. Polygon 방식은 점을 이용하여 모델링을 하는 반면에, NURBS 방식은 선을 이용하여 3D 모델링을 한다. 이 선은 고유의 좌표 값 및 방향성을 갖고 있기 때문에 정밀한 수학적 계산을 통하여 정확한 모델링이 가능하다. 일반적인 모델링뿐만 아니라 산업디자인 분야에서 고정밀도의 제품 설계가 요구되는 모델링에서 많이 사용된다. 특히 명령어 방식이 CAD와 매우 흡사하여 다른 CAD와 호환성이 우수하다. 예를 들어, 360° 촬영이 가능하도록 Render Tool을 이용하여 Turntable을 생성할 수 있으며, V-ray Plug-in을 이용해 RGB 컬러 및 Depth-map을 추출할 수 있다.

Maya는 1998년 공개된 이래로 현재 2018년 버전이 사용되고 있다. 무거운 데이터를 처리하는데 적합한 이 소프트웨어는 NURBS 방식과 Polygon 방식을 모두 사용한다. Maya의 장점은 MEL(Maya embedded language)를 이용해 프로그래밍이 가능하기 때문에 3D 모델링에서 반복 작업이 많이 요구되는 경우에 스크립트를 통하여 효율적으로 사용할 수 있다. Maya는 영상 제작 및 영화 등 고급 CG 분야에서 많이 사용되고 있다. 3D Max 및 Rhino와 달리, 별도의 Plug-in이 없어도 Maya Map 상에서 360° 촬영이 가능하다.

예를 들어, 애니메이션을 통한 Turntable을 생성한 후, 가상의 카메라를 그룹으로 묶어 RGB 컬러 및 Depth-map 추출을 쉽게 할 수 있다[(그림 2), (그림 3) 참조]. 360° 방향에 대한 3D 정보 추출 방법은 기본적으로 고정된 한 시점에서 사물을 특정 방향으로 360°로 회전시키는 동작 모드를 적용하고, 시점마다 컬러 정보와 깊이 정보를 순차적으로 획득하는 것이다. 이와 반대로, (그림 2)와 같이 사물을 고정시킨 상태에서 사물을 중심으로 원형 궤도를 따라 회전하면서 시점마다 컬러 정보와 깊이 정보를 획득할 수도 있다[3].

(그림 2)

Maya를 활용한 3D 모델링 및 카메라 설치

(그림 3)

Maya를 활용한 서로 다른 시점에서 컬러 이미지 및 깊이 정보를 추출한 결과 예

나. 실물 기반 3D 콘텐츠 획득

3D 스캐닝 방법이 가능한 가장 대표적인 상용 센서를 소개하면 다음과 같다. 첫째, 인텔사의 RealSense 시리즈 제품으로서 현재까지 3종이 출시되었다. R200은 구형 모델이지만 현재 판매 중이며, 기존에 사용자 얼굴인식 버전으로 사용된 F200 센서 모델은 기술적으로 개선된 SR300으로 2016년에 대체되었다. 사용자 얼굴인식 버전으로 개발된 SR300은 사람 얼굴 크기 정도의 물체들을 스캐닝할 수 있을 정도의 범위를 제공한다. SR300은 SDK 3D Scan app을 무료로 사용할 수 있기 때문에 360° 전 방향의 3D 스캐닝 응용을 위한 다양한 디바이스들에 통합될 수 있다는 장점이 있다. 여기서 물체를 스캔하는 방법으로 크게 두 가지로 분류된다. 첫째, 고정된 물체를 고정하고 주변으로 센서를 직접 이동해 가면서 스캐닝하는 방법이다. 이 경우에 흔히 발생되는 흔들림 현상을 최소화하려면, 센서 지지대 및 흔들림 억제용 특수 장비를 사용하는 것이 필요하다. 다른 방법으로 물체를 회전 테이블 위에 놓고 스캐닝 센서 앞에서 이 테이블을 돌리는 방법이 있다. 이때 모션 블러(Motion blur)를 줄이거나 3D 콘텐츠 획득 과정에서 기하학적인 노이즈를 최소화하려면, 별도의 조명 키트를 사용하고, 가능한 한 회전 테이블을 천천히 움직이게 해야 한다. SR300의 깊이 획득 거리는 0.2~1.5m 범위이기 때문에 소형 물체를 가까이에서 스캐닝하고자 하는 경우에 흔히 사용하게 된다.

2012년 Microsoft사는 발송된 적외선의 패턴 변형 정보로부터 깊이를 얻는 Light coding 방식을 채용하여 깊이(depth 해상도: 320×240) 및 인물 자세 정보를 용이하게 얻을 수 있는 Kinect v1를 발매하였다. 그리고 2014년에 Microsoft는 발진된 적외선이 되돌아오는 시간으로부터 깊이(depth 해상도: 512×424) 정보를 얻는 TOP 방식을 적용하여 깊이 정확도가 개선된 Kinect v2 모델(Kinect for Wondow 또는 Kinect for Xbox One)을 발표하였다. Kinect v2의 S/W 개발 키트로서 Kinect for Windows SDK v2.0이 무료로 제공되고 있다. 이 개발 키트 프로그램을 설치한 후, PC에서 회전 테이블과 연동하여 연결된 Kinect를 제어할 수 있는 OpenCV 프로그램을 활용하면, 360° 3D 콘텐츠를 용이하게 획득할 수 있다. Kinect v2의 깊이 획득 거리는 0.5~4.5m 정도로 SR300보다 더욱 먼 영역에서도 사용할 수 있기 때문에 서 있는 사람(또는 상반신)과 같은 크기 정도의 대상을 스캐닝하고자 할 때 특히 유용하다. <표 1>은 앞에서 설명한 최신 두 종류의 깊이 센서에 대한 특징들을 요약한 것이다.

<표 1>

3D 콘텐츠 획득 용 깊이 센서 비교

예를 들어, (그림 4)는 회전 테이블 위에 놓인 정물과 키넥트 v2 장비로 획득된 홀로그래픽 3D 콘텐츠를 보여주고 있다. 회전 속도 제어 및 키넥트-회전 테이블 간 동기화를 위한 OpenCV 프로그램에 의해 물체가 360° 회전하는 동안 총 1,024개의 시점들(views)에 대응하는 3D 데이터를 얻도록 설정되었다. (그림 4b 와 4c)는 이 중에서 특정한 시점에서 키넥트 센서로부터 얻어진 깊이-맵 및 RGB-컬러 이미지를 보여주고 있다. 각 시점당 한 세트의 RGB-컬러 이미지와 Depth-map 이미지가 각각 저장된다. 여기서 회전 테이블 중심에서 키넥트 센서까지 거리는 70~80cm 범위로 설정하였으며, 회전 속도는 360°/4 min 이하 조건에서 제작되었다.

(그림 4)

회전테이블 및 키넥트 모듈을 사용한 콘텐츠 획득

(그림 4d)는 각 RGB 컬러 별로 복소 홀로그램을 계산한 후, DMD-SLM에 맞도록 이진화 인코딩을 적용한 홀로그램(단색)의 예를 보여준다. 다른 예로서, (그림 5)는 실사 기반 360° 전 방향으로 획득된 RGB & depth-map 세트 중에서 서로 다른 4개의 시점에서 획득한 3D 콘텐츠로부터 LCD-SLM에 맞도록 홀로그램들을 만든 결과를 보여준다[4].

(그림 5)

실사 기반 360° RGB & Depth-map 콘텐츠를 사용한 LCD-SLM용 홀로그램(Burckhardt 인코딩)의 예

다. 광 스캐닝 방법에 의한 직접 획득법

결맞음성 빛으로부터 물체 파동과 참조파의 중첩을 통한 종래의 파동 간섭 기반의 홀로그램 기록 방법 대신에, 참조광 없이 실물로부터 직접적으로 복소 진폭 홀로그램을 획득하는 방법을 살펴본다. 소위 광 스캐닝 홀로그래피(OSH: Optical scanning holography)라 불리는 홀로그램 직접 획득 방법은 스펙클 및 쌍둥이 영상 같은 노이즈 문제를 극복할 수 있는 디지털 홀로그램을 얻을 수 있다. 평면파와 구면파를 중첩시키면, 프레넬 윤대판(FZP: Fresnel zone plate)이라고 불리는 간섭무늬가 나타난다. 여기서 시간적으로 다른 진동수를 갖는 두 개의 파동을 혼합하는 헤테로다이닝(Heterodyning) 기술이 적용된다. OSH 방법에서 사용하는 마흐-젠더 간섭계(Mach-Zehnder interferometer)로부터 생성된, 시간에 따라 변하는 FZP 무늬를 가진 레이저 광은 2차원 스캐닝 거울을 사용하여 실제 3D 물체를 스캔한다. 그리고 이 물체와 상호작용한 빛은 광검출기(Photo-detector)에서 집광되고, 결국 전기 신호로 변환된다. 측정된 이 전기 신호가 필터링 과정을 통과하면, 스캔된 물체의 홀로그램 정보(실수부와 허수부)를 추출할 수 있다. (그림 6)은 사람의 좌안-우안 시차에 적합하도록 설계된 각도 θ에서 OSH 방법으로 획득된 홀로그램을 보여준다. 각 시점에서 획득된 홀로그램 원본은 실수부와 허수부에 해당된다[5]. (그림 6a–6c)는 복소수 OSH-홀로그램으로부터 진폭-한정 인코딩, Lee 인코딩, 그리고 Burckhardt 인코딩한 결과를 각각 보여준다[6].

(그림 6)

OSH에 의한 2-view 홀로그램 획득 (상). 진폭변조 SLM에 적합하도록 인코딩된 홀로그램들 (하: (a), (b), (c))

홀로그램의 합성은 3D 장면을 복원하는 홀로그램 평면에서 불연속적인 복소 파동장 H(x, y)를 컴퓨터에 의한 홀로그램을 계산하는 것(CGH: computer-generated hologram)을 의미한다. 이 3D 장면을 충분한 개수의 불연속적인 점들로 표현된다. 홀로그램는 CGH 관점에서 한 물체는 n개의 물체점으로 이루어진 집합이며, 각 점에서 공간 위치, 진폭, 그리고 파장을 포함하는 한 세트의 데이터로만 존재한다. 홀로그램 합성용 계산 방법들은 광선 추적(Ray tracing)을 사용한 해석적 모델링과 한 물체를 다수의 평행한 면들로 구성된 대상으로 가정하는 Fourier-기반 모델링으로 크게 구분될 수 있다.

파면 간격이 시간 및 공간에 걸쳐 일정하게 유지되는 결맞는 광이 물체에 부딪쳐 반사되면, 반사광의 파면에서 위상 변화가 물체의 형상에 따라 변하게 된다. 이 위상 변화는 기하광학적으로 광선 추적에 의해 계산된다. 광선 추적형 모델링은 주어진 3D 장면을 구성하는 각 점 S_j(x_j, y_j, z_j)을 제한된 각도 범위로 파장 λ의 빛을 발산하는 한 개의 빛샘(a point source of spherical wave-emitting)으로 간주한다. 따라서 홀로그램 면과 점광원 S_j 간의 광경로(optical path)부터 진폭과 위상 분포, 즉 H_j(x, y)가 홀로그램 면에서 해석적으로 유도된다. 빛샘의 위치 S_j(x_j, y_j, z_j)에 의한 홀로그램 면에서 위상은 φ_j(x,y) = 2π[{(x-x_j)² + (y-y_j)² + z_j²]^1/2 - z_j]/λ로 쓸 수 있다. 따라서, 주어진 3D 장면의 복소 진폭 홀로그램은 이루어진 각 물체점들로부터 홀로그램 면으로 전파된 기본 파동장 H_j(x, y)들을 모두 중첩한 결과이다. 즉, 참조 위상 초기값을 φ₀(x, y)라고 하면, 이다. (실제, 물체점들의 중첩에 의해 얻어진 결과는 물체 파 U(x, y)가 되며, H(x, y)를 얻기 위해서 참조 파 R(x, y)와 이 물체 파 H(x, y)를 중첩하는 과정이 더 추가된다.) 아래에서 Fourier 기반 모델링을 포함한 중요한 컴퓨터 홀로그램의 생성 방법들에 대한 연구 내용을 소개한다.

가. 반복 위상-한정 연산 알고리즘

위상-전용 홀로그래픽 단말에서 적용이 유리한, 대표적인 인코딩된 홀로그램 표현법은 반복적 푸리에 변환 알고리즘(IFTA: Iterative Fourier transform algorithm)을 사용하는 것이다. Gerchberg-Saxton(G-S) 알고리즘으로도 알려진 이 방법은 밝기 분포를 만들 뿐만 아니라 홀로그램의 푸리에 면에서 원하는 복소수 분포를 만드는 데에 적용될 수 있다[7]. 푸리에 영역에서 목표 복소수 분포를 알고 있는 조건 하에서, 위상-한정(Phase-only) 광변조기로 표현될 홀로그램 영역에서 순수 위상 분포 e^iΦ(x,y)를 찾는 문제를 푸는 과정이다. 푸리에 변환과 역-푸리에 변환은 홀로그램으로부터의 회절 패턴(또는 복원)과 홀로그램의 생성에 각각 대응한다.

(그림 7)은 이러한 반복 알고리즘에 의해서 홀로그램 면과 푸리에 면에서 두 개의 구속 조건들을 만족하는 한 쌍의 푸리에 변환을 찾는 순서도를 보여주고 있다. 반복 알고리즘은 다음과 같이 작동된다. 우선 초기 추정치의 홀로그램을 푸리에 변환하여 푸리에 면에서 필드 값을 산출한다. 명목상 복소 분포(위상 구속 조건)로 결과 복소 분포를 대체한다. 이 수정된 필드 값을 역 푸리에 변환을 적용하여 홀로그램 면에서 새로운 필드값 H’(x, y)을 얻는다. 크기 1을 갖는 계산된 H’를 크기 1로 조정(홀로그램 진폭 구속 조건)해 줌으로써 새로운 홀로그램 추정값을 준비한다. 이 G-S 알고리즘에서 반복 루프는 푸리에 영역에서 구속 조건을 만족시키면서 개선된 품질의 푸리에 면의 위상 분포를 얻을 때까지 되풀이된다. 일반적으로 홀로그램 생성의 최적화 및 효율을 위해서 무작위 위상(Random-phase) 분포가 초기값으로 사용한다. 소요 시간 대비 정확도가 높은 홀로그램 연산 방법으로 알려진 이 알고리즘은 연산 시간 측면에서 비교해 보면, GPU를 사용하는 것이 CPU를 사용하는 것보다 훨씬 유리하다. 예를 들면 해상도 1,024×1,024를 갖는 입력 이미지를 사용하고 반복 수 40회를 실시할 경우, GPU(GeForce GTX 460)와 CPU(Intel Core i7 740QM)에서 연산 시간은 3.02s, 그리고 1.07×102s로 각각 소요된다[7]. 단색(파장 532nm)으로 복원된 20cm 깊이를 제공하는 홀로그래픽 영상의 한 예는 참고 문헌[8]에서 확인할 수 있다. 이와 같은 위상 인코딩 방식을 적용한 홀로그램을 영상 재생하면, 비록 고속 연산을 할 수 없지만, 화질 개선 및 높은 광 효율을 제공, 그리고 단일 SLM으로 구현 가능성 등의 장점들이 있다.

(그림 7)

복원 이미지를 개선시키는 G-S 알고리즘의 흐름 개념도

나. 빠른 푸리에 변환(FFT) 알고리즘

Fourier 기반 모델링은 3D 장면을 홀로그램 면과 평행하게 여러 개의 층으로 조각을 내는 방식을 사용한다[9]. 이러한 물체 면들(Object planes)로 이루어진 3D 장면에 대하여 FFT(Fast Fourier Transform)를 활용한 홀로그램 생성 방법을 고찰해 본다. (그림 8)과 같이 SLM (L_H)에 인접한 렌즈가 삽입된 전형적인 홀로그래픽 광학계에서 FFT를 활용한 홀로그램 생성 방법은 다음과 같다. Fresnel 변환 계산을 하기 위해서, 3D 장면(또는 물체)은 SLM 면에 대해 평행한층의 형태 (L₁, L₂, ... , L_m)를 갖는 m개의 조각으로 나눈다. 홀로그램층 (L_H)은 SLM 면 위에 있으며, 이 SLM 면과 평행한 관찰자의 시선(VW: Viewing-widow)이 있는 면을 기준층(L_R: Reference layer)으로 설정한다. 일반적으로 홀로그램층 (L_H)으로부터 i번째 층 (L_i)까지의 거리, 즉 (z_i)를 주어진 물체 면이 갖는 깊이(Depth)라고 말한다. 또한, SLM 면이 있는 이 홀로그램층을 중심으로 한 z의 부호에 따라 양의 깊이 또는 음의 깊이로 정의된다.

(그림 8)

FFT 알고리즘을 위한 파라미터 및 도식

홀로그램층, 각 물체층, 그리고 기준층은 모두 동일한 표본 수를 각각 가져야 한다. 이 표본 수는 SLM 상의 총 픽셀 수와 일치한다. Fresnel 변환 계산은 수학적으로 2차 위상 인자가 곱해진 Fourier 변환으로 수행된다. m개의 불연속적 Fourier 변환은 효율적으로 FFT 알고리즘을 사용함으로써 계산을 할 수 있으며, 홀로그램을 합성하는 순서는 다음과 같이 요약된다. 첫째, 각 층에서 (L_R)층으로 m번의 직접 Fresnel 변환을 순차적으로 수행한다. 둘째, 앞 단계에서 계산된 각 파동 장들을 VW 면에서 모두 중첩(Superposition)시켜 복소 파동장을 만든다. 셋째, VW에서 계산된 이 복소 파동장은 역 Fourier 변환(Inverse Fresnel Transform)을 통해서 홀로그램층(L_H)으로 변환시킨다. 이렇게 도출된 결과는 LH 면에서 물체파가 된다. 이 물체파와 참조파 성분을 더하게 되면, 최종적인 홀로그램 함수 (H_i)(x, y)가 얻어진다. 이 홀로그램은 실제 존재하는 3-D 장면에 의해서 만들어지는 광파동 장을 VW 내에 재생시킬 수 있다. 즉, 계산된 홀로그램 데이터가 표시된 SLM에 결맞는 조명광을 비추면, 합성된 장면의 파면이 이 홀로그램 면에서 만들어지고, VW 내로 전파하면서 원래의 장면을 재생한다. 그러므로, 홀로그램 관측 창문에 해당하는 이 VW 위치에 눈을 대고서 빛을 관찰하는 관측자는 실제 존재하는 물체로부터 방출되는 파동장인 것처럼 인식하게 된다.

다. CGH 연산 가속화 연구

실시간 홀로그래픽 콘텐츠 생성 및 홀로그래픽 디스플레이 실현을 위해 홀로그램 연산 과정을 가속화하는 연구는 지속해서 진행되어 오고 있는 분야이다. 실시간 홀로그래픽 디스플레이가 가능하기 위해서 홀로그램 생성에 필요한 시간은 초당 10프레임 이상이 필요하다. 이처럼 빠른 연산을 하기 위해 FPGA(Field programmable gate array) 전용 하드웨어를 사용하는 방법, 다중코어가 내장된 GPU(Graphics processing unit)를 이용하는 방법, 그리고 홀로그램을 다수의 조각으로 나누어 병렬 연산하는 방법 등 있다.

1) FPGA 전용 하드웨어 개발

홀로그램 생성 과정을 가속화 하기 위한 대표적인 연구 방법은 FPGA 전용 칩을 활용하는 것이다. FPGA는 다시 쓰기가 가능한 LSI(Large-scale IC)로서 1990년대 중반부터 급속히 개발되어 왔다. 예를 들어, 홀로그래피용 특수 목적 컴퓨터를 개발해 온 일본 치바대의 Ito 교수 그룹은 FPGA 칩을 적용한 HORN(Holo-graphic ReconstructioN) 모델을 HORN-3 버전(1999년)부터 HORN-8 버전(2015년)까지 발표하였다. 2001년에 개발된 HORN-4 모델의 경우 두 개의 FPGA (EP20K300EQC240-1 by ALTERA) 칩을 장착한 HORN-4 보드에 치바대 그룹에서 자체 개발한 효율적 CGH 점화식 알고리즘을 적용하여 800×600개의 격자(Grids)를 갖는 홀로그램-위상을 0.45s 내에 병렬 연산을 수행하였다.

그리고 2004년에 HORN-4보다 100배 빠른 HORN-5 시스템은 1대의 PC에 4개의 HORN-5 보드를 병렬로 연결할 수 있는 구조로 개선되었다[(그림 9) 참조]. Host PC 1대 및 4개의 HORN-5보드들을 연결한 sub-PC 1대로 구성된 이 시스템은 최대 1만 개의 점으로 구성된 물체에 대하여 1,408×1,050 해상도 홀로그램을 0.0023s에 계산할 수 있었다. 나아가 2009년에 발표된 HORN-6 클러스터 시스템은 gigabit LAN-스위칭 허브를 경유하여 Host PC 1대에 HORN-5에서 사용된 sub-PC 타입 4대를 병렬로 묶는 개선된 구조라고 볼 수 있다[(그림 9b) 참조]. 이 전용 보드를 사용하여 10만 개의 물체점들로 구성된 CG 물체 이미지를 10fps의 속도로 계산할 수 있었다. Host PC(Intel Pentium 4, 2.8GHz)의 메모리는 물체점들에 관한 좌표 데이터를 저장하고, 계산하는 동안에 host PC(Intel Pentium 4, 3.4GHz)는 이 데이터를 각 PC를 지나 HORN-6 보드 상에 위치한 FPGA 칩의 DDR-SDRAM에 전달하게 된다. 병렬 연산 방식으로 CGH 생성을 위해서 CGH 계산 영역을 HORN-6보드 상의 FPGA 칩들의 개수만큼 나누어져 연산이 수행된다. 참고 문헌[10]을 보면, 이 HORN-6 클러스터 시스템으로부터 만들어진 CGH 콘텐츠와 반사형 SLM을 사용하여 광학(파장 633nm)적으로 복원된 영상(크기: 5cm×5cm×5cm)의 동영상들을 확인할 수 있다. FPGA 전용 하드웨어 기반 기술의 발전을 통하여 현재까지 백만 개의 물체점들로 구성된 물체 영상을 거의 실시간으로 취급할 수 있는 홀로그램 계산 역량이 개발되어 왔다.

(그림 9)

(a) 4개의 HORN-5 보드들이 장착된 sub-PC와 Host PC로 구성된 HORN-5 시스템과 (b)이 sub-PC 4대와 Host PC로 구성된 HORN-6 클러스터 시스템

2) 고속 CGH 연산 기술의 전망

홀로그래피가 현재 각광받고 있는 AR/VR 기술과 직접 연동되려면, 홀로그램도 수직 및 수평 방향으로 다양한 시점에서 관측할 수 있어야 한다. 따라서 공간상의 시점마다 서로 다른 홀로그래픽 콘텐츠가 준비되어야 한다. 즉 관측하고자 하는 시점수가 늘어날수록 이에 비례하여 계산해야 하는 홀로그램 콘텐츠의 양이 늘어나게 된다. 시점 수의 증가에 따른 연산량 증가로 인해 하드웨어에 상당한 부하가 걸리게 된다. 이처럼 홀로그램의 상용화 측면에서 홀로그래픽 모바일/TV 또는 홀로그램이 적용된 가상현실 디바이스에 바로 적용되기 위해서 홀로그램 콘텐츠의 고속 계산 기술의 확보는 필수적이다.

홀로그래픽 디스플레이 콘텐츠 제작에서 기존의 Workstation으로 처리하기에 방대한 계산을 Multi-GPU 간 연동을 통하여 병렬 계산으로 빠르게 처리할 수 있는 장치가 개발됨에 따라 상기의 문제들이 많이 개선될 것으로 예상된다. 소프트웨어에 의해서 계산 부분들을 최적화하는 연구와 병행된다면, 궁극의 목표인 실시간 컴퓨터 홀로그램 생성(Real-time CGH)의 실현 가능성을 높일 수 있을 것으로 여겨진다.

앞으로 가상현실 산업과 연계되어 디지털 홀로그래픽 디스플레이 수요가 점차 증가할 것으로 예상되며, 최근의 스마트 기기 산업 동향 부문에서 예측할 수 있듯이 차세대 3차원 디스플레이 시장도 고해상도 디바이스 솔루션과 소프트웨어 기술 모두를 확보한 기업이 주도권을 쥘 것으로 판단된다.

디지털 홀로그래피에서 인코딩(encoding)은 복소수 홀로그램 데이터를 선택된 공간 광변조기에 적합한 표현 값으로 변환하는 것을 말한다. 우리가 흔히 접할 수 있는 공간광변조기의 예로서 액정 표시 장치는 진폭변조(Amplitude modulation) 방식이 적용된다. 복소수 데이터는 이러한 디스플레이 장치들에서 직접 표시될 수 없기 때문에 적절한 표현 값으로 바꾸어 줘야 한다. 아래에서 주어진 SLM 타입에 맞도록 표시될 수 있도록 홀로그램을 준비하는 이 프로세스와 관련된 중요한 인코딩 방법들에 대하여 살펴보고자 한다.

가. 진폭-한정 인코딩

주어진 시그널 함수에 대응되는 복소수 함수를 U(x,y)=|Ue^iΦ|=|U|{cosΦ+isinΦ}라고 할 때, 홀로그램 함수H(x, y)는 U(x, y)와 동일하지 않고, 인코딩하는 규칙에 의해 연관된다. 진폭-한정(Amplitude-only) 인코딩에서 원하는 시그널 함수는 홀로그램 함수를 형성하기 위해 순수 진폭의 양으로 분해된다. 대표적인 진폭-한정 접근법은 주어진 복소수에서 실수부만을 추출하는 것이며, H(x, y)=|U|cosΦ과 같이 쓸 수 있다. 여기서 원본 함수의 실수부는 일반적으로 음의 값을 가질 수 있기 때문에 비음수화 과정을 반드시 추가해 주어야 한다[(그림 6a) 참조]. 그 결과로, 이 인코딩 방법으로 계산된 홀로그램을 사용하여 복원하게 되면, 시그널 영상뿐만 아니라 강한 배경 잡음이 추가적으로 들어가는 부작용이 발생된다.

(그림 10c)는 시그널 복소수 함수의 예로서 가 주어졌을 때, 진폭-한정 접근법에 의한 결과를 보여준다. 이 시그널 복소수 함수는 최대 진폭 1을 가지며, 각 사분면 공간 내에서 위상이 Fresnel-zone plate와 유사한 공간적인 변화를 보여주고 있다 (그림 10a) 및 (그림 10b).

(그림 10)

주어진 복소수 함수 (진폭, 위상)에 대한 인코딩 별 특징 비교

나. Lee 인코딩

1968년에 미국 MIT의 Wai H. Lee는 Washington에서 열린 미국광학회(OSA) 모임에서 임의의 복소 함수 U(x, y)=|Ue^iΦ|=|U|{cosΦ+isinΦ}를 음수가 아니면서 실수값으로 구성된 4개의 성분으로 분해하는 방법으로 다음과 같이 제시하였다[11]. 2차원 복소 평면 상에서 임의의 페이저(Phasor)는 4개의 단위 벡터들, 즉 eⁱ⁰=1, e^{i π/2}=i, e^i2π/2=-1, 그리고 e^{i3 π/2}=-i에 각각 평행한 4개의 벡터로 분해될 수 있다. 그래서, 원래의 복소 함수인 U(x, y)=|U|e^iΦ는 H=L₁eⁱ⁰+L₂e^iπ/2+L₃e^i2π/2+L₄e^i3π/2와 같이 표시될 수 있다. 여기서 Li 는 음수가 아니면서 실수 값이며, 4개의 Li 중에서 2개는 항상 0이다. 이 과정에서 해상도 감소가 발생되며, (그림 6b)는 Lee 인코딩으로 만들어진 홀로그램의 한 예이다.

실제 2차원 LCD 매트릭스에서 하나의 마크로-픽셀 안에 4개의 부화소(Sub-pixel)들로 조직화하면, 이 마크로-픽셀 내부는 측면 방향의 공간적 변위에 의해 0°, 90°, 180°, 그리고 270°의 위상 차이를 서브-픽셀들이 만들게 된다. (그림 11)은 360°(1,024시점) 동영상 콘텐츠에서 한 시점에서 획득한 RGB 컬러 (a) 및 depth-map (b)을 사용하여 Lee 인코딩에 의해 만들어진 홀로그램과 (c)와 이 홀로그램을 FHD 해상도의 LCoS-SLM에 의해 복원된 예를 보여준다[2]. 다른 깊이에서 움직이는 두 토러스 물체들은 실제로 관측 카메라의 다른 초점 위치에서 선명하게 상이 맺힘을 알 수 있다.

(그림 11)

(a) RGB 컬러 및 (b) depth-map 로부터 (c) Lee 인코딩을 적용하여 만든 홀로그램 과 LCoS-SLM에 의한 복원 영상 (d)와 (e)

다. Burckhardt 인코딩

앞에서 설명한 Lee의 접근보다 더 단순화된 표현법으로서, 1970년 Bell 연구소의 Burckhardt가 제안한 방법에 따르면, 임의의 복소 함수를 양의 실수값을 갖는 3개의 성분으로 분해될 수 있다[12], [13]. 2차원 복소평면 상에서 임의의 페이저(Phasor)는 3개의 단위 벡터들, 즉 eⁱ⁰=1, e^i2π/3, 그리고 e^i4π/3에 각각 평행한 3개의 벡터로 분해될 수 있다. 그래서 복소수 함수는 U(x, y)는 B=B₁eⁱ⁰+B₂^ei2π/3+B₃e^i4π/3로 표시될 수 있다. 여기서 B_i는 음이 아닌 실수 값이며, 3개의 중에서 하나는 항상 0이다. Burckhardt의 분해 방식은 각 샘플링 위치 점, 즉 (x, y)에서 일반적으로 2개의 영이 아닌 값을 갖는다. (그림 6c)는 Burckhardt 인코딩에 의해서 만들어진 홀로그램의 예를 보여준다. Burckhardt에 의한 이 표시 단순화는 컴퓨터에 의한 홀로그램 생성 과정에 요구되는 메모리 크기를 25%만큼 감소시키고, 각 샘플링 포인트에서 25%만큼의 해상도 저감 효과를 제공한다. 2차원 LCD 매트릭스에서 하나의 마크로-픽셀 안에 3개의 서브-픽셀들로 구성되게 하면, 이 마크로-픽셀 내부는 측면 방향의 공간적 변위에 의해 위상 옵셋을 0°, 120°, 그리고 240°만큼 서브-픽셀들이 만들게 된다. 따라서 진폭변조 SLM을 사용하면, 공간 해상도는 감소하더라도 위상과 진폭을 동시에 변조할 수 있음을 알 수 있다.

이중-위상(Dual-phase) 결합 법을 사용하면, 임의의 복소수는 두 개의 순수한 위상들의 조합 형태로 해석적으로 분해될 수 있다. 즉, 이중-위상 결합 인코딩 방법은 H = [e^i(Ф+ф)+e^i(Ф-ф)]/2와 같이 쓸 수 있다. 여기서 진폭 값은 일정한 상수 1/2로 설정하였다. 최근에 이 접근법으로 만들어진 홀로그램과 2개의 빔 간섭 광학계를 통하여 깊이 표현 및 밝기 변화 표현이 가능하다는 것이 광학적으로 검증되었다[14]. 위상-전용 SLM에서 입사광이 두 개의 인접한 픽셀들과 선편광 회전 및 광경로 제어 부품을 지나면서 한 쌍의 파동 중첩 효과에 의해 간섭이 일어나게 된다. 결국, 위상 변조로부터 파동 중첩 과정을 거치는 동안 복소수 변조가 이루어지도록 설계되었다. (그림 12)는 시그널 복소수 함수 (그림 10a 및 b)를 사용하여 2차원 픽셀 배열 구조에서 인접한 두 픽셀 단위로 위상 분해를 한 결과를 보여준다.

(그림 12)

주어진 복소수 함수 (진폭: (그림 13a), 위상: (그림 13b)에 대한 2개의 위상으로 분해한 예

앞에서 살펴본 여러 종류의 인코딩 방법들을 통해 완벽한 홀로그램 복원을 위해서 위상과 진폭 정보가 모두 필요하며, 이를 표현할 수 있는 적합한 광변조 표시 기술이 함께 요구된다. 참고로 위상 및 진폭을 동시에 변조할 수 있도록 하기 위해 위상 SLM과 진폭 SLM을 샌드위치 타입으로 결합하여 복소 디스플레이가 최근에 들어와서 실증되고 있다[15].

제작된 홀로그래피 콘텐츠를 평가하고 검증하기 위해서 홀로그래피 전용 디스플레이 장치가 필요하다[16]. 공간 광변조기로 활용 가능한 현존하는 평판형 전자 디스플레이는 LCD(Liquid crystal display), LCoS(Liquid crystal on silicon), 그리고 DMD(Digital mirror-based device)로 크게 분류될 수 있다[(그림 13) 참조]. 우선 LCD-SLM은 두 장의 투명한 기판 사이에 액정이 채워진 셀들이 능동 매트릭스 구조로 이루어져서 각 셀을 전기적으로 제어 가능한 디바이스이다.

(그림 13)

홀로그래피용 공간광변조기들

최근 위상결합 변조 및 서브 홀로그램 방식을 사용하여 ECB 액정 모드로 제작된 투과형 LCD 타입의 SLM이 실험적으로 검증되었다. 이 실험에서 0.46메가픽셀을 갖는 ECB 모드의 LCD는 활성 영역 53.8mm×40.3mm(대각 방향 길이 2.65”), 픽셀크기 168μm×28μm, 46.8%의 채움 인자(Fill factor), 그리고 셀 갭을 4.0μm으로 설계함으로써 구동전압 6.5V 하에서 액정의 응답시간이 16.7msec이다. 이러한 투과형 LCD-SLM은 현 TFT-LCD 제조 공정을 적용하면 대형 TV 정도로 대면적 확장이 기술적으로 가능하다는 장점이 있지만, 유리기판 상에서 미세 패터닝 공정 특성으로 인해 신뢰성 있는 LCD-SLM의 픽셀 크기는 5μm 정도까지가 한계인 것으로 알려져 있다. 따라서, 투과형 LCD-SLM이 디지털 홀로그래피용으로 적용되기 위해서 협소한 시야각 문제를 해결할 수 있는 대안들이 요구된다. 다른 도전적인 요소 기술은 더 빠른 응답속도과 더 높은 이방성을 동시에 제공해 주는 새로운 복굴절 재료를 개발하는 것이다.

LCoS 디바이스는 배면 쪽 기판에 각 픽셀마다 반사물질로 적층되어 있는, CMOS Si 백플레인을 갖는 액정 표시장치이다. 입사되는 빛이 LC층을 투과한 후, 흡수율이 매우 낮은 알루미늄 코팅층에 의해서 반사되어 출광된다. LC 물질이 갖는 복굴절성 때문에 백플레인 회로에 인가되는 전압에 의해서 굴절율 변화(Δn)가 발생되고, 결국 이 디바이스를 지나가는 광 파면의 위상 지연이 유발된다. ECB-모드의 LCoS는 2π 위상 변조가 가능한 대표적인 광변조기이다. 액정층을 왕복해서 지나는 광의 위상 지연은 πΔnd/λ으로 주어진다. 최근 Jasper Display는 위상 변조용으로 9.8 메가픽셀 급의 반사형 LCoS (활성영역 15.6mm×9.2mm(대각 길이 0.7인치), 픽셀 간격: 3.74μm×3.74μm)를 개발하였다. 비록 이 반사형 액정 표시장치가 투과형 액정 표시장치보다 더 미세한 픽셀 크기, 더 우수한 광 효율과 높은 채움 인자를 제공할지라도, 홀로그래피 응용 측면을 고려해 볼 때 반사형 표시장치는 제한적인 디스플레이 크기뿐만 아니라 충분한 회절각을 제공하지 못하는 한계점을 지니고 있다.

DMD(Digital micromirror device)는 1987년에 Texas Instruments(TI)사에서 근무하는 Larry Hornbeck과 William Nelson에 의해 고안되었다. Discovery 4100시리즈가 출시된 이래로, 미세 거울들이 사각형 행렬 모양의 배열로 이루어진 디지털-거울 기반 DMD는 공간광변조기용으로 오랫동안 개발되어 왔다. 최근 CMOS 회로 상층부에 저온 폴리-SiGe MEMS 프로세스를 사용하여 마이크로미터-이하 픽셀 크기의 칩 관련 연구 결과도 발표되었다. 이 MEMS 공정기술은 10.9메가픽셀 급의 SiGe 기반 마이크로 거울 디바이스 (활성영역 41.6mm×16.8mm, 픽셀 간격: 8μm×8μm) 개발을 가능하게 하였다. 이 디바이스는 MEMS-거울 배열로서 각 픽셀은 알루미늄으로 코팅되어 있고, 각 픽셀은 구동 전압 (0V, 6V) 스위칭에 의해 기울기 각도 변조 제어가 가능하다. 이러한 DMD-SLM은 고반사율 거울을 사용하기 때문에 우수한 광 효율을 제공할 수 있는 장점을 가진다. 반면에, 디스플레이 화면 크기가 작을 뿐만 아니라 홀로그램의 간섭 패턴을 2단계 밝기 계조값(Binary grey-level)으로만 인코딩하기 때문에 (그림 3d) 홀로그래픽 영상 화질 측면에서 3D 장면의 세부적인 표현 능력이 낮은 단점을 갖고 있다. 이를 해결하기 위해 하드웨어적으로 고속의 ON/OFF 스위칭을 수행하는 방식으로 여러 단계의 계조 표현이 가능하도록 연구하고 있다.

이상에서 살펴본 SLM용 디바이스들은 각 소자에 적합한 제조 공정상의 특성들 및 디스플레이 강점들에 따라 소형 패널과 대형 패널로 구분되어 홀로그래픽 산업 부문의 핵심으로서 각각 발전될 것으로 전망된다.

본고의 마지막 내용으로 제작된 홀로그래픽 3D 영상의 정량적인 품질 측정을 위해서 복원된 영상을 촬영한 이미지를 기반으로 한, 3차원 공간상에 복원된 3D 영상의 화질 측정법을 제시한다. 홀로그래픽 명암대조비(HCR: Holographic contrast ratio)라로 불리는 HCR은 HCR_ij=(G_Wi-G_Oi)/G_Bj-G_Oj)으로 정의된다 [6], [16], [17]. G_Wi와 G_Oi는 좌표 (x_i, y_i)에서 측정된 극대 밝기 grey 값 및 배경 노이즈 밝기 grey 값이다. 그리고 G_Bj와 G_Oj는 좌표 (x_j, y_j)에서 측정된 극소 밝기 grey 값 및 배경 노이즈 밝기 grey 값이다. 여기서 분자의 값은 홀로그래픽 휘도(Brightness)에 해당되며, 8비트 이미지일 경우에 0~255 사이의 값을 갖는다.

홀로그램의 회절 효율은 휘도 값에 비례하며, 배경 노이즈 억제 정도는 HCR에서 나타나게 된다. (그림 14)에서 진폭-전용 인코딩 Burckhardt 인코딩, 그리고 Lee 인코딩으로 만들어진 홀로그램을 LCoS-SLM에서 복원한 영상을 DSLR 카메라로 촬영한 이미지를 보여주고 있다. 카메라의 초점이 맞는 물체의 중심부에서 스케닝이 될 선택 영역은 총 20개의 선으로 이루어져 있다. (그림 15)에서 보여주는 것처럼 HCR-Brightness 도표는 각 20개의 데이터를 사용한 통계처리 프로그램으로부터 도출된 HCR-Brightness 평균값을 인코딩 종류에 대하여 비교할 수 있도록 도표화되어 있다. 에러 바의 길이는 표준편차이며, 평균 HCR 및 평균 휘도 값을 통해 복원된 3D 영상 화질 또는 공간 광변조기의 기본 성능을 용이하게 분석할 수 있기 때문에 주어진 단말에서 적합한 홀로그램 합성법 및 홀로그래피 콘텐츠의 설계를 결정하는 데 매우 유용하다.

(그림 14)

HCR-Brightness 측정

(그림 15)

HCR-Brightness 도표

디지털 홀로그래피에서 화질 성능 향상의 핵심 요소 기술들은 다음과 같이 요약된다. 첫째, “얼마나 정확하게 흰색 점을 원하는 위치에서 한 점의 형태로 표현할 수 있는가?”라는 질문의 해결 기술이다. (그림 16)에서 보여주듯이 SLM의 화소들이 매트릭스 형태로 배열된 구조에서 입사하는 빛은 색상(파장)에 따라 회절 강도에서 차이가 발생한다. 픽셀 길이가 p일 때, 회절각 (Θ)은 Θ ≈ λ/p의 관계가 있다. 둘째, (그림 16)에서와 같이 중앙의 가장 큰 피크(DC 항)과 다음의 피크(1차 회절광) 사이의 간격을 넓히게 하는 디스플레이 해상도 개선 기술과 두 피크 사이의 영역에서 들어오는 신호대 대 잡음비(SNR: Signal to noise ratio)를 증대시키는 컬러 콘텐츠의 데이터 처리 기술이다.

(그림 16)

픽셀 매트릭스 구조에 의한 빛의 회절