디지털 홀로그램 압축 기술 및 표준화 동향

1. 디지털 홀로그램

디지털 홀로그램은 디지털 이미지와 비교하면 이해하기가 쉽다. 앞서 소개하였듯이 빛은 일종의 파동으로 세기와 위상을 모두 가진다. 그러나 우리가 흔히 알고 있는 디지털 이미지는 빛의 세기만을 기록하고 재현하는 방식이다. 이에 반해 홀로그램은 빛의 세기와 위상을 모두 기록하고 표현하는 방식이므로 3차원 공간에 완전한 영상의 기록과 재현이 가능하다. 따라서 홀로그램은 주어진 3차원 공간 안에서 자유롭게 깊이와 시차를 변형하며 관찰이 가능하다[2].

디지털 홀로그램은 간섭계[3]를 통해 직접 기록되거나 CGH(Computer Generated Hologram) 기술을 이용하여 간접적으로 계산될 수 있다. 직접 획득 시에는 광원으로 레이저를 이용하는데, 이는 홀로그램 기록을 위한 간섭 현상이 레이저와 같이 결맞음(coherent) 특성이 있는 경우에 기록이 쉽기 때문이다. CGH는 포인트 클라우드[4], 메쉬(mesh)[5], 컬러+깊이 영상[6], 라이트 필드[7] 등 다양한 3차원 영상 데이터로부터 계산이 가능하다[8]. 그림 1은 간섭계를 통한 직접 획득 장치와 포인트 클라우드 기반의 CGH 개념도를 보여주고 있다. 포인트 클라우드 기반의 CGH는 표현하고자 하는 3차원 객체가 여러 포인트들로 구성되어 있다고 가정하고, 하나의 점에서 나오는 빛이 구면파 형태로 퍼져나가는 것을 고려하여 이러한 구면파들의 조합으로 홀로그램을 표현하는 방식이다.

그림 1

디지털 홀로그램 획득 및 생성: (a) 간섭계 기반 홀로그램 직접 획득, (b) CGH 기반 홀로그램 간접 생성

2. 디지털 홀로그램 데이터 표현

디지털 홀로그램은 일종의 복소 데이터로 복소값으로 표현된다. 그리고 홀로그램은 획득 및 재현 장치의 픽셀 피치와 빛의 파장에 대한 의존성이 있는 데이터로 부가 정보 형태로 적어도 픽셀 피치와 파장 정보가 제공되어야 한다. 또한 여러 깊이에서 재현될 수 있으므로 보통은 참조 깊이 정보도 함께 주어진다. 그림 2는 HD급 해상도(1,920×1,080)의 모노 홀로그램의 복소 원(raw) 데이터를 보여주고 있다. 각 화소마다 하나의 세기값이 아닌 복소수값을 가지고 있음을 알 수 있다. 컬러 영상의 경우 채널별로 각각 화소마다 복소값을 가진다.

그림 2

복소 홀로그램 원 데이터

복소 데이터는 양자화를 거쳐 우리가 친숙한 이미지 형태로 표현될 수 있다. 이때 복소 데이터는 대표적으로 극 좌표계(Polar Coordinates)와 직교 좌표계(Cartesian Coordinates) 방식으로 표현된다. 그림 3은 극 좌표계를 통해 진폭과 위상으로 복소 홀로그램을 이미지로 표현하는 방법과 직교 좌표계를 통해 실수부와 허수부로 표현한 방법을 비교하여 보여주고 있다.

그림 3

복소 홀로그램 표현 방법: (상) 극 좌표계, (하) 직교 좌표계

여기서 위상은 0~2π의 값을 이미지의 비트 레벨에 맞춰 양자화하여 표현한 것으로 그림 3의 경우는 0~255로 균일 양자화한 이미지이다. 위 이미지 중 가장 잡음(Noise)이 많은 것과 같은 데이터 특성을 보인다. 홀로그램 영상은 홀로그램 평면과 객체 사이의 거리가 멀어질수록 공간적인 상관도가 낮아지고, 특히 이진 홀로그램이나 광시야각 표현을 위해 랜덤 위상이 고려되는 경우는 노이즈 영상과 같이 보이기도 한다. 즉, 홀로그램은 일반적인 2차원 이미지에 비해 공간적인 상관도가 낮다.

3. 디지털 홀로그램 압축 기술

앞서 살펴보았듯이 디지털 홀로그램은 공간적인 상관도가 낮아 압축이 쉽지 않다. 따라서 홀로그램의 데이터 특성을 고려한 압축 기술들이 연구되었다. 본 절에서는 대표적인 디지털 홀로그램 압축 기술을 소개한다.

가. 복원 도메인 기반 압축 기술

디지털 홀로그램은 눈으로 직접 관찰되는 데이터가 아니다. 우리가 눈으로 관찰하는 영상은 디지털 홀로그램으로부터 회절되어 공간상에 이미징된 영상이다. 이러한 과정을 우리는 광학적 복원이라 그림 2 복소 홀로그램 원 데이터 하고, 시뮬레이션을 통해 복원한 것을 수치적 복원이라고 한다. 즉, 홀로그램은 3차원 공간상에 전파되어 특정 깊이마다 초점을 맞춰 관찰이 가능하다. 이러한 특성을 이용하여 홀로그램을 홀로그램 도메인이 아닌 복원 도메인에서 압축하려는 다양한 연구들이 진행되었다[9]. 이러한 접근법은 복원 도메인에서는 홀로그램이 2차원 영상에 보다 근접한 특성을 보이기 때문에 시공간적 상관도가 증가되어 기존의 2차원 압축 방식으로도 홀로그램 압축 성능 개선이 가능하다는 점을 이용한다. 그림 4는 홀로그램 도메인과 복원 도메인 영상을 비교하여 보여준다.

그림 4

홀로그램 도메인과 복원 도메인 비교 출처 Adapted with permission with A. Gilles et al., Hybrid approach for fast occlusion processing in computer-generated hologram calculation, Appl. Opt. 55, no. 20, pp. 5459–5470, 2016.

복원 도메인 기반 압축 기술은 특정 깊이 평면에 초점이 맞춰진 영상을 부호화하므로 해당 깊이에만 최적화되어 다른 깊이에서는 화질이 조금 저하되는 결과를 보이기도 한다. 그리고 홀로그램 영상 재현을 위해서는 홀로그램 도메인으로 재변환해야 하기 때문에 디코딩 복잡도가 높다고 할 수 있다.

나. 분할 기반 압축 기술

디지털 홀로그램은 홀로그램 평면과 표현하고자 하는 3차원 공간상의 객체 사이의 거리가 충분히 멀다면 복원하고자 하는 3차원 공간상의 정보가 홀로그램 전 영역에 골고루 퍼지는 특성을 가진다. 이를 이용하면 홀로그램을 분할하여 압축하는 방법을 적용할 수 있다. 분할 기반 압축 기술[10]은 앞서 소개한 복원 도메인 기반 압축 기술과 결합하면 디지털 홀로그램을 마치 2차원 어레이(array) 형태의 다시점 영상과 유사하게 바꿔준다. 홀로그램을 여러 개의 영역으로 분할하고, 분할된 홀로그램을 주파수 변환을 하면 각 분할 영역은 수치 복원된 것과 유사한 특성을 가지기 때문이다.

분할 기반 압축 기술의 압축 효율은 분할된 영역의 크기나 수에 따라 달라질 수 있다. 그리고 앞서 언급하였듯이 분할 기반 압축 기술을 적용하기 위해서는 충분한 전파 거리를 가져야 하고, 디코딩 과정의 복잡도가 높은 단점이 있다.

다. 최적 주파수 변환 기반 압축 기술

일반적으로 주파수 변환은 영상의 에너지를 주파수 도메인에서 특정 영역에 집중시킬 수 있는 장점 때문에 영상 압축에서 널리 사용된다. 디지털 홀로그램에서도 홀로그램 데이터 특성에 맞는 최적의 주파수 변환을 찾으려는 연구가 있었다. 2차원 영상에서 좋은 에너지 결집을 보이는 DCT(Discrete Cosine Transform)도 일반적으로 홀로그램에서는 좋은 특성을 보이지 못한다. 선행 연구들에 따르면 홀로그램에는 보통 웨이블릿 변환(Wavelet Transform)이 더 좋은 성능을 보인다. 웨이블릿 변환은 추가적으로 홀로그램의 방향성을 고려하여 DA-DWT(Directional Adaptive Discrete WaveletTransform)[11]이나 wavelet-bandelets 기술[12]로 확장 적용되기도 한다.

라. 기타 압축 기술

앞서 소개한 주요 압축 방식 이외에도 홀로그램에 해상도 변환을 적용하는 압축 기술[13], 홀로그램 데이터 특성에 최적화된 양자화 기반 압축 기술[14], 랜덤 위상 최적화를 통한 압축 기술도 꾸준히 연구되고 있다. 일부 압축 기술들은 랜덤 위상의 적용 유무에 따라 그 성능이 크게 달라지고 복잡도가 높은 경우도 있어 보다 안정적이고 간결한 압축 기술 개발이 필요하다.

1. 국내 표준화 동향

국내에서는 2012년도에 TTA 소프트웨어/콘텐츠 기술위원회 산하 디지털콘텐츠 프로젝트 그룹(PG610)에서 2건의 표준 제정을 시작으로, 2014년에 디지털 홀로그래피 실무반(WG6102)이 신설되었다. 디지털 홀로그래피 실무반은 국내 산학연 홀로그램 전문가 집단으로 2015년에 디지털 홀로그래피 용어 정의 표준을 제정하며 국내 홀로그래피 관련 표준화의 기틀을 마련하고, 이후 표 1과 같이 해마다 다양한 이슈에 대한 국내 표준을 꾸준히 제정하고 있다.

TTA의 표준화 활동은 국내 표준화뿐만 아니라 국외에서 진행 중인 홀로그램 관련한 표준인 IEC/TC110 WG6(3DD: 3D Display Devices)나 ISO/IEC JTC1/SC29/WG1 JPEG Pleno의 홀로그램 관련 표준화 동향도 꾸준히 살피며 국내 홀로그램 전문가들의 의견을 국제 표준에 반영하기 위해 꾸준히 노력하고 있다. 또한, 홀로그램 포럼이나 2019년에 새로 신설된 홀로그램융복합산업포럼과도 지속적으로 협력하고 있다.

2. 국제 표준화 동향

정지영상에 대한 국제 표준화 기구인 ISO/IEC JCT 1/SC 29/WG 1 JPEG(Joint Photographic Experts Group)에서는 전통적으로 JPEG, JPEG 2000과 같은 2차원 영상 압축 표준을 만들었으나, 그림 5와 같이 영상 기술이 점차 3차원 기술로 발전함에 새로운 3차원 정지 영상 압축에 대한 필요성이 대두되었다[15].

그림 5

JPEG에서 바라본 영상 기술 발전 방향 출처 Reprinted with permission from ISO/IEC JTC1/SC29/WG1, JPEG PLENO Abstract and Executive Summary, WG1N6922, 68th JPEG Meeting, Sydney, Australia, Feb. 2015.

이에 2014년 10월에 JPEG Pleno라는 이름으로 3차원 영상 정보 압축을 위한 새로운 표준화 과제를 시작하였다[15]. JPEG Pleno는 3차원 공간을 표현할 수 있는 대표적인 기술인 포인트 클라우드, 라이트 필드, 홀로그램 영상 기술에 대한 표준화를 목적으로 하고 있다. JPEG Pleno[16]는 3개의 이미지 포맷을 모두 지원하며 그림 6과 같이 하나의 파일 안에 다양한 3차원 영상 표현 방식을 담을 수 있는 구조이다.

그림 6

JPEG Pleno 파일 포맷 예시 출처 Reprinted from P. Schelkens et al., “JPEG Pleno: Providing representation interoperability for holographic applications and devices,” ETRI Journal vo. 41, 2019, pp. 93-108, Korea Open Government License (KOGL) Type 4.

가. JPEG　Pleno Holography 표준

앞서 소개한 JPEG Pleno 표준에서 본 고에서는 홀로그램 압축 표준에 관한 내용만을 다룬다. JPEG Pleno Holography는 홀로그램 영상 처리 관련한 최초의 국제 표준으로 의미가 크다. 현재 JPEGPleno Holography 분야는 표준화 준비 단계로 실험 영상 모집, 공통 수치 복원 SW 작업, 요구 사항 정의, 공통 실험 조건 수립, 화질 평가 방법 연구, 홀로그램 압축 관련 사전 실험 수행 및 논의 등을 진행하고 있다. 본 절에서는 이러한 내용들에 대해 좀 더 상세하게 살펴본다.

나. 응용 분야

JPEG Pleno Holography는 획득 장치부터 디스플레이 장치까지 다양한 응용분야를 대상으로 하고 있다. 먼저 홀로그래픽 현미경과 토모그래피(Tomography)[17,18]는 레이저를 세포에 투과시켜 굴절률에 따른 파면의 변화를 수학적으로 계산하여 굴절률 분포를 분석하는 방법으로 세포 염색 과정 없이 생체 세포를 관찰할 수 있다는 장점이 있다. 홀로그래픽 간섭계[19]의 경우도 현미경과 비슷한 원리로 주로 비파괴 검사에 널리 활용되고, 우주 및 원자력 발전소 관련 응용 프로그램, 심해 탐사 및 홀로그램 내시경과 같은 특수 디지털 카메라에도 이용된다. 현미경, 토모그래피, 간섭계 분야는 이미 상용화된 제품들이 많이 나온 분야이다.

홀로그래픽 디스플레이 분야는 앞서 소개한 분야에 비해 아직은 연구 개발에 머무르고 있고, 프로토타입(Prototype) 제품 정도가 나오는 수준이다. 그러나 VAC(Vergence-Accommodation Conflict)없이 완전한 3D를 재현할 수 있다는 장점 때문에 궁극적인 3D 디스플레이 기술로 평가받고 있어, 머지않아 HMD(Head Mounted Display), 홀로그램 TV, 테이블탑형 디스플레이, 홀로그램 모바일 폰 등 다양한 디스플레이 제품이 나올 것으로 기대한다.

마지막으로 디지털 홀로그램을 기록하는 디지털 홀로그래픽 프린팅[20]도 중요한 응용 분야이다. 디지털 방식은 실제 물체를 놓고 기록하는 아날로그 프린팅 기술과 달리 디지털 홀로그램 데이터를 이용하여 기록하는 방식으로 가상 물체도 기록할 수 있고, 큰 물체를 기록하기에도 광학적 장치에 대한 부담이 적다. 그리고 최근에는 HOE(Holographic Optical Elements) 기술을 이용하여 다양한 광학 소자를 만들기도 한다.

그림 7

JPEG Pleno Holography 실험 영상: (a) Interfere Ball8KS, (b) B<>com Dice1080P, (c) UBI-EmergImg Horse, (d) WUT HeLa Cells 출처 Reprinted with permission from [22-24].

다. 실험 영상

본 절에서는 JPEG Pleno Holography에서 모집한 대표적인 실험 영상 데이터베이스를 소개한다. Interfere에서는 3개의 실험영상 데이터베이스를 통해 다양한 모노 및 컬러 홀로그램 데이터를 제공하고 있다. Interfere[21]의 홀로그램은 포인트 클라우드나 레이어(layer) 기반 CGH 기술을 이용해서 생성됐다. B< >com에서는 다시점 영상 및 레이어 기반 CGH 기술[22]을 이용하여 다양한 컬러 홀로그램을 제공하였다. 특히, 픽셀 피치가 0.4μm이고 해상도가 16K인 홀로그램은 고해상도 및 광시야각 홀로그램을 연구하는 데 유용하다.

앞서 소개한 실험 영상들은 CGH를 통해 생성된 반면에 UBI-EmergImg[23]의 실험 영상들은 간섭계를 통해 직접 획득된 홀로그램이다. 이 실험 영상은 홀로그램 해상도가 획득 장치에 의존하기 때문에 최대 2.2μm 픽셀 피치에 2K 급 정도의 홀로그램을 제공하고 있다. 또한, 촬영된 인터페로그램 자체와 이로부터 얻어진 복소 홀로그램을 모두 제공하고 있다. WUT[24]에서는 2K급 홀로그래픽 현미경 데이터를 제공하였다.

라. 표준 요구사항

JPEG Pleno Holography에서는 현재 다음과 같은 요구사항[25]들을 논의하고 있다. 먼저, 데이터 표현 관련해서는 진폭, 위상, 복소 홀로그램을 모두 지원해야 한다. 그리고 바이너리 홀로그램부터 다양한 비트 레벨 홀로그램을 지원해야 한다. 또한, 컬러 홀로그램을 지원해야 하고, 시공간적으로 연속적인 홀로그램들도 처리할 수 있어야 한다. 압축 관련해서는 비트율-왜곡 관점에서 좋은 압축 효율을 제공해야 하고, 무손실 혹은 인지적인 무손실 부호화를 지원해야 한다. 또한, 임의 접근(random access)이 가능해야 하고, 계위성(scalability)과 에러에 대한 강인성도 제공해야 한다. 위 조건들을 만족하면서도 코덱 자체의 복잡도는 가능한 한 낮아야 하고, 병렬 및 분산 처리가 가능해야 한다. 마지막으로 홀로그램 데이터에 대한 사후 처리를 위해 필요한 다양한 부가 정보들은 메타 데이터 형태로 정의되어 부호화되어야 한다.

마. 화질 평가 방법

디지털 홀로그램에 대한 신호처리적인 관점에서의 화질 평가는 현재 표준화된 방법이 없다. 따라서 JPEG Pleno Holography에서는 압축 성능 평가를 목적으로 현재 다양한 화질 평가 방법들에 대해 논의하고 있다. 현재 많은 공감을 얻고 있는 접근법은 홀로그램이 3차원 공간을 표현하는 기술이므로 3차원 공간 재현성을 고려하는 화질 평가 방법이 필요하다는 점이다. 또한 홀로그램 데이터 자체는 직접적으로 눈으로 보여지는 영상이 아니기 때문에 광학적 혹은 수치적 복원된 영상을 이용한 화질 평가가 이루어져야 한다는 점이다. 현재 JPEG에서 이용하고 있는 대표 객관적 화질 평가 척도인 PSNR(Peak Signal to Noise Ratio)과 SSIM(Structural SIMilarity)을 준용하며 객관적 홀로그램 화질을 평가하는 방법으로는 그림 8과 같은 방법을 이용할 수 있다[26].

그림 8

홀로그램 화질 평가 방법 예시: (a) 깊이 방향, (b) 시점 방향 출처 JPEG Pleno Holography – 3D volumetric quality assessment,” Doc. ISO/IEC JTC 1/SC 29/WG1 M78045, Rio de Zaneiro, Brazil, Jan.-Feb. 2018.

하나의 홀로그램 영상으로부터 재현된 3차원 공간은 주어진 시야각 범위와 깊이 내에서 자유로운 관찰이 가능하므로 수치 복원을 통해 다양한 깊이와 시차 영상을 복원하여 이를 기존의 객관적 화질 평가 척도를 이용하여 평가하는 방법이다. 이 경우 홀로그램 화질 평가 시 홀로그램 도메인과 복원 도메인이 정의될 수 있는데, PSNR은 두 도메인 모두에서 적용이 가능하고, SSIM은 인지적 화질을 고려한 척도이므로 복원 도메인에서만 적용하는 것이 올바른 방법이다.

주관적 화질 평가 관련해서는 홀로그래픽 디스플레이를 이용하는 것이 가장 좋은 방법이나, 현재 실험 영상들을 재현할 수 있을만한 고품질의 홀로그래픽 디스플레이가 없는 상황이다. 따라서 앞선 객관적 화질 평가 방법과 유사하게 수치 복원된 홀로그램 영상들을 2차원 디스플레이나 초다시점 혹은 라이트 필드 디스플레이에 띄워 깊이와 시차를 바꿔가며 평가하는 방법을 이용할 수 있다. 수치 복원 및 렌더링 후 2차원 디스플레이를 이용하여 3차원 영상을 평가하는 방법은 현재 JPEG Pleno Light Field에서도 활용하였던 방법이다.

바. 홀로그램 수치 복원

JPEG Pleno Holography에서는 홀로그램 화질평가에 활용하기 위한 목적으로 수치 복원 소프트웨어에 대한 공동 작업을 진행하고 있다. 현재 NRSH(Numerical Reconstruction Software for Holography) V1.1[27]이 배포되었다. 그림 9와 같이 다양한 깊이 및 다양한 시점에 대한 홀로그램 수치 복원이 가능하다.

그림 9

홀로그램 수치 복원 예시: (a) 깊이 방향, (b) 시점 방향 출처 Adapted with permission with A. Gilles et al., Hybrid approach for fast occlusion processing in computer-generated hologram calculation, Appl. Opt. 55, no. 20, pp. 5459–5470, 2016.

사. 압축 실험 결과

JPEG Pleno Holography에서는 표준화 준비 단계에서 기존의 영상 압축 표준을 이용하여 홀로그램 압축 성능에 대한 실험을 수행하였다[28]. 그림 10과 같이 복소 홀로그램 데이터를 실수부와 허수부로 나눠서 각각을 16비트 이미지로 표현하고, 이를 여러 비트율 조건에서 압축하여 홀로그램 도메인과 복원 도메인에서 압축하지 않은 경우에 대해 원 영상 대비 PSNR과 SSIM 값을 계산하여 실험 결과를 정리하였다.

그림 10

홀로그램 압축 실험 프레임워크 출처 Reprinted with permission from “JPEG Pleno Holography ES 1.2,” Doc. ISO/IEC JTC 1/SC 29/WG1 M81031, Vancouver, Canada, Oct. 2018.

그림 11의 (a)와 (b)는 B< >com의 Dices8k4k 영상에 대한 실험 결과를 보여주고 있다. 그림 11의 (c)와 (d)는 UBI-EmergImg의 Astronaut 영상에 대한 실험 결과이다. 그림 11의 (a)와 (c)는 홀로그램 도메인에서 PSNR을 기준으로 비교한 결과이고, 그림 11의 (b)와 (d)는 복원 도메인에서 PSNR과 SSIM을 이용하여 화질을 비교한 결과이다. 전체적으로는 4개의 표준 중 모두 HEVC가 가장 좋은 결과를 보였고, 동일 압축률 기준으로는 직접 획득된홀로그램이 CGH를 통해 생성된 홀로그램보다 좀 더 좋은 객관적 화질을 보였다

그림 11

화질에 대한 실험 결과: (a) Dice8k4k에 대한 실험 결과(홀로그램 도메인), (b) Dice8k4k에 대한 실험 결과(복원 도메인), (c) Astronaut에 대한 실험 결과(홀로그램 도메인), (d) Astronaut에 대한 실험 결과(복원 도메인) 출처 Reprinted with permission from “JPEG Pleno Holography ES 1.2,” Doc. ISO/IEC JTC 1/SC 29/WG1 M81031, Vancouver, Canada, Oct. 2018.

아. 향후 표준화 전망

그동안 JPEG Pleno Holography 표준화는 AHG(Ad-Hoc Group)을 중심으로 실험 영상을 모집 및 검증을 수행하고, 전문가를 초빙하여 워크숍을 열기도 하고, JPEG 홀로그램 표준화에 관한 소개 문서를 만드는 등 다양한 표준화 준비 작업을 진행하였다. 또한 수치 복원 소프트웨어를 만들고, 화질평가 방법을 논의하고, 다양한 압축 실험 결과를 논의하는 활동도 하였다. 최근에는 표준에 대한 요구 사항을 재정비하고, 본격적인 표준 기술 논의를 위해 실험 영상 선정 및 압축 실험 조건 및 평가 방법 결정 등에 대한 논의도 활발하게 진행하고 있다. 현재 계획한 일정에 따르면 CfP(Call for Proposals)가 내년 상반기에 예정되어 있고, 이를 통해 홀로그램 압축을 위한 다양한 기술들을 모집하여 본격적인 표준화를 시작하고자 한다.