디지털 홀로그램 압축 기술 및 표준화 동향

Research and Standardization Trends of Digital Hologram Compression

저자
오관정디지털홀로그래피연구실
박중기디지털홀로그래피연구실
권호
34권 6호 (통권 180)
논문구분
일반논문
페이지
145-155
발행일자
2019.12.01
DOI
10.22648/ETRI.2019.J.340613
본 저작물은 공공누리 제4유형: 출처표시 + 상업적이용금지 + 변경금지 조건에 따라 이용할 수 있습니다.
초록
Holography is a technique that can acquire and reproduce 3D objects nearly perfectly by representing both the amplitude and phase of light. Recently, digital holography has received considerable attention because it is simpler than analog holography from acquisition to reproduction. The data size of the digital hologram increases tremendously as the quality of digital holograms depends on their pixel pitch and resolution. Hence, efficient compression is necessary to realize holographic imaging services. In this report, we introduce recent digital hologram compression techniques and JPEG Pleno holography, which is the first international standardization activity for digital hologram compression. Furthermore, we discuss the future of this field.
   910 Downloaded 1658 Viewed
목록

Ⅰ. 서론

인간이 사용하는 감각의 비율은 시각이 80%, 청각이 10%, 그리고 나머지 감각이 10%라고 한다. 이처럼 시각은 세상을 살아가는 데 가장 중요한 감각이고, 인간은 눈으로 보는 세상을 동일하게 재현하기 위해 인류의 탄생 이래 끊임없이 노력해왔다. 이러한 과정 속에 회화술과 사진술이 발전하였고, 디지털 시대 이후에는 디스플레이 기술이 그 자리를 대신하고 있다. 2차원 디스플레이는 흑백과 컬러 디스플레이를 거쳐 대형화 고품질화 되어가고 있고, 3차원 디스플레이는 스테레오스코픽, 다시점, 집적 영상 등을 거쳐 궁극적으로는 홀로그램을 향해가고 있다.

사람의 시각은 빛에 의존하는데 홀로그램은 이러한 빛의 파동적인 특성인 세기와 위상을 모두 표현함으로써 실제와 같이 공간을 기록하고 재현할 수 있다[1]. 현재 아날로그 홀로그램은 암실과 같은 제한적인 환경에서만 기록이 가능하긴 하지만 그 재현 화질은 실제와 구분할 수 없을 정도로 매우 높은 수준에 이르렀다. 디지털 홀로그램에서 가장 중요한 것은 얼마나 작은 빛의 세기와 위상을 동시에 기록하고 재현할 수 있느냐이다. 즉, 디지털 홀로그램의 품질은 이미징 센서와 재현에 이용되는 공간광변조기의 단위 픽셀 크기와 전체 해상도에 비례하게 된다. 결국 이에 따라 디지털 홀로그램의 데이터량 또한 기하급수적으로 증가할 수밖에 없다.

본 고에서는 대용량의 홀로그램 데이터에 대한 최신 압축 기술들과 JPEG을 중심으로 진행되고 있는 홀로그램 압축에 관한 표준화 동향에 대해서 소개한다.

Ⅱ. 디지털 홀로그램 압축 기술

1. 디지털 홀로그램

디지털 홀로그램은 디지털 이미지와 비교하면 이해하기가 쉽다. 앞서 소개하였듯이 빛은 일종의 파동으로 세기와 위상을 모두 가진다. 그러나 우리가 흔히 알고 있는 디지털 이미지는 빛의 세기만을 기록하고 재현하는 방식이다. 이에 반해 홀로그램은 빛의 세기와 위상을 모두 기록하고 표현하는 방식이므로 3차원 공간에 완전한 영상의 기록과 재현이 가능하다. 따라서 홀로그램은 주어진 3차원 공간 안에서 자유롭게 깊이와 시차를 변형하며 관찰이 가능하다[2].

디지털 홀로그램은 간섭계[3]를 통해 직접 기록되거나 CGH(Computer Generated Hologram) 기술을 이용하여 간접적으로 계산될 수 있다. 직접 획득 시에는 광원으로 레이저를 이용하는데, 이는 홀로그램 기록을 위한 간섭 현상이 레이저와 같이 결맞음(coherent) 특성이 있는 경우에 기록이 쉽기 때문이다. CGH는 포인트 클라우드[4], 메쉬(mesh)[5], 컬러+깊이 영상[6], 라이트 필드[7] 등 다양한 3차원 영상 데이터로부터 계산이 가능하다[8]. 그림 1은 간섭계를 통한 직접 획득 장치와 포인트 클라우드 기반의 CGH 개념도를 보여주고 있다. 포인트 클라우드 기반의 CGH는 표현하고자 하는 3차원 객체가 여러 포인트들로 구성되어 있다고 가정하고, 하나의 점에서 나오는 빛이 구면파 형태로 퍼져나가는 것을 고려하여 이러한 구면파들의 조합으로 홀로그램을 표현하는 방식이다.

그림 1

디지털 홀로그램 획득 및 생성: (a) 간섭계 기반 홀로그램 직접 획득, (b) CGH 기반 홀로그램 간접 생성

images_1/2019/v34n6/HJTODO_2019_v34n6_145f1.jpg

2. 디지털 홀로그램 데이터 표현

디지털 홀로그램은 일종의 복소 데이터로 복소값으로 표현된다. 그리고 홀로그램은 획득 및 재현 장치의 픽셀 피치와 빛의 파장에 대한 의존성이 있는 데이터로 부가 정보 형태로 적어도 픽셀 피치와 파장 정보가 제공되어야 한다. 또한 여러 깊이에서 재현될 수 있으므로 보통은 참조 깊이 정보도 함께 주어진다. 그림 2는 HD급 해상도(1,920×1,080)의 모노 홀로그램의 복소 원(raw) 데이터를 보여주고 있다. 각 화소마다 하나의 세기값이 아닌 복소수값을 가지고 있음을 알 수 있다. 컬러 영상의 경우 채널별로 각각 화소마다 복소값을 가진다.

그림 2

복소 홀로그램 원 데이터

images_1/2019/v34n6/HJTODO_2019_v34n6_145f2.jpg

복소 데이터는 양자화를 거쳐 우리가 친숙한 이미지 형태로 표현될 수 있다. 이때 복소 데이터는 대표적으로 극 좌표계(Polar Coordinates)와 직교 좌표계(Cartesian Coordinates) 방식으로 표현된다. 그림 3은 극 좌표계를 통해 진폭과 위상으로 복소 홀로그램을 이미지로 표현하는 방법과 직교 좌표계를 통해 실수부와 허수부로 표현한 방법을 비교하여 보여주고 있다.

그림 3

복소 홀로그램 표현 방법: (상) 극 좌표계, (하) 직교 좌표계

images_1/2019/v34n6/HJTODO_2019_v34n6_145f3.jpg

여기서 위상은 0~2π의 값을 이미지의 비트 레벨에 맞춰 양자화하여 표현한 것으로 그림 3의 경우는 0~255로 균일 양자화한 이미지이다. 위 이미지 중 가장 잡음(Noise)이 많은 것과 같은 데이터 특성을 보인다. 홀로그램 영상은 홀로그램 평면과 객체 사이의 거리가 멀어질수록 공간적인 상관도가 낮아지고, 특히 이진 홀로그램이나 광시야각 표현을 위해 랜덤 위상이 고려되는 경우는 노이즈 영상과 같이 보이기도 한다. 즉, 홀로그램은 일반적인 2차원 이미지에 비해 공간적인 상관도가 낮다.

3. 디지털 홀로그램 압축 기술

앞서 살펴보았듯이 디지털 홀로그램은 공간적인 상관도가 낮아 압축이 쉽지 않다. 따라서 홀로그램의 데이터 특성을 고려한 압축 기술들이 연구되었다. 본 절에서는 대표적인 디지털 홀로그램 압축 기술을 소개한다.

가. 복원 도메인 기반 압축 기술

디지털 홀로그램은 눈으로 직접 관찰되는 데이터가 아니다. 우리가 눈으로 관찰하는 영상은 디지털 홀로그램으로부터 회절되어 공간상에 이미징된 영상이다. 이러한 과정을 우리는 광학적 복원이라 그림 2 복소 홀로그램 원 데이터 하고, 시뮬레이션을 통해 복원한 것을 수치적 복원이라고 한다. 즉, 홀로그램은 3차원 공간상에 전파되어 특정 깊이마다 초점을 맞춰 관찰이 가능하다. 이러한 특성을 이용하여 홀로그램을 홀로그램 도메인이 아닌 복원 도메인에서 압축하려는 다양한 연구들이 진행되었다[9]. 이러한 접근법은 복원 도메인에서는 홀로그램이 2차원 영상에 보다 근접한 특성을 보이기 때문에 시공간적 상관도가 증가되어 기존의 2차원 압축 방식으로도 홀로그램 압축 성능 개선이 가능하다는 점을 이용한다. 그림 4는 홀로그램 도메인과 복원 도메인 영상을 비교하여 보여준다.

그림 4

홀로그램 도메인과 복원 도메인 비교

출처 Adapted with permission with A. Gilles et al., Hybrid approach for fast occlusion processing in computer-generated hologram calculation, Appl. Opt. 55, no. 20, pp. 5459–5470, 2016.

images_1/2019/v34n6/HJTODO_2019_v34n6_145f4.jpg

복원 도메인 기반 압축 기술은 특정 깊이 평면에 초점이 맞춰진 영상을 부호화하므로 해당 깊이에만 최적화되어 다른 깊이에서는 화질이 조금 저하되는 결과를 보이기도 한다. 그리고 홀로그램 영상 재현을 위해서는 홀로그램 도메인으로 재변환해야 하기 때문에 디코딩 복잡도가 높다고 할 수 있다.

나. 분할 기반 압축 기술

디지털 홀로그램은 홀로그램 평면과 표현하고자 하는 3차원 공간상의 객체 사이의 거리가 충분히 멀다면 복원하고자 하는 3차원 공간상의 정보가 홀로그램 전 영역에 골고루 퍼지는 특성을 가진다. 이를 이용하면 홀로그램을 분할하여 압축하는 방법을 적용할 수 있다. 분할 기반 압축 기술[10]은 앞서 소개한 복원 도메인 기반 압축 기술과 결합하면 디지털 홀로그램을 마치 2차원 어레이(array) 형태의 다시점 영상과 유사하게 바꿔준다. 홀로그램을 여러 개의 영역으로 분할하고, 분할된 홀로그램을 주파수 변환을 하면 각 분할 영역은 수치 복원된 것과 유사한 특성을 가지기 때문이다.

분할 기반 압축 기술의 압축 효율은 분할된 영역의 크기나 수에 따라 달라질 수 있다. 그리고 앞서 언급하였듯이 분할 기반 압축 기술을 적용하기 위해서는 충분한 전파 거리를 가져야 하고, 디코딩 과정의 복잡도가 높은 단점이 있다.

다. 최적 주파수 변환 기반 압축 기술

일반적으로 주파수 변환은 영상의 에너지를 주파수 도메인에서 특정 영역에 집중시킬 수 있는 장점 때문에 영상 압축에서 널리 사용된다. 디지털 홀로그램에서도 홀로그램 데이터 특성에 맞는 최적의 주파수 변환을 찾으려는 연구가 있었다. 2차원 영상에서 좋은 에너지 결집을 보이는 DCT(Discrete Cosine Transform)도 일반적으로 홀로그램에서는 좋은 특성을 보이지 못한다. 선행 연구들에 따르면 홀로그램에는 보통 웨이블릿 변환(Wavelet Transform)이 더 좋은 성능을 보인다. 웨이블릿 변환은 추가적으로 홀로그램의 방향성을 고려하여 DA-DWT(Directional Adaptive Discrete WaveletTransform)[11]이나 wavelet-bandelets 기술[12]로 확장 적용되기도 한다.

라. 기타 압축 기술

앞서 소개한 주요 압축 방식 이외에도 홀로그램에 해상도 변환을 적용하는 압축 기술[13], 홀로그램 데이터 특성에 최적화된 양자화 기반 압축 기술[14], 랜덤 위상 최적화를 통한 압축 기술도 꾸준히 연구되고 있다. 일부 압축 기술들은 랜덤 위상의 적용 유무에 따라 그 성능이 크게 달라지고 복잡도가 높은 경우도 있어 보다 안정적이고 간결한 압축 기술 개발이 필요하다.

Ⅲ. 디지털 홀로그램 표준화 동향

1. 국내 표준화 동향

국내에서는 2012년도에 TTA 소프트웨어/콘텐츠 기술위원회 산하 디지털콘텐츠 프로젝트 그룹(PG610)에서 2건의 표준 제정을 시작으로, 2014년에 디지털 홀로그래피 실무반(WG6102)이 신설되었다. 디지털 홀로그래피 실무반은 국내 산학연 홀로그램 전문가 집단으로 2015년에 디지털 홀로그래피 용어 정의 표준을 제정하며 국내 홀로그래피 관련 표준화의 기틀을 마련하고, 이후 표 1과 같이 해마다 다양한 이슈에 대한 국내 표준을 꾸준히 제정하고 있다.

표 1 TTA 홀로그램과 관련된 표준 리스트

표준명 표준번호 제정일
디지털 홀로그램 데이터 포맷 TTAK. KO-10.0629 2012.12.21
디지털 홀로그래픽 콘텐츠 제작 지침 TTAK. KO-10.0630 2012.12.21
홀로그램 화질 평가 (기술보고서) TTAR-10.0050 2015.11.18
디지털 홀로그래피 용어 정의 TTAK. KO-10.0871 2015.12.16
디지털 요철방식을 이용한 홀로그램의 시야각 측정 방법 TTAK.KO-10.0872 2015.12.16
컬러 홀로그램의 복셀 크기 및 색상 측정 절차 TTAK.KO-10.1022 2017.12.13
3차원 영상 관찰 시의 조절력 측정 및 비교 방법 TTAK.KO-10.1025 2017.12.13
디지털 홀로그래픽 테이블탑형 디스플레이 성능 측정 및 평가 - 2019.12 (예정)
오픈홀로 라이브러리 기반 홀로그램 데이터의 파일 포맷 명세 - 2019.12 (예정)
디지털 홀로그램 객관적 화질 평가 방법 - 2019.12 (예정)

TTA의 표준화 활동은 국내 표준화뿐만 아니라 국외에서 진행 중인 홀로그램 관련한 표준인 IEC/TC110 WG6(3DD: 3D Display Devices)나 ISO/IEC JTC1/SC29/WG1 JPEG Pleno의 홀로그램 관련 표준화 동향도 꾸준히 살피며 국내 홀로그램 전문가들의 의견을 국제 표준에 반영하기 위해 꾸준히 노력하고 있다. 또한, 홀로그램 포럼이나 2019년에 새로 신설된 홀로그램융복합산업포럼과도 지속적으로 협력하고 있다.

2. 국제 표준화 동향

정지영상에 대한 국제 표준화 기구인 ISO/IEC JCT 1/SC 29/WG 1 JPEG(Joint Photographic Experts Group)에서는 전통적으로 JPEG, JPEG 2000과 같은 2차원 영상 압축 표준을 만들었으나, 그림 5와 같이 영상 기술이 점차 3차원 기술로 발전함에 새로운 3차원 정지 영상 압축에 대한 필요성이 대두되었다[15].

그림 5

JPEG에서 바라본 영상 기술 발전 방향

출처 Reprinted with permission from ISO/IEC JTC1/SC29/WG1, JPEG PLENO Abstract and Executive Summary, WG1N6922, 68th JPEG Meeting, Sydney, Australia, Feb. 2015.

images_1/2019/v34n6/HJTODO_2019_v34n6_145f5.jpg

이에 2014년 10월에 JPEG Pleno라는 이름으로 3차원 영상 정보 압축을 위한 새로운 표준화 과제를 시작하였다[15]. JPEG Pleno는 3차원 공간을 표현할 수 있는 대표적인 기술인 포인트 클라우드, 라이트 필드, 홀로그램 영상 기술에 대한 표준화를 목적으로 하고 있다. JPEG Pleno[16]는 3개의 이미지 포맷을 모두 지원하며 그림 6과 같이 하나의 파일 안에 다양한 3차원 영상 표현 방식을 담을 수 있는 구조이다.

그림 6

JPEG Pleno 파일 포맷 예시

출처 Reprinted from P. Schelkens et al., “JPEG Pleno: Providing representation interoperability for holographic applications and devices,” ETRI Journal vo. 41, 2019, pp. 93-108, Korea Open Government License (KOGL) Type 4.

images_1/2019/v34n6/HJTODO_2019_v34n6_145f6.jpg

가. JPEG Pleno Holography 표준

앞서 소개한 JPEG Pleno 표준에서 본 고에서는 홀로그램 압축 표준에 관한 내용만을 다룬다. JPEG Pleno Holography는 홀로그램 영상 처리 관련한 최초의 국제 표준으로 의미가 크다. 현재 JPEGPleno Holography 분야는 표준화 준비 단계로 실험 영상 모집, 공통 수치 복원 SW 작업, 요구 사항 정의, 공통 실험 조건 수립, 화질 평가 방법 연구, 홀로그램 압축 관련 사전 실험 수행 및 논의 등을 진행하고 있다. 본 절에서는 이러한 내용들에 대해 좀 더 상세하게 살펴본다.

나. 응용 분야

JPEG Pleno Holography는 획득 장치부터 디스플레이 장치까지 다양한 응용분야를 대상으로 하고 있다. 먼저 홀로그래픽 현미경과 토모그래피(Tomography)[17,18]는 레이저를 세포에 투과시켜 굴절률에 따른 파면의 변화를 수학적으로 계산하여 굴절률 분포를 분석하는 방법으로 세포 염색 과정 없이 생체 세포를 관찰할 수 있다는 장점이 있다. 홀로그래픽 간섭계[19]의 경우도 현미경과 비슷한 원리로 주로 비파괴 검사에 널리 활용되고, 우주 및 원자력 발전소 관련 응용 프로그램, 심해 탐사 및 홀로그램 내시경과 같은 특수 디지털 카메라에도 이용된다. 현미경, 토모그래피, 간섭계 분야는 이미 상용화된 제품들이 많이 나온 분야이다.

홀로그래픽 디스플레이 분야는 앞서 소개한 분야에 비해 아직은 연구 개발에 머무르고 있고, 프로토타입(Prototype) 제품 정도가 나오는 수준이다. 그러나 VAC(Vergence-Accommodation Conflict)없이 완전한 3D를 재현할 수 있다는 장점 때문에 궁극적인 3D 디스플레이 기술로 평가받고 있어, 머지않아 HMD(Head Mounted Display), 홀로그램 TV, 테이블탑형 디스플레이, 홀로그램 모바일 폰 등 다양한 디스플레이 제품이 나올 것으로 기대한다.

마지막으로 디지털 홀로그램을 기록하는 디지털 홀로그래픽 프린팅[20]도 중요한 응용 분야이다. 디지털 방식은 실제 물체를 놓고 기록하는 아날로그 프린팅 기술과 달리 디지털 홀로그램 데이터를 이용하여 기록하는 방식으로 가상 물체도 기록할 수 있고, 큰 물체를 기록하기에도 광학적 장치에 대한 부담이 적다. 그리고 최근에는 HOE(Holographic Optical Elements) 기술을 이용하여 다양한 광학 소자를 만들기도 한다.

그림 7

JPEG Pleno Holography 실험 영상: (a) Interfere Ball8KS, (b) B<>com Dice1080P, (c) UBI-EmergImg Horse, (d) WUT HeLa Cells

출처 Reprinted with permission from [22-24].

images_1/2019/v34n6/HJTODO_2019_v34n6_145f7.jpg

다. 실험 영상

본 절에서는 JPEG Pleno Holography에서 모집한 대표적인 실험 영상 데이터베이스를 소개한다. Interfere에서는 3개의 실험영상 데이터베이스를 통해 다양한 모노 및 컬러 홀로그램 데이터를 제공하고 있다. Interfere[21]의 홀로그램은 포인트 클라우드나 레이어(layer) 기반 CGH 기술을 이용해서 생성됐다. B< >com에서는 다시점 영상 및 레이어 기반 CGH 기술[22]을 이용하여 다양한 컬러 홀로그램을 제공하였다. 특히, 픽셀 피치가 0.4μm이고 해상도가 16K인 홀로그램은 고해상도 및 광시야각 홀로그램을 연구하는 데 유용하다.

앞서 소개한 실험 영상들은 CGH를 통해 생성된 반면에 UBI-EmergImg[23]의 실험 영상들은 간섭계를 통해 직접 획득된 홀로그램이다. 이 실험 영상은 홀로그램 해상도가 획득 장치에 의존하기 때문에 최대 2.2μm 픽셀 피치에 2K 급 정도의 홀로그램을 제공하고 있다. 또한, 촬영된 인터페로그램 자체와 이로부터 얻어진 복소 홀로그램을 모두 제공하고 있다. WUT[24]에서는 2K급 홀로그래픽 현미경 데이터를 제공하였다.

라. 표준 요구사항

JPEG Pleno Holography에서는 현재 다음과 같은 요구사항[25]들을 논의하고 있다. 먼저, 데이터 표현 관련해서는 진폭, 위상, 복소 홀로그램을 모두 지원해야 한다. 그리고 바이너리 홀로그램부터 다양한 비트 레벨 홀로그램을 지원해야 한다. 또한, 컬러 홀로그램을 지원해야 하고, 시공간적으로 연속적인 홀로그램들도 처리할 수 있어야 한다. 압축 관련해서는 비트율-왜곡 관점에서 좋은 압축 효율을 제공해야 하고, 무손실 혹은 인지적인 무손실 부호화를 지원해야 한다. 또한, 임의 접근(random access)이 가능해야 하고, 계위성(scalability)과 에러에 대한 강인성도 제공해야 한다. 위 조건들을 만족하면서도 코덱 자체의 복잡도는 가능한 한 낮아야 하고, 병렬 및 분산 처리가 가능해야 한다. 마지막으로 홀로그램 데이터에 대한 사후 처리를 위해 필요한 다양한 부가 정보들은 메타 데이터 형태로 정의되어 부호화되어야 한다.

마. 화질 평가 방법

디지털 홀로그램에 대한 신호처리적인 관점에서의 화질 평가는 현재 표준화된 방법이 없다. 따라서 JPEG Pleno Holography에서는 압축 성능 평가를 목적으로 현재 다양한 화질 평가 방법들에 대해 논의하고 있다. 현재 많은 공감을 얻고 있는 접근법은 홀로그램이 3차원 공간을 표현하는 기술이므로 3차원 공간 재현성을 고려하는 화질 평가 방법이 필요하다는 점이다. 또한 홀로그램 데이터 자체는 직접적으로 눈으로 보여지는 영상이 아니기 때문에 광학적 혹은 수치적 복원된 영상을 이용한 화질 평가가 이루어져야 한다는 점이다. 현재 JPEG에서 이용하고 있는 대표 객관적 화질 평가 척도인 PSNR(Peak Signal to Noise Ratio)과 SSIM(Structural SIMilarity)을 준용하며 객관적 홀로그램 화질을 평가하는 방법으로는 그림 8과 같은 방법을 이용할 수 있다[26].

그림 8

홀로그램 화질 평가 방법 예시: (a) 깊이 방향, (b) 시점 방향

출처 JPEG Pleno Holography – 3D volumetric quality assessment,” Doc. ISO/IEC JTC 1/SC 29/WG1 M78045, Rio de Zaneiro, Brazil, Jan.-Feb. 2018.

images_1/2019/v34n6/HJTODO_2019_v34n6_145f8.jpg

하나의 홀로그램 영상으로부터 재현된 3차원 공간은 주어진 시야각 범위와 깊이 내에서 자유로운 관찰이 가능하므로 수치 복원을 통해 다양한 깊이와 시차 영상을 복원하여 이를 기존의 객관적 화질 평가 척도를 이용하여 평가하는 방법이다. 이 경우 홀로그램 화질 평가 시 홀로그램 도메인과 복원 도메인이 정의될 수 있는데, PSNR은 두 도메인 모두에서 적용이 가능하고, SSIM은 인지적 화질을 고려한 척도이므로 복원 도메인에서만 적용하는 것이 올바른 방법이다.

주관적 화질 평가 관련해서는 홀로그래픽 디스플레이를 이용하는 것이 가장 좋은 방법이나, 현재 실험 영상들을 재현할 수 있을만한 고품질의 홀로그래픽 디스플레이가 없는 상황이다. 따라서 앞선 객관적 화질 평가 방법과 유사하게 수치 복원된 홀로그램 영상들을 2차원 디스플레이나 초다시점 혹은 라이트 필드 디스플레이에 띄워 깊이와 시차를 바꿔가며 평가하는 방법을 이용할 수 있다. 수치 복원 및 렌더링 후 2차원 디스플레이를 이용하여 3차원 영상을 평가하는 방법은 현재 JPEG Pleno Light Field에서도 활용하였던 방법이다.

바. 홀로그램 수치 복원

JPEG Pleno Holography에서는 홀로그램 화질평가에 활용하기 위한 목적으로 수치 복원 소프트웨어에 대한 공동 작업을 진행하고 있다. 현재 NRSH(Numerical Reconstruction Software for Holography) V1.1[27]이 배포되었다. 그림 9와 같이 다양한 깊이 및 다양한 시점에 대한 홀로그램 수치 복원이 가능하다.

그림 9

홀로그램 수치 복원 예시: (a) 깊이 방향, (b) 시점 방향

출처 Adapted with permission with A. Gilles et al., Hybrid approach for fast occlusion processing in computer-generated hologram calculation, Appl. Opt. 55, no. 20, pp. 5459–5470, 2016.

images_1/2019/v34n6/HJTODO_2019_v34n6_145f9.jpg

사. 압축 실험 결과

JPEG Pleno Holography에서는 표준화 준비 단계에서 기존의 영상 압축 표준을 이용하여 홀로그램 압축 성능에 대한 실험을 수행하였다[28]. 그림 10과 같이 복소 홀로그램 데이터를 실수부와 허수부로 나눠서 각각을 16비트 이미지로 표현하고, 이를 여러 비트율 조건에서 압축하여 홀로그램 도메인과 복원 도메인에서 압축하지 않은 경우에 대해 원 영상 대비 PSNR과 SSIM 값을 계산하여 실험 결과를 정리하였다.

그림 10

홀로그램 압축 실험 프레임워크

출처 Reprinted with permission from “JPEG Pleno Holography ES 1.2,” Doc. ISO/IEC JTC 1/SC 29/WG1 M81031, Vancouver, Canada, Oct. 2018.

images_1/2019/v34n6/HJTODO_2019_v34n6_145f10.jpg

그림 11의 (a)(b)는 B< >com의 Dices8k4k 영상에 대한 실험 결과를 보여주고 있다. 그림 11의 (c)(d)는 UBI-EmergImg의 Astronaut 영상에 대한 실험 결과이다. 그림 11의 (a)(c)는 홀로그램 도메인에서 PSNR을 기준으로 비교한 결과이고, 그림 11의 (b)(d)는 복원 도메인에서 PSNR과 SSIM을 이용하여 화질을 비교한 결과이다. 전체적으로는 4개의 표준 중 모두 HEVC가 가장 좋은 결과를 보였고, 동일 압축률 기준으로는 직접 획득된홀로그램이 CGH를 통해 생성된 홀로그램보다 좀 더 좋은 객관적 화질을 보였다

그림 11

화질에 대한 실험 결과: (a) Dice8k4k에 대한 실험 결과(홀로그램 도메인), (b) Dice8k4k에 대한 실험 결과(복원 도메인), (c) Astronaut에 대한 실험 결과(홀로그램 도메인), (d) Astronaut에 대한 실험 결과(복원 도메인)

출처 Reprinted with permission from “JPEG Pleno Holography ES 1.2,” Doc. ISO/IEC JTC 1/SC 29/WG1 M81031, Vancouver, Canada, Oct. 2018.

images_1/2019/v34n6/HJTODO_2019_v34n6_145f11.jpg

아. 향후 표준화 전망

그동안 JPEG Pleno Holography 표준화는 AHG(Ad-Hoc Group)을 중심으로 실험 영상을 모집 및 검증을 수행하고, 전문가를 초빙하여 워크숍을 열기도 하고, JPEG 홀로그램 표준화에 관한 소개 문서를 만드는 등 다양한 표준화 준비 작업을 진행하였다. 또한 수치 복원 소프트웨어를 만들고, 화질평가 방법을 논의하고, 다양한 압축 실험 결과를 논의하는 활동도 하였다. 최근에는 표준에 대한 요구 사항을 재정비하고, 본격적인 표준 기술 논의를 위해 실험 영상 선정 및 압축 실험 조건 및 평가 방법 결정 등에 대한 논의도 활발하게 진행하고 있다. 현재 계획한 일정에 따르면 CfP(Call for Proposals)가 내년 상반기에 예정되어 있고, 이를 통해 홀로그램 압축을 위한 다양한 기술들을 모집하여 본격적인 표준화를 시작하고자 한다.

Ⅲ. 결론

홀로그램은 머지않아 우리가 실생활에서 접하게 될 궁극적인 3차원 영상 기술이다. 본 고에서는 ‘디지털 홀로그램 압축 기술 및 표준화 동향’이라는 주제로 대표적인 홀로그램 압축 기술과 현재 국내외에서 활발히 진행되고 있는 홀로그램 표준 관련한 활동을 소개하였다. 특히 JPEG Pleno에서 진행 중인 홀로그램 압축 표준화는 다양한 홀로그램 영상 처리 관련 표준화의 초석이 될 것으로 기대한다.

용어해설

홀로그래피 빛의 진폭(amplitude)과 위상(phase)을 획득 또는 생성하여 공간상에 빛의 분포(optical disturbance)를 재현하는 기술 또는 광원의 간섭성을 이용하여 물체광과 참조광의 간섭 패턴을 기록·재현하는 기술

홀로그램 공간상의 빛의 분포를 재현하기 위하여 빛의 진폭과 위상을 가지고 있는 정보 또는 그 정보를 담은 매체(medium)

아날로그 홀로그래피 광원의 간섭성을 이용하여 실제 물체의 물체광과 참조광의 간섭 패턴을 감광 물질에 직접 기록하고 물체광을 재현하는 기술

디지털 홀로그래피 디지털적인 방법을 이용하여 빛의 진폭(amplitude)과 위상(phase)을 획득 또는 생성하여 빛의 분포를 재현하는 기술

디지털 홀로그램 디지털적인 방법을 이용하여 빛의 분포를 재현하기 위하여 빛의 진폭과 위상을 가지고 있는 정보 또는 그 정보를 담은 매체(medium)

약어 정리

3DD

3D Display Devices

AHG

Ad-Hoc Group

CGH

Computer Generated Hologram

DWT

Discrete Wavelet Transform

HOE

Holographic Optical Elements

JPEG

Joint Photographic Experts Group

NRSH

Numerical Reconstruction Software for Holography

PSNR

Peak Signal to Noise Ratio

SSIM

Structural SIMilarity

VAC

Vergence-Accommodation Conflict

참고문헌

[1] 

D. Gabor, "A new microscopic principle," Nature, vol. 161, no. 4098, p. 777, 1948.

[2] 

E. N. Leith and J. Upatnieks, "Reconstructed Wavefronts and Communication Theory," J. Opt. Soc. Am., vol. 52, no. 10, pp. 1123–1128, Oct. 1962.

[3] 

C. M. Vest, Holographic interferometry, J. Wiley and Sons, New York, 1979.

[4] 

B. R. Brown and A.W. Lohmann, "Complex Spatial Filtering with Binary Masks," Appl. Opt., vol. 5, no. 6, pp. 967–969, Jun. 1966.

[5] 

D. Leseberg and C. Frère, "Computer-generated holograms of 3-D objects composed of tilted planar segments," Appl. Opt., vol. 27, no. 14, pp. 3020–3024, Jul. 1988.

[6] 

A. W. Lohmann, "Three-dimensional properties of wave-fields," Optik, vol. 51, pp. 105–107, 1978.

[7] 

T. Ichikawa, K. Yamaguchi, and Y. Sakamoto, "Realistic expression for full-parallax computer-generated holograms with the ray-tracing method," Appl. Opt. 52, A201-A209, 2013.

[8] 

"Overview of Holography 3.0," Doc. ISO/IEC JTC 1/SC 29/WG1 N81055, Vancouver, Canada, Oct. 2018.

[9] 

E. Darakis and J.J. Soraghan, "Reconstruction domain compression of phase-shifting digital holograms," Appl. Opt, vol. 46, no. 3, pp. 351-356, Jan. 2007.

[10] 

H. Yoshikawa and J. Tamai "Holographic image compression by motion picture coding," SPIE Proc, vol. 2652, Practical Holography X, pp. 2-9, March. 1996.

[11] 

D. Blinder, T. Bruylants, H. Ottevaere, A. Munteanu, and P. Schelkens, "JPEG 2000-based compression of fringe patterns for digital holographic microscopy," Optical Engineering, vol. 53, no. 12, pp. 1-13, Dec. 2014.

[12] 

L. T. Bang et al., "Compression of digital hologram for three-dimensional object using Wavelet-Bandelets transform," Opt. Express 19, no. 9, pp. 8019–8031, 2011.

[13] 

P. Memmolo, M. Paturzo, A. Pelagotti, A. Finizio, P. Ferraro, and B. Javidi, "Compression of digital holograms via adaptivesparse representation," Optics letters, vol. 35, no. 23, pp. 3883-3885, Dec. 2010.

[14] 

P. A. Cheremkhin, and E. A. Kurbatova, "Numerical comparison of scalar and vector methods of digital hologram compression," Holography, Diffractive Optics, and Applications VII. vol. 10022, no. 1002227, pp. 1-10, Oct. 2016.

[15] 

ISO/IEC JTC1/SC29/WG1, JPEG PLENO Abstract and Executive Summary, WG1N6922, 68th JPEG Meeting, Sydney, Australia, Feb. 2015.

[16] 

P. Schelkens et al., "JPEG Pleno: Providing representation interoperability for holographic applications and devices," ETRI Journal vo. 41, no. 1, pp. 93-108, 2019.

[17] 

M. K. Kim, Digital holographic microscopy: Principles, techniques and applications, Springer, 2011.

[18] 

Ovizio Imaging Systems, "http://www.ovizio.com"

[19] 

C. M. Vest, Holographic interferometry, J. Wiley and Sons, New York, 1979.

[20] 

M. Yamaguchi, N. Ohyama, and T. Honda, "Holographic three-dimensional printer: new method," Appl. Opt. vol. 31, no. 2, pp. 217–222, 1992.

[21] 

D. Blinder et al., Open access database for experimental validations of holographic compression engines, Int. Quality Multimedia Experience (QoMEX), Pylos‐Nestoras, Greece, May 26–29, pp. 1–6, 2015.

[22] 

A. Gilles et al., Hybrid approach for fast occlusion processing in computer-generated hologram calculation, Appl. Opt. 55, no. 20, pp. 5459–5470, 2016.

[23] 

M. V. Bernardo et al., Holographic representation: hologram plane vs. object plane, Signal Proces. Image Commun. 68, pp. 193–206, 2018.

[24] 

Baczewska, M., Kujawińska, M., Skrzypek, E., and Sladowski, D., "Feasibility study of investigation of skin at cellular level by digital holographic microscopy," in [Speckle 2018: VII International Conference on Speckle Metrology], 10834, 108341P, International Society for Optics and Photonics, 2018.

[25] 

"JPEG Pleno Holography Uses Cases and Requirements V2.0," Doc. ISO/IEC JTC 1/SC 29/WG1 N84037, Brussels, Belgium, July 2019.

[26] 

"JPEG Pleno Holography – 3D volumetric quality assessment," Doc. ISO/IEC JTC 1/SC 29/WG1 M78045, Rio de Zaneiro, Brazil, Jan.-Feb. 2018.

[27] 

"Numerical reconstruction software for holography (NRSH)1.1," Doc. ISO/IEC JTC 1/SC 29/WG1 N84053, Brussels, Belgium, July 2019.

[28] 

"JPEG Pleno Holography ES 1.2," Doc. ISO/IEC JTC 1/SC 29/WG1 M81031, Vancouver, Canada, Oct. 2018.

그림 1

디지털 홀로그램 획득 및 생성: (a) 간섭계 기반 홀로그램 직접 획득, (b) CGH 기반 홀로그램 간접 생성

images_1/2019/v34n6/HJTODO_2019_v34n6_145f1.jpg
그림 2

복소 홀로그램 원 데이터

images_1/2019/v34n6/HJTODO_2019_v34n6_145f2.jpg
그림 3

복소 홀로그램 표현 방법: (상) 극 좌표계, (하) 직교 좌표계

images_1/2019/v34n6/HJTODO_2019_v34n6_145f3.jpg
그림 4

홀로그램 도메인과 복원 도메인 비교

출처 Adapted with permission with A. Gilles et al., Hybrid approach for fast occlusion processing in computer-generated hologram calculation, Appl. Opt. 55, no. 20, pp. 5459–5470, 2016.

images_1/2019/v34n6/HJTODO_2019_v34n6_145f4.jpg
그림 5

JPEG에서 바라본 영상 기술 발전 방향

출처 Reprinted with permission from ISO/IEC JTC1/SC29/WG1, JPEG PLENO Abstract and Executive Summary, WG1N6922, 68th JPEG Meeting, Sydney, Australia, Feb. 2015.

images_1/2019/v34n6/HJTODO_2019_v34n6_145f5.jpg
그림 6

JPEG Pleno 파일 포맷 예시

출처 Reprinted from P. Schelkens et al., “JPEG Pleno: Providing representation interoperability for holographic applications and devices,” ETRI Journal vo. 41, 2019, pp. 93-108, Korea Open Government License (KOGL) Type 4.

images_1/2019/v34n6/HJTODO_2019_v34n6_145f6.jpg
그림 7

JPEG Pleno Holography 실험 영상: (a) Interfere Ball8KS, (b) B<>com Dice1080P, (c) UBI-EmergImg Horse, (d) WUT HeLa Cells

출처 Reprinted with permission from [22-24].

images_1/2019/v34n6/HJTODO_2019_v34n6_145f7.jpg
그림 8

홀로그램 화질 평가 방법 예시: (a) 깊이 방향, (b) 시점 방향

출처 JPEG Pleno Holography – 3D volumetric quality assessment,” Doc. ISO/IEC JTC 1/SC 29/WG1 M78045, Rio de Zaneiro, Brazil, Jan.-Feb. 2018.

images_1/2019/v34n6/HJTODO_2019_v34n6_145f8.jpg
그림 9

홀로그램 수치 복원 예시: (a) 깊이 방향, (b) 시점 방향

출처 Adapted with permission with A. Gilles et al., Hybrid approach for fast occlusion processing in computer-generated hologram calculation, Appl. Opt. 55, no. 20, pp. 5459–5470, 2016.

images_1/2019/v34n6/HJTODO_2019_v34n6_145f9.jpg
그림 10

홀로그램 압축 실험 프레임워크

출처 Reprinted with permission from “JPEG Pleno Holography ES 1.2,” Doc. ISO/IEC JTC 1/SC 29/WG1 M81031, Vancouver, Canada, Oct. 2018.

images_1/2019/v34n6/HJTODO_2019_v34n6_145f10.jpg
그림 11

화질에 대한 실험 결과: (a) Dice8k4k에 대한 실험 결과(홀로그램 도메인), (b) Dice8k4k에 대한 실험 결과(복원 도메인), (c) Astronaut에 대한 실험 결과(홀로그램 도메인), (d) Astronaut에 대한 실험 결과(복원 도메인)

출처 Reprinted with permission from “JPEG Pleno Holography ES 1.2,” Doc. ISO/IEC JTC 1/SC 29/WG1 M81031, Vancouver, Canada, Oct. 2018.

images_1/2019/v34n6/HJTODO_2019_v34n6_145f11.jpg

표 1 TTA 홀로그램과 관련된 표준 리스트

표준명 표준번호 제정일
디지털 홀로그램 데이터 포맷 TTAK. KO-10.0629 2012.12.21
디지털 홀로그래픽 콘텐츠 제작 지침 TTAK. KO-10.0630 2012.12.21
홀로그램 화질 평가 (기술보고서) TTAR-10.0050 2015.11.18
디지털 홀로그래피 용어 정의 TTAK. KO-10.0871 2015.12.16
디지털 요철방식을 이용한 홀로그램의 시야각 측정 방법 TTAK.KO-10.0872 2015.12.16
컬러 홀로그램의 복셀 크기 및 색상 측정 절차 TTAK.KO-10.1022 2017.12.13
3차원 영상 관찰 시의 조절력 측정 및 비교 방법 TTAK.KO-10.1025 2017.12.13
디지털 홀로그래픽 테이블탑형 디스플레이 성능 측정 및 평가 - 2019.12 (예정)
오픈홀로 라이브러리 기반 홀로그램 데이터의 파일 포맷 명세 - 2019.12 (예정)
디지털 홀로그램 객관적 화질 평가 방법 - 2019.12 (예정)
Sign Up
전자통신동향분석 이메일 전자저널 구독을 원하시는 경우 정확한 이메일 주소를 입력하시기 바랍니다.