ettrends banner

오관정 (Oh K.-J.)
임용준 (Lim Y.)
추현곤 (Choo H.-G.)



Keywords: JPEG Pleno Holography, 홀로그래피, 홀로그램, 홀로그램 압축, 홀로그램 표준

Ⅰ. 서론

홀로그래피는 빛의 파동 정보인 크기와 위상을 완벽하게 기록 및 재현할 수 있기 때문에 궁극적인 3차원 이미징 기술로 주목받고 있다. 그러나 물리적인 한계로 인해 현재 우리가 일상생활에서 접하고 있는 2차원 이미징 기술이나 다른 3차원 이미징 기술과 유사한 정도의 화질을 제공하기 위해서는 많은 데이터량에 대한 처리가 불가피하다. 또한, 레이저와 같이 가간섭이 안정적인 광원이나 디스플레이 소자인 공간광 변조기의 고도화 등도 함께 풀어야 할 숙제이다.

정지영상에 대한 이미지 압축 표준을 만드는 국제 표준화 기구인 JPEG(ISO/IEC JTC1 SC29 WG1)에서는 2014년부터 JPEG Pleno라는 이름으로 3차원 이미징 압축 기술에 대한 표준화를 시작했고, 라이트 필드 이미지에 대한 압축 표준을 2021년에 제정했으며, 홀로그램과 포인트 클라우드는 각각 2024년과 2025년 표준 제정을 목표로 표준화가 진행 중이다. 홀로그램 압축은 현재 복소 홀로그램, 이진 홀로그램 및 계측용 홀로그램에 대한 표준화를 진행 중이다. 본고에서는 JPEG Pleno Holography 표준화 현황에 대해 소개한다[1-3].

Ⅱ. JPEG Pleno Holography

1. 실험 영상

JPEG Pleno Holography 표준화 초기에 다양한 홀로그램 데이터 모집을 위한 노력이 있었고, 그 결과 다양한 고정밀도 복소 홀로그램과 이진 홀로그램, 그리고 계측용 홀로그램 데이터가 모집되었다. 실험 데이터들은 광학적으로 직접 기록되거나 컴퓨터 시뮬레이션을 통해 획득되었다.

복소 홀로그램은 최대 32bit의 정밀도로 표현된 홀로그램 데이터로 실수부 & 허수부 또는 진폭 & 위상 형태로 제공되고 있다. 또한, 홀로그램에 대한 복원 실험이 가능하도록 홀로그램 이미지의 크기, 개구(Aperture) 크기, 픽셀 피치, 파장, 재현 거리 등의 정보도 함께 제공된다. 예를 들어 “Dice16k”라는 실험 영상은 b-com에서 제공하는 실험 영상으로 16,384 × 16,384의 해상도를 가지며, 수치 복원 시각 시점별 영상 복원을 위해 권고되는 개구 크기는 2,048 × 2,048이다. 픽셀 피치는 0.4μm이고, 컬러 홀로그램으로 640nm, 532nm, 473nm이고, 수치 복원을 위해 권고되는 복원 거리는 6.58mm, 10mm, 13.1mm이고, 객체 평면 압축을 위한 변환 거리는 9.83mm이다. 복소 홀로그램의 경우 모노 또는 컬러 홀로그램이 있고, 홀로그램 이미지의 크기는 최대 16K × 16K이다. 시야각을 결정하는 픽셀 피치의 최소값은 0.4μm이다.

이진 홀로그램은 주로 프린팅이나 DMD와 같이 이진 공간광 변조기를 활용하는 경우에 입력 데이터로 활용되는 홀로그램으로 앞서 소개한 고정밀도 복소 변조 홀로그램이 파장별로 두 개의 구성 요소(Component)를 가지는 반면, 이진 홀로그램은 하나의 구성 요소만을 가진다. 그리고 복소 변조 홀로그램을 이진 데이터로만 표현하다 보니 복소 변조 홀로그램에 비해 정확도가 떨어지는 한계점이 있어, 이를 극복하기 위해 이진 홀로그램 데이터 표현시에는 다양한 최적화 기법들이 활용된다. 일반적으로 이진 홀로그램은 보다 정밀하고 큰 크기의 홀로그램까지 활용이 가능하고, JPEG Pleno Hologrpahy에서 사용하는 “Dices 200k” 실험 영상은 픽셀 피치가 0.24μm이고, 이미지 크기가 204,800 × 108,000인 컬러 홀로그램이다. 복원 거리를 고려하면 이는 해당 홀로그램을 프린팅했을 때 대략 4.9cm × 2.6cm 정도의 크기의 홀로그램으로부터 10mm와 32.8mm 깊이에 위치한 특정 객체들에 초점이 맞춰 관찰할 수 있음을 의미한다.

마지막으로 계측용 홀로그램 데이터는 주로 탈축 환경에서 직접 광학적으로 기록된 홀로그램 데이터들이다. 직접 단파장으로 기록된 홀로그램으로 기록 장치의 물리적인 한계로 현재 JPEG Pleno Holography에서 제공하고 있는 계측용 홀로그램 데이터들의 비트 레벨은 모두 8bit이다. “HaCaT single cell”이라는 실험 영상은 피부 각질 세포를 촬영한 데이터로 2,456 × 2,058의 이미지 크기에 픽셀 피치는 3.45μm이고, 파장은 532nm이다. 1차 성분 분리를 위한 1차 광의 대역폭(Bandwidth) 크기는 374 × 448이다. 기록된 샘플에 따라 얇은 샘플과 상대적으로 두꺼운 샘플이 존재한다.

앞서 소개한 다양한 JPEG Pleno Holography의 실험 데이터들은 JPEG 공식 웹사이트(http://plenodb.jpeg.org)를 통해 누구나 이용할 수 있도록 공개되어 있다. 그리고 각 홀로그램 데이터에 대한 보다 상세한 정보는 공통 실험 조건 문서(CTC: Common Test Conditions)[4]에서 확인이 가능하다.

2. 실험 조건

홀로그램 압축에 대한 실험 조건은 압축 기술에 대한 적절한 평가를 위해 매우 중요한 이슈로, JPEG Pleno Holography 표준은 최초의 홀로그램 압축에 관한 국제 표준인 만큼 장기간의 ES(Exploration Study) 수행을 통해 다양한 실험 조건에 대한 검증을 바탕으로 공통 실험 조건을 수립했고, CTC 문서[4]와 CTC 소프트웨어[5]를 통해 수정 및 보완하고 있다.

현재 CTC에 따르면 anchor 기술로는 JPEG 2000과 HEVC-intra를 사용한다. 이진 홀로그램의 경우에는 JBIG2를 anchor로 사용한다. ES 실험에 따르면 홀로그램은 홀로그램이 생성 및 획득된 홀로그램 평면이나 수치 복원에 이용되는 객체 평면에서 압축이 타당하며, 객체 평면에서의 압축이 상대적으로 공간적 상관도가 높아 더 좋은 결과를 보였다. 다만, 객체 평면에서 압축한 경우 압축으로 인한 손실이 홀로그램 평면의 압축보다 특정 조건의 수치 복원에 더 영향을 많이 미치게 되고, 압축을 위한 객체 평면의 선정에 따라서도 성능에 차이가 커서 권고하는 방식은 아니다. 따라서 현재 표준에서도 권고 기술이 아닌 선택적으로 사용할 수 있도록 되어 있다.

복소 홀로그램은 입력 데이터가 최대 32bit로 표현되어 있어, 일반적인 이미지 코덱에 활용하기 위해서는 적절한 비트 레벨로 양자화되어 표현되어야 한다. JPEG Pleno Holography 표준은 최대 16bit를 지원하도록 되어 있으며, 일반적인 균일 양자화 기술을 이용한다. 다만, 복소 데이터의 분포가 균일하지 않고 일부 튀는 값으로 인해 전체 데이터가 양자화로 인한 손실을 보지 않도록 최소/최대값에 대한 잘림(Clipping)을 허용한다.

압축에 대한 성능 평가는 모노 기준으로 6개의 비트율[0.1, 0.25, 0.5, 1, 2, 4(bpp: bit per pixel)]에서 압축된 홀로그램을 수치 복원하여 객관적 화질을 비교하고, 추가적으로 위 비트율 중 실험 영상별로 3개의 비트율에서 주관적 화질 평가를 수행하기도 한다. 컬러 홀로그램의 경우 모노 홀로그램의 3배에 해당하는 비트율 조건으로 실험을 수행한다.

3. 화질 평가 방법

일반적으로 이미지 압축에 대한 화질 평가에는 객관적인 화질 평가와 주관적인 화질 평가를 병행해서 사용하고, 객관적 화질 평가 척도로는 대표적으로 PSNR(Peak Signal-to-Noise Ratio), SSIM(Structural SIMilarity), VIFp(pixel-based Visual Information Fidelity) 등이 사용된다. 홀로그램 이미지는 홀로그램 도메인과 사람의 눈으로 관찰이 가능한 이미지 도메인이 다르므로 화질 평가에서는 두 도메인을 모두 이용하기로 결정했고, 홀로그램 도메인의 데이터를 이미지 도메인으로 변환하기 위해서는 수치 복원 기술을 이용한다. 보다 공정한 화질 평가 실험을 위해 표준 그룹 내에서는 동일한 수치 복원 기술을 이용하도록 NRSH(Numerical Reconstruction Software for Holography)[6]라는 수치 복원용 참조 소프트웨어를 개발하여 이용 중이다[7].

NRSH는 입력 홀로그램에 대해 해당 홀로그램이 제공할 수 있는 3차원 공간상의 시야각과 깊이 내에서 특정 시점 및 특정 깊이 평면에서의 수치 복원을 가능하게 하는 홀로그램 수치 복원 소프트웨어로, 수치 복원에 이용되는 실험 영상별 최적의 개구 크기나 깊이값 등은 CTC 문서에 제공되어 있고, 기타 수치 복원 관련 파라미터들은 NRSH의 config 파일에 설정되어 배포하고 있다. 그림 1은 “Deepdices2K” 실험 영상에 대해 NRSH를 통해 다양한 깊이에서 수치 복원된 예시를 보여주고 있다.

그림 1
“Deepdices2K” 영상에 대한 다양한 깊이에서의 수치 복원 예시

압축된 홀로그램에 대한 객관적 평가 척도 선정을 위해 홀로그램 도메인과 이미지 도메인에서 앞서 소개한 SNR, PSNR, SSIM, VIFp에 대한 검증 실험을 수행했고, 그 결과 홀로그램 도메인에서는 SNR과 SSIM이 안정적인 성능을 보였고, 이미지 도메인에서는 PSNR, SSIM, VIFp가 안정적인 성능을 보였다. 각 객관적 평가 척도에 대한 안정성은 해당 척도의 객관적 수치와 주관적 화질 평가의 MOS(Mean Opinion Score) 값의 상관도를 분석하는 방법으로 측정했다. 또한, 주관적 화질 평가는 실험용 홀로그램 데이터를 재현할 수 있는 홀로그래픽 디스플레이가 존재하지 않기 때문에 부득이하게 다양한 시점 및 다양한 깊이에서 수치 복원된 이미지를 2차원 디스플레이에 재현하여 이를 통해 홀로그래픽 디스플레이를 모사하는 방법으로 수행됐다. 또한, 스페클(Speckle)로 인한 화질 저하가 주관적 화질 평가에 반영되지 않도록 평가자들에게 사전 학습을 수행했다.

이진 홀로그램에 대한 압축은 현재 무손실 압축만을 지원하고 있어, 화질 평가에는 단순히 에러를 측정하는 방법을 이용하고 있고, 계측용 홀로그램 데이터에 대해서는 홀로그램 도메인과 1차 성분에 대해서 SNR 측정하거나 위상 성분만을 추출해서 RMSE(Root-Mean-Squared Error)를 측정하는 방법을 이용하고 있다. 특별히 계측용 홀로그램에 대해서는 위상 추출 및 위상 펼침을 위한 별도의 참조 소프트웨어를 개발하여 관리하고 있다[8].

Ⅲ. 홀로그램 압축 기술 소개

1. 이미징 홀로그램 압축

현재 JPEG Pleno Holography 표준은 일반적으로 이미징 목적으로 이용되는 복소 홀로그램 압축을 위해 그림 2의 부호화기와 복호화기를 이용하고 있다.

그림 2
이미징 홀로그램 압축 부호화기(상)와 복호화기(하) 구조

입력 홀로그램은 실수부와 허수부로 표현된 복소 홀로그램이 일반적이고, 모노와 컬러 홀로그램을 모두 지원하고, 표준에서 지원하는 최대 비트 레벨은 16bit이다. 인코더 기준으로 단계별로 기술을 설명하고자 한다. 먼저 홀로그램 타일은 입력 홀로그램을 동일한 크기의 사각형으로 분할하여 타일별로 독립적으로 부호화/복호화하는 기술로, 큰 사이즈의 홀로그램을 다루는 데 효과적이다. 객체 평면 전파(Object Plane Propagation)는 사용자에 의해 선택적으로 적용이 가능하고 입력하고자 하는 홀로그램을 이미지 도메인으로 변환하는 기술로 기존의 연구에 따르면 일반적으로 홀로그램은 이미지 도메인에서 홀로그램 도메인보다 공간적인 상관도가 더 높아 압축 효율이 개선된다. 다만, 추가적인 역변환이 필요하고, 압축으로 인한 손실이 특정 깊이 평면에 더 영향을 미칠 수 있다는 우려도 있다.

STFT(Short-Time Fourier Transform)는 홀로그램 압축을 위해 채택된 변환 기술로 현재 다양한 JPEG 표준에서 사용 중인 DCT(Discrete Cosine Transform)나 DWT(Discrete Wavelet Transform)에 비해 홀로그램에 대한 에너지 결집 효과가 큰 편이다. STFT 적용은 앞서 소개한 홀로그램 타일을 TB(Transform Block)로 분할하여 TB별로 적용한다.

TB 단위로 STFT를 적용한 후 각 TB를 다시 여러 개의 QB(Quantization Block)로 분할하여 QB 단위로 양자화를 수행한다. 양자화 과정에서 RDO(Rate-Distortion Optimization) 기술을 통해 QB 별로 압축하고자 하는 입력 홀로그램의 목표 SNR을 만족하는 최적의 비트 레벨과 양자화 범위를 결정한다. 이 과정에서 여러 비트 레벨과 양자화 범위 중에 최적의 값을 선정을 위해 반복적으로 RDO 비용값을 계산하고 비교한다. QB별로 양자화 비트 레벨과 양자화 범위가 정해지고 나면 일반적인 균일 양자화 기술을 이용해 변환 계수에 대한 양자화를 수행한다. 그리고 양자화 정보 관련하여 타일 단위로 양자화 테이블이 전송되고, 추가적으로 QB 단위로 비트 레벨과 양자화 범위 세부 조정을 위한 추가 파라미터가 전송된다.

TB 단위로 변환 후 QB 단위로 양자화된 계수들은 CB(Code Block) 단위로 재구성된다. CB는 엔트로피 부복호화를 위한 단위 블록으로 한 CB 내의 계수들은 동일한 엔트로피 모델을 이용해 처리되고, 독립적으로 부복호화될 수 있다. 그림 3은 타일 크기가 1,024×1,024이고, TB와 CB 크기는 512×512, 마지막으로 QB 크기는 256×256인 홀로그램의 블록 구조를 보여준다. 예시에서와 같이 QB 블록을 CB로 재구성할 때 셔플링을 통해 QB의 위치를 바꿀 수도 있다.

그림 3
홀로그램 타일, TB, CB, QB 구조 예시

마지막 엔트로피 부호화 과정은 CB 단위로 고정 소수점 산술 부호화(Fixed-point Arithmetic Coding) 기술을 적용한다. 산술 부호화 성능 향상을 위해 현재 CB에 대한 확률을 이미 부호화된 CB를 기반으로 예측하는 기술도 이용한다. 복호화 과정은 그림 2의 하단과 같이 부호화의 역과정으로 이루어진다.

그림 4그림 5는 실험영상 “Deepdices2K”와 “Astronaut”에 대해 표준의 참조 소프트웨어인 VM (Verification Model) 2.0 버전과 HEVC, JPEG 2000에 대한 압축 성능 비교 실험 결과이다. 객관적 화질 평가 척도로 홀로그램 도메인에서는 SNR과 SSIM을 이용했고, 이미지 도메인에서는 PSNR과 VIFp를 이용했다. HEVC와 JPEG 2000은 홀로그램 도메인과 이미지 도메인 모두에서 압축을 수행했고, VM 2.0은 홀로그램 도메인에서만 압축을 수행했다.

그림 4
“Deepdices2K” 압축 실험 결과
그림 5
“Astronaut” 압축 실험 결과

그림 6은 실험영상 “Deepdices2K”에 대해 bpp가 3인 압축 데이터로부터 다양한 깊이에서 복원된 이미지를 비교해서 보여주고 있다. 그림 7은 bpp가 0.1인 압축된 “Astronaut”로부터 동일한 방법으로 수치 복원된 이미지를 비교해서 보여주고 있다.

그림 6
“Deepdices2K” 수치 복원 실험 결과
그림 7
“Astronaut” 수치 복원 실험 결과

2. 이진 홀로그램 압축

현재 JPEG Pleno Holography 표준은 이진 홀로그램에 대해서는 무손실 압축만을 지원하고 있고, 이진 홀로그램 압축을 위한 부호화기와 복호화기의 구조는 그림 8과 같다. 이진 홀로그램 압축의 경우 STFT를 통한 추가적인 에너지 결집 효과가 없어서 STFT를 수행하지 않고, 무손실 압축이라 양자화 과정도 없다.

그림 8
무손실 이진 홀로그램 부호화기(상) 및 복호화기(후) 구조

이진 홀로그램 압축의 경우 크기가 큰 홀로그램 처리를 위한 타일링 과정과 엔트로피 부호화로만 구성된다. 이때 산술 부호화의 확률 예측 안정성 확보를 위해 쿼드트리 분할을 이용한다. 이는 그림 9와 같이 이진 홀로그램이 완전한 랜덤 이진 패턴과는 달리 일부 영역에서 공간적인 상관도를 가지는 특징을 이용하기 위함이다.

그림 9
랜덤 이진 패턴(좌)과 이진 홀로그램 패턴(우) 비교 출처 Reproduced from [5].

표 1은 다양한 이진 홀로그램에 대한 무손실 압축 성능을 보여주고 있다. 실험을 통해 VM 2.0이 JBIG2 대비 대략 8% 정도의 추가 비트율 저감이 가능함을 확인했다.

표 1 이진 홀로그램 무손실 압축 성능

Test Data JBIG2(bpp) VM2.0(bpp) bit-saving(%)
Dices(200k) 0.60 0.57 5.00
Bridge(100k) 0.28 0.25 10.71
CornellBox 3 0.62 0.54 12.90
Astronaut 0.58 0.51 12.07
Opt_Squirrel 0.69 0.68 1.45
Opt_Sphere 0.59 0.58 1.69
Deepdices 16k 0.61 0.55 9.84
Dices 16K 0.61 0.55 9.84
Specular Car 0.46 0.43 6.52
Diffuse Car 0.50 0.46 8.00

3. 계측용 홀로그램 압축

계측용 홀로그램 압축은 주로 바이오 샘플에 대한 홀로그래픽 현미경이나 산업용 계측 분야에서 획득된 샘플 데이터를 목적으로 하고 있다. 앞서 소개된 복소 홀로그램이나 이진 홀로그램과 달리 계측용 홀로그램은 일반적으로 간섭계를 통해 탈 축(Off-axis) 조건에서 직접 획득된 홀로그램이다. 현재 JPEG Pleno Holography에서는 탈 축 홀로그램에 대해서는 푸리에 도메인으로 변환 후 홀로그램의 공액(Conjugate) 대칭성을 이용해 그림 10과 같이 절반만을 압축하거나 1차 성분만을 분리하여 압축하는 방법을 고려하고 있다.

그림 10
탈 축 홀로그램 압축 영역 비교: 홀로그램 절반(빨간색 사각형), 1차 성분(노란색 사각형)

그림 11그림 12는 “KRaSV12_213”에 대한 압축 실험 결과로 VM 2.0이 HEVC나 JPEG 2000 대비 좋은 성능을 보임을 확인할 수 있다.

그림 11
계측용 홀로그램 압축 실험 결과
그림 12
압축된 계측용 홀로그램 복원 결과

Ⅳ. 결론

본고에서는 JPEG Pleno Holography 표준화 동향 분석을 목적으로 주요 표준 기술과 관련 이슈들에 대해 살펴보았다. 홀로그램은 궁극적인 3차원 이미징 기술로 JPEG Pleno Holography는 홀로그램 압축에 대한 세계 최초의 표준으로 큰 의미를 가지며, 추후 다양한 홀로그램 관련 표준화의 근간이 될 것으로 기대되고, 또한 홀로그램 이미징, 계측 등 다양한 관련 산업의 분야에서도 널리 활용될 것으로 기대된다.

용어해설

Holography 빛의 진폭(Amplitude)과 위상(Phase)을 획득 또는 생성하거나 이를 기반으로 공간상에 빛의 분포를 재현하는 기술

Hologram 홀로그래피(Holography) 기술로 얻은 빛의 진폭(Amplitude)과 위상(Phase) 정보 또는 그 정보를 담은 매체

약어 정리

CB

Code Block

CTC

Common Test Conditions

DCT

Discrete Cosine Transform

DWT

Discrete Wavelet Transform

ES

Exploration Study

JPEG

Joint Photographic Experts Group

MOS

Mean Opinion Score

NRSH

Numerical Reconstruction Software for Holography

PSNR

Peak Signal-to-Noise Ratio

QB

Quantization Block

RDO

Rate-Distortion Optimization

RMSE

Root-Mean-Squared Error

SSIM

Structural SIMilarity

STFT

Short-Time Fourier Transform

TB

Transform Block

VIFp

Pixel-based Visual Information Fidelity

VM

Verification Model

참고문헌

[1] P. Astola et al., "JPEG Pleno: Standardizing a coding framework and tools for plenoptic imaging modalities," ITU J., ICT Discoveries, vol. 3, no. 1, 2020, pp. 85-99.
[2] P. Schelkens et al., "JPEG Pleno: Providing representation interoperability for holographic applications and devices," ETRI J., vol. 41, no. 1, 2019, pp. 93-108.
[3] JPEG Pleno Holography use cases and requirements, Doc. ISO/IEC JTC 1/SC 29/WG1 N86016, Jan. 2020.
[4] Common Test Conditions for JPEG Pleno Holography v9.0, Doc. ISO/IEC JTC 1/SC 29/WG1 N100341, Oct. 2022.
[5] Common Test Conditions Software for JPEG Pleno Holography v8.0, Doc. ISO/IEC JTC 1/SC 29/WG1 N100272, Jul. 2022.
[6] Numerical Reconstruction Software for Holography (NRSH) v11.0, Doc. ISO/IEC JTC 1/SC 29/WG1 N100417, Jan. 2023.
[7] K.-J. Oh, J. Kim, and H. Kim, "A new objective quality metric for phase hologram processing," ETRI J., vol. 44, no. 1, 2022, pp. 94-104.
[8] Common Test Conditions Metrology Software for JPEG Pleno Holography v4.0, Doc. ISO/IEC JTC 1/SC 29/WG1 N100198, Apr. 2022.

그림 1

f1-HJTODO_2023_v38n2_66

그림 2

f2-HJTODO_2023_v38n2_66

그림 3

f3-HJTODO_2023_v38n2_66

그림 4

f4-HJTODO_2023_v38n2_66

그림 5

f5-HJTODO_2023_v38n2_66

그림 6

f6-HJTODO_2023_v38n2_66

그림 7

f7-HJTODO_2023_v38n2_66

그림 8

f8-HJTODO_2023_v38n2_66

그림 9

f9-HJTODO_2023_v38n2_66

t1-HJTODO_2023_v38n2_66

그림 10

f10-HJTODO_2023_v38n2_66

그림 11

f11-HJTODO_2023_v38n2_66

그림 12

f12-HJTODO_2023_v38n2_66