홀로그래픽 디스플레이 화질 평가 및 표준화 연구 동향

홀로그래피 기술은 3차원 객체를 공간상에 재현하여 관찰자에게 자연스러운 입체감을 제공함으로써 기존 스테레오 방식에서 발생하는 수렴초점불일치(Vergence-accommodation conflict) 문제 등의 표현 한계를 해소할 수 있는 궁극적인 3차원 입체영상 재현 기술이다. 특히, 디지털 홀로그래피 기술은 광전자기기와 컴퓨터를 이용하여 3차원 객체에 대한 입체정보를 광학적 회절과 간섭 원리에 입각하여 컴퓨터 생성 홀로그램을 계산한 후, 광학적 디스플레이 방법에 의해 공간상에 마치 실재하는 것처럼 입체 영상을 재현할 수 있다. 홀로그래픽 디스플레이가 공간상에 재현하는 3차원 객체는 현실에서 보는 것과 같이 3차원 객체가 존재하는 위치에 대해 보는 거리에 따라 초점을 맞출 수 있다. 이러한 다중초점 이미징은 홀로그래픽 디스플레이의 가장 대표적인 특징이다.

홀로그래픽 디스플레이는 기하광학의 광선(Ray)에 기반한 2D 디스플레이의 원리와는 다르게 파동광학의 파면(Wavefront)을 제어함으로써 공간상의 3차원 정보를 재현하기 때문에 빛의 세기뿐 아니라 위상을 제어하는 공간광변조 처리가 필수적으로 요구된다. 즉, 3차원 객체의 깊이 재현 능력은 홀로그램을 광학적으로 복원하는 공간광변조기(SLM)의 픽셀간 간격 크기(Pixel-pitch)에 의해 그 성능과 품질이 좌우된다. 홀로그래픽 디스플레이의 SLM 픽셀간격은 깊이감 재현 성능뿐 아니라 디스플레이가 지원하는 최대 시야각(Viewing angle) 크기를 결정하는 중요 요소이다. 그러므로 실제와 같은 품질의 홀로그램 재현을 위해서는 가시광선의 파장 크기인 0.5µm 이하의 픽셀간격 구현과 높은 회절 효율, 초고해상도의 픽셀 어드레싱과 구동 기술, 대면적의 간섭성(Coherent) 면광원 또는 스펙클 잡음이 없는 LED 광원과 완전한 홀로그램 광파면 복원을 위한 복소변조(Complex-modulated) SLM 구현 등이 주요 기술개발 이슈이다.

홀로그램의 광학적 복원을 통해 공간상에 재현되는 3차원 입체영상의 품질을 규정하는 주요 요소로서는 홀로그램 재현영상의 크기, 밝기, 해상도, 선명도, 잡음, 시야각, 깊이감 등이 고려될 수 있으며 이들은 홀로그래픽 디스플레이의 대표적인 성능 및 화질 요소로 간주된다.

홀로그램 재현 영상에 대한 화질 측정 및 평가체계 연구는 세계적으로 미진한 분야로서 홀로그래픽 디스플레이뿐만 아니라 3D 홀로그래피 전반에 대한 홀로그램 화질의 정량화 지표를 구축하는 것이 필요하다.

ETRI는 2011년부터 현재까지 대화면 평판형 홀로그래픽 디스플레이 및 360도 테이블탑형 홀로그래픽 디스플레이 기술개발 과제를 수행해오고 있다[(그림 1) 참조], [2]. 특히, 홀로그래픽 디스플레이의 지속적인 성능개선을 위해서 휘도, 해상도, 시야각 등의 디스플레이 성능에 대한 정량적 측정과 홀로그램 복원영상의 컬러, 스펙클, 선명도 등과 같은 다양한 품질에 대한 객관적 평가 과정 연구를 통하여, 홀로그래픽 디스플레이의 성능측정과 품질평가의 대상 항목을 도출하였다[3]. 이를 통하여 홀로그래픽 디스플레이의 성능개선과 화질향상 연구개발이 체계적으로 수행됨으로써 측정평가 과정과 성능개선 및 화질향상에 대한 작업이 선순환적으로 반복되는 단계적이며 지속적인 성능향상을 추진하는 것을 목표로 한다[(그림 2)참조].

(그림 1)

ETRI 360도 컬러 홀로그래픽 테이블탑형 디스플레이 시스템[2]

(그림 2)

홀로그래피 측정평가 및 화질개선

홀로그래픽 디스플레이의 성능 및 품질 측정과 평가에 대한 개념을 정의하면, ‘측정(Measurement)’은 측정장비 등을 이용하여 홀로그래픽 디스플레이의 주요 성능지표 항목을 광학적 또는 물리적으로 직접 계측한 결과로서 얻어지는 정량적 측정값이다. ‘평가(Evaluation 또는 Assessment)’의 대상 항목은 측정치로부터 논리적 수학적 기법으로 성능 수준과 특성을 종합적으로 감정할 수 있는 요소로서, 홀로그래픽 디스플레이의 성능과 품질 개선 시 해당 항목의 평가를 통해 개선 여부와 그 정도를 정량적으로 확인할 수 있는 항목이다. 홀로그래픽 디스플레이의 측정과 평가의 예로서 먼저 3D 복원영상의 수평·수직·깊이 방향의 크기를 실제로 ‘측정’한 후 이 측정치를 이용하여 원본 대비 기하학적 왜곡(Geometry distortion) 정도를 정량적으로 ‘평가’하는 단계적인 측정과 평가 과정이 가능하다.

홀로그래픽 디스플레이의 성능품질 항목들은 디스플레이의 특성에 따라 다음과 같이 분류할 수 있다.

• 디스플레이 일반: 정보디스플레이로서 가장 기본적이고 일반적이 성능기준이며, 홀로그래픽 디스플레이가 실제 상용화되기 위하여 우선적으로 반드시 충족되어야 할 필수적 성능 지표

• 3D 디스플레이: 다시점(Multi-view), 초다시점(Super-multiview), 집적영상(Integral imaging), 라이트필드(Light-field), 홀로그래피 등 3D 디스플레이의 3D 품질기준 공통항목으로서, 전통적인 2D 디스플레이와는 입체영상을 재현한다는 기능적 측면에서 차별화되는 3D 품질기준 요소

• 홀로그래픽 디스플레이 항목: 파동광학(Wave-optics) 원리에 기반하여 빛의 진폭뿐 아니라 위상을 변조함으로써 광파면(Wavefront)의 3D 특성정보를 재현하는 디지털 또는 아날로그 홀로그래피 기술에 특화된 홀로그래픽 3D 디스플레이 성능·품질 항목

‘디스플레이 일반’ 항목으로 분류된 성능품질 측정평가 지표들은 디지털 홀로그래픽 디스플레이의 시장 진입과 수용도 측면에서 가장 우선하여 충족되어야 한다. 특히, 정보미디어 디스플레이의 기본적 기능과 성능 요소로서 점진적인 성능향상 및 품질개선을 위한 지속적인 기술개발 노력이 필요한 항목이다. 또한, ‘3D 디스플레이’ 항목으로 분류된 성능·품질 측정평가 지표들로부터 기존의 양안식, 다시점 및 초다시점, 집적영상 등의 라이트필드 디스플레이와 같이 원리적으로 기하광학(Ray-optics)에 기반한 3D 디스플레이와 비교하여 홀로그래픽 디스플레이의 상대적 성능우위와 시장경쟁력 등이 부각될 수 있도록 해당 항목들에 대한 집중적인 평가분석과 기술개발이 진행될 수 있다[(그림 3) 참조].

(그림 3)

홀로그래픽 3D 디스플레이 성능/품질 항목

<표 1>은 홀로그래픽 디스플레이 성능 측정 및 화질 평가 항목들을 공간상에 복원되는 재현 가능 영역 내에서 홀로그램 재현 영상의 크기와 시야각, 그리고 휘도, 해상도, 선명도, 컬러 및 잡음 등과 같은 재현 품질의 충실도에 대한 측정 지표들을 도출한 내용이고, 앞서 설명한 디스플레이 특성에 따라 일반, 3D 및 홀로그래피로 구분하였다[3].

<표 1>

홀로그래픽 디스플레이 성능 측정 평가 지표

홀로그래피 기술은 기존 디스플레이들과는 다르게 회절(Diffraction)과 간섭(Interference)과 같은 광학적 특성에 기반하므로 홀로그래피 기술에 특화된 ‘홀로그래픽 디스플레이’ 측정•평가 항목들이 존재할 수 있으며, 이에 대한 측정•평가는 홀로그래피 연구개발과 병행하여 진행되어야 한다.

홀로그래픽 디스플레이의 성능 측정 평가와는 별개로 홀로그램 ‘콘텐츠’에 대한 품질 측정과 평가가 필요하다[(그림 4) 참조]. 즉 디스플레이의 성능과는 무관하게 홀로그램 콘텐츠가 CCD 센서 등에 광학적으로 기록되는 과정에서 사용된 광학 장비 특성과 성능에 의하여 획득되는 홀로그램의 품질 차이가 발생하게 된다. 또한, 3D 데이터의 컴퓨터 계산처리 과정을 통해서 생성된 홀로그램(CGH) 또한 적용되는 CGH 알고리즘의 특성에 따라서 홀로그램 콘텐츠로서의 품질 차이를 갖게 된다. 이러한 홀로그래픽 디스플레이 성능에 독립적인 홀로그램 ‘콘텐츠’ 자체에 대한 화질평가는 홀로그램의 수치적 복원 또는 참조 디스플레이 장치(Reference display)와 표준화된 테스트 패턴 등을 통해서만 객관적이며 정량적인 화질 비교가 가능하다. 특히 홀로그램 콘텐츠의 화질평가는 홀로그램 생성(CGH), 광학기기에 의한 직접획득 뿐만 아니라 홀로그램 압축과 변환 처리를 위한 알고리즘 성능평가의 객관적 화질 기준으로서 필수적인 요소이다. 2D 분야의 JPEG 또는 MPEG과 같은 영상압축 기술 연구에서 객관적 화질 평가 과정이 필수적이듯이 향후 홀로그램 압축과 변환 등의 홀로그래픽 신호처리 기술개발에도 표준화된 테스트 데이터와 객관적·정량적 화질평가 기준에 대한 연구개발이 필요하다.

(그림 4)

홀로그래피 미디어 서비스 품질 요인

일본 홋카이도대학[4]에서는 CGH 알고리즘으로 생성된 홀로그램의 광학적 복원영상의 화질에 대한 객관적 평가를 위해 PSNR을 깊이 방향으로 확장한 VSNR (Volume signal to noise ratio)을 제안하여 다양한 CGH 알고리즘의 화질 비교평가를 수행하였다.

홀로그래피 기술이 적용된 TV, PC, 스마트폰, HMD 등 다양한 홀로그래피 단말기기와 홀로그래피 미디어 서비스가 확산될 때 디스플레이 성능과 홀로그램 콘텐츠 화질 이외에도 사용자의 홀로그래피 서비스에 대한 만족감 또는 수용도에 중요한 영향을 끼치는 또 다른 고려 요소는 휴먼팩터(Human factor)이다[5]. 홀로그래피는 수렴초점불일치 문제가 해결될 수 있는 이론적으로는 완전한 3차원 이미지 구현 기술이지만, 간섭성 광원인 레이저를 사용할 수 있으므로 또 다른 시각피로 또는 불편감과 유해요인이 발생할 수도 있다. 홀로그래피 미디어 시장의 확산과 관련 산업의 지속적인 발전을 위해서는 홀로그래피 미디어 환경에서 안전하고 효율적인 인간의 공간 지각과 상호작용에 대한 인간중심의 휴먼팩터 연구가 요구된다. 국제표준화단체인 ISO/TC159/ SC4/WG12에서는 3D 디스플레이의 인간공학적 평가와 안전 관련 규정에 대한 표준화를 다루고 있으며 향후 홀로그래피 미디어 산업이 본격화될 때 홀로그래피 휴먼팩터에 대한 연구개발과 표준화가 본격화될 것이다.

가. TTA 디지털홀로그래피실무반(WG6102)

홀로그래피 콘텐츠 및 서비스 분야의 표준화를 위하여 2014년 하반기부터 TTA 디지털콘텐츠프로젝트그룹(PG610)의 디지털홀로그래피실무반에서 표준화 작업을 진행해오고 있다. TTA 디지털홀로그래피실무반(WG6102)에서의 표준화 활동은 <표 2>와 같다. 홀로그래피 인터페이스, 인터렉션, 콘텐츠 포맷, 콘텐츠 저작도구, 콘텐츠 서비스 모델, 휴먼팩터, 디스플레이, 카메라, 홀로그램 초다시점, 신호처리 및 전송, 플랫폼, 네트워킹 기술, 프린터/단층촬영기/현미경, 아날로그 홀로그램 기술 검증, 홀로그래피 콘텐츠 서비스 인증, 상호운용 및 측정, 검증 등 홀로그래피 관련 광범위한 주제들이 주된 표준화 대상이다. 디지털홀로그래피실무반의 창설 전후로 현재까지 4건의 표준이 제정되었고 1건의 기술보고서가 채택되었다. 2017년 현재 2건의 표준 제정을 준비 중이다.

<표 2>

홀로그래피 관련 TTA 표준

나. 홀로그램포럼

홀로그램포럼은 홀로그램 산업 육성을 위한 전략과 로드맵 마련, 기술 생태계 조성을 위한 해외 협력, 저변 확대, 전문인력 양성 등을 목적으로 2015년 창설된 이후 다양한 홀로그래피 관련 표준화 활동을 진행 중이다. 아래의 <표 3>은 홀로그램포럼의 표준화 활동을 간략하게 정리한 것이다.

<표 3>

홀로그램포럼 표준

홀로그램포럼은 TTA 디지털홀로그래피실무반의 표준들을 채택하였고, 홀로그램의 기록특성과 관련된 표준도 제정하였다.

다. 기가코리아 3D품질기준연구반

2016년 하반기부터 활동을 시작한 기가코리아 3D품질기준연구반은 범부처 기가코리아사업[6] 내에서 수행 중인 ‘초다시점 단말’, ‘홀로그래픽 단말’, ‘모바일완전입체단말’ 및 ‘실감콘텐츠’ 과제들의 정량적 성능목표와 연계하여 수행과제별 3D 품질기준의 검토와 수행과제 간 3D 품질기준의 상관관계 분석과 함께 AR/VR 등 다른 3D 실감기술 등과 비교분석을 수행하고 있다. 기가코리아사업내 초다시점/홀로그래피 관련 4개 수행과제에서 목표로 하는 3D 품질기준 중 공통요소와 기술별 요소를 분류하고 측정평가 방법을 구체화함으로써 향후 측정장비 개발과 국내외 표준화 연계를 추진할 예정이다.

가. IEC TC110

국제전기기술위원회(IEC) 산하의 디스플레이 관련 국제표준을 심의하는 TC110 기술위원회는 2017년 현재 7개의 작업반(WG: Working Group)과 3개의 프로젝트팀과 ad-Hoc group에서 다양한 종류의 디스플레이 화질 측정 평가에 대한 기술검토와 표준화를 진행 중에 있다[7]. 특히 3차원 디스플레이 측정을 다루는 WG6 (3DD: 3D display devices)에서는 한국과 일본을 주축으로 홀로그래픽 3D 디스플레이와 라이트필드 디스플레이와 같은 무안경식 3D 디스플레이의 화질 요소에 대한 측정 평가를 다루고 있다. 또한 WG10(Laser display devices)에서는 홀로그래픽 디스플레이의 간섭성(Coherent) 광원인 레이저에서 발생되는 스펙클 대비(Speckle contrast)와 컬러 스펙클(Color speckle) 측정 등에 대한 표준화를 다루고 있다.

2017년 현재 IEC TC110의 WG6와 WG10에서는 시각적 측정(Visual inspection), 시청방향 및 시야각에 따른 색차(Color difference), 컬러 스펙클, 모션블러(Motion blur), 무안경식(Autostereoscopic) 디스플레이의 광학적 측정 방법 등에 대한 기술기고 검토와 표준화 작업이 진행되고 있다. 또한, 최근 부각되고 있는 HMD 등 Eye-wear Display에 대한 FOV(field-of-view) 등 광학적 특성의 측정을 다루는 AhG12의 표준화 진행이 활발하며 향후 TC110 내 독립된 작업반(WG)으로 진행될 것으로 예상된다.

나. IDMS

ICDM(International Committee for Display Metrology)은 정보디스플레이협회(SID: Society of Information Display) 산하의 디스플레이 측정을 담당하는 위원회로서 정보디스플레이의 측정 표준규격을 개발하고 있다. ICDM은 2012년부터 정보디스플레이 표준규격인 IDMS(Information Display Measurements Stand-ard)[8]을 발간하였는데, 디스플레이의 거의 모든 분야를 다루며 대략 140개 정도의 디스플레이 측정 기법과 테스트패턴 등이 포함되어 있다. 실제 디스플레이 제조업체 등 산업계의 디스플레이 전문가들이 참여하여 작성한 민간표준인 IDMS는 온라인에서 무료로 제공되며, IEC 및 ISO와 함께 디스플레이 측정에 대한 De facto Standard로서 인정받고 있다[8].

IDMS 1.03 규격서의 17장 3D & Stereoscopic Displays에서는 무안경 3D 디스플레이의 한 종류로서 라이트필드(Light-field) 디스플레이에 대한 기술개념과 함께 다음과 같은 항목의 특성분석과 측정방법을 서술하고 있다.

• Angular resolution

• Valid viewing area

• 3D geometry distortion

• Light-field autostereoscopic image resolution

라이트필드 디스플레이는 안경식 3D 디스플레이와는 달리 렌즈어레이(Lens-array)로부터 굴절되는 모든 빛(광선) 필드의 합성에 의해 공간상에서 입체영상을 재현함으로써 초점-비초점 효과(Monocular parallax)를 통한 수렴초점불일치 문제를 해소하고, 또한 운동시차(Motion parallax)을 제공하는 등 홀로그래피와 유사한 3D영상을 제공한다. IDMS 1.03 규격은 홀로그래픽 디스플레이 측정을 고려하고 있지만, 현재까지는 IDMS에서 홀로그래픽 디스플레이에 대한 구체적인 측정 방법을 포함하고 있지는 않다. 그러나 앞서 언급된 라이트필드의 측정 항목은 홀로그래픽 디스플레이에도 동일하게 적용될 수 있으므로 충분히 참고할만한 기술적 가치가 있으며, 조만간 IDMS 규격에서 3D 디스플레이의 한 종류로서 홀로그래픽 디스플레이에 대한 측정 평가를 다룰 것으로 예상된다.

다. JPEG Pleno

전통적으로 2D 이미지에 대한 압축 표준을 제정하던 ISO/IEC JTC1/SC29/WG1 JPEG(Joint Photographic Experts Group)에서는 2015년부터 JPEG Pleno라는 이름으로 새로운 3D 이미지 대한 표준을 시작하였다. 이를 위해 포인트 클라우드(Point-cloud), 라이트필드, 홀로그래피 등을 포함하는 광범위한 3D 이미징 표준 프레임워크를 만들고자 한다[(그림 5) 참조], [9].

(그림 5)

JPEG Pleno에서 바라보는 3D 이미지 범위

[출처] JPEG Roadmap, https://jpeg.org/jpegpleno[9]

현재는 가장 상용화가 빠른 라이트필드 분야에서 CfP(Call for Proposals)에 대한 제안서들을 검토하여, 새로운 라이트필드 이미지 표준을 준비 중이고, 포인트 클라우드와 홀로그래피 분야는 AHG에서 표준을 위한 준비 작업을 진행 중이다. 이를 위해 홀로그래피 관련 타 표준 기구와의 교류를 통해 디지털 홀로그램 표준을 위한 요구사항들을 수정 보완해가고 있고, 최근에는 홀로그램 압축 및 처리 기술 비교를 위한 객관적/주관적 화질 평가 방법에 대한 논의가 활발히 진행되고 있다. 또한, 디지털 홀로그램 데이터 포맷 및 압축 기술 검증 등을 위해 CGH와 수치적 복원 기술에 대한 참조 소프트웨어 필요성이 제기되어 이를 위한 준비 작업도 진행 중이다. 이외에도, 표준기술 검증실험을 위한 다양한 디지털 홀로그램 데이터도 지속적으로 모집하고 있다. 향후에는 ISO/IEC JTC1/SC29/WG11 MPEG에서도 디지털 홀로그램 영상 서비스를 위한 홀로그램 영상 표준 제정이 필요할 것으로 예상된다.