AI 기반 디지털홀로그래피 기술 동향

1. 레이저 광원과 스페클 화질 한계

홀로그래픽 디스플레이 시스템은 빛의 간섭과 회절 현상을 정밀하게 제어하기 위해 가간섭성이 매우 높은 레이저 광원을 사용한다. 그러나 레이저 광이 물체 표면이나 디스플레이 패널의 불완전한 표면에서 산란될 때, 관찰 평면에서 무작위적인 위상 중첩이 발생하여 스펙클 노이즈(Speckle Noise)라고 하는 영상 잡음을 형성한다. 이러한 스펙클 잡음은 영상의 선명도를 저하시키고 미세한 세부 표현을 방해함으로써, 디지털 홀로그래피가 제공해야 할 고실감 화질 구현에 가장 큰 걸림돌이 되고 있다.

2. 공간광변조기의 성능과 에텐듀 한계

수 나노미터 단위의 미세 입자로 구성된 아날로그 홀로그램 기록 매질과 달리, 디지털 홀로그래피는 수 마이크로미터 크기의 픽셀들로 구성된 공간 광변조기를 재현 소자로 사용한다. 이 과정에서 시스템은 에텐듀 제약, 즉 사용자가 영상을 관찰할 수 있는 영역인 아이박스(Eyebox)의 크기와 시야각(Field of View)의 곱이 고정되는 물리적 한계에 부딪힌다. 아이박스 크기와 시야각은 서로 반비례 관계에 있기 때문에, 현실적인 수준의 시야각을 확보하기 위해서는 픽셀 크기를 빛의 파장 수준으로 축소해야 한다. 하지만 픽셀 크기가 작아질수록 제어해야 할 픽셀 수가 기하급수적으로 증가하며, 이는 시스템 전체의 데이터 처리 부하를 가중시키는 상충 관계를 유발한다.

3. 방대한 연산량과 고성능 연산 자원 요구

디지털 홀로그램 데이터는 실수부와 허수부를 포함하는 복소수 형태로 구성되어 데이터 자체의 용량이 크며, 현실적인 공간대역폭 또는 에텐듀를 달성하기 위해 필요한 픽셀의 개수를 고려했을 때 높은 전송 대역폭과 대규모 저장 공간이 필요하게 된다. 또한, 이러한 고집적 픽셀로 이루어진 홀로그램을 계산하기 위해서는 기본적으로 연산 복잡도가 높은 FFT(Fast Fourier Transform) 연산이 필요하여 고성능의 연산 자원이 요구되는 문제가 발생한다.

디지털 홀로그램 데이터는 진폭과 위상 정보를 모두 포함하는 복소수 형태로 구성되어 있어, 일반적인 2D 영상 데이터에 비해 기본 용량이 크다. 특히 유의미한 에텐듀를 달성하기 위해 필요한 초고 해상도 픽셀 데이터를 처리하기 위해서는 높은 전송 대역폭과 대규모 저장 공간이 뒷받침되어야 한다. 또한, 이러한 고집적 픽셀 기반의 홀로그램 간섭 패턴을 생성하기 위해서는 연산 복잡도가 매우 높은 FFT 연산을 반복적으로 수행해야 한다. 이러한 방대한 연산량은 고성능 컴퓨팅 자원을 강제하며, 엣지 디바이스에서의 실시간 구현을 어렵게 만드는 주요 요인이다.

4. AI 도입 이전의 기술적 대응

인공지능 기술이 디지털 홀로그래픽 디스플레이에 본격적으로 적용되기 전, 연구자들은 하드웨어의 물리적 성능을 극한으로 끌어올리거나 막대한 연산 및 시스템 자원을 투입함으로써 디지털 홀로그래피의 기술적 한계를 돌파하고자 시도하였다.

• 초고해상도 공간광변조기 개발: 더 작은 픽셀 크기와 더 많은 픽셀 수를 확보하기 위한 노력이 이어졌다. 대표적으로 삼성디스플레이의 5인치 10K(2,250ppi)급 초고해상도 패널과 한국 전자통신연구원의 1μm급 픽셀 피치를 구현한 SLMoG(SLM on Glass) 등 고집적 픽셀 설계 기술을 적용한 공간광변조기 개발이 추진되었다[1,2].

• 다중화 기법 적용: 단일 SLM의 에텐듀 한계를 극복하기 위해 다수의 SLM을 배치하는 공간 및 각도 다중화, 그리고 단일 SLM의 기계적 움직임을 활용한 시간 다중화 기술이 도입되었다. 이를 통해 SLM의 제한된 대역폭 내에서도 재현 홀로그램의 화면 크기와 시야각을 효과적으로 확장하려는 시도가 진행되었다[3,4].

• 병렬 연산 시스템: 홀로그램 콘텐츠 생성 시 발생하는 방대한 연산량을 처리하기 위해 고성능 컴퓨팅 자원이 투입되었다. 다수의 GPU를 클러스터로 구성하거나, 홀로그램 생성 전용 가속기인 FPGA를 병렬로 배치한 HORN 시스템과 같은 전용 하드웨어 아키텍처를 구현하여 대용량 홀로그램 생성의 실시간성 확보에 주력하였다[5,6].

이러한 하드웨어 중심의 우회적 해결 방안들을 통합하여, 수평 360도 전 방향에서 관찰 가능한 테이블탑형 홀로그래픽 디스플레이(ETRI)[7]와 시선 추적 기술을 결합한 슬림 패널 홀로그래픽 디스플레이(SAIT)[8] 등의 고무적인 성과가 공개되었다. 이러한 하드웨어 중심의 노력은 홀로그래픽 디스플레이의 가능성을 증명했으나, 제작 비용과 시스템 복잡도 측면에서 기술적 임계점에 봉착하게 되었다.

1. 디지털 홀로그래피 패러다임의 전환

최근 디지털 홀로그래피는 AI 기술과의 융합을 통해 거대한 기술적 패러다임의 전환을 맞이하고 있다. 과거에는 주로 공간대역폭의 한계를 극복하기 위해 픽셀 수를 늘리거나 복잡한 다중화 기법을 사용하는 하드웨어 중심의 접근이었다면, 현재는 상용 디스플레이 패널의 물리적 제약을 AI 기술로 극복하여 화질과 성능을 극대화하는 데이터 중심의 전략으로 변화하고 있다.

이러한 변화의 서막은 2018년에 발표된 초기 원천 연구들에 의해 시작되었다. 오사카 대학의 Horisaki 연구팀은 Convolutional Residual Network를 활용하여 CGH 연산을 가속화하는 연구를 세계 최초로 제안하며 AI 홀로그래피의 가능성을 열었다[9]. 국내에서도 2019년 광운대학교 연구팀이 GAN을 활용하여 고속으로 간섭 패턴을 생성하는 방법을 제시[10]하며, CGH 분야에 딥러닝을 적용하는 연구가 본격화되었다.

이러한 학술적 토대 위에, 차세대 AR/VR 기기에서의 홀로그래픽 디스플레이 적용 요구가 강력한 동력으로 작용하며 관련 연구가 급격히 팽창하기 시작했다. 특히 안경 형태의 폼팩터를 유지하면서도 시각적 편안함과 고화질을 동시에 달성해야 하는 기술적 난제를 해결하기 위해, MS, NVIDIA, Meta 등 빅테크들이 AI와 홀로그래피 기술을 유기적으로 결합하는 연구 결과를 지속적으로 공개하며 기술 발전을 견인하고 있다.

2. AI 기반 디지털 홀로그래피 기술 분류

인공지능 기술이 디지털 홀로그래피 분야에 본격적으로 도입되면서 단순한 연산 가속을 넘어 화질 개선, 사용자 경험 최적화, 그리고 콘텐츠 획득 생태계 구축으로까지 연구가 광범위하게 확장되고 있다. 현재 진행 중인 주요 연구들은 기술적 지향점과 적용 분야에 따라 크게 다음의 다섯 가지 분야로 분류할 수 있다. 분야의 주요 연구 내용과 최근 관련 연구들에 대한 참고문헌을 표 1에 정리하였다.

• AI의 초기 도입: AI 기술이 홀로그래피에 처음 적용된 단계로, 가장 큰 병목 지점이었던 연산 속도 문제를 해결하는 데 집중하였다. 방대한 물리 기반의 CGH 계산을 신경망 네트워크로 대체하여 연산 가속을 실현하였다.

• 실시간 및 고화질 구현: 실제 사물과 구별하기 어려운 실사 수준의 화질을 실시간으로 재현하는 것을 목표로 한다. 이는 3D 장면의 깊이 정보를 충실하게 유지하면서도 지연 시간 없이 고화질의 홀로그램 영상을 생성해내는 기술을 포함한다.

• 사용자 경험 개선: 사용자가 장시간 3D 영상기기를 착용하거나 시청할 때 느끼는 불편함을 제거하는 데 목적이 있다. AI 적용 디지털 홀로그래피 기술로 수렴 조절 불일치 문제를 해결하고, 제한된 하드웨어 대역폭 내에서도 시야각을 효과적으로 확장하는 등의 AI 기반 최적화 기술들이 연구되고 있다.

• HW-SW 공동 설계 알고리즘: AI 기반 SW 단독 최적화의 한계를 극복하기 위해 HW 구조와 AI 알고리즘을 동시에 설계하는 연구이다. 이를 통해 광학계의 복잡성을 낮추고 시스템 전체의 효율을 높여 광학 시스템 성능의 획기적인 개선을 목표로 한다.

• AI 홀로그래픽 미디어 생태계: 홀로그램 재생 기술의 발전에 발맞추어 실제 장면을 직접 획득하여 홀로그래픽 미디어로 제작하기 위한 원천 기술이다. AI 기반의 홀로그램 획득 기술을 활용하여 실제 장면을 홀로그램으로 획득하고, 이를 AI 기술을 통해 화질을 개선하여 미디어로 활용 가능하게 하는 전체 미디어 생태계 구현을 목표로 한다.

3. AI 기반 디지털 홀로그래피 주요 연구

본 절에서는 앞서 분류한 AI 기반 디지털 홀로그래피의 다섯 가지 핵심 기술 분야를 바탕으로, AI가 디지털 홀로그래피의 난제들을 어떠한 방법론으로 극복하고 있는지 주요 연구기관들의 최신 연구 동향을 분석한다.

3.1 AI 도입 초기

인공지능을 활용해 디지털 홀로그래피의 물리적 불완전성을 데이터 기반으로 극복하려 했던 선구적인 시도는 미국 스탠퍼드 대학교(Stanford University) 연구팀에 의해 구체화되었다. 2020년 발표된 Neural Holography with Camera-in-the-Loop Training[11] 연구는 기존의 각스펙트럼방법(Angular Spectrum Method)과 같은 선형 전파 모델이 실제 광학계의 수차, 정렬 오차, 그리고 SLM의 비선형적 특성을 완벽히 반영하지 못한다는 점에 주목하였다. 이를 해결하기 위해 연구팀은 실제 광학계에서 재현된 영상을 카메라로 직접 촬영하여 이를 다시 학습의 피드백 정보로 활용하는 Camera-in-the-Loop 최적화 방식을 제안하였다. HoloNet이라 불리는 신경망 아키텍처를 통해 물리 모델 내에 내포된 오차를 스스로 학습하고 보정하는 학습된 파동 전파 모델을 구축하였으며, 결과적으로 기존의 물리 기반 방식으로는 도달할 수 없었던 선명도를 가진 홀로그램 재현에 성공하였다(그림 1).

그림 1

HoloNet 구조(위)와 홀로그램 광학복원 결과(아래) 출처 Reprinted with permission from Y. Peng et al., “Neural holography with camera-in-the-loop training,” ACM Trans. Graph., vol. 39, no. 6, 2020, pp. 1-14.

3.2 실시간 및 고화질 홀로그램 구현

방대한 데이터 처리가 요구되는 CGH 생성 시연산 효율과 화질의 상충 관계를 해결하는 것이 중요하다. 매사추세츠 공과대학교(MIT) 연구팀은 2021년, 복잡한 파동 회절 연산을 텐서(Tensor) 기반의 경량화된 신경망 구조로 근사화한 Tensor Holography 기술을 발표하였다[12]. 이 연구는 대규모 고화질 RGB-D 데이터셋을 활용해 학습된 모델을 통해, 일반적인 컴퓨터뿐만 아니라 스마트폰과 같은 모바일 기기에서도 수십 밀리초 이내에 위상 홀로그램을 생성할 수 있는 실시간성을 증명하였다. 다양한 AI 기반 실시간 및 고화질 홀로그램 연구들에 이어 2024년에 스탠퍼드 대학교 연구팀에서 최신 뉴럴 렌더링(Neural Rendering) 기술인 가우시안 스플레팅을 홀로그래피에 접목한 Gaussian Wave Splatting 연구를 공개하였다[17]. 이 기술은 장면을 수많은 2D 가우시안 원소들을 이용하여 파동 전파 이론으로 CGH를 계산하는 방법을 제안하여, 복잡한 가림(Occlusion) 구조와 관찰 시점에 따른 변화를 정밀하게 표현하면서도 고해상도 홀로그램을 실시간으로 생성할 수 있는 통합 프레임워크를 제시하였다(그림 2).

그림 2

Gaussian Wave Splatting 연구 결과 출처 Reprinted from S. Choi et al., “Gaussian Wave Splatting for Computer-Generated Holography,” arXiv preprint, 2025. doi: 10.48550/arXiv.2505.06582

3.3 홀로그래피 사용자 경험 개선

인간의 시각 인지 특성을 반영하여 Visual Fatigue를 줄이고 사용 편의를 높이려는 지각 중심의 연구들은 프린스턴 대학교(Princeton University)와 서울대학교를 통해 고도화되었다. 프린스턴 대학교 연구팀은 2024년, 하드웨어적 에텐듀 제약을 AI 기술로 돌파한 Neural Étendue Expander 기술을 발표하였다[18]. 이 기술은 광학 경로에 산란 소자를 배치하여 물리적으로 빛의 회절 각도를 확장하는 방식을 취하며, 산란 과정에서 발생하는 복잡한 화질 저하 문제를 AI 신경망을 통해 역으로 계산하여 위상 홀로그램을 최적화함으로써 기존 에텐듀를 64배 확장하는 결과를 얻었다(그림 3).

그림 3

Neural Étendue Expander 연구 결과 출처 Reprinted from E. Tseng et al., “Neural etendue expander for ultra-wide-angle high-fidelity holographic display,” Nat. Commun. vol. 15, no. 2907, 2024.

2022년 서울대학교 연구팀은 안구의 자연스러운 초점조절 반응을 정교하게 유도하는 Accommodative Holography[19] 기술을 제안하였다. 이 연구는 홀로그래픽 시차 정보를 미세하게 제어하여 인간의 시각 체계가 요구하는 초점조절 깊이 단서를 완벽하게 재현하였으며, 통계적 사용자 평가를 통해 기존 방식의 고질적 한계인 VAC 문제를 효과적으로 완화하고 지각적 현실감을 비약적으로 높였음을 입증하였다.

3.4 HW-SW AI 공동 설계 및 구현

스탠퍼드 대학교 연구팀이 2024년 발표한 연구는 역설계된 풀컬러 메타표면 격자와 AI 기반 홀로그램 생성 알고리즘을 유기적으로 결합하여 기존 AR 글래스에 사용되는 도파관 방식에서 필수적이었던 부피가 큰 광학계를 제거, 획기적인 소형화를 달성하였다. 연구팀은 파동 전파 물리 모델에 카메라 피드백을 통해 자동 교정되는 알고리즘을 통합하여 하드웨어의 물리적 오차를 소프트웨어적으로 보정하였다. 이러한 HW-SW 공동 설계 접근법은 도파관 내 전파 과정에서 발생하는 수차와 색분산 문제를 효과적으로 해결하여 실사 수준의 풀컬러 홀로그램 영상을 재현하는 성과를 거두었다.

스탠퍼드 대학교와 메타(Meta Reality Labs) 연구팀은 2025년, 조향 가능한 광원과 AI 알고리즘을 결합한 Synthetic Aperture Waveguide Holography 기술을 통해 에텐듀를 효과적으로 확대하는 연구 결과를 보고하였다[25]. 연구팀은 MEMS 거울을 이용해 입사광의 각도를 실시간으로 제어하고, 이를 부피격자 기반의 도파관과 연동하여 원치 않는 회절 노이즈와 고스트 이미지를 억제하였다. 특히 광학계 내에서의 복잡한 파동 전파 과정을 내재적 신경망 표현(Implicit Neural Representations)으로 모델링하여 물리적 SLM의 에텐듀 한계를 두 배 이상 상회하는 크기의 합성 개구(Synthetic Aperture)를 형성하는 데 성공하였다. 이는 관찰자의 동공 위치나 크기 변화에 관계없이 고해상도 홀로그램 영상을 안정적으로 제공할 수 있는 HW-SW 공동 설계 방법론을 제시한 것으로 평가된다(그림 4).

그림 4

Synthetic Aperture Waveguide Holography 구조(위)와 아이박스 확대 결과(아래) 출처 Reprinted from S. Choi et al., “Synthetic aperture waveguide holography for compact mixed-reality displays with large étendue,” Nat. Photonics, vol. 19, 2025, pp. 854-863.

3.5 AI 홀로그래픽 미디어 생태계

경희대학교와 삼성종합기술원 연구팀은 2023년, 레이저 없이 자연광이나 일반 조명하에서도 실제 사물의 홀로그램 정보를 추출할 수 있는 Deep Learning-based Incoherent Holographic Camera(Deep-IHC) 기술을 발표하였다[27]. 기존의 비간섭성 디지털 홀로그래피 시스템은 광학계의 수차와 노이즈로 인해 재구성 영상의 품질이 저하되는 물리적 한계가 존재했다. 이를 해결하기 위해 연구팀은 복합적인 간섭 패턴으로부터 고품질의 위상 및 진폭 데이터를 복원해내는 네트워크를 제안하여 단일 촬영만으로도 고화질 홀로그램을 획득하는 데 성공하였다. 특히 21fps로 홀로그램을 획득하고 재생 장치로 전송하는 실시간 스트리밍 시스템을 구현함으로써 획득에서 재생으로 이어지는 차세대 홀로그래픽 미디어 생태계 구축의 초석을 마련하였다(그림 5).

그림 5

AI 기술 적용 획득 홀로그램의 실시간 스트리밍 시스템을 구현한 DeepIHC 연구 결과 출처 Reprinted from H. Yu et al., “Deep learning-based incoherent holographic camera enabling acquisition of real-world holograms for holographic streaming system,” Nat. Commun., vol. 14, no. 3534, 2023.

베이항 대학교(Beihang University) 연구팀은 2024년, 대구경 액체 렌즈와 물리 모델 기반의 신경망을 결합하여 실제 3D 장면을 홀로그램으로 변환하는 카메라 기술을 선보였다. 연구팀은 액체 렌즈를 적용하여 기계적 움직임 없이 전압 조절만으로 3D 공간의 깊이 정보를 100ms 이내에 정밀하게 획득하는 시스템을 구축하였다. 획득된 데이터는 물리 모델이 내장된 네트워크를 통해 처리되어 실시간으로 홀로그램을 생성함으로써 색상 정보뿐만 아니라 깊이를 정보까지 재현하는 결과를 보였다[28].

1. 자연광 환경 고화질 획득을 위한 AI 기반 홀로그래픽 비디오 카메라

전통적인 홀로그래피가 가간섭성 레이저 광원과 실험실 환경을 전제로 하는 것과 달리, ETRI는 일상적인 야외 및 자연광 조건에서도 홀로그램 콘텐츠를 직접 획득할 수 있는 디지털 홀로그래픽 비디오 카메라 시스템을 개발하고 있다. 본 시스템은 기하학적 위상 기반의 자가간섭 홀로그래피 원리를 채택하여 외부 진동에 강인하면서도 컴펙트한 폼팩터를 가지는 인라인(Inline) 구조를 구현하였다. 또한, 자연광 조건에서 발생하는 배경 노이즈와 산란 문제를 해결하기 위해 AI 기반의 비디오 초해상도(VSR: Video Super-Resolution) 기술을 홀로그램 직접 획득 파이프라인에 통합하였다(그림 6). 이러한 홀로그램 직접획득 분야에서의 AI 기반 소프트웨어 고도화는 하드웨어의 광학적 한계로 인한 낮은 화질 문제를 극복하고 높은 수평해상도를 가지는 선명한 디지털 홀로그래픽 비디오 생성을 가능하게 함으로써, 홀로그래픽 미디어 생태계 구현을 위한 실사 홀로그램 콘텐츠 확보에 크게 기여할 수 있을 것으로 기대한다[29].

그림 6

ETRI 개발 AI 기반 홀로그래픽 비디오 카메라 원리(위)와 구현 결과(아래) 출처 Reprinted from K. Choi et al., “Full-color natural light holographic video camera,” in Proc. ACM SIGGRAPH Emerg. Technol., (Vancouver, Canada), Aug. 2025, pp. 1–2.

2. 데이터 병목 해소를 위한 FPGA 기반 실시간 홀로그래픽 미디어 프로세서

ETRI는 엣지 디바이스에서의 실시간 홀로그램 생성을 위해 고대역폭 메모리(HBM: High Bandwidth Memory)를 FPGA(Field-Programmable Gate Array) 가속기에 통합한 실시간 홀로그래픽 미디어 프로세서 아키텍처를 구현하였다. 본 프로세서는 다층 레이어 기반의 CGH 연산을 4K 해상도, 30fps의 실시간으로 처리할 수 있는 성능을 보고했다[30]. 이는 실제 서비스 환경에서 구동을 가정한 CGH 생성 하드웨어 솔루션을 확보했다는 점에서 중요한 의미를 지닌다. 나아가 ETRI는 이러한 하드웨어 가속 성능을 기반으로, 인공지능 신경망을 하드웨어 내에 직접 구현하여 화질을 개선하는 AI 홀로그래피 기술 적용 연구로 그 영역을 확장하고 있다(그림 7). 이는 딥러닝 기반의 영상 복원 및 화질 고도화를 위한 AI 네트워크를 하드웨어화함으로써 연산 효율과 화질 개선을 동시에 확보하는 것을 목표로 한다.

그림 7

ETRI 개발 FPGA 기반 실시간 홀로그래픽 미디어 프로세서 원리(위)와 AI 적용 계획(아래)

ETRI의 이러한 성과들은 단순한 디지털 홀로그래피의 요소 기술 개발을 넘어, 홀로그래픽 미디어의 ‘획득’과 ‘처리’라는 두 축의 핵심 원천 기술을 성공적으로 내재화했다는 데 큰 의의가 있다. 인공지능 기반의 카메라 기술과 고성능 HBM 기반 프로세서의 결합은 고품질 콘텐츠의 생성과 실시간 재생을 유기적으로 연결하는 기술적 기반이 되어 홀로그램 콘텐츠의 획득부터 재생에 이르는 전체 홀로그래픽 미디어 생태계를 아우르는 실용화 단계로 진입하기 위한 초석이 될 것으로 기대된다. 이러한 기술적 우수성은 세계 최고 권위의 컴퓨터 그래픽스 컨퍼런스인 SIGGRAPH 2025의 ‘Emerging Technologies’에서의 기술전시를 통해 입증하였다. ETRI 연구팀은 현장에서 홀로그래픽 카메라와 홀로그래픽 미디어 프로세서를 직접 시연하여 관련 전문가와 관람객들로부터 뜨거운 호응을 끌어냈다(그림 8).

그림 8

SIGGRAPH 2025 Emerging Technologies에서의 ETRI 기술 전시