공간표시 디스플레이 연구 및 개발 동향

가. 기술 개요 및 소개

광파 기술은 3차원 공간상에서 피사체로부터 반사되는 빛의 세기와 방향을 획득하고, 눈의 위치에 따라 조금씩 다르게 보이도록 디스플레이로 재현함으로써 완성도 높은 완전 입체의 실감 영상 시청을 가능하게 하는 기술이다[4]. 양안 시차를 이용한 고전적인 3차원 디스플레이 기술과 궁극의 기술인 홀로그램 기술과의 중간 형태로 VAC에 의한 시청 피로 현상을 제거하고 물체로부터 발산되는 광선의 분포를 그대로 재현할 수 있는 장점을 가지고 있다. 이 기술을 이용한 영상 서비스를 위해서는 LF 영상 획득 기술과 LF 영상 재현 단말 기술의 개발이 필요하다.

LF 영상 획득 방법은 수평 및 수직 어레이로 구성된 다중 카메라를 통해 획득하는 방법과 마이크로렌즈 어레이(Microlens Array) 기반의 카메라로 획득하는 방법이 있다[5,6]. 그림 1은 마이크로렌즈 어레이를 이용한 LF 카메라의 구조를 보여주고 있다. 다중 카메라 기반의 방법은 시야각이 넓고 획득 가능한 깊이 범위가 깊으며, 시점당 영상의 해상도가 CCD의 해상도와 동일하다. 하지만 카메라가 많이 필요하고 설치가 어려운 단점이 있다. 마이크로렌즈 어레이 기반의 카메라는 단일 CCD(Charge Coupled Device) 센서로 정보 획득이 가능한 장점이 있지만, 다중 카메라에 비교하여 얻을 수 있는 정보가 제한되게 된다.

그림 1

Microlens Array LF 카메라 구조

출처 Reprinted with permission from [6] ⓒ The Optical Society

LF 기술은 다시점의 영상을 표현하게 되는데, 고전적인 양안 시차 방식의 단점인 시청 피로 현상이 나타나지 않게 하려면 동공 내에 여러 개의 시점 영상이 투영될 수 있도록 고밀도의 시점 영상을 제공해야 한다. LF 카메라로부터 이러한 고밀도 시점 영상을 직접 획득하는 것은 매우 어렵기 때문에, 저밀도로 획득한 LF 영상으로부터 합성을 통해 고밀도의 LF 영상을 생성하는 합성기술이 필수적이다.

LF 카메라에 의해 획득된 영상이나 컴퓨터 연산에 의해 생성된 LF 영상을 재현하기 위해서는 LF 재현을 위한 디스플레이 기기의 개발이 필요하다. 현재 연구되고 있는 LF 디스플레이는 프로젝트 어레이, 렌즈 어레이가 결합된 디스플레이 패널, 디스플레이 패널 적층 방식 등이 있다[7].

나. 개발 동향

국내에서 LF 기술에 대한 연구는 주로 학계와 연구기관에서 주도하여왔다. LF 영상획득 기술, 고밀도 시점을 위한 합성 기술, 여러 광학 시스템과 영상 신호 처리 기술 등이 연구되었고, 최근에는 가장 큰 시장인 모바일 기기에 적용하기 위한 연구가 중심이 되고 있다. 모바일 기기에 적용하기 위해서는 초고해상도 디스플레이 패널의 개발이 가장 중요하다. 최근 범부처 기가 코리아 사업을 통해 삼성디스플레이에서 유리기판 기반 2,250ppi, 5.36인치 크기의 초고해상도 디스플레이 패널 개발 결과를 발표하였다[8]. 또한, 30° 의 넓은 시야각, 1.15° 간격으로 생성되는 26개의 시점 영상을 통해 자연스러운 LF 입체 영상을 시연하였다[9].

국외의 경우 2005년 스탠포드 대학에서 LF 기반 디스플레이 관련 연구를 발표한 이후, 다양한 기술의 연구결과가 보고되어왔다[10]. 최근에는 AR/VR 시장의 확장이 기대되면서, 핵심 부품인 NED에서도 차세대 기술로써 LF 기반 NED 연구가 활발하게 진행되고 있다. LF 기반 NED는 영상의 초점 거리 및 심도 조절뿐만 아니라 시스템의 크기 및 구성을 간략하게 할 수 있다[11]. 그림 2는 액정 기반 렌즈 어레이를 사용하여 시간 분할 방식으로 LF 이미지와 2D 이미지를 교대로 표현함으로써 깊이 정보가 있으면서 높은 해상도의 하이브리드 이미지를 표현하는 기술을 보여주고 있다[12].

그림 2

시간 분할 방식을 이용한 고해상도 하이브리드 영상 제공 시스템과 이를 통해 재현한 LF, 하이브리드, 2D 가상 이미지

출처 Reprinted with permission from [12] ⓒ The Optical Society

가. 기술 개념 및 소개

홀로그래피 기술은 빛의 간섭과 회절을 이용하여 입체 영상을 재현하는 기술로 영상을 기록하는 방식에 따라 아날로그 방식과 디지털 방식으로 구분될 수 있다. 아날로그 방식은 물체에서 반사 혹은 발생된 빛의 정보를 기준파와 함께 간섭무늬 형태로 감광판에 기록하여 형성하는데, 그 방식이 마치 필름 사진의 인화 과정과 유사하다. 이를 통해 재현된 홀로그램 이미지는 매우 훌륭한 품질을 나타내지만 감광되어 기록된 정보를 바꿀 수 없기 때문에 디스플레이로의 적용은 어렵다. 이러한 단점을 극복할 수 있는 디지털 홀로그래피 기술은 미세 픽셀 수준에서 빛의 진폭이나 위상을 제어할 수 있는 SLM을 이용하여 입체 영상을 구현한다. 이 방식은 각 픽셀의 정보를 변경할 수 있어 정지 영상의 이미지 변경뿐만 아니라 홀로그램 동영상의 구현이 가능하여 추후 미디어 분야로의 많은 응용이 기대된다. 그러나 이러한 장점에도 불구하고 아날로그 방식에 비해 해상도가 낮으며 시야각이 좁다는 단점이 있다. SLM은 작은 픽셀들로 구성되는데, 그림 3에서 볼 수 있는 것처럼 이 픽셀들 간의 거리인 픽셀 피치가 감소하여야 높은 공간주파수를 표현할 수 있으며, 결과적으로 시야각이 증대된다. 이 때문에 피셀 크기와 픽셀 피치가 매우 작은 초고해상도 SLM을 구현하기 위한 여러 시도들이 이어지고 있다.

그림 3

픽셀 피치와 시야각의 관계

Holoeye(社)는 3.74μm의 픽셀 피치를 갖는 LCoS(Liquid Crystal on Silicon) 기반 SLM을 개발하여 상용화하였다[13]. 한국전자통신연구원(ETRI)에서는 산화물 트랜지스터 기반의 3μm 픽셀 피치 초고해상도 SLM을 개발하였으며[14], 최근에는 화소 구조의 최적화를 통해 1μm 픽셀 피치의 구현이 가능함을 보고하였다[15].

나. 액정 기반 초고해상도 SLM 기술

ETRI에서는 2003년부터 범부처 기가 코리아 사업을 통해 유리기판 기반의 대면적 초고해상도 SLM 기술 개발을 진행해오고 있다.

ETRI는 대면적화가 어려운 실리콘 기판 대신 대면적 디스플레이 적용이 가능한 유리기판상에 제조되는 SLM을 개발하고 있으며(SLMoG: SLM on Glass), 2019년 세계 최고 수준인 3μm 픽셀 피치를 갖는 SLMoG를 보고한 바 있다.

그림 4와 같이, 유리기판상에 BCE(Back Channel Etch) 구조의 TFT(Thin-Film Transistor)를 포함하는 스위칭 부를 형성하고, 이후 평탄화 공정을 거쳐 반사 금속을 형성한다. 이렇게 만들어진 백플레인에 액정 공정을 더함으로써 SLMoG가 완성된다. ETRI에서 개발한 2.16인치 크기의 디지털 홀로그래픽 패널은 세계 최소 픽셀 피치를 가질 뿐만 아니라 구동 면적의 크기 면에도 세계 최대 수준이다.

그림 4

SLMoG 단면 모식도(상) 및 제작된 3μm 픽셀 피치 SLMoG(하)

3μm 픽셀 피치의 구현을 위하여 초미세 소자 및 공정기술이 적용되었다. 그림 5와 같이, 1μm의 채널 길이를 갖는 초정세 TFT가 개발되어 스위칭 소자로 사용되었으며, 개발된 TFT는 0V 근처에서 스위칭이 이루어지는 우수한 점멸 특성을 보였다. 또한 500nm 수준의 미세 선폭과 개구 영역을 갖는 금속 배선과 컨텍 홀(Contact hole) 공정 기술이 개발되었다. 평탄층 두께도 양산에 사용되는 것보다 훨씬 낮은 600nm 수준으로 형성하여 종횡비를 낮게 함으로써 미세 컨텍 홀을 구현하였다.

그림 5

1μm 초정세 트랜지스터와 그 특성(상) 나노미터급 배선 및 컨텍 홀 공정 결과(하)

3μm 픽셀 피치 SLMoG의 시야각은 최대 약 10°에 이른다. 아직 2D 디스플레이와 비교하면 좁은 시야각이지만, 홀로그램 분야에서는 세계 최대 수준이다. 시야각이 확보된 상태에서는 그림 6과 같이 시역 내에서 좌우로 움직이며 홀로그램 이미지의 운동 시차를 느낄 수 있기 때문에 관측 방향에 따라 서로 다른 입체 영상을 관찰할 수 있다.

그림 6

홀로그램 이미지의 관측 방향에 따른 모습

최근 ETRI는 수직적층형 TFT(Vertically Stacked TFT)라는 새로운 픽셀 구조를 이용하여 1μm 픽셀 피치의 구현이 가능함을 보고하였다[15]. 픽셀 구조를 최적화하고 스위칭 부와 스토리지 부를 모두 배선 위에 적층시켜 필요 면적을 최소화함으로써 미세 피치화에 있어 큰 기술적 진전을 이루어냈으며, 이 기술을 바탕으로 1μm 픽셀 피치 SLMoG 패널의 개발이 진행되고 있다(그림 7 참조).

그림 7

3μm vs 1μm 픽셀피치 어레이 비교

다. 상전이 물질 기반 SLM 기술

액정은 기존 디스플레이 공정에서 오랫동안 사용되어 온 소재로 구동 신뢰성 및 안정성이 검증되어 있다. 그러나 액정 소재를 이용한 SLM은 픽셀 피치가 줄어듦에 따라 인접하는 픽셀 간의 크로스톡 현상이 증가하여 광변조 특성이 나빠지게 된다. 이를 회피하고자 액정을 대신하는 광변조 소자로 CNT, 메타표면, 상전이 물질 등이 연구되었다. 상전이 물질인 Ge_.2Sb₂Te₅(GST)는 광기록 매체, 상변화 메모리 등에 사용되었던 물질로 고해상도 패턴이 가능하고, 전기적 또는 광학적인 방법을 이용하여 픽셀의 상태 제어가 가능한 물질이다. 특히 상전이 물질의 두께를 얇게 하여 인접 픽셀 간의 크로스톡 현상이 없도록 소자를 만들 수 있다는 장점이 있다.

GST는 그림 8과 같이 온도에 따라 비결정상에서 결정상으로 상전이하면서 굴절률이 크게 바뀌는 특성을 가지는데, 굴절률 변화에 따른 레이저 빛의 위상 변화 특성을 이용하여 홀로그램을 재현한다[16].

그림 8

비결정상과 결정상의 굴절률 차

출처 Reprinted with permission from [16] ⓒ The Optical Society

GST는 온도에 따라 상전이를 하므로, SLM에 사용되기 위해서는 각 픽셀에 흐르는 전류를 일정하게 조절할 필요가 있다. 이를 위해서는 그림 9처럼 GST 위아래에 ITO(Indium Tin Oxide)와 같은 투명 전도막을 증착하고, TFT를 통과한 전류가 GST 저항에 무관한 ITO 층을 통하여 흐르게 해야한다.

그림 9

ITO/GST/ITO를 포함한 소자 구조

출처 Reprinted with permission from [16] ⓒ The Optical Society

GST SLM의 픽셀에 수 μs 시간 동안 수 mA 정도의 펄스 전류를 흘리면 GST는 결정상에서 비결정상으로 상전이를 하게 되어 그림 10(b)처럼 반사율이 바뀌어 색이 변하게 되고, 홀로그램을 기록한 후 레이저를 이용하여 그림 10(d)처럼 깊이감 있는 홀로그램의 재현이 가능하다.

그림 10

(a) 단면 SEM 사진 (b) 현미경 사진 (c) 광학 셋업 (d) 홀로그램 재현 이미지

출처 Reprinted with permission from [16] ⓒ The Optical Society

라. 시야각 개선 기술

시야각 30° 이상, 화면 크기 10인치 이상의 홀로그램을 재생하기 위해서는 해상도 150K×200K 이상, 픽셀 피치가 1μm 이하인 고성능 SLM이 요구된다. 고성능 SLM은 제작 및 구동에 어려움이 많으므로, 상용 SLM 또는 상용 디스플레이와 공간 또는 시간 다중화, 랜덤 핀홀, 산란체를 이용하여 시야각 및 화면 크기 등을 개선하는 방법 등이 연구되고 있다. 시간 다중화를 이용하여 시야각을 개선하기 위해서는 구동 속도가 빠른 상용 SLM인 DMD(Digital Mirror Device)를 이용한다[17]. DMD는 픽셀 피치가 커서 1° 미만의 매우 좁은 시야각 범위에서만 홀로그램 재현이 가능하지만, 30K 이상의 빠른 속도로 구동할 수 있으므로, 시간 다중화를 통하여 360° 전체에서 초당 30프레임 이상으로 홀로그램을 재생할 수 있다.

화면 크기가 큰 상용 디스플레이 패널에 랜덤 핀홀을 부착하여 시야각을 증가시키는 방법 또한 최근에 연구되고 있다[18]. 상용 디스플레이는 픽셀 피치가 크기 때문에 시야각이 작은데, 핀홀 크기가 1μm급인 랜덤 핀홀을 부착하여 효과적으로 시야각을 증가시키는 방법이다. 랜덤 핀홀은 주기성이 없으므로 그림 11처럼 홀로그램 재현에서 문제가 되는 주기적인 패턴에 의한 고차항이 발생하지 않아서 시야각을 늘릴 수 있다. 하지만 랜덤 핀홀에 의해 스펙클 형태의 노이즈가 부수적으로 나타나는 문제점이 있다.

그림 11

랜덤 핀홀 부착 전(좌)과 부착 후(우)의 홀로그램 재현 시뮬레이션

이 외에도 시야각 개선을 위해 곡면형 공간광변조기를 이용하는 방법[19], 곡면 반사 거울을 이용하는 방법[20] 등 다양한 방법들이 제안되고 있다.

공간광변조기의 해상도 개선 없이 시야각 개선 기술을 통해 입체 영상의 시야각을 개선하는 것은 근본적으로 디스플레이에서 표시하는 정보량에는 차이가 없기 때문에 영상 크기 감소 또는 배경 노이즈 증가 등 다른 특성들의 절충(trade-off)을 동반할 수밖에 없다는 제약도 있다.

가. 기술 개념

체적 디스플레이는 공간상에 화소가 되는 픽셀인 복셀을 형성하는 방법이 기술 아이디어의 핵심이며, 지금까지 다양한 방법들이 제시되어져 왔다. 일반적으로 스크린이 회전 또는 진동의 방식으로 영상 공간에서 움직이는 동적 스크린(Swept Volume) 방식과 스크린의 움직임이 없는 정적 스크린(Static Screen) 방식으로 크게 분류될 수 있다.

나. 동적 스크린 방식

동적 스크린(Swept Volume) 방식의 체적 디스플레이는 일반적으로 회전판 위에 제작된 반사 또는 발광 스크린을 이용하여 입체 영상을 구현한다. 스크린을 고속으로 회전시키면서 스크린이 바라보는 방향에 맞는 영상을 빠르게 투사(또는 발광)하여 입체 영상을 형성하며, 일정시간 내에 생성된 화면 또는 이미지를 잔상 효과를 이용하여 사용자에게 보여주는 방식이다. 그러나 잔상이 유지되는 시간 내에 영상을 구현하지 못하면 깜박거리는 현상이 발생하거나, 팬텀 이미지(Phantom Image)라고 하는, 뒤쪽 또는 내부의 상이 재생되는 영상에 함께 비쳐 보이는 현상이 나타날 수 있다. 이 디스플레이는 자기공명영상(MRI) 또는 CT(Computed Tomography)를 이용한 인체 영상 분야 등에 적합한 디스플레이이다. 그림 12는 Voxon Photonics사에서 발표한 체적 디스플레이인 VX1의 동작을 보여주고 있다.

그림 12

Voxon VX1 제품의 구동 영상

출처 Haggispizza https://commons.wikimedia.org/wiki/File:VX1_DICOM.jpg. CC BY-SA.

유사한 동적 방식이지만 영상이 프로젝션의 형태가 아닌 자체 발광형으로 구동되는 디바이스도 제안되었다. 소니는 2010년 LED로 만들어진 영상 디스플레이가 회전하는 체적 디스플레이인 Raymodeler를 발표하였다[21]. 24bit 컬러 구현이 가능하고 1° 간격으로 360°의 영상을 표시할 수 있었지만, 단면 해상도는 96×128로 높지 않았다. 해상도가 높아질 경우에는 영상의 재현 속도가 이슈가 될 것으로 보인다, 1° 간격으로 영상을 표현할 경우 1개의 입체 영상을 위해 360개의 2D 영상이 필요하므로 30volume/s의 구현이 가능하려면 2D 영상으로는 10,800frame/s의 매우 빠른 영상 재현 속도가 요구된다.

다. 정적 스크린 방식

정적 스크린(Static Screen) 방식은 영상을 표시하는 스크린이 되는 매질이 움직이지 않는 방식이다. 일반적으로 광학적 기능을 가지는 매질을 이용하는 방법이 많이 제시되었으며, 최근에는 특별한 매질을 이용하지 않는 자유공간(Free Space)에 영상을 표시하는 방법들이 새로운 관심을 끌고 있다. 특별한 매질이 없는 공기로 이루어진 자유공간상에 영상을 표시할 경우 영상 확장 측면에서 유리할 뿐만 아니라 사용자와 영상 사이에 장벽이 없어 인터랙션의 구현이 가능하다는 큰 장점이 있다.

1) 적외선 레이저의 상향전환

눈에 보이지 않는 적외선 파장의 2개의 레이저를 조사하여 두 레이저가 교차하는 지점에서 2단계의 상향전환(Upconversion)을 이용해 가시광의 빛을 만들어 복셀을 형성하는 기술이다. 구동 방식과 사용하는 매질에 따라 다양한 기술들이 제안되어져 왔다. 고체 매질을 사용하는 경우에는 Er 등의 희토류 금속이 첨가된 결정 또는 유리를 사용하는 방법들이 많이 연구되었다[22].

H. H. Refai는 90° 각도로 배치된 2개의 DMD를 이용하여 구성되는 상향전환 홀로그램 디스플레이를 제안하였다[23]. 2% Er이 첨가된 lithium yttrium fluoride(YLF)를 매질로 사용하였으며, 파장 1,532nm와 850nm의 레이저를 이용하여 532nm 파장의 초록색 영상을 구현하였다. 이 방법은 한 복셀씩 스캔하는 방법보다 훨씬 빠른 복셀 형성과 빠른 체적 영상 재현 속도의 구현이 가능한 점이 장점이다.

I. I. Kim 등은 고체가 아닌 rubidium 증기를 매질로 이용하여 2단계의 상향전환을 통해 입체 영상을 구현하였다. 그들의 장치는 고압으로 매질을 유지해야 했으므로 용기에 불투명한 부분이 많아 영상에서 가려지는 부분이 많았다[24]. Rochester 대학의 J. Howell 등은 세슘(Cs) 가스(70℃)를 매질로 이용하여 복셀을 형성하는 방법을 제안하였다. 기존의 연구와 비교하여 특징적인 점은 가려지는 부분이 없는 투명한 구형의 유리 용기와 세슘 가스를 매질로 사용하였다는 점이다. 그들은 이 체적 입체 영상 기기를 Illumyn이라 명명하였는데, Illumyn은 기체 매질과 유리 용기라는 점에서 대형화에 유리한 측면이 있을 것으로 고려된다[25].

상향전환 방식의 경우 RGB 컬러를 표시하기 위해서는 여러 종류의 레이저가 사용되어야 하고, 이에 따라 다소 복잡한 레이저 광학계가 필요한 것이 단점이다. 그리고 매질로 사용되는 희토류 금속의 에너지 레벨에 의해 RGB 컬러의 파장 재현에 제약을 받는다는 어려움도 있다.

적외선 레이저를 이용하는 다른 유사한 방식으로는 적외선 레이저와 매질의 비선형 광학 특성에 기인하는 2차 조화 생성(SHG: Second Harmonic Generation)을 이용하여 가시광의 복셀을 만들어 내는 방법도 제안되었다. B. Zhu 등은 Ba₂TiSi₂O₈(BTS) 글래스 세라믹 매질과 900nm, 1,080nm, 1,230nm의 적외선 레이저를 이용하여 450nm, 540nm, 615nm의 SHG을 생성하여 영상을 구현하였다[26]. 이 방식은 희토류 금속의 에너지 레벨 제한을 받지 않고 RGB 컬러를 높은 색순도로 구현해낼 수 있다는 장점이 있다.

상향전환을 이용하는 방법은 공기와의 굴절률 매칭, 컬러 구현을 위한 정교한 에너지 레벨의 설계 등 매질의 선택에 제약이 있으며 대형화가 용이하지 않다는 점이 상용화를 위해서 해결해야 하는 문제이다.

2) 뎁스큐브(DepthCube)

LightSpace Tech.사는 투명과 산란 상태를 스위칭 할 수 있는 액정 스크린을 적층하고 빠른 속도로 산란 상태의 액정 스크린에 영상을 투사할 수 있는 프로젝터로 구성된 공간 디스플레이 제품인 뎁스큐브를 출시하였다[27]. 그림 13은 뎁스큐브의 개념적인 구성을 보여주고 있다. 뎁스큐브는 3차원 입체 영상을 깊이 면에 따라 분리하고 분리된 영상을 깊이에 맞는 확산 스크린에 투사하여 입체 영상을 형성하는 방식으로 입체 영상을 표시한다. 액정 스크린은 빛을 산란할 수 있는 산란 상태와 투명한 상태를 스위칭할 수 있으며 영상 프로젝터는 산란 상태로 전이된 스크린에 그 깊이에 해당하는 영상을 투영한다. 스크린들은 빠르게 순차적으로 스위칭되고, 영상 프로젝터는 스크린과 정확히 동기하여 동기된 영상을 투영한다.

그림 13

LightSpace 사의 뎁스큐브 동작 원리

출처 Reprinted with permission courtesy of the LightSpace Technologies.

그들은 매우 빠른 영상 프로젝터와 잘 동기된 20층의 액정 스크린을 사용하여 60volume/s 이상의 영상을 표시할 수 있는 제품을 출시하였다. 뎁스큐브의 장점은 움직이는 부품을 필요로 하지 않아 안정성이 뛰어나다는 점이 장점이다. 하지만, 적층 액정 스크린의 수가 증가하면 투과율의 감소와 스크린당 영상 시간이 감소하여 휘도가 낮아지고 빠른 영상 변화가 어려워진다는 한계도 있다. 뿐만 아니라 적층 스크린의 수가 LC의 스위칭 속도의 한계에 의해 제한되는 문제도 있다. 이들은 영상부의 휘도와 속도의 한계를 극복하기 위하여 픽셀마다 미세 광학계를 가지는 마이크로 LED를 영상 투영 장치로 활용하는 제품을 개발 중에 있다.

3) 자유공간 매질 방식

영상이 표현되는 공간에 특별한 매질을 사용하지 않는 자유공간 매질 방식은 영상 확장 측면에서 유리하고, 사용자와 영상 사이에 장벽이 없어 인터랙션의 구현 가능성이 있어 최근 많은 관심을 받고 있다.

뉴욕대의 K. Perlin 등은 공기 중에 있는 먼지들을 산란 미디엄으로 이용하여 레이저로 입체 영상을 만드는 방법을 제안하였다[28]. 그들은 적외선 레이저와 가시광 레이저의 두 가지 레이저를 사용하였는데, 적외선 레이저로 공간을 스캔하면서 먼지를 만나 산란을 일으킬 경우 가시광 레이저를 그 먼지에 조사하여 영상을 형성하는 방법을 적용하였다. 이들이 제안한 영상 구현 방법은 “holodust”라 불린다.

H. Kimura 등은 적외선 펄스 레이저를 포커싱해서 플라즈마를 발생시키는 방법으로 복셀을 형성시켜 입체 영상을 만들었다[29]. 이 기술은 자유 공간에 입체 영상을 만들 수 있다는 점에서 혁신적이었으나 100Hz의 낮은 펄스 반복 주파수의 레이저를 사용하여 복셀의 생성 속도가 느렸으며, 지나치게 높은 레이저 에너지로 인해 영상과의 직접적인 인터랙션이 어려웠다.

Y. Ochiai 등은 동일한 플라즈마 방사의 방법이지만 훨씬 빠른 속도를 가지는 펨토초 레이저를 이용하여 복셀을 형성하여 입체 영상을 구현하였다[30]. 이들은 매우 짧은 시간동안만 존재하는 펨토초 펄스 레이저를 이용함으로써 피부 손상의 큰 위험 없이 영상과의 인터랙션이 가능한 입체 영상을 데모하였다.

미국 브리검영 대학교 연구진은 광영동(Photophoretic) 트랩 기술을 이용하여 3D 이미지 구현에 성공하였다고 발표하였다[31,32]. 그들은 레이저를 이용하여 공간상에 미세 입자를 붙잡아 둘 수 있는 트랩을 형성하고, 이 입자를 빠르게 움직여 형성되는 볼륨을 이용하여 이미지 포인트를 생성하였다. 이 입자에 가시광의 빛을 조사하여 반사되는 빛을 이용하여 입체 영상을 구현하였다. 이 기술은 아직 영상의 생성 속도가 느리다는 큰 단점이 있는데, 미래에는 여러 개의 입자를 동시에 이용하여 속도를 개선하여 영상의 크기가 확대된 컬러 영상의 재현이 가능할 것으로 발표하였다(그림 14 참조).

그림 14

미세 입자의 움직임을 통해 생성된 3D 포토포레틱 트랩 이미지

출처 Reprinted with permission from [32] ⓒ The Optical Society

유사한 방법으로 초음파를 이용하여 입자를 제어하는 방법도 제안되었다. 영국 서식스 대학(University of Sussex) 연구진은 초음파 스피커를 이용하여 시각, 정착, 그리고 촉각까지 전달할 수 있는 초음파(Acoustic) 트랩 디스플레이를 개발하였다고 보고하였다[33]. 이 디스플레이는 초음파 스피커들과 LED 조명을 사용하여 2mm의 작은 구슬들을 공중에 띄운 후 빠르게 이동시켜 3D 이미지를 재현하였다.

트랩형 디스플레이는 영상이 표현되어야 하는 공간 전체를 입자가 물리적으로 움직여야 하므로 아직 영상의 재현 속도가 느리고 대면적화를 위한 기술 장벽이 높은 것으로 보인다.

AR/VR/MR 등이 새로운 미디어로 등장하면서 HMD(Head-Mount Display) 형태의 근안 디스플레이(NED)가 주목을 받고 있으며, 여러 업체에서 다양한 제품을 출시하고 있다. 근안 디스플레이의 경우에도 사용자에게 실제와 같은 영상 체험 제공을 위하여 입체 디스플레이를 구현하는 방향으로 연구가 진행되고 있으며, 일부 시제품이 개발되고 있다.

특히 근안 디스플레이에서는 장시간 착용에 따른 피로감 때문에 VAC 문제의 해결에 대한 요구가 높은데, 이 문제를 해결하기 위하여 여러 가지 방안들이 강구되고 있다.

우선 pin-light 광원에서 영상이 제공되는 것과 유사한 효과를 주도록 설계하여 항상 초점이 맞는 영상을 제공하여 문제를 해결하는 방법이 있다. 하지만 이 방법은 깊이감의 표현이 불가능하므로, 가변초점(Varifocal) 방식이나 다중초점(Multifocal) 방식을 이용하여 깊이 정보를 제공하는 방법도 사용되고 있다.

가변초점 방식에서는 사용자의 동공의 방향을 측정하여 양안이 수렴하는 위치를 알아내게 된다. 이렇게 알아낸 수렴 위치에 초점거리를 형성함으로써 VAC 문제를 해결하게 된다. 다만 이 경우에는 초점거리에 2D 영상을 형성하는 것이므로 초점의 변화에 따른 자연스러운 초점 흐려짐(초점이 맞지 않는 영역에 대한)은 제공되지 않으므로, 이러한 효과는 계산을 통하여 제공될 수밖에 없다. 이 방식은 VR 디스플레이에 주로 많이 사용되었으며, 최근에는 AR 디스플레이에도 사용되고 있다. 현재 상용으로 제공되는 예에는 Magic Leap의 제품이 있다[34].

초점거리가 가변되도록 초점 가변 렌즈나 초점 가변 광학계를 이용하기도 하는데, Nvidia에서는 실제로 광학 부품을 움직여서 초점을 맞추는 방법을 적용하였다. 이 방법의 경우 동공 추적의 정확도나 제공 초점의 정확도, 그리고 반응 시간 등에서는 아직 한계가 있는 것으로 보인다.

다중초점 방식에서는 가변초점 방식과는 달리 여러 개의 초점 영상을 제공함으로써 자연스러운 VAC 문제의 해결이 가능하다. 대표적인 방식으로 시간 다중화 방식으로 여러 개의 초점 영상을 제공하는 것이다. 즉, 영상 스크린의 초점 거리에 동기화된 영상을 빠른 속도로 번갈아 재생하는 방식이다. 이 방식은 여러 개의 스크린에 영상이 분배되기 때문에 화면이 어두워지는 단점이 있다. 이러한 스크린은 전기적으로 제어되는 스크린을 사용할 수도 있고, 기계적으로 진동하는 스크린이 사용되기도 한다. 그림 15는 LightSpace사의 다중초점 방식을 보여주고 있는데, DMD를 영상엔진으로 사용하여 40개의 스크린에 40Hz의 영상을 제공하여 체적 영상을 형성하였다[35].

그림 15

Lightspace사의 다중초점 방법

출처 R. Zabels et al., “AR Displays: Next-Generation Technologies to Solve the Vergence-Accomodation Conflict,” Appl. Sci., vol. 9, no. 15, 2019. pp. 1-17, CC BY 4.0.

가변초점이나 다중초점 방식 등에는 기술적인 한계가 있으며 궁극적으로는 근안 디스플레이에도 광파 디스플레이나 홀로그램과 같은 연속적으로 자연스러운 초점 제공이 가능한 입체 디스플레이를 도입하는 것이 요구된다.

가. 광파 디스플레이 기반 근안 디스플레이

광파 디스플레이에서는 광파를 제어함으로써 입체 영상을 재현하게 되는데, 가장 널리 쓰이는 방법은 고해상도 디스플레이 패널과 마이크로렌즈 어레이를 결합하여 빛의 방향을 제어하는 방법이다. 이때 렌즈어레이 중 각 렌즈 내에 충분한 픽셀의 개수가 확보되어야 좋은 화질의 광파 디스플레이가 재생될 수 있기 때문에 디스플레이의 고해상도를 구현하는 것이 기술적인 한계로 인식되고 있다.

2013 SIGGRAPH 학회에서 Nvidia사는 렌즈 어레이를 적용한 근안 광파 디스플레이 prototype을 발표하였는데, Sony의 ECX332A OLED 마이크로 디스플레이(규격: 15.36×8.64mm, 해상도: 1,280× 720, 2,100ppi, 24비트 컬러, 픽셀피치 12μm)를 적용하였으며, 마이크로렌즈 어레이가 디스플레이 앞에 장착되어 이를 통해 라이트 필드를 눈앞에 구현하였다. 30.6cm에서 무한대까지 연속적인 초점거리를 제공할 수 있고, 수평 방향 29.2° (수직 방향 16.0°)의 시야(FOV)를 확보할 수 있었다. 사용된 마이크로렌즈 어레이는 정사각형 방식으로 초점거리는 3mm, 폭은 1mm였다. 이 경우 제공되는 해상도는 146×78 정도로 낮아지게 된다[36].

최근 Creal3D사는 렌즈 어레이를 사용하지 않아 해상도의 저하가 없는 시분할 방식의 광파 디스플레이를 개발하고 있다. 이 방법은 시분할 방식으로 다중 pin-light 광원을 반사형 공간광변조기에 입사하는 방식이다. 이러한 방식은 공간광변조기의 구동 속도에 따라 제공할 수 있는 시점의 수가 제한되기는 하지만, 고해상도를 제공할 수 있다는 점에서 장점이 있다. 다만, 아직까지는 이 기술의 경우 실제 사용자가 쓸 수 있는 HMD 제품 형태로는 제작되지 못하고 고정형 시제품 형태로 시연되고 있다.

나. 홀로그램 기반 근안 디스플레이

홀로그램 디스플레이는 모든 깊이감(Depth Cue)을 제공할 수 있는 이상적인 3D 디스플레이지만, 시야각의 크기가 SLM의 픽셀 피치에 의존하여 아직 매우 좁으며, 실시간으로 홀로그램 데이터를 제공하기 위해서는 많은 계산량이 필요하여 기술적인 한계가 되고 있다. 그리고 결맞음 광원인 레이저의 자기간섭에 의한 스페클 노이즈(Speckle Noise)도 문제가 되어 이를 감소시키기 위한 방안도 요구된다.

마이크로소프트사에서는 2017년 홀로그램 방식을 적용한 NED를 발표하였다. 사용된 공간광변조기는 Holoeye사의 Pluto 제품으로 픽셀피치는 8μm이고, 해상도는 1,920×1,080이다. 컬러 재현을 위하여 3색 레이저가 사용되었으며, 시분할 방식으로 20Hz의 컬러 영상을 재현하였다. CGH(Computer Generated Hologram) 생성은 중복 위상 부호화(Double phase encoding) 방법을 적용하여 계산 속도와 정확도를 최적화하였다. 그 결과 실시간으로 홀로그램 영상 생성이 가능하였다. 생성된 홀로그램 영상은 넓은 시야를 제공할 수 있었다[37].

그리고 자세한 기술적인 내용은 알려져 있지 않지만, VividQ사는 Forth Dimension사(Kopin 자회사)와 협업을 통해 실제 홀로그램 디스플레이를 적용한 HMD 시제품을 공개하였으며, 실시간으로 홀로그램 데이터를 제공하는 기술을 보유하고 있는 것으로 알려졌다. Forth Dimension Displays는 2019년 2월 VividQ사와 협력하여 홀로그래픽 3D MR 헤드셋을 만들 예정이라고 발표하였다. Forth Dimension사는 FLC(Ferroelectric LC) LCoS(LC on Silicon) 기술을 보유하고 있으며, 2020년에 2,560×1,440 해상도 LCoS를 출시 예정이라고 한다.

한편, 이스라엘 RealView Imaging사는 2016년도에 홀로그램 의료 서비스를 위한 AR타입 홀로그래픽 디스플레이를 개발하였다고 발표하였으며(그림 16 참조), 2019년 4월 캐나다 토론토의 UHN의 병원과 함께 HUD 형태의 홀로그램 의료 시스템(Holoscope-i)을 공동 개발하고 있음을 밝혔다.

그림 16

RealView사의 홀로그램[38]

출처 Reprinted with permission from RealView Imaging Ltd. HOLOSCOPE-i System. All rights reserved to RealView Imaging Ltd., Israel.