메타버스를 위한 AI 기반 초실감 디스플레이 기술 동향 및 발전 전망

최근 인공지능을 이용한 디스플레이 회로 설계 기술이 빠르게 발전하고 있다. AI는 복잡한 회로 설계 과정을 자동화하고 최적화하여, 설계 비용과 시간을 대폭 줄이는 데 기여하고 있다. 기존에는 회로 설계가 반복적인 시뮬레이션과 검증 과정을 거쳐야 했으나, AI 기반 회로 설계 기술을 활용하면 학습된 모델이 최적의 회로를 자동으로 생성하고 성능을 예측할 수 있다.

특히, 신경망(NN)을 활용한 회로 최적화 기술이 주목받고 있다. 인공지능을 활용하여 디스플레이 드라이버 회로(DDIC)를 최적화하면, 전력 소비를 줄이고 발열을 최소화하면서도 높은 주사율과 빠른 응답 속도를 유지할 수 있다. 이러한 AI 기반 설계 기술은 특히 초고해상도 디스플레이에서 요구되는 고속 신호 처리와 데이터 대역폭 문제를 해결하는 데 유용하다.

또한, 강화학습(RL)을 활용하여 AI가 스스로 최적의 회로 구조를 학습하는 기술이 개발되고 있다. 이 방법을 이용하면 기존의 설계 방식보다 빠르게 효율적인 회로 구조를 찾을 수 있으며, 회로의 내구성과 성능을 동시에 최적화할 수 있다. 특히, AI는 신호 무결성 문제를 분석하고 이를 자동으로 보정하는 알고리즘을 활용하여, 고속 데이터 전송이 필요한 디스플레이 시스템에서 더욱 안정적인 성능을 제공한다.

한 논문에서는 디스플레이 픽셀 회로의 입력 신호를 자동 설계하기 위한 다단계 베이지안 최적화 알고리즘을 적용한 예를 발표하였다[2]. 3T1C 및 7T1C 회로에 적용하여 정확한 밝기 조절 및 임계 전압 변동(Vth) 보정 성능을 평가하였으며, 7T1C 회로에서 특히 우수한 성능을 보여 향후 연구에서는 강화 학습 기법을 도입하여 픽셀 회로 설계 자동화 가능성을 보여주었다.

다른 논문에서는 그림 2와 같이 RL을 기반으로 CMOS 로직 게이트 자동 설계 프레임워크인 GateRL을 제안하였다[3]. 기존 회로 설계에서는 트랜지스터 간 연결 제약으로 인해 탐색 공간이 방대하여 최적 설계를 도출하는 데 어려움이 존재하므로, 이를 해결하기 위해 GateRL은 행동 마스킹(Action Masking) 기법을 활용하여 탐색 공간을 줄이고 학습 속도를 향상시켰다. GateRL은 에이전트(Agent)와 환경(Environment)으로 구성되어, 환경은 현재 회로 상태를 연결 행렬(Connection Matrix)로 표현하며, 상태(State), 마스크(Mask), 보상(Reward)을 제공한다. 에이전트는 심층 Q-네트워크(DQN)를 사용하여 동작을 결정하며, 성공과 실패 데이터를 별도로 저장하는 리플레이 버퍼를 활용하여 학습을 가속화한다. 2개의 입력, 1개의 출력, 2개의 NMOS 및 2개의 PMOS 트랜지스터를 활용하여 인버터(Inverter), 버퍼(Buffer), AND, OR, NAND, NOR 게이트 회로를 자동 설계하였고, SPICE 시뮬레이션 결과, GateRL이 최적의 회로 구조를 효과적으로 도출할 수 있음을 확인하였다.

그림 2

GateRL 블록 다이어그램

출처 Reprinted from H.S. Nam et al., “GateRL: Automated Circuit Design Framework of CMOS Logic Gates Using Reinforcement Learning,” Electronics, vol. 10, no. 9, 2021.

최근 인공지능을 활용한 디스플레이 백플레인 설계 및 픽셀 설계 기술이 주목받고 있다. AI는 박막 트랜지스터(TFT) 기반의 백플레인 설계를 최적화하고, 고해상도 디스플레이에서 픽셀 배열을 효율적으로 배치하는 데 중요한 역할을 한다.

AI 기반 백플레인 설계 기술은 디스플레이의 전력 소모를 줄이고, 응답 속도를 향상시키는 데 기여하고 있다. 특히, 머신러닝을 활용하여 각 픽셀의 전력 소비를 실시간으로 분석하고 최적화함으로써 디스플레이의 전력 효율성을 극대화할 수 있다. 또한, AI는 백플레인의 트랜지스터 배치를 최적화하여 신호 지연을 최소화하고, 고속 데이터 전송이 가능한 구조를 자동으로 설계할 수 있도록 지원한다.

픽셀 설계에서도 AI의 활용이 증가하고 있다. 딥러닝 알고리즘을 활용하여 픽셀 구조를 자동으로 설계하고, 색상 재현율과 명암비를 최적화하는 연구가 진행되고 있다. 특히, AI는 픽셀의 형상을 분석하고 최적의 배치를 자동으로 찾는 데 활용되며, 이를 통해 더욱 균일한 밝기와 색상을 구현할 수 있다.

한 논문에서는 디스플레이 백플레인과 컬러 필터(CF) 설계 최적화를 위해 AI 기반 설계 공간 탐색(DSE)과 시뮬레이션 기법을 제안하였다[4]. 기존 물리적 시뮬레이션은 시간이 많이 소요되므로, AI 기반 레이아웃 생성기(VAE)와 CNN 모델을 활용한 빠른 RC 예측을 통해 설계 속도를 높인다. 또한, 통계적 샘플링(LHS)으로 최적 설계를 탐색하고, 머신러닝 기반 기여도 분석(PLS)을 활용한 목표 지향적 설계(TOD)를 수행한다. 이를 통해 AI는 인간보다 빠르고 효율적으로 최적 설계의 결과를 보여주었다.

다른 논문에서는 AI 기반의 패널 설계 자동화 플랫폼을 개발하여 디스플레이 패널 설계 프로세스를 계획, 최적화, 도면화의 3단계로 구성하고 이를 자동화하였다[5]. 기존 패널 설계는 엔지니어의 경험과 반복적인 시뮬레이션을 기반으로 이루어졌으나, 본 논문에서는 AI 기반 설계 최적화 모델을 도입하여 데이터 패드, 게이트 패드, 셀, 글라스 영역 등의 설계를 자동화하였다. 최적 설계를 위해 각 구성 요소별로 비용 함수(Cost Function)를 정의하고, 기울기 하강법(Gradient Descent) 및 그리드 탐색(Grid Search) 등의 머신러닝 기법을 활용하여 설계 변수를 최적화하였다. 실험 결과, 자동화된 설계 프로세스를 통해 설계 시간이 대폭 단축되었으며, 최적 설계 결과는 기존 엔지니어의 설계와 유사한 성능을 보였다.

최근 초실감 디스플레이 기술의 발전과 함께, 고품질의 화질과 현실감 있는 영상 구현이 요구되고 있다. 이러한 기술적 요구를 충족시키기 위해 AI는 디스플레이 재료의 탐색, 설계 및 최적화 과정에서 중요한 역할을 하고 있다. 기존의 실험 기반 연구 방법과 비교하여, AI는 방대한 데이터 분석과 예측 모델을 활용하여 신소재의 물리적‧광학적 특성을 정밀하게 분석하고 최적화할 수 있다. 본고에서는 AI 기반 초실감 디스플레이 재료 개발 기술의 최신 동향과 향후 연구 방향에 대해 논의한다.

AI는 신소재의 설계 단계에서부터 분자 모델링을 활용하여 최적의 재료 조합을 도출하는 데 활용되고 있다. AI는 기존 신소재 데이터베이스를 학습하여 특정 특성을 가지는 물질을 예측한다. 이를 통해 OLED, QLED, MicroLED 등의 디스플레이용 발광 재료를 보다 빠르고 효율적으로 개발할 수 있다. AI는 발광 효율, 내구성, 전하 이동 특성을 최적화하는 신소재 구조를 설계하는 데 활용된다. 머신러닝 모델을 활용하여 다양한 분자 구조를 비교 분석하고 최적의 조합을 도출한다.

신소재의 광학적 성질은 디스플레이 성능을 결정짓는 중요한 요소이다. AI는 다양한 광학적 특성을 분석하고 최적화하는 역할을 한다. AI는 분광 분석 데이터를 활용하여 신소재의 굴절률 및 발광 특성을 예측하고, 최적의 광학적 특성을 가진 물질을 설계할 수 있도록 지원한다. 머신러닝 모델을 활용하여 특정 파장의 발광 효율을 극대화하고 색 순도를 향상시키는 방법이 연구되고 있다. 이를 통해 더 선명하고 생생한 색상을 구현할 수 있다.

한 논문에서는 AI 기술을 활용한 새로운 OLED (유기발광다이오드) 소재 개발 과정을 소개하였다[6]. AI 기반의 OLED 소재 개발 시스템은 분자 구조 생성, 물성 예측, 합성 가능성 평가, 디바이스 특성 예측 등 총 6개의 모듈로 구성하였다. 시스템은 (1) 데이터베이스 구축을 통한 물성 예측, (2) 합성 경로 및 수율 예측, (3) 신소재 설계를 포함하는 3단계로 구성하였다. 물성 예측 과정에서는 수만 개의 OLED 분자 구조와 물성 데이터를 활용하여 머신러닝 모델을 학습시켰으며, 10번 교차 검증을 통해 높은 예측 정확도를 확보하였다. 합성 예측 과정에서는 300만 개 이상의 화학 반응 데이터를 기반으로 레트로-합성(Retro-Synthesis) 및 정방향 합성(Forward-Synthesis) 모델을 개발하여, 새로운 물질의 합성 가능성과 수율을 예측하였다. 마지막으로 신소재 설계 과정에서는 생성형 AI 모델을 활용하여 목표 특성을 만족하는 새로운 OLED 분자를 설계하고, 특허 분석을 통해 신규성을 검토하였다. 개발된 AI 기반 OLED 소재 설계 시스템을 이용하여 새로운 열 활성 지연 형광(TADF) 발광체를 설계하였으며, 기존 대비 20% 이상의 수명 향상을 확인하였다.

다른 논문에서는 그래프 신경망(GNN)과 밀도범함수이론(DFT) 기반 머신러닝(ML) 모델을 활용하여 블루 TADF 발광체를 역설계하는 방법론을 제안하였다[7]. ML 모델을 통해 여기 상태 에너지 준위 및 전이 특성을 예측하고, 약 10⁹개의 분자 조합 중 최적의 후보를 선별하였다. DFT 계산과 ML 모델의 일치도를 평가한 결과, 단일항(S₁)과 삼중항(T₁) 여기 상태 예측에서 각각 R² = 0.9 및 R² = 0.8의 높은 정확도를 보였다. ML과 DFT를 결합한 하이브리드 모델이 OLED 소재 개발을 가속화하는 효과적인 전략임을 입증하여 고효율 블루 TADF 발광체 설계에 기여할 것으로 기대된다.

디스플레이 화질 보정 기술에는 시선추적 가변해상도 디스플레이 기술, On-Device 인공지능 기반 비디오 최적화 기술 및 다초점 입체영상 화질 향상 기술들이 있다.

첫째, 시선추적 가변해상도 디스플레이 기술은 Foveated Rendering 기반 시점 영역과 비시점 영역 간 자연스러운 경계 연결 기술이다. 최근 디스플레이 기술의 발전으로 인해 고해상도 화면을 제공하는 장치들이 보편화되었으나 고해상도 디스플레이는 많은 계산 자원과 전력을 소모되고 있다. 고해상도 디스플레이에 소모되는 자원을 줄이기 위해 사용자의 시선이 머무는 영역(시점 영역)은 고해상도로, 시선이 닿지 않는 영역(비시점 영역)은 저해상도로 렌더링하는 방식을 가진 시선 추적 기반 해상도 조절 기술이 제안되고 있다. 기존의 연구들은 시점 영역과 비시점 영역 간의 경계에 대한 고려를 하지 않아 각 영역 간 경계가 뚜렷하게 나타나기 때문에, 시점 중앙에 위치한 픽셀을 중심으로 저해상도 영역을 고해상도로 변환하는 정도를 단계별로 적용할 수 있는 초해상화 모델이 개발되고 있다.

둘째, On-Device 인공지능 기반 비디오 최적화 기술로 비디오 콘텐츠별 실시간 프레임 최적화 기술이다. 디스플레이 기술은 고해상도 및 고주사율로 발전하여 높은 품질의 콘텐츠 제공 가능하나, 비디오 콘텐츠는 각 콘텐츠에 적합한 FPS로 설정되어야 하므로, 이러한 점을 고려하지 않고 FPS를 조절 하는 것은 결과물의 품질을 저하시킬 수 있다. 또한, 비디오 콘텐츠 내부에서도 높은 FPS가 필요한 경우와 낮은 FPS가 필요한 경우가 있기 때문에, 각 콘텐츠에 최적화된 비디오 프레임 보간 기술이 필수적이다. 이러한 기술을 개발하기 위해 딥러닝 기반 비디오 프레임 보간 기술을 기본 모델로 설정할 수 있다. 딥러닝 기반 비디오 프레임 보간 기술을 기반으로 하여 비디오 콘텐츠 내부 시퀀스에서 카메라의 움직임을 Optical Flow를 계산하여 낮은 Optical Flow의 경우에는 원본 FPS를 유지하고 일정 수치 이상의 Optical Flow의 경우에는 많은 프레임을 보간할 수 있는 비디오 콘텐츠 기반 프레임 최적화 알고리즘이 개발되었다.

셋째, 다초점 입체영상 화질 향상 기술은 다초점 입체영상 향상을 위한 통합적 프레임워크 기술이다. 카메라 내부의 다양한 그리드로 분할된 렌즈를 통해 촬영되는 다초점 입체영상은 그리드의 크기와 개수가 상호 보완적인 관계에 있다. 즉, 더 작은 그리드 크기는 더 많은 그리드를 사용할 수 있어 깊이를 세밀하게 조정할 수 있지만 각 그리드의 해상도는 낮아진다. 큰 그리드는 고해상도를 제공하지만 그리드의 수는 줄어들어 깊이감을 표현할 수 있는 능력이 제한된다. 이러한 한계를 극복함과 동시에 다초점 입체영상의 품질을 향상시킬 수 있는 모델을 개발하는 것이 필요하다. 최종적으로 다초점 입체영상의 화질을 향상시키기 위해 Deblurring, Sharpening 등 다양한 딥러닝 기반 이미지 향상 기술을 적용하여 이러한 통합적인 프레임워크를 통해 다초점 입체 영상의 품질을 향상시킬 수 있다.

AI 기반 실감 영상의 실시간 재현 기술에는 비디오 종횡비 리타겟팅 기술, 비트 뎁스 조절을 통한 화질 향상 기술 및 비디오 시공간 해상도 향상 기술들이 있다.

첫째, 비디오 종횡비 리타겟팅 기술은 생성형 AI 기반 One-Stage 비디오 종횡비 리타겟팅 기술이다. 기존의 딥러닝 기반 비디오 리타겟팅은 전경을 분리한 후 배경에 대해 목표 종횡비로 조정한 다음 다시 전경을 합치는 방법 또는 주요 Object의 외부 영역에 대해 종횡비를 조정하는 방법을 활용한다. AI 기반 비디오 리타겟팅 방법은 원본 비디오의 외부 영역에 대해 생성형 AI를 활용하여 종횡비를 조정한다. 최근 생성형 AI의 발전을 통해 입력 이미지를 특정 Latent Vector에 Mapping 한 후 다시 원본 이미지를 손실 없이 복원하는 기술이 개발되었다. 이미지의 고유한 특징을 Latent Vector에 정확히 Mapping함으로써 원본 이미지의 세부 정보와 품질을 유지한 채 복원이 가능하다. 이러한 기술을 기반으로 Latent Vector를 다시 복원할 때 목표 종횡비로 복원할 수 있는 딥러닝 기반 비디오 종횡비 리타겟팅 기술이 개발되고 있다.

둘째, 비트 뎁스 조절을 통한 화질 향상 기술은 비디오 비트 뎁스 조절을 통한 비디오 품질 향상 기술이다. 비디오 비트 뎁스는 각 픽셀의 색상을 얼마나 정밀하게 표현할 수 있는지를 결정하는 중요한 요소이며, 비트 뎁스가 높을수록 더 많은 색상 정보를 담을 수 있다. 대부분의 비트 뎁스 향상 기술은 이미지 기반의 기술이며 비디오에 대한 연구는 거의 없는 실정이다. 따라서 디스플레이에서 비디오 비트뎁스를 향상시키는 모델을 통해 데이터 전송 간의 소요 비용을 최소화하면서 사용자에게 고품질의 콘텐츠를 제공할 수 있는 기술이 필요하다. 전통적인 방법으로, 노출 정도를 다양하게 설정하여 촬영한 여러 장의 낮은 뎁스를 가진 이미지의 합성을 통해 높은 뎁스를 가진 이미지를 획득한다. 그러나 다양한 노출 정도에 따른 이미지 획득 시 정적인 상황 유지가 필요하다. 따라서 한 장의 낮은 뎁스 이미지를 확장하는 기술이 필요하다. 이에 따라 딥러닝을 통해 좁은 Dynamic Range를 가지는 이미지의 Range를 넓혀주는 Inverse Tone Mapping Operator(ITMO) 기술이 개발되고 있다.

셋째, 비디오 시공간 해상도 향상 기술은 생성형 AI 기반 비디오 시공간 해상도 향상을 위한 저전력 고효율 기술이다. 최근 생성형 AI를 활용하여 비디오 시공간 해상도 향상을 달성할 수 있는 모델을 개발되었다. 하지만 이러한 모델은 많은 연산량과 긴 추론 시간을 필요로 하기 때문에 디스플레이에 탑재하기에는 적합하지 않다. 따라서 비디오 시공간 해상도를 향상시키면서도 전력 소모와 연산 자원을 최소화하는 딥러닝 기반 모델을 개발하기 위해 기존의 Knowledge Distillation, Pruning, Quantization 등의 경량화 기법이 적용된다. 특히 생성형 AI 중 Diffusion Model을 활용하는 Distillation을 수행한 후 Sampling 단계를 줄이는 방향으로 최적화하는 방법을 적용하여 생성 모델을 경량화 가능하다. 이러한 기술을 활용하여 경량화된 Diffusion Model을 활용한 비디오 시공간 해상도 향상 모델을 개발함으로써 낮은 비용으로 고품질의 시공간 해상도를 나타내는 비디오를 얻을 수 있다.