ettrends banner

김성민 (Kim S.M.)
연승준 (Yeon S.J.)


Keywords: Anetwork intelligence, media intelligence, information centric network, intelligent edge computing, video coding for machine, extended reality, digital twin

Ⅰ. 서론

1. 배경 및 필요성

코로나19는 우리 삶의 기반을 비대면으로 빠르게 변화시키고 있다. 업무, 쇼핑, 교육, 종교 활동, 여가 생활 등 사람들의 모든 삶의 방식이 온라인 기반으로 옮겨가면서 다양한 디바이스를 통한 가상 세계의 비중이 높아지고 있다. 온라인 기반 세상이 커질수록 디바이스에서 생산되는 데이터들이 지능화된 네트워크 및 미디어·콘텐츠 기술을 통해 유기적으로 연동되면서 인공지능(AI) 기반 응용 분야를 확대하고 새로운 응용서비스를 창출하게 될 것이다.

기술이 발전할수록 기계가 인간의 개입 없이 스스로 다양한 데이터를 수집하고 다른 기계와 데이터를 주고받으며 고도화된 성능이 필요하다. 원격 진료를 위해 고화질 영상과 건강 정보를 담은 이기종 웨어러블 디바이스로 필요한 정보가 의사에게 원활하게 전달되어야 하고 수집된 데이터는 AI를 통해 분석하여 환자에 대한 정확한 진단을 도울 수 있어야 한다. 또한, 스마트 공장이나 자율주행차 등에 설치된 각종 센서와 이미지 정보를 AI가 분석하고 자율적으로 제어하고 대처하기 위해서는 네트워크가 어떠한 상황에서도 데이터를 지연이나 손실 없이 전송할 수 있어야 한다. 이처럼 ICT의 중요한 축인 유·무선 네트워크와 미디어·콘텐츠 기술이 함께 발전하며 코로나 이후에 펼쳐지는 AI 시대에 매우 중요한 역할을 담당할 것이다.

한편 시각지능, 음성지능, 학습지능 등 AI 기술이 발전되면서 미디어와 콘텐츠는 ‘엔터테인먼트를 위한 소비재’에서 전 산업의 디지털 전환과 지능화의 핵심으로 ‘지식을 전달하고 보유하는 매개체’로서의 역할이 증대되고 있다. 정보전달을 위한 ‘도구’로서의 기능이 커지면서, 다양한 산업 분야에 다양하게 활용될 수 있다. 또 다른 한편으로는 미디어 산업 자체에 AI가 활용되면서 미디어의 다양성과 콘텐츠 제작의 효율성 증가되고 있다.

2. 그간의 ETRI AI 연구 성과

ETRI는 그간 유·무선 네트워크, 방송 미디어, 콘텐츠 분야에서 대한민국의 기술발전을 이끌어 왔으며, 이러한 기술력을 기반으로 이 분야가 AI와 접목되고 진화하는 기술을 이끌고 있다.

네트워크 분야에서 ETRI는 밀리미터파 기반 5G 스몰셀 SW 기술을 개발하고 퀄컴의 5G 스몰셀 모뎀과 결합하는 공동연구를 추진(2020년 1월)하는 한편, 5G 산업용 규격에 따른 사물인터넷 기술로 스마트 공장 내 이동형 로봇을 제어하는 기술을 개발하고 시연(2020년 7월)하는 등 기술을 개발하고 있다. 또한 향후 5년간 2천억 원 규모의 6G 시대 선도를 위한 R&D 추진 전략과제의 하나로서 6G 모바일코어 자동화, 분산지능 기술을 포함하는 국가 인프라 지능화 마스터플랜 수립 및 예비타당성 검증을 완료하였다(2020년 4월).

미디어·콘텐츠 분야에서는 2019년 세계적인 컴퓨터비전 학회인 CVPR(Computer Vision Pattern Recognition)에서 개최한 AI 기반 이미지 압축 기술 경진대회(CLIC: Challenge on Learned Image Compression)에 참가해 복원 속도 부문 세계 1위를 달성하였고, 2020년 6월 개최된 동 대회에서는 저비트율 이미지 압축 부문에 두 팀이 참가하여 세계 1위와 2위의 성적을 거두며 2년 연속 입상하였다. 2020년 7월, 인공지능 기반 음향 이벤트 및 장면 인식 기술 경진대회(DCASE 2020 Challenge) 음향 장면 인식 분야에도 참가, 세계 1위를 차지하여 AI 미디어 기술 분야에서 압도적인 기술력을 보였다. ETRI가 개발한 “인터랙티브 미디어 창작 플랫폼(Moduvi)”을 활용하여 부산 및 동남권 대학생들을 대상으로 창작 공모전을 시행하여, 일반인들을 대상으로 기술의 검증 및 활용성을 입증하였다.

3. ETRI AI 연구 추진 방향

국가 AI 서비스 경쟁력을 확보하기 위해 ETRI는 그간 개발해온 ICT 기술 개발에 대해 두 가지 관점에서 새롭게 접근한다. “ICT(Network, Media·Contents) for AI”, 즉 AI 서비스를 발전시키기 위한 ICT 기술과 ICT by AI, 이는 곧 네트워크, 미디어, 콘텐츠 기술에 AI를 도입하여 고도화시키는 기술이다. 이를 네트워크와 미디어·콘텐츠 부문으로 다시 구분하면 다음과 같다.

• 네트워크 핵심기술

 1) 지능·증강 통신 기술(for AI)

 2) 네트워크 인텔리전스 기술(by AI)

• 미디어·콘텐츠 핵심기술

 1) AI와 함께하는 미디어·콘텐츠 기술(for AI)

 2) 미디어 콘텐츠 인텔리전스 기술(by AI)

Ⅱ장에서는 이 4가지 기술 분야에 대한 기술 개념 및 국내·외 연구동향을 살펴보고, Ⅲ장에서는 4가지 분야별 ETRI 추진과제에 대해 상세히 소개한다. Ⅳ장에서는 ETRI가 AI 기술을 어떻게 확보할 것인지 전략방향을 소개하고자 한다.

Ⅱ. 기술 개념 및 연구동향

1. 지능·증강 통신 기술(for AI)

AI 기술이 보편화됨에 따라 컴퓨팅 자원(엣지 컴퓨팅, 포그 컴퓨팅 등) 또는 디바이스 자체에 AI 엔진이 내장된 형태로 네트워크 전체에 널리 분산되어 적용되고 있다. 이러한 분산된 개별 AI는 자체 데이터를 기반으로 학습하고 추론하며 진화해 가는데, 분산된 지능이 서로 협력하여 강력한 Super Intelligence를 생성하기 위해서는 네트워크에도 지능이 탑재되어 상호 연결과 융합을 함께 이루어야 한다[1].

‘AI 서비스를 위한 지능·증강 통신 기술’이란 현재의 AI 기술의 기능, 성능, 신뢰도 등의 한계 극복을 위해 차세대 AI로의 기술 진화를 위한 통신 네트워크 기술을 말한다. 세부적으로는 (1) 데이터 중심 전달 및 연결 기술, (2) 네트워크 기반 분산 지능 기술, (3) AI를 위한 이동통신기술로 구분된다.

가. 데이터 중심 전달 및 연결 기술 동향

‘데이터 중심 전달 및 연결 기술’은 AI 학습을 위한 효율적인 정보 교환 및 고속 데이터 처리를 지원하기 위한 네트워킹 기술을 말한다. 기존의 호스트 연결 중심의 IP 네트워크와 달리 데이터 자체를 얻어오는 것을 목적으로 하는 정보중심네트워킹(ICN) 기술을 기반으로 한다. IP가 아닌 ‘데이터 이름 기반’으로 통신하고, 데이터 생산자 단계부터 보안기능을 내재하고 있으며, 수요자가 요구한 데이터를 생산자가 아닌 인-네트워크 캐시로부터 보내줄 수 있는 등의 특징이 있다[2]. 이러한 기술이 필요한 이유는 네트워크에 산재된 실시간 데이터를 AI가 안전하고 빠르게 확보하고 학습하여 현재 AI의 한계를 넘는 실시간 AI 학습에 대한 니즈가 높아지고 있기 때문이다.

세계 각국은 미래네트워크의 일환으로 다양한 프로젝트를 수행하고 있다. 그 중 Palo Alto PARC에서 시작된 정보중심네트워킹(ICN)이 미국 UCLA, Arizona Univ, 일본 NICT, 오사카 대학, 국내 ETRI 등에서 지속적으로 연구되고 있다[1]. IBM, Intel, HPE 등의 메이저 컴퓨팅장비 회사를 중심으로 다양한 자원연결 인터페이스에 대한 연구가 진행 중이다. IBM과 Intel은 1:1 토폴로지 구조의 CPU-메모리 연결 기술로 OpenCAPI, CXL 기술 개발 추진 중이며, HPE는 N:N 스위칭을 통한 공유 메모리 기술을 개발하기 위한 GenZ 기술 개발을 추진 중이다. MIT에서는 광 회로를 이용하여 기존 신경망의 한계를 극복하는 연구를 하였다. 미국 ARPA-e에서 에너지 효율성을 위한 광기반 데이터센터 네트워크 연구 프로그램(ENLITENED)이 진행되고 있다.

나. 네트워크 기반 분산 지능 기술 동향

‘네트워크 기반 분산 지능 기술’이란 최적의 AI 서비스를 지원하기 위해 자원 효율성과 서비스 품질을 통합적으로 고려하여 네트워크에 기반한 분산 AI 서비스 환경을 만들어주는 기술이다. 네트워크 엣지에서 발생하는 데이터의 양이 방대해지고, 사용자의 개인정보 노출에 대한 위협요인이 증가하면서 분산된 구조로 AI 모델을 학습하는 기술에 대한 관심이 높아지고 있다. 네트워크 기반 분산지능 기술은 주변에 분산된 수많은 컴퓨팅 장비의 유휴 리소스를 활용하여 서비스에 필요한 컴퓨팅/스토리지/네트워크가 통합된 가상 실행 환경을 제공할 수 있으므로, 자원 효율적이고 보안성을 높일 수 있다[1].

네트워크 관점에서 분산 AI 협력을 달성하기 위한 기술은 분산 AI 협업을 조율하기 위한 분산 AI 오케스트레이션 기술과 분산 AI 네트워크 연결기술로 구분할 수 있다. 분산 AI 오케스트레이션 기술은 다계층 분산 클라우드 네트워크 환경에서 다양한 자원의 효율적인 사용, 요구되는 서비스 품질, 위치 등을 통합적으로 고려하여 협업을 조율하는 기술이다. 분산 AI 네트워크 연결기술은 AI 엔진의 학습에 필요한 원격 데이터와 AI 엔진이 분산 협력을 위해 서로 주고받는 AI 학습 모델의 안전한 공유와 교환을 제공하는 기술이다[1].

학계를 중심으로 개별 인공지능 기반의 분산된 에이전트들이 상호 협력하여 단일 시스템으로 해결하기 어렵거나 불가능한 문제를 해결하는 멀티 에이전트 방법에 대한 연구가 진행 중이다. NVIDIA는 Local 엣지에서 Deep Learning 학습을 진행하고, 더욱 정확한 Global 모델 학습을 위해 서로 협력할 수 있는 분산형 협력 AI 모델인 EGX Intelligent Edge Computing Platform을 개발하여 의료분야에 적용 중이다. 리눅스 재단에서 파생된 프로젝트인 Acumos는 사용자들이 AI 모델을 쉽게 개발, 학습, 구축, 공유할 수 있게 해 주기 위한 오픈 소프트웨어 프로젝트이다. 또 다른 오픈소스 프로젝트인 Kubeflow는 Kubernetes를 기반으로 ML 작업을 쉽고 확장성 있게 처리할 수 있도록 하는 플랫폼을 제공하고 있다.

다. AI를 위한 이동통신 기술 동향

‘AI를 위한 이동통신 기술’이란 미래에 스마트 공장/물류/항만/에너지/교통/항공/우주/의료 및 미래 자율차 등 다양한 분야에서 다양하게 발생하는 방대한 데이터를 이용하여 다양한 미래 AI 서비스 제공하기 위해 필요한 초광대역, 초고신뢰-저지연, 초연결, 초공간, 초정밀 이동통신 기술을 의미한다. 최근 전 세계적으로 차세대 이동통신분야(6G) R&D가 시작되고 있는데, 6G 비전 정립 시에 사용한 시나리오에 대부분의 기관에서 AI 개념을 포함하고 있다.

2. 네트워크 인텔리전스 기술(by AI)

최근의 서비스 환경 변화는 초연결화, 데이터 중심 사회화, 5G 기반 Connected Vertical Industry, 신뢰와 안전에 대한 요구 증대의 4가지 트렌드를 보이고 있다. 네트워크를 구축하고 서비스를 운영하는 텔코들은 이러한 환경 변화에 신속하게 대응하고 민첩성을 확보하기 위한 인프라를 지향한다. 즉, 서비스나 환경변화에 운영자의 개입을 최소화하면서 스스로 대응할 수 있는 네트워크 인프라를 지향한다[1].

‘네트워크 인텔리전스 기술’은 AI를 활용하여 네트워크를 자동화하고 주파수 활용을 효율화하기 위한 기술로 네트워킹 자동화 기술과 주파수 공유 및 플랫폼 자동화 기술이 있다.

가. 네트워킹 자동화 기술 동향

‘네트워킹 자동화 기술’이란 네트워크를 위한 칩, 소프트웨어 개발뿐만 아니라 네트워크 설계부터 시험, 배치, 운영 최적화 등 라이프사이클 전 과정에서 AI 기술을 활용하여 자동화하고 최적화하는 기술이다. 이러한 기술이 필요한 이유는 점점 더 복잡해지고 다양해지는 서비스들을 지속적으로 수용하고 발전시키기 위해서는 네트워크 인프라를 수동적으로 설정하고 제어하기 어려워지며, 스스로 학습하고 적응하여 선제적으로 대응 가능한 자율 제어/관리 기술이 필요하기 때문이다. 앞서 설명한 AI 서비스를 위한 지능·증강 통신 기술들이 적용될수록 AI에 기반한 네트워킹 자동화 기술에 대한 수요는 더욱 증가할 것이다.

이러한 기술에 대한 연구를 위해 리눅스 재단의 오픈 네트워크 자동화 플랫폼 프로젝트(ONAP)는 글로벌 통신사를 중심으로 SDN, NFV 기술 기간의 네트워크 서비스의 설계, 배포, 관리 기능과 실시간 정책 반영을 통한 인프라 운영 자동화를 목표로 진행 중이다. 네트워크 장비업체 Cisco와 Juniper 등은 통신사와 협력하여 인텐트 기반 서비스 요구사항을 네트워크 장비설정으로 자동 변환/적용 기술을 개발하여 네트워크 자동화에 적용하고 있다[1].

국내 통신사업자들도 네트워크 관리에 AI 기술을 적용하는 기술을 개발하고 있다. KT의 Dr. Lauren은 네트워크 운용 관련 빅데이터를 수집한 후 AI 기반으로 무선망, IP망, 전송망, 선로 등의 회선장애, 선로 사고 등의 근본 원인 분석에 활용하였다. SK텔레콤의 네트워크 운영시스템 TANGO는 네트워크 빅데이터 및 AI 기술을 적용하여 네트워크 품질 최적화, 네트워크 상태 분석 및 고객 체감 품질 관리의 자동화에 활용하였다.

유럽 통신 표준화 기구인 ETSI에서는 5G 이동통신시스템에 엣지컴퓨팅 기능을 추가하는 MEC 관련 표준화를 진행 중이며, ITU-T는 엣지컴퓨팅에 인공지능과 고급 네트워킹 기능을 갖춘 IEC를 포함시키는 작업을 추진하고 있다[3].

한편 미국의 DARPA, 중국 화웨이, 유럽의 통신장비 기업들은 약간씩 차이는 있으나 공통적으로 AI가 진화하면서 점차 미래 통신 인프라를 통해 실시간으로 분산된 AI가 어디든지 편재하는 지능형 네트워크의 시대가 올 것으로 전망하고 있다. 스웨덴의 에릭슨, 핀란드 노키아, 독일 프라운호퍼, 핀란드 오울루 대학 등은 이러한 분산형 지능 네트워크 기술에 대한 기술개발을 진행하고 있다. 삼성전자는 6G 메가트렌드로 AI-powered 클라우드 컴퓨팅과 AI-powered 디바이스 프로세싱을 제시하며 현재 새로운 소프트웨어 알고리즘과 툴을 개발하고 있다[4].

나. 주파수 공유 및 플랫폼 자동화 기술 동향

‘주파수 공유 및 플랫폼 자동화 기술’은 주파수 공동 사용자들에게 주파수 이용 정보를 이용하여 자율적으로 우선순위에 따라 채널 접속 기회를 부여하는 방식으로 주파수를 자동으로 공유할 수 있는 플랫폼 기술이다. 2019년 DARPA에서는 스펙트럼 협력 챌린지 대회의 콜로세움을 통하여 기계학습 기반의 주파수 공유 평가 기술을 확보하였다. 학계에서는 확률 기하·기계학습·그래프 이론 등을 기반으로 새로운 주파수 이용 및 공유 모델 등을 발굴하고 있다.

5G 장비 공급자 에릭슨은 동일 주파수에서 한 기지국의 하드웨어로 4G/5G 단말을 동시에 서비스할 수 있는 AI-powered RAN 솔루션의 도입을 추진하고 있다[5].

3. AI를 위한 미디어·콘텐츠 기술(for AI)

사물인터넷, 스마트시티, 자율주행차 등 다양한 AI 서비스 환경에서 수집되는 비디오 데이터의 양은 기하급수적으로 증가하고 있으며, 이를 기반으로 비디오의 객체나 이벤트를 인식하고 이를 분석하여 활용하는 서비스 역시 지속적으로 증대되고 있다. 방대한 비디오 데이터를 사람이 직접 감시하고 분석하는 것이 한계에 달함에 따라 사람 대신 기계가 비디오 내 영상정보를 분석하여 다음에 발생할 상황을 예측하여 사람에게 알려주거나 직접 대처하는 지능화 서비스가 발달하고 있다[6]. ‘AI를 위한 미디어·콘텐츠 기술’이란 AI에 의해 동작되는 기계를 위한 미디어·콘텐츠(Media·Contents for Machine) 기술과 AI에 의해 재생산되는 미디어(AI driven Media) 기술을 포함한다. 구체적으로는 기계를 위한 비디오 코딩 기술, 데이터 증식 및 생성 기술 등이 있다.

가. 기계를 위한 비디오 코딩 기술 동향

‘기계를 위한 비디오 코딩 기술’이란 기계, 즉 AI가 영상처리를 쉽고 효율적으로 하게 하기 위한 코딩 기술이다. 기하급수적으로 증가하는 비디오 데이터에 대해 처리하는 데 사람보다 AI 등의 기계의 활용이 증가하고 있다. 사람이 영상데이터를 볼 때에 비해 AI는 목적에 따라 영상 데이터의 필요한 특징만 전송하여 효율을 높이고 영상 데이터로 발생할 수 있는 사생활 침해 가능성 제거할 수 있다. 따라서 기계, 즉 AI를 위한 비디오 코딩 기술 개발에 대한 관심이 높아지고 있다. 해외에서는 감시, 자율주행 등의 다양한 분야의 수요로 인해 새로운 비전 센서 기술들이 지속적으로 개발되고 있으며, 이를 이용한 지능형 영상분석 솔루션들이 인텔, 아마존, MS 등을 중심으로 제공되고 있다. 국내에서는 ETRI, GIST, POSTECH 등에서 영상 보안 시스템에 딥러닝을 접목한 지능형 영상 분석 기술이 개발되고 있다.

2019년 7월 MPEG회의에서 중국 회사들의 발의로 기계를 위한 비디오 부호화 논의가 시작되었다. MPEG에서는 영상기반 객체인식을 위한 MPEG7 CDVS(Compact Descriptors for Visual Search)/CDVA(Compact Descriptors for Video Analysis) 표준이 완료되고 공표되었다[6].

나. 데이터 증식 및 생성 기술 동향

‘데이터 증식 및 생성 기술’이란 인공지능 및 딥러닝 연구를 위해 소량의 레이블된 데이터로부터 대량의 학습데이터를 자가증식하거나 실-가상 융합 기반 공간 지능화를 위해 현실 공간 정보를 획득하여 현실과 동일한 시뮬레이션이 가능한 XR 트윈 모델을 생성하는 기술이다. 자율주행 자동차, 의료, 도시, 항공 등 다양한 분야의 딥러닝 학습데이터를 위해 실제로 카메라로 일일이 촬영한 영상 정보 확보에 한계가 있으므로 소량의 데이터로 필요한 데이터를 증식시킬 수 있는 기술에 대한 니즈가 높아지고 있다.

해외 연구로는 하버드 대학에서 블랙박스 영상에서 프레임 이미지 예측을 통한 영상 생성 모델(PredNet)을 제안하였고, MIT CSAIL에서는 주어진 특성에 적합한 영상을 자동 생성하는 기술(VGANs)을 제안하였다. 국내 SK에서는 하나의 이미지에서 비슷한 분위기(style)의 다양한 형태 이미지 생성 기술(SK DISCOGAN)을 개발하고 있고, 네이버랩스에서는 인물 사진을 이용하여 웹툰 이미지 생성 기술을 개발하고 있다.

영상 및 비디오를 입력받아 인공지능 기술을 이용하여 다양한 형태로 변형하여 학습 데이터로 사용할 수 있는 기술도 개발되고 있다. 다양한 포즈의 2D 비디오를 학습하여 사용자의 비디오를 입력하여 타겟의 움직임을 따라하거나, 관절의 움직임을 제어하여 사용자 입력의 자세 변경 가능한 기술이 개발되고 있다(Univ. of Hong Kong, Stanford Univ, Max Planck Institute’s, 2019년 10월). 게임 영상을 학습하여 실제 자율주행에서 사용될 수 있는 실감 학습 데이터 생성 기술도 개발되고 있다. NVIDIA는 생성적 적대 신경망 기법을 이용하여 실제 자율주행에서 사용되는 다양한 학습 데이터를 생성하였다(2019년 8월).

4. 미디어·콘텐츠 인텔리전스 기술(by AI)

TV, 라디오, 영화, SNS, OTT 등 다양한 미디어의 전주기(기획-제작-편집-유통-소비)에 AI가 적용되면서 진화하고 발전하고 있다[7]. 또한 차세대 콘텐츠 기술 분야에서도 콘텐츠 생성, 가시화, 분석, 유통 등 콘텐츠 생태계 전반에 AI 기술이 적용되고 있다[8].

‘미디어·콘텐츠 인텔리전스 기술’이란 미디어와 콘텐츠 서비스에 AI를 적용하여 미디어 플랫폼의 지능화, 메타데이터 자동 생성, 미디어 자동 기획/생성뿐만 아니라 새로운 유형의 실감 콘텐츠 제작을 쉽게 하는 기술이다. AI 기반 미디어 플랫폼·인프라 기술과 AI 기반 오감 인터랙션 기술 등이 있다.

가. 미디어 플랫폼/인프라 기술 동향

‘AI 기반 미디어 플랫폼·인프라 기술’은 미디어 제작, 편집, 유통, 전송, 소비의 모든 분야에 인공지능을 적용하여 손쉽게 미디어를 제작하고 유통하게 하는 플랫폼 및 인프라 기술이다. 이는 개인화 서비스 제공 및 증강 콘텐츠 제작 등 신유형 서비스 제작, 압축 및 유통 등을 효율화하고 부가가치를 확대하기 위해 필요한 인텔리전스 기술이다.

최근 AI 기술을 활용한 오디오/비디오 부호화 기술 관련 연구가 활발하게 진행되고 있다. 세계적인 컴퓨터비전 학회인 CVPR에서 2018년부터 인공지능 기반 영상 압축 기술 경진대회(CLIC)를 구글, 페이스북, 넷플릭스 등의 기관들 주관으로 개최하고 있다. 2020년 4월부터 MPEG에서 심층신경망을 적용하는 비디오 부호화 방식을 논의하기 위해 뉴럴네트워크 비디오 코딩(NNVC: Neural Network based Video Coding) 모임을 결성하는 등 움직임이 본격화되고 있다. 구글은 딥마인드, 웰링턴 빅토리아 대학과 공동으로 기존 2.4kbps의 파라미터릭 부호화기의 비트스트림을 조건 변수로 하여 자동회귀 생성 모델인 WaveNet을 이용하여 고품질의 음성을 생성하는 저-비트율 음성 부호화 기술 개발하였고, 퀄컴과 캘리포니아(샌디에이고) 대학은 시간적인 종속성을 갖는 연속적인 데이터 압축 기술로 음성 스펙트로그램 압축 기술을 제공하였다.

미디어 업계 전반에 AI를 활용해 기획·제작·편집 자동화 기술뿐만 아니라 동영상 자동 요약(Video Summarization) 기술을 개발하는 등 다양한 연구를 진행 중이다. SBS는 방송 영상에 장면 단위로 수동 입력된 메타데이터를 이용하여, 인공지능 기반의 3~5분 단위 하이라이트 영상을 자동 생성하는 기술 개발(2018년 10월)을 하였고, IBM은 ‘윔블던 챔피언십 2019’ 영상의 극적인 순간을 AI(Watson)가 분석하고 해당 장면들을 자동 조합하여 하이라이트 영상을 실시간 제작하였다. Adobe는 미리 저장된 템플릿 형태를 활용하여 인공지능 편집기가 자동으로 스타일을 찾아서 편집하는 연구를 진행 중이다. BBC는 “AI in Production” 프로젝트에서 AI 기반의 편집 자동화 시스템인 ‘Ed’를 구축하여 방송 편집 소요 시간을 획기적으로 단축하였다. Disney는 2019년 AI 기반의 검토용 시스템인 ‘GD-IQ: Spellcheck for Bias’를 활용, 시나리오를 분석하고, 아동·청소년 시청자가 많은 애니메이션에 인종, 성, 장애 등에 대한 편견을 유도할 우려에 내용을 삭제하였다.

AI 기반 영상 인식/검색 관련 연구와 챌린지 수행 및 다양한 형태의 영상콘텐츠 자동 생성 관련 연구도 진행되고 있다. 국제적 다수의 챌린지(COCO, Mapillary, Kaggle, LVIS)를 통해 영상 내 각 단위 객체 및 장면구성 영역에 대한 분할 및 인식용 학습 데이터 제공 및 기술 교류를 진행하고 있다. 미국 CMU는 사람의 개입 없이 동영상 내용을 원하는 대로 자동 편집 가능한 Recycle GAN 기술을 개발하였다. 아일랜드 Trinity 대학은 딥러닝을 이용한 고정밀 Matting 기술을 연구 및 관련 논문을 발표하였다. 미국 NVIDIA는 장면 분할 마스크로부터 실감 영상을 생성하는 SPADE 논문 발표 및 레이아웃 마스크로부터 풍경 영상을 생성하는 GauGAN 웹 데모를 공개하였다. 미국 마이크로소프트사, MILA는 박스 형태의 객체 위치 정보와 레이블 등의 레이아웃 기반 장면 내 객체들 간의 관계를 고려하여 실감 영상을 생성하는 OC-GAN 논문을 발표하였다. AI 기술을 이용하여 영상에서 3D 콘텐츠를 생성하는 기술도 개발되고 있다. 구글은 임의의 다시점 영상 학습하여, 기존에 없는 시점에 대한 영상 생성 후 다양한 3D 형태로 렌더링(내부 깊이맵 생성)하고 있다.

나. 콘텐츠 인텔리전스 기술 동향

‘AI 기반 오감 인터랙션 기술’은 AI를 적용하여 다중 감각의 표현 및 인터랙션 기능을 향상하는 기술이다. AI 기술을 이용하여 다중감각 콘텐츠 및 가상 증강 콘텐츠 제작을 손쉽게 제작 가능하게 하는 기술에 대한 니즈가 늘어나면서 촉감을 느낄 수 있는 슈트, 장갑, 오큘러스 등의 장비와 더불어 바람, 열, 향기 등을 느낄 수 있는 디바이스 개발이 활발하다.

영국 VR Electronics에서는 전기근육자극요법(EMS: Electrical muscle stimulation)을 이용하여 몸 전체에 촉감 효과를 줄 수 있는 바디슈트(예, Teslasuit)를 개발하여 시판할 예정이다. 미국 Sensigent는 후각 콘텐츠 기술의 전자코 기술은 향기, 호흡, 냄새 등을 검출할 수 있는 휴대용 전자코, Cyranose 320을 출시하였다. 미국, Oculus와 Facebook은 VR 환경에서 다양한 촉감을 표현해 줄 수 있는 VR 기반 햅틱 기술을 개발하고 있다. 독일 Infineon은 60Ghz 레이더칩을 이용하여 mm급의 정밀도로 거리와 속도, 동작 측정이 가능하며 구글의 픽셀폰에 적용하였다. 미국 애플은 햅틱 콘텐츠 인터랙션 기술은 애플워치에 촉감 인터랙션이 제공하는 ‘탭틱 엔진’을 채용하였으며, 맥북에 탭틱 엔진을 채용한 역감 트랙패드를 장착하여 출시하였다. LG 디스플레이는 디스플레이에 응용 가능한 햅틱 기술을 연구 개발하고 있는데, 특히 다양한 햅틱 액추에이터를 활용하여 터치스크린 등에 탑재 가능한 형태로 개발하고 있다. 삼성전자는 다양한 햅틱 액추에이터를 개발하고 있는데, 특히 스마트폰 및 태블릿에 사용 가능한 액추에이터를 개발하고 있다. 마이크로텍 시스템은 공간상의 3D 동작에 촉감 전달을 위해 3차원 공간 인식 장치의 촉감 피드백 기술을 개발하고, 게임 UI에 적용하는 햅틱 마우스 및 아이폰 액세서리 제품을 상용화하였다.

XR 환경에서 오감 인터랙션을 기반으로 사용자의 반응을 지능적으로 분석하여 최적화된 콘텐츠를 제공하기 위한 연구도 진행되고 있다. 미국 서던캘리포니아대학교(USC)에서 언어를 사용하여, 적절한 제스처를 갖고, 언어 및 비언어적 자극에 대한 감정 반응을 보여주는 컴퓨터 생성 캐릭터에 대한 연구를 수행하고 있다. 미국 헤론시스템은 AI 프로그램으로 1년 만에 40억 차례의 가상 대결로 현실 세계에서 12년에 해당하는 전투 경험을 익혀 미 공군 F-16 전투기 조종사와 벌인 가상 대결에서 5전 전승을 기록하였다.

Ⅲ. ETRI 추진과제

ETRI는 네트워크 핵심 기술로 AI 서비스를 위한 (1) 지능증강 통신기술 개발과 AI 기술을 활용하여 네트워크를 고도화시키는 (2) 네트워크 인텔리전스 기술의 선도적 개발을 추진한다.

미디어 콘텐츠 핵심 기술로는 (3) AI 서비스를 위한 미디어·콘텐츠 기술과 (4) AI 기술을 활용하여 미디어·콘텐츠를 고도화시키는 미디어·콘텐츠 인텔리전스 기술 개발을 추진한다.

1. 지능증강 통신 기술(for AI) 개발

가. AI를 위한 데이터 전달 및 연결 기술 개발

ETRI가 추진하는 ‘AI를 위한 데이터 전달 및 연결 기술’의 주요 기술로는 (1) AI 데이터 전달 네트워킹 기술, (2) 칩수준 클라우드 컴퓨팅 자원 광연결 기술, (3) Photonic Neural Network 기술을 포함한다.

(1) AI 데이터 전달 네트워킹 기술: 네트워크 내에 산재된 AI 에이전트와 AI 데이터가 서로 위치에 대한 정보나 연결 설정 없이 안전하고 빠르게 정보교환을 할 수 있도록 하기 위한 네트워킹 기술이다.

(2) 칩 수준의 클라우드 컴퓨팅 자원 광연결 기술: CPU, 액셀러레이터, AI 엔진, 메모리 등의 컴퓨팅 자원을 칩 수준에서 광(Optic)으로 연결하여 전력소비는 줄이고 컴퓨팅 속도를 증가시킬 수 있는 기술이다.

(3) Photonic Neural Network 기술: 인공지능 핵심 요소인 전기 회로에 기반한 기존 인공 신경망의 한계를 극복하기 위해, 고집적, 저전력, 병렬 광 회로 기반의 광 신경망(Photonic Neural Network)을 이용한 고속 프로세싱 기술이다.

그림 1
분산 AI 네트워크 연결 기술 개념도 출처 김태연 외, “네트워크와 AI 기술동향,” 전자통신동향분석, 35권 5호, 2020, 공공누리 4유형.

나. 네트워크 기반 분산 지능 기술 개발

이 기술은 분산 네트워크 환경에서 동적으로 지속적으로 발생되는 데이터를 AI 엔진이 안전하고 빠르게 확보하여 학습할 수 있도록 지원하는 기술이다. 분산 네트워크 AI 오케스트레이션 기술은 엣지 네트워크에서의 AI 데이터 수집·학습·분석· 추론 기능 등을 제공하며, 분산 AI 협업 환경을 자동 구성하는 분산 AI 네트워크의 핵심 기술이다.

다. AI를 위한 이동통신 기술 개발

AI를 위한 이동통신 기술인 On-Time-On-Rate 무선액세스 기술은 어떤 극한 상황에서도 최소화된 지연 분산으로 원하는 시간에(On-Time) 원하는 전송속도(On-Rate)를 보장하는 무선 네트워킹 기술이다.

2. 네트워크 인텔리전스 기술 개발

가. 네트워크 자동화 기술 개발

(1) AI 기반 네트워크 자동화 기술: Self-Configuration, Optimization, Healing 기능을 포함한다. 즉 물리 가상 네트워크를 자동으로 구성하고, 장애탐지 복구 예측, 트래픽 품질 예측 보장, 공격을 예측하고 자동으로 방어하고 제어하는 기술과 자원 동적할당, 이동성 자율제어, 밀집셀 에너지 관리 등을 위한 네트워킹 최적화 기술을 포함한다. 네트워크 자동화 기술은 AI를 기반으로 네트워크 종단 간 인프라와 서비스 자율구성 및 지능적 통합제어를 위한 자동화·지능화를 위한 핵심기술을 개발해야 한다.

(2) 네트워크 AI 데이터 레포지토리 및 플랫폼: 이는 범용의 네트워크 인프라 환경에 인공지능 기술을 활용하여 학습, 시험, 추론을 통한 네트워크 인프라 운용제어의 자동화 및 네트워크 서비스의 최적화에 요구되는 통찰력과 경험 제공을 위한 네트워크 지식 내재화 플랫폼 기술을 포함한다. 즉 AI 학습을 위한 실제 네트워크 빅데이터를 확보하고, 적용이 용이한 범용성 AI 모델과 알고리즘을 개발하여 개방형 API 제공을 통해 성과를 확산하고 실제 네트워크에 적용해야 한다.

(3) 차세대 AI 기반 무선액세스 기술: 요소기술은 (新무선전송) 다양한 신호왜곡현상 극복, 대규모·대용량 트래픽 전송을 위한 무선전송기술의 AI 기반 변혁적 핵심기술, (新무선액세스 네트워킹) 무선자원 동적 할당, 서비스 및 이동성 제어, 무선 네트워킹 문제 등을 AI 기반으로 해결하는 핵심 기술, (新무선액세스 엣지) 무선액세스와 엣지컴퓨팅을 밀접하게 결합한 미래형 엣지 기술이다. 6G 네트워크 표준 아키텍처는 AI 수용이 쉽도록 재구성될 전망이므로 통신 인터페이스 등에 집중하여 기술개발 및 표준화 대비가 필요하다.

나. 주파수 공유 및 플랫폼 자동화 기술 개발

AI를 활용한 주파수 공유 기술의 첫 번째는 AI 기반 주파수 센싱 및 한국형 자동주파수제어(K-FC : Korea-Frequency Controller)를 통해 6GHz 주파수에서 기존 무선국을 보호하면서 자율적으로 채널 접속기회를 획득하는 주파수 공유접속 시스템을 개발하는 것이다. 두 번째는 학계 AI 전문가와 공동으로 NR-U 및 차세대 Wi-Fi 등 비면허 주파수 이용 환경에서 공간 학습, 전파식별, 채널 최적화, Multi-AP 자율협력, 공유평가 지수화 등을 연구하는 것이다.

3. AI를 위한 미디어·콘텐츠 기술 개발

가. 기계를 위한 미디어 기술 개발

기계를 위한 비디오 코딩 기술(VCM)은 기계가 쉽고 효율적으로 영상을 인지할 수 있도록 영상신호를 압축하는 영상부호화 기술이다. 사람이 인지하도록 하기 위한 화질의 유지 없이 기계에 특화된 부호화만 하므로 기하급수적으로 증가하는 비디오 데이터에 대한 처리가 용이해질 수 있다[9].

나. AI 학습 데이터 증식 및 생성 기술

미디어 데이터 자가 증식 기술은 딥러닝 연구를 위해 필요한 레이블된 데이터 확보를 위해 소량의 레이블된 데이터로부터 대량의 영상 데이터를 자가 증식하는 기술이다. 유해성 탐지 및 예측, 자율차, 의료 이미지 분석 등 다양한 도메인에서 딥러닝 학습데이터를 확보하는 데 활용이 가능하다. 또한 실-가상 융합 XR 트윈 생성 기술은 실-가상 융합 기반 공간 지능화를 위해 실공간 객체 및 공간 정보를 획득하여 시뮬레이션이 가능한 XR 트윈 모델을 생성하는 기술이다. 다양한 산업 분야에 XR트윈 기술을 접목하는 데 활용 가능하다.

그림 2
Human Vision과 Machine Vision 출처 조용성 외, “미디어와 AI 기술: 미디어 지능화,” 전자통신동향분석, 35권 5호, 2020, 공공누리 4유형

4. 미디어 콘텐츠 인텔리전스 기술 개발

가. 미디어 플랫폼/인프라 기술 개발

AI 기반 미디어 플랫폼·인프라 기술은 미디어 제작, 편집, 부호화, 유통, 전송 소비의 모든 분야의 지능화를 포함한다.

(1) 기계학습 기반 초실감 미디어 초고압축 부호화 기술: 기존의 미디어 부호화 기술에 AI 기술을 접목하여, 미디어 부호화 기술의 한계를 뛰어넘는 AI 기반 고품질/고효율 미디어 부호화 기술을 개발하는 것이다. 기존 미디어 부호화 기술의 다양한 압축 툴을 AI 기반의 새로운 압축 툴로 대체하거나 기존 미디어 부호화의 전 과정을 하나의 신경망으로 처리하는 단일 신경망 기반 미디어 부호화 기술을 통해 기존 미디어 부호화 기술의 압축 성능을 향상하는 것이다.

(2) 기계학습 기반 초실감 미디어 전송 기술: 기계학습 기반으로 기존 수학적 알고리즘으로 달성하기 어려운 송·수신 기술을 개발하고 주파수 이 용효율 향상 기술이다. 초실감 미디어 전송 한계(대역 효율, 저전력 광대역 전송, 전송 채널 모델 예측)를 극복하기 위하여 기계 학습을 기반으로 초실감 미디어를 전송할 수 있는 기술이다. 초실감 서비스를 위한 다시점/360도 영상 등 부호화된 프레임 및 시점(View) 간 상관관계가 높은 미디어의 특성을 고려한 고효율 전송 기술 개발이다[9].

(3) 메타데이터 자동 생성·구축 기술: 콘텐츠의 멀티모달 정보(영상, 음성, 텍스트 등)로부터 미디어 도메인을 분석·이해하고 추론한 콘텍스트 정보를 기반으로 메타데이터를 자동으로 생성하는 기술이다. 콘텐츠 검색, 미디어 커머스 및 개인화 서비스 제공을 위한 미디어 부가서비스 제공에 활용할 수 있으며, 하이라이트 등 다양한 콘텐츠 제작에 활용 가능하다.

(4) AI 크리에이터 기술: 클라우드 환경에서 AI를 이용하여 미디어를 자동으로 기획·생성하고 다매체에서 자율적으로 유통되게 하는 AI 기반 미디어 자동화 기술이다.

(5) AI 기반 영상 콘텐츠 분석 및 자동 생성 기술: 영상 콘텐츠에 대해 의미론적 콘텐츠 세부 구성요소를 분석하고 객체/장면 영역을 추출하는 기술이다. 지능 영상 콘텐츠 의미 분석 및 검색기술은 영상 콘텐츠 내용을 분석하고 저장 및 세부 구성요소 태깅을 통한 영상 콘텐츠 지능 검색 기술이며, AI 자동영상 콘텐츠 생성 기술은 사용자 의도에 맞게 문맥분석기반 시멘틱 합성 및 텍스트/레이아웃 등의 영상 콘텐츠 자동 생성과 콘텐츠 변환을 수행하는 기술이다.

나. AI 기반 콘텐츠 인텔리전스 기술 개발

(1) AI 기반 오감 인터랙션 기술은 다중 감각과 인공지능을 융합한 콘텐츠 표현 확장 기술이다. 즉, AI 기술을 콘텐츠 분야에 적용하여 사용자의 감각 정보(시각, 청각, 후각, 촉각)와 행동 정보를 획득하고, 인공지능을 활용(객체분석, 이해, 추천 및 재구성)하여 인터랙션 인식률 향상과 다중감각 콘텐츠 표현을 확장하는 기술이다.

(2) AI 기반 가상증강 분석 및 공간 생성 기술은 AI와 VR/AR을 융합하여 실외공간 실시간 구축 및 업데이트 지원, AI 기반 가상공간 내 객체 분석, 이해, 추천 및 재구성 기술 개발을 통해 몰입감을 증대할 수 있다. 지능형 게임 콘텐츠 제작 및 서비스 기술은 고품질 지능형 3D 콘텐츠 생성을 위해 학습데이터를 최소화하여 AI 기술 적용, 다중 기능 협력형 게임 캐릭터 서비스 최적화를 위한 강화학습 원천 기술이다.

(3) AI 기반 개인 맞춤형 XR 콘텐츠 서비스 기술은 콘텐츠에 AI를 적용하여 사용자 인터랙션을 분석하고 개인 맞춤형 콘텐츠를 제공하는 기술이다. XR 기술의 유용성을 증대시키기 위해 AI 기술을 이용하여 사용자를 이해하고 최적의 서비스를 제시하여 비대면 실감 교육, 훈련 등을 통한 안전 및 효율성 향상에 기여할 수 있다.

Ⅳ. 결론

인공지능이 다양한 제품과 서비스로 발전되기 위해서는 이를 위한 지능화된 네트워크, 미디어, 콘텐츠 기술들을 선제적으로 확보해야 한다. 그간 ICT 분야에서 ETRI가 쌓아온 기술력을 기반으로 AI 분야의 새로운 기술을 적극 수용하고 발전시켜야 한다.

이를 위해 ETRI는 다음의 세 가지 방향으로 경쟁력을 확보해가야 한다. 첫째, 내부 ICT 전문인력의 AI 인재로 육성해야 한다. AI 아카데미 실무 교육 과정에 초연결/초실감 지능 심화 과정을 개설하고 지속적으로 관련 전문 지식을 심화발전시키며 연구자들이 공유할 수 있도록 확산할 계획이다[10].

둘째, ETRI 내부 및 외부에서 개발되는 인공지능 관련 기술들과 적극 협력하는 것이다. ETRI 내에는 인공지능, 자율이동체 및 다양한 지능화 융합 연구들이 추진되고 있다. AI 개방형 플랫폼을 통해 ETRI 내부의 다양한 연구들과 Inner Source 플랫폼을 통해 기술을 공유하고, 협력하며 축적해가고, 외부 Open Source 플랫폼을 통해서는 외부 개발자 커뮤니티와 협력하는 전략을 확대해가려 한다. 네트워크 및 미디어·콘텐츠 분야도 오픈소스 방식의 개발이 활발한 분야이다. ETRI도 오픈소스 생태계와의 적극적인 교류를 통해 기술 개발 속도를 높이고 ETRI 기술을 국내외 생태계에 확산시켜야 한다.

셋째, 그간의 ICT 분야의 기술력과 포지셔닝을 기반으로 AI로 인해 재편되고 있는 네트워크와 미디어·콘텐츠 분야의 표준화를 선도하고 IPR을 확보하는 등 선도적 지위를 확보해야 한다. 네트워크 최적화를 위해 AI를 활용하는 것이나 기계를 위한 비디오 코딩 기술의 개발 등, AI를 위한 ICT와 AI를 활용한 ICT의 관점에서 보면 아직 초기단계인 기술들이 많다. ETRI는 그간의 기술력과 관련 분야 시너지를 기반으로 새로운 유망분야를 빠르게 발굴하고 선재적으로 핵심기술을 확보해야 한다.

용어해설

SDN 네트워크 자원을 소프트웨어적으로 가상화하여 운영하는 기술

NFV 네트워크 기능을 가상화하여 여러 사용자 또는 여러 기능으로 나누어 사용할 수 있게 하는 기술

VCM 나노선/나노튜브와 같은 1차원 압전 나노 소재의 압전성과 반전도성의 coupling을 이용한 새로운 나노 전자/에너지 소자 기술

XR 가상현실(VR), 증강현실(AR), 혼합현실(MR) 등을 총칭하는 확장현실 eXtended Reality

약어 정리

ETSI

European Telecommunications Standards Institute

ICN

Information Centric Network

IEC

Intelligent Edge Computing

MEC

Mobile Edge Computing

VCM

Video Coding for Machine

참고문헌

[1] 김태연 외, "네트워크와 AI 기술 동향," 전자통신동향분석, 35권 5호, 2020, pp. 1-13.
[2] 김선미 외, "데이터 중심 초분산 자율 인프라 기술," 전자통신동향분석, 34권 1호, 2019, pp. 13-22.
[3] 홍승우 외, "지능형 에지 컴퓨팅 및 네트워킹 기술," 전자통신동향분석, 34권 1호, 2019, pp. 23-35.
[4] 장갑석 외, "AI 기반 이동통신 물리계층 기술 동향과 전망," 전자통신동향분석, 35권 5호, 2020, pp. 14-29.
[5] 전순익 외, "전파기술의 AI 적용 동향 및 전망," 전자통신동향분석, 35권 5호, 2020, pp. 69-82.
[6] 권형진 외, "기계를 위한 비디오 부호화 표준화 동향," 전자통신동향분석, 35권 5호, 2020, pp. 102-111.
[7] 김성민, 정선화, 정성영, "세상을 바꾸는 AI 미디어 : AI 미디어의 개념 정립화 효과를 중심으로," ETRI Insight Report 2018-07, 2018.
[8] 홍성진 외, "차세대 콘텐츠를 위한 AI 기술 활용 동향 및 전망," 전자통신동향분석, 35권 5호, 2020, pp. 123-133.
[9] 조용성 외, "미디어와 AI 기술: 미디어 지능화," 전자통신동향분석, 35권 5호, 2020, pp. 92-101.
[10] ETRI, "AI Academy 실행전략," 서울포럼 2020 발표자료, 2020년 7월.

그림 1

f1-HJTODO_2020_v35n7_23

그림 2

f2-HJTODO_2020_v35n7_23