김건우 (Kim G.W.) 지능보안연구그룹 책임연구원/PL
김태연 (Kim T.Y.) 네트워크연구본부 책임연구원/PL
류철 (Cheol R.Y.) 임베디드시스템연구그룹 선임연구원
박소희 (Park S.H.) 지능보안연구그룹 책임연구원
이재호 (Lee J.H.) 임베디드시스템연구그룹 책임연구원
이준경 (Lee J.K.) 초연결원천연구본부 책임연구원
황승구 (Hwang S.K.) 초연결통신연구소 책임연구원/소장
Ⅰ. 개요
구글의 스마트 글라스 출시는 세상을 바꿀 수 있는 가장 혁신적인 ICT 기기로 큰 호응을 일으켰으며, 포스트-스마트폰 기술이 무엇이 될 것인지에 대한 방향성 제시와 포스트-스마트폰 기술 개발을 요구하고 있다.
구글은 ‘구글 글라스’ 출시 이후, 시장에서 개인정보의 프라이버시 보호문제에 대한 일반인들의 문제제기에 대한 돌파 기술로 스마트 글라스 엔터프라이즈 기술을 새롭게 추진하고 있으며, 이러한 추세에 따라 최근 주요 글로벌 기업들은 스마트 글라스 기술에 대해 적극적으로 연구개발 추진 중이며, 시장 또한 폭발적 성장이 예상되고 있는 시점이다.
또한, 4차 산업혁명 시기 도래에 따라, 세상을 바꿀 수 있는 혁신적인 ICT 기기 만이 4차 산업혁명 기반구축의 핵심기술이 될 것으로 판단되고 있다. 특히 2020년에는 200억 개 이상의 IoT 기기가 연결될 것으로 예상되는 ‘초연결’에 대한 ICT 환경구축은 4차 산업혁명의 핵심 기반기술이 될 것이기에 이에 대한 새로운 방향성 제시와 함께 혁신적으로 패러다임 전환을 가지는 기술개발 역시 필요한 시점이다.
본고에서 처음으로 제시되는 Trusted Reality(TR) 기술은 ‘누구나 편리하고 안전하게 보이는 상태에서 물리세계와 사이버 세계가 자동으로 연결되어 실시간으로 지식과 정보가 소통되는 실감형 초연결 현실화 기술’로 정의하고 있으며, ‘보는 통신’ 이라는 새로운 개념에 대한 기술개발을 목표로 하고 있다. 좀더 구체적으로 언급하면 TR은 포스트-스마트폰에 대한 대안 기술 제시로, 보이는 상태에서 개인 정보보호의 프라이버시 보호기술, 보이는 상태에서 연결인 보는 통신의 각종 플랫폼 기술 및 보이는 상태에서 연결의 통신 인프라 구축 등을 위한 핵심기술 개발을 목표로 하고 있다.
따라서 ‘포스트-스마트폰’이 될 수 있는 혁신적인 ICT 기기 및 4차 산업혁명의 핵심 기반기술이 될 수 있는 TR 기술이 추구하는 방향성 제시, ICT 정보 전달 방식의 변화 동향 고찰, 포스트-스마트폰 기술동향, TR에서 개발하고자 하는 연구개발 내용의 간략한 소개와 함께 ICT 기술의 새로운 흐름에 시사점을 제시하고자 한다.
Ⅱ. 관련 기술 동향
1. ‘포스트-스마트폰’ 기술 동향
스마트폰은 인간이 소통하는 방식을 새로운 관점으로 바라보게 한 ICT 기기이다. 키보드 자판의 문자 입력을 통해서만 소통하던 상태에서 ‘내 손 안에서 터치’ 만으로도 소통이 가능한 방식의 채택으로 인간이 소통하는 방식을 획기적으로 변화시킨 혁신적인 ICT 기기였다.
일반인에게도, 이제는 너무나 익숙한, 인간의 지식정보 소통을 이룬 또 다른 검색 플랫폼이 있다. 구글은 스마트 폰과는 달리 인간의 지식정보 소통에, ‘하나의 창’만 열어 알고 싶은 모든 지식정보를 ‘하나의 창’에서도 알 수 있도록 하는 혁신성을 보여주었다.
구글은 ‘구글 글라스’에서 비록 프라이버시 보호 문제의 벽을 돌파할 수 있는 기술에 대해 뚜렷한 해답을 보여주지는 못하였지만, ‘하나의 창’과 ‘내 손안의 터치’를 뛰어넘는 ‘보이는 정보와의 지식정보 소통’ 정도의 혁신성에 대한 기술개발을 위해 ‘구글 글라스’를 출시하고자 한 것만은 확실해 보인다.
따라서 ‘프라이버시 보호문제에 대한 혁신성’과 ‘보이는 정보와의 지식 소통에 따르는 문제에 대한 혁신성’을 제공하는 방법의 제시는 인간이 소통하는 방식을 획기적으로 변화시킬 수 있는 혁신적인 ICT 기기가 될 것으로 확신된다.
최근 마이크로소프트(MS), 애플, 퀄컴, 화웨이 등의 글로벌 기업들은 포스트-스마트폰 기술로 대두되고 있는 스마트 글라스에 대한 기술개발에 대해 집중적으로 투자하고 있다.
MS는 자사의 ‘Windows OS’ 플랫폼에서 동작되는 Microsoft ‘HoloLens’ 스마트 글라스를 개발하였다[(그림 1) 참조], [1]. 이는 개인용 컴퓨터를 머리에 착용하는 기기(컴퓨터)로 구현하고 있다. PC의 Window에서 제공하는 각종 기능을 앱 형태로 제공하고 있다.
퀄컴은 ‘스냅드래곤’이라는 반도체 프로세스를 기반으로 증강현실에 인공지능을 최적화시킨 기능의 XR (eXtended Reality) 스마트 글라스 플랫폼을 개발하고 있다. 이미 XR 플랫폼은 Meta, VIVE, Vuzix 등의 기업에서 채택하고 있다. XR는 Security와 Connectivity를 핵심적인 차별화 기술로 채택하고, 영상의 객체인식 비전 알고리즘 완성도를 높이는 분야에 주력하고 있다.
화웨이는 스마트 글라스가 포스트-스마트폰이 될 것으로 예측하고, 스마트 글라스에서 정보전송처리는 단말 지연(Delay), 네트워크 속도(Network Speed), 트래픽 과금(Traffic Tariff or Billing) 등이 서비스 이슈가 될 것으로 예측하여 스마트 글라스와 클라우드-지원 MEC(Mobile Edge Computing) 기술을 접목하여 이슈를 해결하고자 노력하고 있다[2].
2. 정보 소통방식의 변화
이렇듯 글로벌 기업들의 스마트 글라스에 대한 포스트-스마트폰 분야에 대한 투자는 가상현실(VR: Virtual Reality), 증강현실(AR: Augmented Reality), 혼합현실(MR: Mixed Reality)에 대한 폭발적 시장성장의 수요를 반영함과 동시에 인간이 소통하고자 하는 방식을, ‘하나의 창’에서 ‘내 손안의 터치’의 단계를 뛰어넘어 ‘보이는 사물과의 지식정보 소통으로’를 발전시키고자 하는 ICT 기술의 혁신적인 방향에 대비하고 있음을 알 수 있다.
포스트-스마트폰의 ‘보이는 정보와의 지식정보 소통’측면에서, 현재 AR, VR, MR 등의 기술은 제약된 콘텐츠 정보를 ‘보이는 정보’를 통해 수동적으로 소통하는 단계에 해당되나[3], 궁극적으로는 스스로 다양한 정보를 생성하고 인간 간에 능동적으로 정보가 전달될 수 있도록 인간 중심의 능동적 소통방식을 지원하는 ‘보는 정보’의 TR 기술로 진화할 것으로 예측된다.
지금까지 ICT기술에서 인간이 소통하는 방식은 ‘하나의 창’→‘내 손안의 터치’→‘보이는 정보와의 지식 소통으로’ 방식이 발전하고 있음을 알 수 있다. ‘보이는 정보’에서 ‘보는 정보’ 로의 발전을 유추할 수 있는 간단한 사례는 QR code가 될 수 있다. 1)
비교적 많은 정보를 보안이 강화된 이미지 형태로 전송하는 편리성으로 최근 주로 D2D(Direct to Direct) WiFi 통신에서 활용하고 있는 QR code는 수동적 통신의 ‘보이는 정보’를 나타내고 있으나, ‘보는 정보’의 능동적 통신을 반영하지는 못하고 있다.
‘보는 정보’는 보는 상태에서 이메일, 문자, 영화, 전화, SNS. 개인의사 등이 신뢰성이 보장된 상태에서 실시간으로 능동적으로 처리되어야 하며, 이러한 소통방식 기술은 정보 소통 방식의 커다란 변화를 가져올 것이다.
Ⅲ. TR의 정의 및 개념
포스트-스마트폰 시대를 대비한 ‘Trusted Reality 핵심기술 개발’ 프로젝트에서 도입된 용어로써 Trusted Reality의 정의는 다음과 같다.
‘누구나 편리하고 안전하게 보이는 상태에서 물리세계와 사이버세계가 자동으로 연결되어 실시간으로 지식과 정보가 소통되고 인식되는 초 연결 현실화 기술’.
상기와 같은 정의에서 TR은 크게 6가지의 중요한 개념이 포함되어 있다
• 누구나: ‘포스트-스마트폰’ 생태계를 이루는 이해관계자에게 개방형으로 제공되어야 한다는 의미로서, 프로젝트에서 개발되는 플랫폼이 사용자, 개발자, 사업자 모두에게 오픈 플랫폼 형태로 제공되어야 하는 개념을 포함하고 있다.
• 편리하고: ‘포스트-스마트폰’은 사용자의 편리성을 우선적으로 고려하여야 한다. 사용자의 두 손이 자유로운 상태로 편리하게 ‘보는통신’ 상태로 직관적인 서비스가 가능하여야 한다. 안경형 TR단말 사용자가 바라보는 기기를 인식하여 자동으로 연결하여 정보를 연결 전송하는 서비스를 목표를 한다.
• 안전하게: ‘포스트-스마트폰’의 요구사항 중에서 신뢰성을 제공하기 위한 대표적인 방법은 개인정보 보호와 데이터의 신뢰성을 확보하는 것이다. 다양한 보안기술이 존재하지만, TR 프로젝트에서는 눈에 보이는 시각을 기준으로 프라이버시 보호를 고려한 영상의 숨김과 복원을 위한 Set-and-See 프라이버시 기술 확보를 목표로 하고 있다.
• 보이는 상태에서: 스마트폰과는 달리 보이는 상태, 즉 보이는 시각을 기준으로 보이는 객체와 보이지 않는 객체와의 연결할 수 있는 서비스를 목표로 하고 있으며 ‘보는 통신’(See-Thru Communication)의 주요한 개념 중 하나이다.
• 물리세계와 사이버세계가 자동으로 연결되어: ‘포스트-스마트 폰’에서 요구되는 기능 중의 하나가 바로 눈에 보이는 실 세계와 인터넷과 같은 사이버세계와의 자연스러운 연계 기능이다. 즉, 눈에 보이는 사물(things)을 분석해서 이에 필요한 사이버 정보를 연결하고, 사물들간의 연동이나 사이버 공간의 정보나 개체와 연결하여 새로운 서비스가 가능한 환경을 제공하는 것을 의미한다. 이를 본 프로젝트에서는 Viewpoint Networking이라는 용어로 사용하고 있다.
• 실시간으로 지식과 정보가 소통되고 인식되는: 궁극적으로 개방형의 직관적인 통신 기술과 보안 기술 그리고 자동연결 기술을 통하여 얻고자 하는 목표는 실시간으로 물리세계와 사이버세계가 연동하여 지식과 정보가 소통되고 인식되는 제로지연 네트워킹의 CPS가 보장되어야 한다.
Ⅳ. TR의 세부 기술 동향 및 이슈
TR의 정의에서 주요하게 생각하는 개념인 ‘누구나’, ‘편리하고’, ‘안전하게’, ‘보이는 상태에서’, ‘물리세계와 사이버 세계가 자동으로 연결되어’, ‘실시간으로 지식과 정보가 소통되고 인식되는’에는 다음과 같은 다수의 ICT 기술들이 개발되고 있다. 따라서 관련 기술의 개발 동향을 간략하게 언급하고자 한다[(그림 2), <표 1> 참조].
1. TR-시선인터페이스
안경형 정보기기는 두 손을 자유롭게 움직일 수 있다는 장점을 가지고 있어서, 웨어러블 컴퓨터라는 개념이 태동했을 때부터 HMD(Head Mounted Display)의 형태로 존재해왔다. HMD는 컴퓨터가 생성한 이미지를 가까운 눈앞의 화면에 표시하여 가상현실 인터페이스로 사용되어 왔다. 또한 근래에는 경량화된 카메라를 부착하여 컴퓨터 생성 이미지와 카메라에서 얻은 이미지를 합성하여 현실세계를 증강하여 보여주는 video see-through 기술이 출현하고 있다. 또 OHMD(Optical HMD)의 투명한 디스플레이를 이용하여 실제로 보이는 이미지에 가공된 이미지를 겹쳐서 보여주는 optical see-through 기술로 발전하고 있다. 또한, 군, 경찰 그리고 소방관들을 위하여 적외선 카메라를 이용한 야간투시와 작전정보 표시를 위해 헬멧형 HMD가 개발되었다. 이를 위해서 배낭형 컴퓨터와 배터리를 이용하기도 하고, 스마트 폰과 비슷한 컨트롤러를 유선으로 안경에 연결하여 사용하기도 한다. 근래 이런 장치들이 구글 글라스와 같이 안경형으로 경량화되고 있는 것도 기술 발전의 큰 방향이다.
여기서 디스플레이의 시야각과 해상도를 높이고, 각종 센서를 이용하여 주변의 사물을 인식하고, 현실감 있는 AR를 위하여 실제 이미지와 가상 이미지를 정합시키며, 머리와 시선을 추적하여 어느 곳을 바라보고 있는지 알아내는 기술이 중요한 연구주제가 되고 있다. Microsoft(HoloLens), Magic Leap, Vuzix, Epson, ODG, Tobii 등이 구글 글래스와 유사한 목표를 가지고 이러한 기술을 개발하고 있다. 한편, 구글 글라스가 일상생활 속에서 스마트 글라스를 소개한 것에 비해서 현재 이들은 손을 자유롭게 사용해야 하는 상황, 예를 들면, 공장의 조립라인 등으로 응용 분야를 확장하고 있다. 이들이 개발하고 있는 기술 중 주목해서 볼 필요가 있는 시선 추적 기술은 이미지를 생성할 때 사용자가 바라보는 영역부터 영상을 먼저 렌더링함으로써 사용자가 느끼는 실시간성을 높일 수 있으며, 사용자의 의도를 파악하여 사물과 상호작용할 수 있는 실마리를 찾아낼 수 있다.
또 다른 기술 발전방향은 편리한 연결성에 초점을 맞춘 것으로 안경형 정보기기가 주변의 IoT 기기를 능동적으로 식별한 후 연결하여, 직접 서비스를 제공받거나 상호작용하는 기술이다. 기존의 증강현실 기술은 상호작용을 하지 않는 사물을 인지하기 위해서 마커를 이용하여 수동적으로 인식했다면, 향후에는 IoT 기기와 같이 상호 동작할 수 있는 기기들은 능동적으로 인식 및 직접 서비스를 제공할 수 있다. 주변의 인식된 IoT 기기들은 Wi-Fi Direct 또는 Bluetooth와 같은 D2D (Device-to-Device) 통신을 이용하여 외부 네트워크의 도움을 받지 않고 근접 통신을 할 수 있다. 예를 들면 천장에 있는 여러 전등 중에 하나를 특정하여 바라본 후 눈을 천천히 깜박이면 불이 켜지거나 꺼지게 하는 인터페이스를 제공할 수 있다. 이 때에 시선추적 기술과 영상 인식 기술을 이용하여 시선을 받고 있는 IoT 기기를 선택하여 통신하는 인터페이스가 필요하다.
ETRI에서는 5GHz 비면허 대역 주파수를 이용한 Wi-Fi 빔포밍 기술을 이용하여 바라보는 사물과 직접 통신할 수 있는 시선통신 기술을 개념적인 수준에서 구현하였다[4]. 향후 음파, 전파, 카메라, 깊이 카메라, 중력 센서, IrDA 등을 이용한 통신 대상 인식 기술이 ‘보는 통신’의 핵심기술로 활용될 것이며, 특히 고성능 GPU를 비롯한 에지 컴퓨팅 발전으로 영상처리 기법이 시선 인터페이스 기술 발전에 많은 도움이 될 것으로 기대된다.
2. TR-프라이버시
카메라를 내장하고 있는 스마트 글라스는 착용 자체만으로 사람들에게 막연한 불쾌감 및 두려움을 조성하여 민감한 개인의 사생활 침해 이슈로 부각되고 있다.
스마트 글라스를 포함하여 최신 ICT 기술에서는 개인의 사생활 침해 문제를 해결하기 위한 개인 프라이버시 보호 기술에 대한 사회적 요구가 크게 증가하고 있는 추세이다. CCTV 보급이 확대되고, 블랙박스, 스마트폰의 사용이 보편화되면서 영상 프라이버시 마스킹 기술의 중요성이 점차 증가하였으며, 특히 카메라 기능을 탑재한 다양한 IoT 기기의 개발로 더욱 중요성이 강조되고 있다.
구글은 구글 글라스의 프라이버시 침해 논란을 해결하지 못하여 일시적으로 판매를 중지한 바가 있으나, 현재는 구글 글라스 엔터프라이즈 버전을 개발하여 실제 활용하고 있으며, 공공 목적 및 특수 목적으로 병원, 공장, 철도, 재난안전 등의 다양한 분야에 적용하기 위해 개발되고 있다. 다만 개인을 대상으로 적용 및 사용하기 위해서는 사생활 침해 이슈는 필수적으로 해결하는 사안이다
국내는 ETRI에서 H.264 코덱일체형 프라이버시 마스킹 기술을 개발하여 암호키를 공유한 인가된 사용자만이 언마스킹할 수 있도록 하는 기술을 개발한 바 있으며, 나아가 H.264/5, MPEG-4, JPEG 등 모든 코덱에 무관한 코덱 독립형(전처리형) 프라이버시 기술을 개발하였다.
씨티에스 & 두넥스는 실시간으로 촬영되는 모든 사람의 얼굴을 마스킹하여 저장한 후, 사건이 발생하면 해당 인물만 마스킹을 해제할 수 있는 개인 사생활 보호 마스킹 솔루션인 아이마스킹(I-Masking)을 개발하였다.
또한, 마크애니는 CCTV 영상 내 움직이는 객체를 일괄 추적하여 마스킹하도록 하는 CCTV 영상 반출 자동화 시스템을 개발하여 CCTV 관제센터에서 사용되고 있다.
국외는 독일의 BOSCH가 PTZ 카메라에서 고정 영역(창문)을 실시간 화이트-아웃시키는 기술을 개발하였으며, Siemens는 움직이는 모든 객체를 마스킹하는 MPEG-4 기반 프라이버시 마스킹 기술을 개발하였다.
현재 프라이버시 마스킹 기술은 고정된 CCTV나 이미지 등에서 한정적으로 적용되어, 일부 사생활 영역을 비식별화하거나, 법적 증거자료 제출을 위해 사후 마스킹하는 기술이 주를 이룬다. 또한, 개인 사생활 보호 대상도 기존 온라인(텍스트, 이미지, 동영상 등)의 제약을 벗어나 오프라인(출력물, 문서 등)의 다양한 객체로 확장되는 추세로 변화하고 있다.
3. TR-사이버/물리 객체/서비스 연결
물리세계와 사이버세계가 자동으로 연결된 서비스를 제공하기 위한 기반 연구로는 에지 컴퓨팅 기술과 IoT 클라우드 기술을 들 수 있다.
가. 에지 컴퓨팅 기술
에지 컴퓨팅 기술은 사용자에게 제공되는 다양한 응용서비스 중에 기존의 인터넷을 통해서 클라우드나 원격에 위치한 서버에서 수행됨에 따라서 발생하는 전송 지연과 과다한 네트워크 트래픽의 문제점을 해결하고자, 적은 전송 지연을 요구하는 서비스는 사용자에게 가까운 위치에서 수행시킨다는 기본적인 개념에서 출발하였다. 현재 에지 컴퓨팅의 가장 대표적인 기술로서 (그림 3)에서 보듯이 Fog computing, MEC, Cloudlet의 세 가지를 들 수 있다[5].
Fog Computing은 2012년 CISCO에서 OpenFog Consortium을 구성하여 제안한 개념으로서 네트워크 에지에서 네트워킹 기능을 담당하고 있는 라우터, 스위치에 클라우드 컴퓨팅 기능을 수행할 수 있는 컴퓨팅 자원을 추가하여 fog node를 제안하였기 때문에, 다른 엣지 컴퓨팅보다 네트워킹 기능에 초점을 맞추고 있다.
MEC는 2013년 NOKIA와 IBM의 주도로 유럽의 표준화 기구인 ETSI에서 표준화가 진행되고 있는 기술로서, 4G/5G 모바일 망을 통해서 서비스되는 에지 컴퓨팅에 중점을 두고 있으므로 무선 자원의 상태에 기반하여 서비스 최적화를 특징으로 한다.
Cloudlet은 2009년 카네기멜론 대학과 Microsoft에서 제안한 개념으로서 멀티 코어 컴퓨팅 능력과 저장소, 무선랜 연결성 등을 가지고 있는 작은 데이터 센터이며 어디든지 설치가 가능하며 사용자의 개인 컴퓨터도 일정 소프트웨어를 설치하면 Cloudlet으로 활용이 가능하다는 점에서 다른 기술과 차별화된다고 볼 수 있다.
나. IoT 클라우드 플랫폼 기술
IoT 클라우드 기술은 모바일을 포함한 생활 속의 사물들을 유무선 네트워크로 연결해 정보를 공유하는 환경인 사물인터넷과 물리적으로 서로 다른 위치에 존재하는 다양한 정보와 지식을 가상화 기술로 통합해서 제공하는 기술 및 환경인 클라우드 컴퓨팅이 결합한 상태를 말한다[6]. 최근 OCF, oneM2M과 같은 IoT 표준 기술과 더불어 다양한 응용서비스 제공을 위한 클라우드 플랫폼이 글로벌 클라우드 서비스 프로바이더들에 의해 선보이고 있다.
아마존에서 제공되는 IoT 클라우드 플랫폼의 사례와 같이, 다양한 IoT 장치로부터의 정보에 대한 인증에서 게이트웨이 기능, 응용서비스 제공을 위한 룰 엔진과 IoT 연결 및 서비스 관리를 위한 API를 통해서 플랫폼 구성이 가능하다[(그림 4) 참조], [7].
다. 시점 기반 물리-사이버 연동 플랫폼
포스트-스마트폰에서는 앞에서 설명한 에지 컴퓨팅 기술과 IoT 클라우드 기술이 융합되어 시점 기반의 물리-사이버 연동 환경이 사용자 맞춤형으로 제공되어야 한다. 즉, 사용자의 주변환경, 프로파일, 선호도 등에 기반하여 주변 사물과 스마트폰이 유기적으로 연계되어 사물과 사이버 정보와 객체가 눈에 보이는 관점 및 시점을 통해서 자동으로 연동되어, 이용자에게 원하는 서비스를 제공되는 시점 기반 네트워킹(TRVN: Trusted Reality Viewpoint Networking) 기술이 요구된다.
(그림 5)에서 나타낸 바와 시점 기반 네트워킹 서비스의 실현을 위해서는 시점 기반의 에지 네트워크 구성 관리 기술, 분산 에지 네트워크 서비스 오케스트레이션 기술, 상황 인지 물리-사이버 연동 에지 브로커링 기술 및 응용서비스 중심 통합 브로커링과 같은 요소 핵심 기술의 확보가 요구된다.
라. 5G 연동 서비스
최근 (2017년) 5G, MEC 분야에서는 차세대 통신단말로 스마트 AR 안경을 대안으로 제시하고 있으며, 원격진료 등의 대용량 Hologram 실시간 저지연 서비스를 수용하기 위해서는 TSN(Time-Sensitive Network)을 요구하고 있으며, 이를 위해 ETRI-TR 신뢰안경 단말과 Fog 노드 간의 TSN 연결 필요성을 강조하고 있다[(그림 6) 참조], [8].
향후 5G Core/RAN 네트워크 슬라이싱 메커니즘과 ETRI-TR 단말간의 응용서비스 사용 시에는 서비스 타입(예: eMBB, mMTC, uRLLC or cMTC)에 따라 동적인 접속 방식이 수행될 것으로 예측된다[(그림 7) 참조], [9].
4. TR – 오픈 플랫폼
‘보이는 정보’ 혹은 ‘보는 정보’와 연관되어 개발되고 있는 플랫폼은, ‘보이는 정보’에서는 대표적으로 안드로이드 AR 플랫폼과 MicroSoft사의 MR 플랫폼 등이 있으며 ‘보는 정보’로는 ETRI에서 TR플랫폼을 개발하고 있다.
‘안드로이드 AR 플랫폼’은 대표적으로 ‘ARCore’가 있다[(그림 8) 참조], [10]. 스마트 폰의 카메라를 이용하여 움직임 추적(Motion tracking), 환경인식(Environmen-tal understanding), 밝기자동조절(Light estimation), 각종 GUI 등의 API를 제공하여 삼성, 소니, 모토로라, 화웨이, 엘지(LG) 등의 스마트 폰에 적용할 수 있다. 그러나 안드로이드 AR 플랫폼은 스마트 폰 플랫폼에 특화되어 있어 안경형 스마트 글라스 플랫폼에는 시안을 통한 객체 추적 기능을 적용하기에는 단점이 있다.
‘윈도우 MR 플랫폼’은 HoloLens(홀로렌즈)를 기반으로 혼합현실 분야로 사용자의 몰입도와 현실감을 증대하는 플랫폼으로 개발되고 있으며 전면 HOE(Holo-graphic Optical Element)를 통한 디스플레이, PC와의 USB3.0 연결성 보장 등으로, 커넥티드 콜라보레이션 비즈니스 플랫폼, 커뮤니케이션 리얼리티, 입체적 인사이트 학습 플랫폼, 360도 액션 센터 등으로 기존 유니티(UNITY)와 연동하고 삼성, HP, Ford, Volvo, Thyssenbkrupp 등에서 파트너로 개발 및 출시되고 있다. 인텔과 MS는 ‘윈도우 MR 플랫폼’을 전략적으로 추진 중이다.
지금까지 언급한 안드로이드 AR 플랫폼과 윈도우 MR 플랫폼은 ‘보이는 정보’ 에 대해 인간과 가상정보를 보여지는 객체에 정합하여 새로운 비즈니스의 생태계를 구축하고 있으나, 이메일, 전화, SNS, 문자 등등의 ‘보이는 정보’를 뛰어넘는 능동적 소통은 ‘보는 정보’로 구현할 수 있다.
ETRI가 개발중인 TR플랫폼은 보는 상태에서 프라이버시 문제가 전혀 없이 이 메일, 문자, 영화, 전화, SNS. 개인의사 등등이 신뢰된 상태에서 막힘 없이 능동적으로 처리되는 새로운 정보 소통 방식을 개발하고 있으며 또 다른 기회에 개발 중인 TR 플랫폼의 전제구조 모습을 소개하고자 한다.
Ⅴ. 시사점 및 결론
언급한 바와 같이 바라보는 것만으로도 사용자의 의도를 파악할 수 있는 TR-시선 인터페이스는 사람의 오감 중 가장 발달된 시각을 효과적으로 이용하는 기술로 시선을 이용하여 의도를 전달할 수 있는 새로운 컴퓨팅 환경에서 지금까지 경험하지 못했던 서비스를 제공할 것이다.
TR-프라이버시는 물리 세계와 사이버 세계의 개인 사생활 정보를 모두 보호할 수 있어 개인 사생활 정보의 외부 유출을 근본적으로 차단할 수 있는 Set-and-See 프라이버시 기술이다. 개인 사생할 영역을 단순 비 식별화하는 것이 아닌 인가된 사람에게 차별화된 식별화 서비스를 제공하는 개인맞춤형 프라이버시 마스킹 기술이다. 온라인 프라이버시 마스킹과 오프라인 프라이버시 마스킹 기술을 개발하여 프라이버시 문제를 해결할 수 있을 것으로 판단되나 착용 자체만으로도 사람들에게 막연한 불쾌감 및 두려움을 유발하는 문제에 대한 해결 기술은 지속적으로 개발하고자 한다.
포스트-스마트폰에서는 물리 세계와 사이버 세계가 유기적으로 연동되어 사용자의 시점 및 관점에 따라서 자동으로 서비스가 제공되기 위한 환경이 구성되어야 한다. 이를 위해서 기존의 에지 컴퓨팅 기술보다 진화된 형태로 사용자에게 맞춤형 응용서비스 환경이 사용자의 근접한 위치에 자동으로 구성되어 초저지연 서비스를 제공하기 위한 시점 기반의 분산 에지 네트워킹 및 오케스트레이션 기술이 요구된다. 또한 사용자의 주변 사물(Things)의 정보와 데이터를 단순히 수집, 가공, 관리하는 차원이 아닌 사용자의 시점을 기반으로 물리-사이버융합 네트워크를 구성하고, 상황에 기반한 이벤트 브로커링 기술을 이용하여 실시간으로 사용자의 의도에 따라서 서비스가 제공되는 응용 기반의 서비스 자동화 기술 개발을 통해서 포스트 스마트폰의 물리-사이버 공간의 자동 연결 및 연동 실현이 가능할 것으로 예상된다.
인간은 바라보는 대상의 인식 및 판단을 시각을 통하여 뇌에서 처리한다. 뇌에서는 시각으로 바라보는 대상은 전정안 반사와 시운동 반사의 원리에 따라 처리되므로 TR 글라스는 ‘보는 정보’인 스스로 다양한 정보를 생성하고 인간 간에 능동적으로 정보가 전달될 수 있는 정도로 인간이 소통하는 능동적 단계인 ‘보는 정보’의 기술을 개발하게 된다. 따라서 TR 글라스가 ‘보는 정보’의 혁신적 ICT 기기가 되기 위해서는 프라이버시 문제를 돌파 할 수 있는 혁신적 기술, 서로 이질적 특성으로 보이는 객체와의 보이지 않는 연결성이 기존 프로토콜 혹은 프로파일에 따라 처리하지 못하는 문제를 돌파할 수 있는 혁신적 기술, 수많은 Things를 사용자의 시점 및 관점에 따라서 자동으로 서비스를 제공할 수 있는 환경구성의 혁신적 기술 개발 등은 TR 글라스가 최종의 목표로 해결하게 될 것이다.
본고에서는 지면의 제약으로 TR를 구성하는 세부기술에 대해 다루지 않았으나, 포스트-스마트폰으로서의 TR 기술은 미래 세상의 ‘보는 정보’로의 혁신성을 제공하여 새로운 생태계를 구축하는 기술이 될 것으로 판단된다.
References
(그림 1)
MS HoloLens
(그림 2)
TR의 기술
<표 1>
TR 정의의 주요 개념
(그림 3)
에지 컴퓨팅 기술 동향
(그림 4)
IoT 클라우드 플랫폼의 예
(그림 5)
시점 기반 물리-사이버 연동 플랫폼 개념도
(그림 6)
TR 글라스와 5G/Fog노드간 연결
(그림 7)
TR 글라스와 5G 슬라이싱간 동적연결
(그림 8)
안드로이드 ARCore 예