스마트폰 대체재로서의 신뢰증강보는통신용 스마트안경 기술

가. 초고화질 광시야각 오감형 디스플레이

나. 초정밀 이미지센서 트레킹

다. 초저지연 정합(Rendering) HW/SW

라. 인터랙션 및 UI/UX

그림 2

스마트기기와 5G Core 간의 연동 3GPP 표준

현재 VR/AR 스마트안경의 네트워크 연동 방식으로는 페어링(pairing, Wi-Fi로 기기/LocalEdge AP와 연결하여 유선망과 연동), 테더링(tethering, Wi-Fi 연결 후 LocalEdge의 5G 모뎀 칩을 통해 5G와 연동) 등이 있다.

미국 퀄컴社에서는 SnapDragon 칩을 사용하면 스마트안경의 Stand-alone 방식으로 직접 Small-cell(5G안테나) & Macro-cell(4G안테나)로 Multi-path 방식의 28G 대용량 스펙트럼 통신을 할 수 있다고 선전하고 있다[5].

5G의 선두주자인 중국 화웨이社는 2016~2017년경 “코어 네트워크 슬라이스뿐만 아니라 RAN 슬라이스, D2D 슬라이스”가 제공되어야 한다고 주장하였다. 노키아社는 ‘RAN 슬라이스’ 개념 구조만을 논문 등을 통해 발표하였다. 그 이후 국제표준화(3GPP) 과정에서 2019년 현재 ‘코어 네트워크 슬라이스’만을 표준화 완성단계에 도달하였다.

‘네트워크 슬라이스’ 개념은 통신사업자가 과거 전용선 제공 임대료를 받는 것처럼, 4차 산업혁명 스마트산업체에 ‘가상화 전용선 임대료’를 받겠다고 출발한 것이다.

그러나 진정한 5G 네트워크 슬라이싱을 통한 VR/AR의 고품질 서비스를 받기 위해서는 다음과 같은 TRG 기기와 5G Core 네트워크 간의 연동 메커니즘이 제시되어야 한다[6,8].

그림 3

스마트안경 기기와 5G Core 네트워크 간의 연동

스마트폰은 손가락 터치 방식으로 전화, 문자, 이메일, 카메라 등 여러 기능들과 앱 기반 서비스를 제공한다[2]. 또한, 현재 HMD 등의 스마트 글라스는 카메라를 이용하여 실상에 가상의 콘텐츠를 정합하여 서비스를 제공한다[3]. 이러한 정보통신 방식은 인간이 두 손을 사용하여 단계적 절차에 따라 데이터를 전송해야 하므로 그 절차 및 진행이 까다롭기 때문에 손쉽게 데이터를 전송하는 방식이 필요하게 되었고, 그 한 예로서 QR코드 방식으로 이미지 전송을 통해 비교적 쉽게 연결 정보를 한 번에 보내는 방식이 연구되고 있다. 그러나 현존하는 스마트 VR/AR 글라스는 유리라는 안경에 가상의 이미지를 정합하는 기술 자체에만 치중하고 있어 보이는 정보와 지식정보를 소통하는 측면에서 바라볼 때, 현재의 증강현실(AR), 가상현실(VR) 및 혼합현실(MR) 기술은 제약된 콘텐츠 정보를 보이는 정보를 통해 수동적으로 소통하는 수준에 머무르고 있다. 따라서 TR 안경은 보이는 정보뿐만 아니라 스마트폰 기능이 지니는 전화, 문자 전송 및 이메일 등 전통적인 정보교환 기능까지 포함한다[1,4].

그림 4

TR글라스와 TRXGW와의 관계도

가. TR의 소프트웨어 플랫폼

1) TRG 소프트웨어 플랫폼 구조[4]

TRG 소프트웨어 플랫폼의 계층은 하드웨어에 대한 의존성 없이 TRG 단말의 운영 응용개발 및 사용자 시나리오에 집중할 수 있도록 계층을 분할하였으며, IoT Device Abstraction Layer에 Use-Case와 Event Chain, TRXGW와 같은 다른 단말과의 통신 데이터 서술로 즉시 동작하는 특징을 가지고 있도록 설계되었다.

또한 Device 자원들의 스케줄링과 제어가 가능하도록 서비스를 제공하는 계층과 데이터 수신, 데이터 분석, 데이터 전송 등 일련의 상태를 처리하는 프로세스를 관리하는 구조로 설계된다. 또한, Application Layer의 응용개발을 하드웨어와 상관없이 일관된 방법으로 구현 가능하도록 추상화하는 계층이 존재하도록 구성된다. 각 계층의 역할은 다음과 같다.

그림 5

TRG 소프트웨어 플랫폼 구조

2) TRXGW 소프트웨어 플랫폼 구조[4]

TRXGW 소프트웨어 플랫폼 또한 하드웨어에 대한 의존성 없이 TRG 및 기타 IoT 기기와의 운영 응용개발 및 사용자 시나리오에 집중할 수 있도록 계층을 분할하였으며, IoT Device Abstraction Layer에 Use-Case와 Event Chain, TRG와 같은 다른 단말과의 통신 데이터 서술로 즉시 동작하는 특정을 가지고 있도록 설계된다. 또한 Device 자원들의 스케줄링과 제어가 가능하도록 서비스를 제공하는 계층과 데이터 수신, 데이터 분석, 데이터 전송 등 일련의 상태를 처리하는 프로세스를 관리하는 구조로 설계된다. 또한, Application Layer의 응용개발을 하드웨어와 상관없이 일관된 방법으로 구현 가능하도록 추상화하는 계층이 존재하도록 구성된다.

즉, TRXGW 소프트웨어 플랫폼은 TRG 플랫폼과 비슷하게 Application Layer, Application Common Service Framework Layer, User’s System Libraries Layer, System Service Layer, IoT Device Abstraction Layer, Device Driver Layer로 구성된다. TRG 플랫폼과 TRXGW 플랫폼은 상호연동이 가능한 시스템의 구조를 지향하고 있으며, TRG에서 처리가 필요한 컴퓨팅 기능을 처리하는 방식으로 구조·설계된다. TRXGW는 각각 Object Discovery Manager, Use Case Manager, DB Manager 등과 각종 라이브러리 계층이 차별적 기능으로 설계된다. 각 계층의 역할은 다음과 같다.

그림 6

TRXGW 소프트웨어 플랫폼 구조

본 절에서는 TR 기기를 통해 ‘보이는 세상’의 개인정보를 사용자 관점에서 차등적으로 보호하는 Set-and-See 프라이버시 기술의 개념과 기존 온라인 객체(예, 텍스트, 이미지, 동영상 등)를 포함하여 오프라인 객체(예, 출력물, 문서 등) 내에 존재하는 개인정보를 보호하는 기술을 소개한다.

그림 7

Set-and-See 프라이버시 기술 구성도

가. Set-and-See 프라이버시 개념

TR 기기를 통해 보이는 영상은 개인의 사생활 보호를 위해 프라이버시 보호기술 적용이 필요하다. 현재는 주로 영상 내 일부 사생활 영역을 원영상 복원을 고려하지 않고 비식별화하는 기술이 주를 이루고 있으며, 온라인 영상 내의 개인정보에만 초점이 맞추어져 있다. 개인의 사생활 보호에 대한 사회적 요구는 온라인 영상뿐만 아니라 오프라인상에서 유통되는 출력물, 문서 등에 포함된 개인정보에 대한 보호로 확대되고 있는 실정이다[9,10].

ETRI-TR 과제에서 개발하는 Set-and-See 프라이버시 기술은 이러한 사회적 요구를 반영하여 온라인뿐만 아니라 오프라인상에서 유통되는 개인정보를 보호하며, 사용자 관점에서 획일화되지 않은 다양한 프라이버시 제공이 가능하다. 본 기술은 영상 내 개인정보 영역을 보호하는 Set 프라이버시 기술과 보호된 프라이버시 영역을 원영상으로 복원하는 See 프라이버시 기술로 구성된다. 또한 차등 프라이버시 기술을 통해 사용자의 속성 정보를 기반으로 차별적인 프라이버시 서비스를 제공한다.

Set-and-See 프라이버시 기술은 적용 대상에 따라 다음과 같이 크게 두 가지로 구분한다.

나. Set-and-See 프라이버시의 세부 기술

Set-and-See 프라이버시 기술은 경량형 프라이버시 객체 검출 기술, 온라인 Set-and-See 프라이버시 기술, 오프라인 Set-and-See 프라이버시 기술 및 차등 프라이버시 권한 설정 기술로 구성된다.

1) 경량형 프라이버시 객체 검출 기술

TR 기기 영상을 위한 프라이버시 객체 자동 검출 기술은 TR 기기의 성능 한계 및 지속적이며 연속적인 환경 변화를 고려한 경량형 프라이버시 객체 검출 기술이다. 기존 객체 검출 기술과 달리 프라이버시 객체 검출 기술은 실시간 적용이 가능해야 하며, false negative rate가 0에 가까워야 한다.

검출의 대상이 되는 프라이버시 객체는 얼굴, 자동차번호판, 주민등록번호와 같은 기본 개인정보 객체와 차등 프라이버시 서비스를 위한 사용자 정의형 프라이버시 객체가 있다.

2) 온라인 Set-and-See 프라이버시 기술

코덱독립형 전주기 프라이버시 마스킹/복원 기술을 이용하여 온라인 영상의 코덱 종류에 무관하게 프라이버시 보호 서비스를 제공하는 기술이다.

경량형 프라이버시 객체 검출 기술에 의해 검출 된 개인정보 영역을 온라인 Set 프라이버시 기술을 통해 비식별화하고, 권한 정보(키 정보)를 가진 사용자만이 온라인 See 프라이버시 기술을 통해 비식별화된 개인정보 영역을 원영상으로 복원할 수 있다.

3) 오프라인 Set-and-See 프라이버시 기술

오프라인상에서 유통되는 개인정보를 보호하기 위한 기술로써, 사용자 정보가 포함된 출력물, 택배송장, 계약서 등에 적용이 가능하다.

문서에 개인정보가 포함될 경우, 오프라인 Set 프라이버시 기술을 통해 개인정보 영역을 비식별화한 후 출력물을 생성한다. 비식별화된 오프라인 문서는 TR 기기를 통해 온라인 영상으로 변환되고, 오프라인 See 프라이버시 기술을 통해 비식별화 영역이 복원된다.

4) 차등 프라이버시 권한 설정 기술

분산형 차등 권한 설정을 통해 사용자 특성 및 서비스 종류에 따라 차등 프라이버시 서비스를 제공하는 기술이다. 사용자, 디바이스 연계형 속성 기반 접근통제 모델을 기반으로 접근제어 권한 설정을 하며, 사용자 속성, 사용자/디바이스 연계 속성, 프라이버시 객체 속성에 따라 서로 다른 프라이버시 보호 서비스를 제공할 수 있다[11].

차등 프라이버시 권한 설정 기술은 사용자/디바이스 인증, 사용자/디바이스 관리, 분산키 관리, 속성정보 관리와 접근제어 관리로 구성된다.

본 절에서는 물리세계와 사이버세계가 자동으로 연결되어 사용자 맞춤형 서비스 환경을 동적으로 제공하기 위한 시점 기반 네트워킹(TRVN: TR Viewpoint Networking) 기술을 소개한다.

그림 8

TR 시점 기반 네트워킹 기술 구성도

가. TRVN 개념 및 프레임워크

TR 시점 기반 네트워킹(TRVN)은 사전적 해석의 Viewpoint 개념의 중복적 의미, 즉 어떤 주제에 대한 논리적 관점의 의미와 실제로 무엇을 바라보는 물리적 시점의 의미를 모두 포함한다. 따라서 TR 시점 기반 네트워킹은 관점 차원에서 사용자 맞춤형의 서비스 환경을 동적으로 제공하기 위한 기술이며, 이와 동시에 시점 차원에서 눈에 비치는 개체들 간의 네트워크를 구성하고 물리개체와 가상개체 간의 연동을 통해서 실-가상 환경을 실시간으로 제공하는 기술적 개념을 포함한다[12].

TRVN 프레임워크는 사용자의 시점에 기반하여 동적으로 맞춤형 서비스를 제공하기 위해서 위에서 보는 바와 같이 에지노드와 코어노드로 구분된다. 에지노드에서는 사용자에게 직접적으로 서비스를 제공하기 위한 VE(Virtual Entity)들과 PE(Physical Entity)들이 합류되는 PoP(Point of Presence)로서 사용자에게 가장 가까운 위치에 배치된다. 코어노드는 분산된 에지노드들과 통신하여 전체 서비스를 제어관리하며, 분산된 에지노드로부터의 의미 있는 데이터들을 수집하여 전체 서비스의 정책을 결정하고 외부 클라우드나 응용서비스와 연동하는 역할을 수행한다.

TRVN 프레임워크는 또한 관리평면과 응용평면으로 구분이 가능하다. 관리평면은 사용자의 맞춤형 서비스를 발견하고 서비스에 필요한 기능 및 자원을 배치하고 실행하며, 전 주기에 걸쳐서 구성, 상태, 이동 및 장애관리 기능을 수행한다. 반면에 응용평면은 배치된 서비스의 컴포넌트들과 물리개체들 간의 연동 및 컨텍스트에 기반한 연계 기능을 수행한다. 또한 응용서비스의 실행 중에 발생하는 데이터를 수집하여 분석하고 필요한 정책을 결정하여 응용서비스가 상황에 기반하여 동작할 수 있도록 제어한다.

나. TRVN 요소 기술

TRVN에서 이루고자 하는 사용자의 시점에 기반하여 동적으로 서비스를 구성하고, 실-가상 연동을 통하여 AR/VR/MR과 같은 실감형 서비스 제공을 위한 개방형 네트워킹에 필요한 핵심 요소 기술은 다음과 같다.

1) 마이크로서비스 아키텍처 기술

흔히 레고에 비유되는 마이크로서비스 아키텍처는 단독으로 실행 가능하고 독립적으로 배치될 수 있는 작은 단위(모듈)로 기능을 분해하여 서비스하는 아키텍처로서, 각 마이크로서비스는 공유나 프로세스 간 통신 없이도 독립적으로 실행되며 운영 관리된다. TRVN에서는 마이크로서비스 아키텍처 기술을 기반으로 사용자의 환경에 맞추어 조합하여 원하는 서비스를 제공하는 기술을 개발하여 적용하고자 한다.

2) 이벤트 기반 브로커링 기술

실시간으로 실-가상 개체를 연결하고 개체 간의 네트워크를 구성하기 위해서는 순간순간 발생하는 이벤트들에 따라서 실개체와 가상개체를 연동하고 개체들 간의 상황변화에 대응하기 위한 기술이 필요하다. TRVN의 이벤트 기반 브로커링 기술은 개체들과 개체들 간의 이벤트, 이벤트에 따른 실행관계를 모델링하고, 이를 적용하여 이벤트의 수집, 변환, 전달, 액추에이팅 기능을 수행한다. 또한 관리평면과 연동하여 관리체계 상에서의 이벤트에 대해서도 연동하여 응용서비스를 최적 관리 기능도 포함한다[13,14].

3) TRVN 통합 오케스트레이션 기술

네트워크에 분산된 에지노드에서 발생하는 관리 측면에서의 상태 정보, 장애 정보 등을 수집하여 통합적인 자원 및 기능이 연결된 하나의 서비스로 관리하기 위한 운영 측면에서의 통합 오케스트레이션 기술이 필요하다. 서비스에서 필요한 기능들의 체이닝, 스케일링 또는 마이그레이션 등의 정책을 결정하고, 에지노드들로 전달하여 이를 수행·관리한다.

또한 응용 관점에서 이벤트들 간의 원격 브로커링을 위해서 분산된 에지노드들 간의 이벤트를 수집 관리하며, 특정 이벤트 발생 시에 이를 감지하여 분산 에지들 간의 이벤트 브로커링을 위한 응용평면에서의 통합 오케스트레이션 기술을 포함한다.

본 절에서는 TRG를 통해 사용자가 바라보며 연결하는(Look-and-Connect) 방식으로 주변 IoT 장치를 직관적으로 접속하는 새로운 UX의 필요성과 이를 지원하기 위한 관련 기술 및 ETRI에서 개발 중인 See-Direct 프레임워크 기술을 소개한다.

가. 시선 인터페이스의 필요성

Wi-Fi 또는 블루투스를 지원하는 IoT 장치에 접속하는 방법은 일반적으로 검색 및 선택(Scan-and-Select) 방식의 접속절차를 따르며, 이는 사용자가 미리 통신 식별자를 알고 있는 상태에서 검색된 주변장치 목록으로부터 연결할 대상장치를 직접 선택해야만 한다. 만약, 검색된 목록이 많을 경우, 스마트폰과 같은 터치 인터페이스가 없는 TRG와 같은 안경 형태의 장치에서 주변장치와 연결하려면 보다 편리한 사용자 인터페이스가 필요할 것이다.

관련 연구로서 스마트폰에서 Wi-Fi 또는 Bluetooth 연결을 위해 추가적인 보조통신(예, NFC, IrDA 등)을 활용하여 태깅하거나 리모컨을 사용하듯 통신대상을 가리키는 자연스러운 동작으로 장치 페어링을 위한 정보(예, MAC 주소 등)를 획득함으로써, 검색 목록으로부터 통신대상을 선택하는 사용자 개입을 최소화하려는 시도가 있다[15,16]. 그러나 IrDA는 분해능이 떨어지고 장애물에 민감하며, NFC는 통신대상에 가까이 다가가서 직접 터치해야 하는 불편함이 있다.

한편, 안경형 단말에서 바라보는 인터페이스로 주변장치의 통신식별자를 획득하기 위해서는 통신대상을 인식하는 기술이 필요하다. 최근 딥러닝을 이용한 영상인식 기술이 각광받고 있으나, 카테고리 분류 또는 증강정보 표시를 위한 이미지 정합이 주요한 목적으로 활용되며, 이미지 촬영조건에 따라 정확도가 떨어지는 단점이 있다. 인식대상 후보가 많을 경우, 제한된 성능을 가진 모바일/웨어러블 단말에서 빠른 영상처리가 어렵고, 서버에서 영상처리를 할 경우에도 네트워크 대역폭에 의존하므로 실시간 인식에 어려움이 있다. 또한, AR/VR/MR 기술을 활용한 SNS/광고서비스들은 공간 모델링 및 DB 구축을 위한 과부하가 존재한다.

한편 블루투스 5.1 규격에 포함된 방향 탐지(Direction Finding) 기술은 멀티 안테나에 입사된 전파의 위상차를 계산(AoA: Angle of Arrival)하여 블루투스 장치들 간 상대각을 측정할 수 있는 기능을 제공한다[17]. See-Direct 프레임워크에서는 통신대상을 식별하기 위해 이미지 분석과 다양한 공간분석(예, AoA를 통한 상대위치 추정, 비콘 분석 등)을 모두 활용하고자 한다.

나. See-Direct 프레임워크 구조

See-Direct 프레임워크는 다음과 같이 크게 통신대상 인식, 비주얼 커넥션 프로토콜, 개발지원 기술로 구성된다.

통신대상 인식은 TRG 단말에서 주변 IoT 장치의 이미지 분석, 설치된 위치, 상대각 추정(AoA)등을 통해 사용자가 바라보는 대상장치를 인식한다. 비주얼 커넥션 프로토콜은 TRG 단말에 부착된 센서들을 활용하여 영상분석 의존도를 낮추면서 목표장치로 연결할 수 있는 통신절차를 정의한다. 가장 상위층은 See-Direct 서비스 개발지원을 위해 개방형 API를 제공한다.

그림 9

See-Direct Comm. Framework 구조

1) 통신대상 인식 기술

See-Direct 통신대상 인식은 크게 이미지 정보 기반과 공간 정보 기반의 대상 인식으로 구성된다. 이미지 정보 기반의 대상 인식 기능은 통신대상 객체 인식에 객체의 이미지를 정보로 활용한다. 공간 기반 대상 인식은 통신대상의 위치 및 센서 정보 등을 활용하여 통신대상을 인식한다.

2) 비주얼 커넥션 프로토콜

통신대상 객체를 인식하기 위한 전반적인 동작 절차를 정의한다. 비주얼 커넥션 프로토콜은 하부의 통신대상 인식기술을 이용하여, 특정 통신(예, Wi-Fi, Bluetooth)에 필요한 통신식별자를 획득하는 일련의 절차를 정의하며, 다음과 같은 기능을 갖는다.

3) 개방형 API

응용 개발자가 See-Direct 커넥션 프레임워크의 내부 기능을 사용할 수 있도록 다음의 다양한 인터페이스를 제공한다.