무인항공기를 위한 증강/가상현실 기술 동향

Augmented Reality and Virtual Reality Technology Trend for Unmanned Aerial Vehicles

저자
방준성VR·AR기술연구그룹
이영호목포대학교 컴퓨터공학과
이헌주VR·AR기술연구그룹
이길행차세대콘텐츠연구본부
권호
32권 5호 (통권 167)
논문구분
일반논문
페이지
117-126
발행일자
2017.10.01
DOI
10.22648/ETRI.2017.J.320512
본 저작물은 공공누리 제4유형: 출처표시 + 상업적이용금지 + 변경금지 조건에 따라 이용할 수 있습니다.
초록
With the advances of high-performance, lightweight hardware components and control software, unmanned aerial vehicles (UAVs) have expanded in terms of use, not only for military applications but also for civilian applications. To complete their task at a remote location, UAVs are generally equipped with a camera, and various sensors and types of hardware devices can be attached according to the particular task. When UAVs capture video images and transmit them into the user’s interface, augmented reality (AR) and virtual reality (VR) technologies as a user interface may have advantages in controlling the UAV. In this paper, we review AR and VR applications for UAVs and discuss their future directions.
   1687 Downloaded 5649 Viewed
목록

Ⅰ. 서론

무인항공기(UAV: Unmanned aerial vehicle)는 조종사가 탑승하지 않고 원격조종 또는 사전에 입력된 프로그램에 의해 원거리를 이동하면서 반자동/자동으로 작업을 수행하는 비행체를 총칭한다[1][3]. UAV는 그 목적과 응용에 따라 드론(Drone), RPAS(Remote piloted aircraft system)[4], UAS(Unmanned aircraft system) [5], [6], MAV(Micro aerial vehicle)[7], [8], MUAV (Micro UAV)[9] 등 다양한 용어로 지칭되고 있다. 초기의 UAV는 군사 용도 중심으로 발전해왔으나, 고성능 경량 하드웨어 부품의 등장과 제어 소프트웨어의 발전으로 항공 촬영, 위험지역 정찰, 운송, 통신 중계, 교통감시, 산불감시•진화, 재해•재난대처 등 최근 민간 및 공공 분야로 그 활용 범위를 넓히고 있다[1].

UAV에는 일반적으로 카메라가 장착된다[10]. 여기에 추가로 다양한 센서 및 하드웨어 기기 등이 부착될 뿐 아니라 컴퓨터 비전, 기계학습 기술 등이 이용되어, UAV의 데이터 수집/작업 범위를 확대시킬 수 있다. 영상 데이터를 이용하는 UAV는 사용자 인터페이스로써 확장된 미디어 공간을 제공하는 증강현실(AR: Augmented reality)/가상현실(VR: Virtual reality) 기술을 UAV의 운용 및 임무 수행 등에 활용할 수 있다.

본고에서는 무인항공기(UAV)를 위한 VR/AR 응용예를 살펴보고 UAV를 위한 AR/VR 기술의 향후 발전 방향을 전망한다.

Ⅱ. 무인항공기와 증강/가상현실 기술

1. 무인항공기(UAV) 산업 전망

국내의 한 문헌을 인용하면, 세계 UAV 시장은 2015년에 123억 달러에서 2020년에 222억 달러로 연평균 13%의 성장세를 가질 것으로 전망된다[11]. 특히, 민간용 소형 UAV 시장 성장세는 주목할 만한 것으로 보고 있다[1], [12]. 시장 선점을 위해 해외 주요 국가는 UAV 시스템 기술 확보를 위한 단기 및 중장기 산업 정책을 수립하고 그 관련 연구를 지원하고 있으며, 일부 민간 기업들도 UAV 연구 개발에 지속해서 투자하고 있다[13], [14].

미국에서는 국방부의 연구개발 지원(2011~2016, 육해공 364억 달러 규모), NASA나 AUVSI 주도의 산학연 협력 등과 동시에, 구글, 페이스북, 아마존 등에서 주도적으로 UAV 응용 연구를 하고 있다[1], [15]. EU는 UAV 통합 운영 시스템(ICARUS, 2012~2016) 구축을 위한 노력과 동시에, 민간 드론 안전기준 수립(유럽항공안전청(EASA) 주도[13])이나 유럽항공교통관리 현대화 프로그램(SESAR) 등을 추진하고 있다[18]. 중국 정부는 UAV를 전략적 신흥 산업으로 분류하여 지원하고 있으며, DJI, 시마(Syma) 등의 민간 기업들이 이미 세계 소형 UAV 시장을 장악해 나가고 있다[13].

국내에서도 UAV 산업 활성화를 위해 미래창조과학부, 산업통상자원부, 해양수산부, 국토교통부 주도로 기술 로드맵 작성, ‘드론 시범사업’ 추진[16], ‘드론 활성화 컨퍼런스(2017년 3월 10일)[17]’ 등 다양한 활동이 전개 중이다. 세계 7위 수준으로 평가되는 국내 UAV 기술은 출연(연)이나 하드웨어•부품 기업들이 주로 보유하고 있다[1], [12], [14]. 국외와 비교할 때 국내 민간 UAV 시장은 그 규모가 상대적으로 작지만, 개인용 취미나 여가 활동을 위한 소형 UAV 개발 관련한 민간 기업체의 수는 증가 추세이다[11], [14]. 이를 볼 때, 국내 UAV 산업은 전략적으로 UAV의 하드웨어 기술에 AR/VR 인터페이스 및 소프트웨어 기술을 접목하여 새로운 시장을 개척할 필요가 있다.

2. 무인항공기(UAV) 기술

UAV는 여러 종류의 데이터 처리 모듈들과 입출력 인터페이스를 통해 그 시스템이 구성될 수 있다. 비행 제어기(Flight controller, 또는 Flight control unit)는 UAV의 핵심 모듈로써, 사용자에 의한 원격조종 또는 특정 작업 수행을 위한 자동항법 루틴(Autonomous navigation routine)에 따른 입력 명령들에 대한 처리와 UAV 비행과 관련된 주변 모듈들에 대한 제어를 담당한다[3]. 모터 제어기(Motor controller)는 비행 제어기로부터 신호를 받아 프로펠러의 회전 속도 등을 제어한다(예: 쿼드콥터의 경우, 4개의 모터 제어기가 제어). UAV 위치 추정을 위해 주로 포함되는 IMU(Inertial measurement unit) 센서들은 정렬(Alignment), 가속(Acceleration), 기압(Barometric) 등을 인식하기 위해 설계된다. GPS 수신기와 자력계(Magnetic compass)가 있는 경우, FCU의 제어를 통해 사전 입력된 지역으로의 경로-설정 비행(예: Waypoint)이나 위치-유지(Position hold) 비행, 출발지 복귀(Coming home) 기능 등으로 UAV의 비행 능력이 확장될 수 있다. UAV의 모듈들은 그 작업 내용과 구매/운용/유지보수 비용 등에 따라 선택될 수 있다.

UAV는 고속으로 원거리 이동이 가능하지만, 일반적으로 비행시간이 20분~30분으로 짧아 작업 수행이 제한될 수 있어서 긴 비행 시간을 위해 UAV의 프레임은 알루미늄, 카본 플라스틱과 같은 경량 소재를 사용해야 한다. 또한, UAV는 이착륙에 유연하고 강한 바람 등의 환경에도 버틸 수 있으며, UAV 내•외부에 보조적인 모듈들(예: 전자기계, 카메라, 배터리 등)의 삽입이 가능하도록 설계되어야 한다.

UAV는 탐지 및 인식(Sensing & perception), 시각 감지•회피, 자율지능(Autonomy), 통신(Connectivity), HMI (Human-machine interface), 보안(Security) 등 하드웨어 및 소프트웨어 기술들이 융합되어 그 기능이 확장될 수 있다.

최근에 이슈화되고 있는 AR/VR 기술은 인간에게 확장된 시간과 공간을 제공하는 미디어로 볼 수 있다. UAV에는 일반적으로 카메라가 장착되어 영상 데이터를 획득 및 전달하는 것이 가능하기 때문에 UAV과 AR/VR은 자연스러운 기술적 융합이 가능하다.

3. 무인항공기(UAV)를 위한 AR/VR 기술

밀그램의 현실-가상 연속체는 가상현실(VR), 증강현실(AR), 그리고 혼합현실(MR)을 설명하는 좋은 도구이다. 밀그램의 연속체는 현실과 가상을 양끝점으로 둔 선분이다. 그리고 현실 쪽으로부터 증강현실과 증강가상이 순서대로 놓인다. 그리고 증강현실과 증강가상의 영역을 합쳐서 혼합현실이라 부른다. 본고에서는 UAV를 위한 AR과 VR 기술의 응용들에 대해 다룬다. VR은 인간의 오감(시각, 청각, 촉각, 후각, 미각)을 자극하여 가상의 공간에 있는 것처럼 느끼게 하는 기술이다. 즉, 컴퓨터에 의해 생성된 가상 환경에 인간이 들어가는 개념이다. AR은 사용자가 눈으로 보는 현실세계에 가상의 사물이나 정보를 합성하여 보여주는 컴퓨터 그래픽 기술이다[18]. 즉, 가상의 정보나 객체를 현실공간에 가져오는 개념이다.

UAV에 장착된 카메라로 촬영된 영상 데이터가 실시간으로 또는 저장된 형태로 제공될 때, AR/VR 인터페이스를 통해 사용자에게 다양한 어플리케이션들이 제공될 수 있다. 먼저, 외부 환경 정보를 이용하고 사용자가 착용할 수 있는 증강현실 디스플레이는 크게 광학-투시형(Optical see-through type)과 비디오-투시형(Video see-through type)으로 분류된다[19]. 광학-투시형 AR은 사용자가 착용한 디스플레이의 렌즈 위에 가상 객체 영상을 투사하여 겹쳐 보이게 하는 방식이다. 비디오-투시형 AR은 실제 환경에 대한 고해상도의 비디오 영상에 가상 객체 영상을 합성한 영상을 사용자에게 보여주는 방식이다. 광학-투시형 AR 기기를 착용한 사용자는 근거리에서 UAV를 조종하는 AR 어플리케이션을 이용할 수 있다. 원격지 작업을 수행하며 카메라 영상을 전송하는 UAV는 비디오-투시형 AR 기술을 이용한다. <표 1>에서와 같이, 비디오-투시형 AR 방식에서 개인용 취미나 여가 활동에 사용될 수 있는 소형 UAV를 스마트폰으로 즐길 수 있는 몇 가지 AR 앱도 출시되어 있다.

<표 1>

스마트폰 AR 앱

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_t001.jpg

UAV의 사용자 인터페이스로써 AR/VR 기술이 사용되기 때문에 디스플레이, 고속 컴퓨팅 칩 등의 하드웨어와 카메라 추적(Camera tracking), SLAM, 객체 추적(Detection) 및 인식(Recognition) 등의 소프트웨어 기술의 협력적 발전이 필요하다. 공중에서 비행하는 UAV의 특성에 따라, 영상 처리, 컴퓨터 비전과 관련된 소프트웨어 기술은 원거리 영상에 대한 고려가 필요하고 이동 중이거나 공중에서의 진동 상황에 강인하도록 고도화되어야 한다.

Ⅲ. 무인항공기(UAV)를 위한 AR/VR 응용

1. 비행 정보 가시화

정보 가시화(Information visualization)는 사용자가 정보를 단시간 내에 쉽게 이해할 수 있도록 돕는 기술을 총칭한다. UAV에 대한 상태 정보 가시화는 비행 관리를 돕는 데 이용되며, 이 상태 정보는 현재 상태 정보와 예정 상태 정보로 분류될 수 있다[7]. 현재 상태 정보는 UAV에 영향을 줄 수 있는 실시간 피드백 정보로 GPS, IMU 등을 포함한다. 이 정보는 주기적으로 갱신되고 필요에 따라 저장된다. 예정 상태 정보는 계획된 이동 경로(예: Waypoint 기반), 이동 속도, 도착 예상 시간 등을 포함한다.

근거리에서 육안으로 UAV 비행을 하는 경우, 조종하는 사람은 주변 환경에서 UAV를 식별하기 어려울 수 있다. 이러한 경우, 주변 장애물과의 충돌 위험이 커진다. FlyAR 어플리케이션에서는 UAV의 이동 경로나 지면으로부터의 높이 등에 대한 정보를 가시화해 주는 비행 관리(Flight management) 기능을 제공한다[(그림 1) 참조], [7]. 비행 정보 가시화를 위해 실제 환경 데이터를 이용하기 때문에 공간 상의 표현에도 유리하다. UAV에 깊이(Depth) 카메라를 이용할 경우, 비행의 경로에 있는 장애물을 탐지하여 가시화하거나 자동회피하도록 하는 것도 가능하다.

(그림 1)

UAV 이동경로와 높이정보 및 거리에 대한 AR 가시화[7]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f001.jpg

2. 게임/관광

UAV에서 촬영된 영상에 AR 기술로 3D 가상 객체를 삽입하여 게임 콘텐츠 제작이 가능하다. 마커(Marker)-기반 AR 방식이기는 하지만, 사용자가 원격 제어 플랫폼에 앉아 UAV를 직접 조종하여 프랑스의 아를라텡(Arlaten) 박물관과 같은 문화 유적지를 관람하며 게임을 즐기는 서비스에 대한 연구도 진행되었다[(그림 2) 참조], [20]. 무선 네트워크 인프라를 이용하여 원격지에서 UAV를 조종하며 관광지를 관람할 수 있게 하는 시스템도 연구되었다[21]. 국내에서는 ㈜엘로이즈에서 UAV을 이용해 촬영된 실사영상에 3D 아바타 및 비행체를 합성해 사용자가 마치 드론을 직접 조종하는 것처럼 체험할 수 있는 ‘드론 레이싱 게임’ 어플리케이션을 제공한다.

(그림 2)

문화유적지 탐험의 AR 원격 조종 게임[20]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f002.jpg

카메라가 장착된 UAV로 관광지, 문화유적지, 동굴 등에 대해 사전 촬영된 영상을 이용하여 사용자에게 VR 드론 관광 어플리케이션을 제공할 수 있다. 기존의 VR 관광과 다른 점은 VR 영상 내에서 사용자 시점에 의한 이동이 아니라, UAV 조종을 통하여 관광지를 살펴볼 수 있다는 것이다. 중국 최대 드론 기업인 DJI는 최근 ‘무인기를 활용한 가상 관광 시스템과 방법(공개번호: US20160035224)에 대한 특허를 출원했다[21]. 해당 특허는 UAV에 AR/VR 기술을 이용한 가상 관광 기술로, 드론이 수집한 정보를 바탕으로 시간과 장소에 제약 없이 현장의 날씨까지 반영하여 여행지 명소에 실제 있는 듯한 경험을 제공해 준다고 한다. 사전 촬영한 영상을 이용한 또는 디자이너의 설계에 의한 가상 공간에서 UAV 조종을 하며 즐길 수 있는 게임 콘텐츠 개발도 가능하다. UAV를 이용한 VR 게임 또는 체험은 현실 세계에서의 물리적인 제어가 가상 공간에 반영되도록 할 수 있다. (그림 3)에서 보는 것처럼, 여러 대의 카메라와 다중 센서들을 이용하여 UAV의 움직임을 가상 공간에 반영한다[23].

(그림 3)

현실의 물리적 제어를 가상 공간에 반영[23]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f003.jpg

3. 원격 운용

원격 운용(Teleoperation)은 원거리 또는 물리적으로 접근이 어려운 환경에서의 인간의 임무 수행을 가능하게 하는 기술을 말한다. 카메라가 장착된 UAV는 통신 범위 내에서 원격지 영상을 서버 또는 사용자 단말로 전달하도록 하여 원격 감시(Monitoring)에 사용될 수 있다[24]. 컴퓨터 비전 기반의 AR 기술을 이용하면 원격지 영상의 분석된 추가적인 정보를 이용한 원격 감시가 가능하게 된다. 미국의 항공기 제작 회사인 보잉(Boeing)의 자회사인 인시투(Insitu)에서는 스캔이글(ScanEagles)이라는 UAV를 생산한다. 이 UAV는 산불 여부를 판단하기 위한 감시 영상과 보조적인 센싱 정보를 마이크로소프트(Microsoft)의 홀로렌즈(Hololens) 플랫폼을 이용하여 사용자에게 제공한다[25]. (그림 4)에서처럼, 건설현장 감시에 사용되는 UAV에도 AR 기술이 활용될 수 있다. 현장의 카메라 영상에 3차원 가상 이미지로 건축 프로젝트 진행 정도, 완성된 건축 결과, 계획 변경에 따른 전후 비교 등에 정보를 사용자에게 제공할 수 있다[26].

(그림 4)

건설현장의 AR 원격 감시[26]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f004.jpg

카메라가 장착된 UAV를 이용하여 원격지 영상 정보만 얻는 것을 넘어, (그림 5)에서처럼, 실시간으로 사용자의 인터랙티브 피드백을 반영하며 원격지 작업을 가능하게 하기 위한 텔레프레전스(Telepresence)에 대한 연구가 진행되기도 하였다[27].

(그림 5)

텔레프레전스(Telepresence)[27]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f005.jpg

4. AR 공간 정보

AR 기술을 이용하여 공간 정보를 제공하면, UAV의 비행 및 임무 수행에 도움이 된다. 공간 정보를 제공하기 위한 가장 단순한 방법은 2D의 실측 지도 또는 그에 상응하는 지리 정보를 바탕으로 3D로 공간을 구성한 뒤[28], UAV의 카메라 영상 또는 내부의 센서를 이용하여 계산된 비행 포즈(Pose)를 실시간 추적하여 입력 카메라 영상에 3D 공간 정보를 매핑하여 AR 지리 정보를 제공하는 것이다[9]. AR 지리 정보 시스템(AR-GIS)에서 가장 기본적으로 표현 가능한 정보는 GPS 등에 의해 정확하게 위치가 추적될 수 있는 빌딩이나 길에 대한 정보이다. (그림 6)의 예처럼, 건물 위주의 지리 정보 구성을 확장하며 실제 공간 상의 물체의 거리 등을 측정하여 정보를 갱신하여 대규모 지역의 3D 공간 정보를 구축할 수 있다[29].

(그림 6)

대규모 지역 3D 공간 정보 구축[29]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f006.jpg

UAV로 관심 지역의 상공을 촬영한 카메라 영상을 이용하여 3D 공간을 구성하려는 여러 연구가 있었다. 그 촬영된 영상에서 3차원 포인트 클라우드 데이터를 추출하여 3D 공간을 복원(Reconstruction)하는 것이 가능하다. FlyAR 어플리케이션에서는 UAV를 이용하여 항공 복원(Aerial reconstruction)을 하였다[7]. 이 복원된 공간 정보는 지도 데이터로도 활용될 수 있는데, 실측 지도에 가까운 데이터를 구축하기 위해 포인트 클라우드 데이터 생성시의 위치 오차를 추정하는 다양한 성능 모델들도 개발되었다[3]. 구축된 공간 정보를 이용하여 GPS가 성능이 보장되지 않는 지역에서 실시간으로 AR 지리 정보 제공이 가능하다.

고품질의 3D 공간 구축을 위한 영상을 촬영하는데 있어서 UAV의 체공 시간은 25분 내외로 짧은 편이다. 짧은 체공 시간 내에 의미 있는 영상 획득을 위해 촬영을 위한 자동 비행 및 위치 선정에 대한 연구도 필요하다[(그림 7) 참조].

(그림 7)

대규모 지역 3D 공간 복원을 위한 무인항공기의 자동 비행[3]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f007.jpg

5. SLAM 기반 내비게이션

UAV는 물리적인 장애물이 많은 곳에서 비행 중 충돌 발생 가능성이 크다. 또한, 제공된 지리 정보가 시시각각 동적으로 변하는 현실 공간을 정확하게 반영하고 있지 않을 수도 있다. SLAM 기술은 3D 공간을 구축하며 내비게이션 할 수 있게 한다. (그림 8)에서와같이, 실외 환경에서 SLAM 기술을 이용하여 UAV의 위치를 추적할 수 있다[2].

(그림 8)

SLAM-기반 무인항공기 위치 추적[2]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f008.jpg

최근에 컴퓨터 비전-기반 자동 매핑/탐사(Vision-based autonomous mapping and exploration) 방법이 연구되었다. GPS가 되지 않는 지역에서 자율 비행을 위해 단안(Monocular) 카메라 영상을 이용한 SLAM 기반 내비게이션 (그림 9) 및 SLAM 기반 추적 기술이 연구되기도 하였다[8], [30]. 이동 경로 상에 있는 장애물은 실시간으로 하이라이트 되어 사용자에게 보여진다. 실내 환경에서의 카메라 영상으로 생성한 포인트 클라우드 데이터로 3D 공간을 구축하여 UAV의 실내 충돌 장비를 위한 내비게이션에 이용할 수 있다[2].

(그림 9)

SLAM-기반 실내 네비게이션[30]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f009.jpg

Ⅳ. 무인항공기(UAV)를 위한 AR/VR기술 전망

1. 비행 환경의 데이터 가시화

UAV의 안정적인 비행을 지원하기 위해 기존에 연구된 다양한 가시화 방법들이 사용될 수 있다. 객체 정렬 가상 컷어웨이(Object-aligned virtual cutaways)[31]는 그래픽 힌트를 제공하여 사용자가 거리를 인식할 수 있도록 돕는다. 가상 그림자 평면과 컬러-인코딩 마커들(Virtual shadow planes and color-encoded markers)을 사용하여 공간 상에 가상의 주석문을 가시화하면서도 사용자가 거리를 인식할 수 있도록 하는 방법도 연구되었다[32]. 이 방법은 실외 환경에서 2D 지도와 가상의 주석을 동시에 포함하는 AR 공간 View를 제공하도록 확장될 수 있다.

AR 가시화를 위해 가려진(Occluded) 목표물들에 대한 거리 및 지면으로부터의 높이를 추정하여 표현하는 방법도 연구되었다[33]. 가려진 객체들의 표현에 따라 사용자가 깊이 인식을 얼마나 잘 할 수 있는지에 대한 연구도 진행되었다[34]. AR 데이터 가시화에서는 현재 보여지는 객체 뿐만 아니라 숨거나 가려진 객체를 사용자가 이해하기 쉽게 어떻게 표현할 것인가, 이를 위해 어떻게 정보를 획득할 것인가 등이 연구되어야 할 것이다.

2. 인터페이스

최근, Flying Drone과 같은 구동 객체(Actuated objects)를 제어하기 위한 AR 인터페이스로 exTouch와 같은 개념이 등장하기도 했다[35]. 이 새로운 개념의 인터페이스는 접촉하려는 제스처를 이용하여 마커 위에 증강된 객체를 제어할 수 있게 했다. 신뢰도를 고려하여 사용자에게 가까울 때만 동작하게 할 수 있다. 다른 방법으로 마커를 UAV에 부착하여 항법 관련 정보를 가시화하는데 사용할 수 있다. 하지만, 마커를 이용하는 방법들은 원거리에 있어서 카메라 가시권 밖으로 벗어나면 제어되지 않는 단점이 있다.

NUI(Natural user interface) 개념으로 드론 조작을 위한 AR 인터페이스를 개발할 수 있다. 그러나, 고속으로 이동하는 UAV에서의 오동작은 큰 사고를 일으킬 수 있기 때문에, NUI는 직접적인 제어 UI와 함께 제공되어야 할 것이다.

헤드-카메라 동기화(Head-camera synchronization)는 UAV에 장착된 카메라에 의해 획득한 영상을 사용자 1인칭 시점으로 보여준다[36], [(그림 10) 참조]. 헤드-트래킹 기술을 이용한 헤드-카메라 동기화 시스템은 사용자가 VR 헤드셋을 착용하고 실시간으로 마치 하늘을 나는 듯한 느낌의 몰입감 있는 경험을 할 수 있게 한다. 이 기술을 이용하여 360도 또는 파노라마 영상을 획득하는 것도 가능하다. 이 밖에 시선(Gaze) 추적을 이용하여 UAV를 제어하는 연구도 있다[37].

(그림 10)

좌표계 일치[36]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f010.jpg

3. 자율 비행

UAV의 비행시간이 제한적이기 때문에, 자동 비행경로 설정(Automatic flight path planning) 기법은 의미 있는 시점에서의 다수의 좋은 이미지를 획득하는 데 도움이 된다[38]. 자율 비행은 UAV가 사전 정의된 비행경로를 크게 벗어나지 않는 범위에서 정확하고 안정된 AR 영상 시점의 이동이 가능하도록 시스템이 자동 설정되는 기능을 포함할 수 있다

4. 영상 분석 – 문맥 인지

UAV는 인간이 방문하기 어렵거나 곤란한 지역을 탐사할 수 있다. UAV를 응용하는 가장 간단한 응용은 카메라를 장착하여 원격 조종하는 것이다. 카메라가 장착된 UAV는 통신링크의 범위에서 실시간 영상 전송이 가능하다. 스트리밍 영상 전송도 UAV의 한 응용이겠지만, 영상 내에 UAV 시스템 및 기타 정보의 시각화로 사용자에게 더 많은 정보를 제공해줄 수 있다. 영상 스트리밍과 단순 정보 시각화에서, 실사영상에 3차원 가상객체의 정합을 통해 증강현실 콘텐츠 구현이 가능하다. 드론 레이싱 어플리케이션 등이 그 예이다. 영상 분석 기술로 객체를 탐지/추적/인식하여 AR 기술을 고도화하여 UAV에 적용하게 되면 더 다양한 어플리케이션이 등장할 것이다. AR 기술에 대해 학계에서 문맥인지에 대한 부분에 고민을 하고 있는 것을 볼 때, 향후 UAV은 자율적 판단이 가능한 임무 수행 비행체로 거듭날 것으로 보인다.

5. 센싱 및 실시간 복합 데이터 처리

UAV에 다양한 센서를 부착하여 주변 환경에 대한 센싱이 가능하게 할 수 있다. 또한, UAV 주변에 기 전개된 센서들로부터 센싱 데이터를 수집하여 이를 통신링크를 통해 클라우드 서버에서 복합 데이터 처리가 가능하도록 할 수 있다. 센싱의 목적에 따라 UAV은 그 특징을 달리할 것이다.

최근 무인자동차의 자율주행을 위해 사용되는 LIDAR도 소형화, 경량화되면 UAV에 추가 장착되어 주변의 공간 정보를 센싱할 수 있을 것으로 보인다.

UAV가 카메라를 통해 현실 공간의 영상을 전달하고 주변 환경에 대한 정보를 센싱하여 복합 처리하는 방식에 비해 능동적으로 로봇팔을 이용하여 직접 상황에 대응할 수 있다. 그러나, 이때 UAV는 팔의 무게를 견딜 수 있는 정도의 날개 회전력과 UAV 자체 소재가 가벼워야 할 것이다. 즉, UAV 개발의 기본 이슈인 내구성이 강하고 가벼운 소재 개발이 있어야 가능할 것이다.

UAV-AR 기술에 기계학습, IoT, 클라우드 기술 등이 융합되면 더 고급화된 정보 전달이 가능하다. 주변 사물 및 그 사물의 센싱 정보를 클라우드로 처리하면, 사용자 맞춤형 가공 정보 전달이 가능하게 된다.

6. 협업 기술

한 사람이 하나의 UAV 뿐 아니라, 여러 대의 UAV을 조종 하려면, 그 UAV들은 서로 협력적으로 동작될 수 있어야 한다. 개별적으로 UAV를 조종하는 상황이라면, 각 UAV의 제어권은 보안 채널에서 원격 사용자에게 위임뒬 수 있어야 한다. 개별 조종시에 각 UAV는 인접 UAV들을 인지하는 충돌 방지 기능 등이 필요하다. 2인 이상의 VR/AR 원격 협업 환경에 대한 연구가 진행됨에 따라 수년 내에 다수의 UAV로 원격의 작업지에 대한 정보를 공유하고 작업을 수행하는 것이 가능해질 것으로 보인다[39]. 2명 이상의 사용자가 군집되어 있는 UAV를 제어할 때, 서로 간의 UAV에 대한 시각화 정보도 AR 또는 VR 디스플레이상에 공유될 수 있어야 한다. VR의 경우, 효과적인 군집 UAV 제어 또는 협업을 위한 별도의 가상 공간을 제공할 수 있다. 궁극적으로 UAV 제어는 개별 조종 방식에서 임무 할당식으로 발전해야 할 것이다. 사용자로부터 임무를 할당받으면, 다수의 UAV는 해당 지역으로 비행하여 자체적으로 토폴로지를 구성하고 각 UAV는 임무에서 필요한 세부 동작을 수행하게 될 것이다. 사용자는 비행 시뮬레이션이나 공중 전투 게임과 같은 화면을 보게 될지도 모른다. UAV 협업을 위해, 자가 네트워크 구성, 상황 인지 기반의 최적화 등의 소프트웨어 기술들이 필요하다.

7. 고용량 영상 전송을 위한 프로토콜

원격지에서 여러대의 UAV를 조종하는 사용자들 각자에게 VR/AR의 몰입감 있는 환경을 제공하기 위해 통신 링크의 최적화가 필요하다. 비행 중인 UAV의 통신 채널 상태에 따라 적응적으로 전송 속도를 변경하고 신호 오류를 정정하는 등의 전송 효율 향상을 위한 기술이 필요하다.

Ⅴ. 결론

UAV는 인간 활동 영역에서의 물리적인 제약을 극복해주는 도구일 수 있다. 지금의 하드웨어 및 소프트웨어의 발전과 AR/VR 인터페이스와의 결합에 힘입어, 실시간 영상 정보 처리 및 분석에 의해 문맥을 인지하고 다양한 센싱 기술의 융합으로 UAV는 사용자와 상호작용할 수 있는 기기로 거듭날 것이다. UAV는 실시간 또는 비실시간(기존에 촬영된 영상 활용)으로 이동하며 즐길 수 있는 콘텐츠를 제공할 수도 있다. UAV는 인공지능, 로봇 기술 등과 융합되어 서비스와 콘텐츠 중심으로 광범위한 산업 분야에 활용될 수 있다.

용어해설

AR사용자가 눈으로 보는 현실세계에 가상 이미지를 겹쳐 하나의 영상으로 보여주는 기술

VR컴퓨터로 생성된 가상의 공간에서 사용자가 상호작용할 수 있도록 해주는 인간-컴퓨터 인터페이스 기술

약어 정리

AR

Augmented Reality

GPS

Global Positioning System

HMD

Head/Helmet-Mounted Display

SLAM

Simultaneous Localization and Mapping

UAV

Unmanned Aerial Vehicle

VR

Virtual Reality

[1] 

이아름, “드론 시장 및 산업 동향,” 융합 Weekly TIP ? Industry, vol. 53, 2017. 1. 9.

[2] 

J. Artieda et al., “Visual 3-D SLAM from UAVs,” J. Intell. Robotic Syst., vol. 55, no. 4?5, Aug. 2009, pp. 299?321.

[3] 

S. Siebert et al., “Mobile 3D Mapping for Surveying Earthwork Projects Using an Unmanned Aerial Vehicle (UAV) System,” Autom. Construction, vol. 41, May 2014, pp. 1?14.

[4] 

ICAO, Manual on Remotely Piloted Aircraft Systems (RPAS), 1st edition, Doc 10019 AN/507, 2015.

[5] 

US Department of Defense (DoD), “Unmanned Aircraft Systems Roadmap 2005-2030,” Aug. 4, 2005. Available: https://fas.org/irp/program/collect/uav_roadmap2005.pdf

[6] 

UK Civil Aviation Authority (CCA), “Unmanned Aircraft System Operations in UK: Airspace ? Guidance,” 6th edition, CAP 722, Mar. 31, 2015, Available: http://www.caa.co.uk/home/

[7] 

S. Zollmann et al., “FlyAR: Augmented Reality Supported Micro Aerial Vehicle Navigation,” IEEE Trans. Visual. Comput. Graph., vol. 20, no. 4, Apr. 2014, pp. 560-568.

[8] 

S. Weiss et al., “Monocular-SLAM-Based Navigation for Autonomous Micro Helicopters in GPS-Denied Environments,” J. Field Robotics, vol. 28, no. 6, 2011, pp. 854-874.

[9] 

M. Sun et al., “Real-Time MUAV Video Augmentation with Geo-information for Remote Monitoring,” Int. Conf. Geo-Inform. Technol. Natural Disaster Manage., Mississauga, Canada, Oct. 9?11, 2013, pp. 114?118.

[10] 

S. Lange et al., “Autonomous Corridor Flight of a UAV Using a Low-Cost and Light-Weight RGB-D Camera,” in Advances in Autonomous Mini Robots, Heidelberg, Germany: Springer, Jan. 2012, pp. 183-192.

[11] 

강왕구, “전 세계 무인이동체 시장 2020년까지 연평균 22% 성장 전망,” 나라경제, 2017. 4, pp. 10-11. Available: http://eiec.kdi.re.kr/publish/nara/index.jsp

[12] 

윤광준, “국내∙외 드론 산업 현황 및 활성화 방안,” 부동산포커스, vol. 95, 2016. 4, pp. 4-14.

[13] 

국가과학기술심의회, “무인이동체 산업 활성화 및 일자리 창출을 위한 무인이동체 발전 5개년 계획(안) (2016-2020),” 2016. 6. 30.

[14] 

박세중 외, “무인이동체 운용을 위한 주요국의 기술개발 계획 및 정책적 시사점,” 한국통신학회 추계종합학술발표회, 2016, pp. 22-23.

[15] 

김희욱(ETRI) 외, “무인기 제어용 무선통신 기술 및 표준화 동향,” 전자통신동향분석, 제30권 제3호, 2015. 6. pp. 74-83.

[16] 

국토교통부 첨단항공과, “국토부, 드론 시범사업 지역 3곳∙사업자 10개 추가 선정,” 국토교통부 보도자료, 2016. 12. 29. Available: https://www.molit.go.kr/USR/NEWS/m_71/dtl.jsp?id=95078670

[17] 

국토교통부 첨단항공과, “드론의 ‘A to Z’를 한눈에… 국토부, 드론 컨퍼런스 개최,” 국토교통부 보도자료, 2017. 3. 7. Available: https://www.molit.go.kr/USR/NEWS/m_71/dtl.jsp?lcmspage=4&id=95078933

[18] 

방준성 외, “VR/AR 게임기술 동향,” 전자통신동향분석, 제31권 제1호, 2016. 2, pp. 146-156.

[19] 

양웅연, “가상현실 및 증강현실을 위한 착용형 디스플레이 발전 동향,” 정보통신산업진흥원 주간기술동향, 2014. 6. 18.

[20] 

S. Thon et al., “Flying a Drone in a Museum ? an Augmented-Reality Cultural Serious Game in Provence,” Digital Heritage Int. Congress, Oct. 28-Nov. 1, 2013, pp. 669-676. Video: https://vimeo.com/69798135

[21] 

D. Mirk et al., “Virtual Tourism with Drones: Experiments and Lag Compensation,” Micro Aerial Veh. Netw., Syst., Applicat. Civilian Use, Italy, May 18, 2015, pp. 45-50.

[22] 

K. Yang et al., System and Method for Enabling Virtual Sightseeing Using Unmanned Aerial Vehicles, US 14/795652, filed July 9, 2015.

[23] 

W. Honig et al., “Mixed Reality for Robotics,” IEEE/RSJ Int. Conf. Intell. Robots Syst., Germany, Sept. 28-Oct. 2, 2015, pp. 5282-5287.

[24] 

J. Chakareski, “Aerial UAV-IoT Sensing for Ubiquitous Immersive Communication and Virtual Human Teleportation,” Submitted to INFOCOM2017 on March 12, 2017. Available: https://arxiv.org/abs/1703.04192

[25] 

Ed Darack, “Drones + Augmented Reality = Help for Firefighters,” AIR&SPACE, Jan. 20, 2017. Available: http://www.airspacemag.com/articles/drones-augment-reality-180961874/ YouTube: https://youtu.be/omGoz66xHU8

[26] 

SPAR-3D, “How Drone Videos and Augmented Reality Can Help Monitor Construction Projects,” SPAR3D Blog, Mar. 4, 2016. Available: http://www.spar3d.com/blogs/guest-blog/monitor-construction-with-ar-from-drone-videos/ YouTube: https://youtu.be/aPNwXIyu0ZY

[27] 

Q. Zhi-hua et al., “Design of UAV Telepresence and Simulation Platform Based on VR,” Int. Conf. Cyberworlds, Hangzhou, China, Sept. 22-24, 2008, pp. 520-524.

[28] 

W. Huang et al., “A 3D GIS-Based Interactive Registration Mechanism for Outdoor Augmented Reality System,” Int. J. Expert Syst. Applicat., vol. 55, no. C, Aug 2016, pp. 48-58.

[29] 

S. Zlatanova et al., “3D GIS for Outdoor AR Applications,” Int. Symp. Mobile Multimedia Syst. Applicat., Netherlands, Dec. 6, 2002, pp. 117-124.

[30] 

J. Engel et al., “Scale-Aware Navigation of a Low-Cost Quadrocopter with a Monocular Camera,” Robotics Autonomous Syst., vol. 62, no. 11, Nov. 2014, pp. 1646-1656.

[31] 

K. Ikeuchi et al., “KinecDrone: Enhancing Somatic Sensation to Fly in the Sky with Kinect and AR.Drone,” Int. Conf. Augmented Human, Kobe, Japan, Mar. 7-8, 2014, pp. 53:1-53:2.

[32] 

J. Wither et al., “Pictorial Depth Cues for Outdoor Augmented Reality,” IEEE Int. Symp. Wearable Comput., Osaka, Japan, Oct. 18-21, 2005, pp. 92?99.

[33] 

M.A. Livingston et al., “Resolving Multiple Occluded Layers in Augmented Reality,” IEEE/ACM Int. Symp. Mixed Augmented Reality, Tokyo, Japan, Oct. 10, 2003, pp. 56?65.

[34] 

A. Dey et al., “Evaluating Depth Perception of Photorealistic Mixed Reality Visualizations for Occluded Objects in Outdoor Environments,” IEEE Symp. 3D User Interfaces (3DUI), Waltham, MA, USA, March 20-21, 2010.

[35] 

S. Kasahara et al., “exTouch: Spatially-Aware Embodied Manipulation of Actuated Objects Mediated by Augmented Reality,” Int. Conf. TEI, Barcelona, Spain, Feb. 10?13, 2013, pp. 223-228.

[36] 

J.P. Hansen et al., “The Use of Gaze to Control Drones,” Symp. Eye Tracking Res. Applicat., Safety Harbor, FL, USA, Mar. 26-28, 2014, pp. 27-34.

[37] 

G. Lan et al., “Development of UAV Based Virtual Reality System,” Int. Conf. MFI, Baden-Baden, Germany, Sept. 19-21, 2016, pp. 481?486.

[38] 

C. Hoppe et al., “Photogrammetric Camera Network Design for Micro Aerial Vehicles,” Comput. Vis., Winter Workshop, 2012.

[39] 

방준성 외, “가상현실/증강현실 원격 협업 기술 동향,” 전자통신동향분석, 제32권 제6호(원고게재예정), 2017. 12. 1.

(그림 1)

UAV 이동경로와 높이정보 및 거리에 대한 AR 가시화[7]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f001.jpg
(그림 2)

문화유적지 탐험의 AR 원격 조종 게임[20]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f002.jpg
(그림 3)

현실의 물리적 제어를 가상 공간에 반영[23]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f003.jpg
(그림 4)

건설현장의 AR 원격 감시[26]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f004.jpg
(그림 5)

텔레프레전스(Telepresence)[27]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f005.jpg
(그림 6)

대규모 지역 3D 공간 정보 구축[29]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f006.jpg
(그림 7)

대규모 지역 3D 공간 복원을 위한 무인항공기의 자동 비행[3]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f007.jpg
(그림 8)

SLAM-기반 무인항공기 위치 추적[2]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f008.jpg
(그림 9)

SLAM-기반 실내 네비게이션[30]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f009.jpg
(그림 10)

좌표계 일치[36]

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_f010.jpg
<표 1>

스마트폰 AR 앱

images_1/2017/v32n5/ETRI_J003_2017_v32n5_117_t001.jpg
Sign Up
전자통신동향분석 이메일 전자저널 구독을 원하시는 경우 정확한 이메일 주소를 입력하시기 바랍니다.