제로 UI 기술 동향

사용자 인터페이스(UI: User Interface)는 기계와 인간 사이에 상호작용을 할 수 있도록 도와주는 기술이다. 전통적인 UI는 개인용 컴퓨터 사용 시 사용되는 키보드, 마우스, 모니터, 스피커 등으로 가장 보편적으로 사용되며, 2007년 애플에서 터치 스크린 기반의 멀티터치를 상용화한 아이폰을 출시함으로써 현재 거의 모든 스마트폰, 태플릿 PC, 노트북 등에서는 터치 기술이 새로운 UI로 자리 잡게 되었다.

하지만, 최근 인간과 정보기기(디바이스) 사이의 상호작용을 더욱 자연스럽고 편리하게 하는 사용자 친화적인 인터페이스에 대한 요구가 커지면서, 기존의 기계에 인간을 맞추려는 스크린 기반의 사용자 인터페이스에서 인간의 다양한 감각을 자유롭게 이용하여 기계를 인간에 맞추려는 인터페이스가 계속 등장하고 있다[1].

시장조사기관인 가트너사의 2016년 4분기 조사에 따르면, 미국 스마트폰 사용자의 42%, 영국 사용자의 32%가 최근 3개월 동안 가상개인비서(VPA: Virtual Personal Assistants)를 사용한 경험이 있으며, 영국과 미국 응답자의 37%는 평균적으로 하루에 한 번 이상 가상개인비서를 사용하는 것으로 조사되었다[2]. 이를 기반으로 가트너의 경우 2019년까지 스마트폰과 사용자 인터랙션의 20%가 음성인식을 기반으로 하는 가상개인비서를 통하여 이루어질 것으로 예상하고 있다.

또한, 가트너사에서는 2020년에는 개인용 기기 70억대, 웨어러블 기기 13억대 및 IoT(Internet of Things)기기 약 60억대 중 20억대의 기기 및 장비들이 인터페이스 장치를 가지지 않고 사용자와 상호작용 없이 자율적으로 작동할 것이라고 전망하기도 했다[3]. 이는 기존의 사용자와 정보기기 간의 상호작용을 최소화하는 것을 의미한다. 따라서, 정보기기가 맥락에 따른 경험 요소를 자연스럽게 정보판단으로 연결해주고 이를 통해 예측 가능한 범주에서의 의사결정을 효율적으로 도와줄 수 있는 사용자 인터페이스의 설계가 중요해질 것으로 예상된다.

이처럼 인간과 정보기기 사이의 상호작용이 보다 사용자 친화적으로 변화하고 사용자와의 인터랙션을 줄이는 방향으로 변화함에 따라서, 제로 UI라는 패러다임이 등장하게 되었다. 제로 UI는 사용자와 기기 간의 장벽을 제거하고 기술과 지속적으로 상호작용하는 개념을 의미하여, 이 용어를 창시한 앤디 굿맨은 제로 UI를 다음과 같이 정의하였다. ‘ The new paradigm of design when our interface are no longer constrained by screens, and instead turn to haptic, automated, and ambient interfaces’. 즉, 제로 UI는 사용자가 스크린을 통하여 기기와 인터랙션 하지 않고, 사용자의 생활 환경 안에서 사용자의 움직임, 목소리, 눈짓, 생각 등을 시스템이 인지하고 사용자에게 반응할 수 있는 인터페이스 기술을 의미한다. 이러한 제로 UI 패러다임은 기계들의 상황인지를 통한 판단, 사용자의 음성 인식, 사용자 제스쳐 인식 등을 통하여 구현되고 있다. 향후에는 스마트한 기기 간의 협업을 통하여 사용자의 요구사항에 대한 맥락을 정확하게 파악함으로써, 사용자와 기기가 보다 자연스럽게 상호작용을 하며 사용자를 대신해서 기기들이 자율적인 판단을 통해 많은 일을 수행할 것으로 예상된다.

따라서, 본고에서는 음성인식을 통하여 사용자와 친화적으로 상호작용하고 있는 관점과 스마트 기기들이 상황인지를 통하여 자율적으로 판단함으로써 인터랙션을 줄이는 측면에서의 제로 UI의 연구 동향에 관하여 살펴볼 것이다.

가상개인비서는 개인의 일상생활에 필요한 다양한 업무를 대신하거나 도움을 주는 소프트웨어를 의미하며, 이중 음성인식을 인터페이스로 하는 경우에 음성인식 인공지능 비서 또는 음성비서라고 칭하고 있다.

음성비서는 일반적으로 (그림 1)과 같이 사용자의 목소리로부터 음성을 인식하여 텍스트로 변환하는 음성인식 과정부터 사용자에게 음성으로 반응하는 음성 합성 과정으로 구성된다[4]. 음성인식모듈에서는 사용자의 발화를 기계가 이해할 수 있는 텍스트로 변환한 후, 언어 이해 모듈에서 의미 분석을 통하여 사용자의 의도를 이해하게 된다. 대화 관리 모듈에서는 사용자의 의도 및 상황정보를 기반으로 사용자가 요청한 태스크에 필요한 추가적인 정보를 사용자와의 대화를 통하여 요청하게 된다. 사용자가 요청한 태스크는 태스크 에이전트로 전달되어 수행하게 되며, 수행 결과는 사용자에게 전달하기 위해서 발화 생성부 및 음성 합성 과정을 통하여 자연스러운 음성으로 사용자에게 전달된다. 음성비서기술은 사용자가 짧은 명령을 통하여 기기가 태스크를 수행하던 단어 인식 중심의 인터페이스에서 대화/의미 분석 등을 기반으로 보다 자연스럽게 서비스를 제공하는 방향으로 발전하고 있다.

(그림 1)

음성비서 시스템 구성도 [4]

음성비서를 통한 Zero UI 기술은 사용하는 환경에 따라서 스마트폰에서 동작하는 음성비서와 가정에서 음성인식을 통하여 다양한 기기를 제어하고 일상생활을 돕는 스피커 형태로 구분된다. 구글, 아마존, 애플 등의 국외 IT 기업들은 스마트폰에서 동작하는 음성비서 먼저 개발한 후, 이를 활용하여 스피커 형태의 홈 어시스턴트에 적용하고 있다.

1. 스마트폰 음성비서

음성 인식 기술을 기반으로 하는 가상개인비서는 2014년 가트너 하이프 사이클에서 기술 촉발 단계이며, 5~10년 내에 시장이 성숙될 것으로 예상되었다[5]. 2016년 가트너 하이프 사이클에서 가상개인비서는 (그림 2)에서와 같이 기술촉발단계에서 기대 정점의 단계로 이동하였지만, 여전히 5~10년 내에 시장이 성숙될 것으로 전망되고 있다. 하지만 이미 많은 IT기업들이 다양한 음성비서 서비스를 선보이고 있으며, 현재 제공되고 있는 음성비서 서비스를 정리하면 <표 1>과 같다.

(그림 2)

음성비서 관련 주요 기술별 시장 성숙 시기 전망

<표 1>

음성비서 서비스

애플은 2010년 Siri 사를 인수하고, Nuance 사의 음성인식 엔진을 사용하여 (그림 3)과 같이 시리(Siri)라고 불리는 음성비서서비스를 선보이며 초기 시장의 포문을 열었다. 이후 2013년 지능형 개인 비서 앱 개발업체 ‘ 큐(Cue)’를 인수하고, 2014년 음성인식기술을 보유한 Novauris를 인수하여 내부 기술화를 추진하면서 음성인식 기반의 사용자 인터페이스를 강화하기 위한 노력을 진행하고 있다. 애플 시리는 앱스토어에서 앱을 다운로드하거나, 사용자의 요청으로 지금 들리는 음악의 제목을 사용자에게 알려주는 기능 등을 제공함으로써 사용자가 음성을 통하여 스마트폰과 효과적으로 인터랙션 하도록 도움을 준다. 또한, 음성인식 및 AI(Artificial Intelligence) 관련된 스타트업을 인수하면서 아이폰 10주년을 맞는 올해 시리의 기능을 대폭 보강한 서비스의 출시를 준비하고 있다. 음성비서의 경우 사용자 정보 및 데이터의 축적량에 따라 서비스의 품질이 좌우되는데 애플은 자사의 경영자가 ‘ Apple은 명백히 사용자 정보를 이용한 마케팅에 반대한다.’는 사생활 보호 정책을 제시하면서, 스마트폰 내의 음성비서의 기능을 확장하고 외부 데이터의 의존도를 낮추는 방향으로 기술을 개발하고 있다.

(그림 3)

애플 시리(Siri)

[출처] flickr.com, CC BY 2.0

구글에서는 2012년 음성인식 기반의 구글 나우(Now)를 출시하였으며, 구글 나우는 애플 시리와 달리 다양한 플랫폼에서 동작할 수 있는 플랫폼 독립성을 가진다. 구글 나우는 음성비서라기 보다는 음성 인터페이스를 기반으로 하는 구글 검색이라고 볼 수 있으며, 주요 기능은 사용자의 음성 입력을 기반으로 검색 결과를 보여주고, 사용자가 원하는 정보를 실시간으로 업데이트 제공해주는 알람 기능으로 구성된다. 이후 2016년 구글은 구글 나우 보다 좀 더 사용자 친화적이고 자연스러운 대화형 인터페이스를 장착한 (그림 4)와 같은 어시스턴트(Assistant)를 선보였다. 구글 어시스턴트는 구글이 가진 다양한 클라우드 서비스 및 방대한 양의 데이터, 사용자와의 인터랙션을 통해 수집했던 사전 정보를 자연어 기반의 음성 인식을 통하여 효과적으로 활용함으로써 사용자의 요구사항을 정확하게 파악할 수 있으며, 이를 기반으로 사용자에게 적절하게 대응함으로써 사용자의 편의성이 향상되었다. 구글 어시스턴트는 사용자에게 유용한 맞춤형 정보를 제공해주기 위해서 애플의 시리와 다르게 사용자의 개인정보뿐만 아니라 사용자의 대화기록에서 컨텍스트를 자동으로 추출하여 사용자의 성향을 학습하게 된다.

(그림 4)

구글 어시스턴트 (Assistant)

[출처] flickr.com, CC BY 2.0

코타나(Cortana)는 마이크로소프트에서 개발한 인공지능 음성비서로써 2014년에 윈도우 폰 8.1부터 탑재되기 시작했으나, 2015년 윈도우 10에 탑재되어 음성비서의 적용 범위를 데스크탑 영역으로 확장함으로써 주목을 받았다. 코타나는 (그림 5)와 같이 음성인터페이스를 통하여 일상생활에서 사용자의 일정을 관리하고 중요한 이벤트를 상기시켜주는 역할과 함께 정보 획득을 위하여 웹사이트를 검색하는 역할을 한다. 또한, 코타나는 실제 사람이 비서 역할을 수행하는 것과 유사하게 행동하도록 설계되었으며, 이를 위하여 가상의 노트(notebook)를 가지고 있다. 가상의 노트에는 코타나가 사용자에 대해서 아는 모든 것, 즉 사용자에 대한 정보와 코타나가 활용할 수 있는 정보들이 기록되어 있다. 노트에 기록되어 있는 정보는 투명하게 관리되며 사용자가 거부감을 표시하면 삭제 할 수 있다. 또한, 사용자가 개인의 관심사, 뉴스, 다른 중요한 정보를 추가적으로 기록하는 것도 가능하다. 코타나는 처음 시작할 때 음성을 통한 기본적인 질문을 통하여 사용자와 교감하며, 사용자와의 대화를 기억함으로써 추가적인 정보를 전달하지 않고도 이전의 검색 결과에 대해서 다시 질의하는 다단계 검색이 가능하다. 또한, 코타나는 음성 외에 16개의 이모티콘을 통하여 사용자와 교감하는 점도 기존 음성비서와의 차이점 중 하나이다.

(그림 5)

마이크로소프트 코타나(Cortana)

[출처] flickr.com, CC BY-SA 2.0

아마존은 2011년 음성인식 전문 기업 ‘ Yap’, 2012년 지식기반 시맨틱 검색엔진 기업 ‘ Evi’, 2013년 문자음성 변환 기술을 가진 ‘ INOVA’를 인수하면서 음성인식 비서 알렉사(Alexa)를 완성했으며, 이를 기반으로 2014년 알렉사를 탑재한 아마존 에코(Echo)를 출시하였다. 알렉사는 클라우드를 기반으로 사람의 음성을 인식하고 반응하기 때문에 많이 사용할수록 클라우드에 데이터가 누적되어 사용자들의 대화패턴과 개인적인 취향 등의 데이터를 잘 반영함으로써 사용자의 만족도를 높일 수 있다. 따라서, 아마존은 2015년부터 알렉사의 확산을 위하여 알렉사 음성 서비스(AVS: Amazon Voice Service) API(Application Programming Interface)를 개방하고, 다양한 기기에서 입력되는 사용자의 발음과 요청 사항들을 계속 누적하여 음성인식 시스템의 성능을 높일 수 있는 선순환 구조를 구축하기 위해서 노력하고 있다. 현재 알렉사는 공기청정기, 냉장고 등의 가전제품, 인터넷 공유기 등의 IT제품, 자동차 등 다양한 산업의 제품들 적용되어 점점 생태계를 확장해 나가고 있다.

2. 홈 어시스턴트

지난 20여 년 동안 스마트 홈을 구축하기 위한 다양한 방안들이 제시되었지만, 설치와 사용의 용이성, 자연스러운 인터페이스가 결여되어 성공하지 못하였다. 최근 음성인식 기술을 결합한 스피커 형태의 인공지능 스피커가 사용자에게 자연스러운 인터페이스를 제공하고, IoT기기들을 통합적으로 제어함으로써 스마트 홈을 구축하는 데 있어서 구심점 역할을 할 것으로 기대되고 있다. 시장조사기관 가트너사에 따르면 인공지능 스피커 시장 장은 연평균 40%가 넘는 성장을 통하여 2020년 20억달러 규모에 이를 것으로 예상하고 있다[6]. 2020년이 되면 인공지능 스피커를 사용하는 가정의 75%는 1개, 20%는 2개, 5%는 3개 이상의 제품을 구입할 것으로 예상되고 있다[6].

인공지능 스피커 시장에 선도적인 위치를 차지하고 있는 것은 2014년 11월에 출시된 아마존의 알렉사를 탑재한 에코이다. (그림 6)과 같이 아마존 에코는 원통형 스피커에 7개의 마이크가 상단과 원형의 전 방향에 배치되어 있으며, 이를 통하여 소음이 있는 환경에서도 6~7m 거리에서 음성 명령을 내릴 수 있다. 또한, 미리 설정된 음악 계정을 통하여 음악을 재생하고, 다양한 형 태의 정보를 음성으로 제공받을 수 있으며 온라인을 통하여 상품을 주문하는 것까지 가능하다. 아마존은 에코와 달리 배터리로 동작하는 탭(Tap), 3cm 높이의 에코 닷(Echo Dot) 등 다양한 크기의 스피커 형태 홈 어시스턴트를 출시하고 있으며, 최근 출시한 에코 닷 모델은 에코 공간 인식(Echo Spatial Perception)이라는 기능을 탑재하였다. 이 기능은 한 집에서 다수의 에코 닷 모델이 사용될 것을 가정하고, 사용자의 음성 명령이 있을 때 에코 닷이 사용자와 거리를 인식해 가장 가까운 에코 닷이 대응하도록 하는 기술이다[7].

(그림 6)

아마존 에코(Echo)

[출처] flickr.com, CC BY 2.0

구글 홈(Home)은 (그림 7)과 같이 구글 어시스턴트를 탑재한 스피커 모양의 AI 개인비서로써 2016년 처음으로 출시되었다. 구글 홈은 사용자와의 대화를 통하여 인터랙션하며, 음악이나 비디오를 보고, 사용자의 질문에 대답하며 조명, 온도 조절기를 포함한 다양한 가전제품을 제어할 수 있다. 아마존의 에코는 사용자가 질문할 때마다 ‘ 알렉사’를 외쳐서 활성화를 시켜야 하지만, 구글 홈은 한번 활성화시킨 후 연관되는 후속 질문을 하는 데 있어 다시 활성화시킬 필요가 없기 때문에 인터페이스의 편리성이 있다. 또한, 구글 홈은 크롬캐스트나 구글 캐스트를 연결할 수 있으며, 여러 대의 구글 홈과 구글 캐스트 스피커를 동기화하여 집안 전체에서 같은 음악을 즐길 수 있는 장점이 있다.

(그림 7)

구글 홈(Home)

[출처] flickr.com, CC BY-SA 2.0

SK텔레콤에서는 2016년 한국어 전용 인공지능 스피커 ‘ 누구(Nugu)’를 출시하였다. 누구는 음성 입력을 통하여 음악 스트리밍 서비스를 재생하고, 조명이나 제습기 같은 가전 기기 제어할 수 있으며, 스마트폰과 연동해 일정관리 등의 비서 역할 등도 수행할 수 있다. 누구의 음성인식 범위는 2~3m 정도로 실내에서 이용하는 데 최적화되어 있으며, 대화 수준은 지금은 예정된 질문에만 충분히 대답할 수 있는 수준이지만 향후 사용자의 수가 늘어나고 데이터가 누적되면 음성인식률이 향상될 것으로 예상된다[8].

상황인지를 통한 제로 UI 기술은 기기들이 사용자들의 생활을 학습하고, 스스로 주변의 상황을 인지하여 자율적으로 판단함으로써 궁극적으로 사용자와의 인터랙션을 제로에 가깝게 만드는 것을 의미한다. 이것은 사용자의 상황을 인지해 사용자가 요구하지 않아도 필요한 서비스를 적시적소에 제공하는 생활환경지능과 관련이 있다.

네스트 온도조절기(Nest Thermostat)는 (그림 8)과 같이 주변 환경과 사람의 생활 패턴을 학습해서 지능적으로 냉난방을 제어하는 장치로써, 상황인지를 통하여 자동으로 온도를 조절함으로써 사용자와의 인터랙션을 최소화한다. 예를 들어, 사용자가 집으로 퇴근할 때 특정 시간이 되면 난방을 하는 것이 아니라, 사용자가 적당하다고 생각하는 온도에 도달하는 데 필요한 시간을 학습하고 이 시간을 자동으로 계산하여 미리 난방을 시작한다. 또한, 계절이 변화하면 냉난방 스케쥴도 계절에 맞게 자동으로 조정하기 때문에 사용자가 냉난방 모드를 전환할 필요가 없다. 네스트 온도조절기는 사람의 움직임도 감지하여 사람이 없는 경우 자동으로 에너지를 절약하는 모드로 변환되고, 인터넷에 연결되어 외부 날씨와 에너지 러시아워 등의 정보를 활용하여 효율적으로 냉난방을 제어한다.

(그림 8)

네스트 온도조절기(Thermostat)

[출처] Wikimedia.org, CC BY-SA 3.0

대부분의 온도조절기가 집의 한 곳에서 온도를 측정하여 온도를 조절하는 반면, Ecobee3는 여러 방이 있는 집안 환경을 고려하여 다수의 센서를 통해 온도를 파악하고 공간별로 온도를 최적화해준다. 또한, 사용자가 선호하는 온도를 학습하고 공간을 이동하는 경우 해당 공간의 온도를 사용자에게 맞게 조절해 줄 수 있으며, 네스트와 같이 사용자가 집에 없는 경우 자동으로 인지하여 에너지를 절약할 수 있게 해준다. 따라서 사용자의 일생생활에서 온도조절기를 제어할 필요가 없으며, 에너지 비용 역시 제조사의 조사에 따르면 약 23% 절약할 수 있는 것으로 나타났다.

줄리(Zuli)는 스마트 플러그로써 기존의 사용 중인 전자기기의 플러그를 연결하는 것만으로도 스마트 홈 시스템을 구축할 수 있다. 또한, 집안에서 사용자의 위치를 자동으로 인지하여 사용자가 해당 공간에서 원하는 행동을 할 수 있도록 학습함으로써 사용자와의 인터랙션을 줄일 수 있다. 여러 개의 줄리가 설치되어 있으면 보다 정확하게 사용자의 위치를 예측할 수 있고, 이를 통하여 사용자가 방에서 거실로 이동하면 방의 불이 자동으로 꺼지고 거실의 전등과 TV를 켜지게 할 수 있다. 이러한 사용자의 움직임에 따른 최적의 행동들을 자율적으로 판단하기 위해서는 사용자의 행동에 대해 끊임없이 학습하며, 이를 통하여 제로 UI를 실현할 수 있다.

스택이 만든 스마트 조명 알바(Alba) 9는 사용자가 조명을 사용하는 패턴을 학습함으로써 사용자가 조명 스위치를 사용하는 일을 줄여준다. 스마트 조명은 실내 움직임과 밝기를 스스로 감지해 자동으로 조명의 강도와 색상을 조절하며, 사용자가 장기간 여행을 떠날 때 사용자가 살고 있는 것처럼 조명을 켜고 끄는 기능도 제공한다.

지금은 일상생활 속에서 존재하는 기기들이 각자 스마트해지거나 일부 다른 기기들과 연동하고 있지만, 향후 스마트해진 기기들이 서로 소통하면서 사용자의 상황을 보다 잘 이해하여 최적의 사용자 경험을 제공하고 사용자와의 인터랙션이 최소화되는 방향으로 발전할 것이다.

제로 UI는 사용자의 생활 환경 안에서 자연스럽게 사용자의 요구사항을 인지하여 필요한 서비스를 제공함으로써 현재 스크린 기반의 사용자 인터페이스를 최소화하려는 기술이다. 제로 UI는 스마트한 기계들의 상황인지를 통한 판단, 사용자의 음성 인식, 사용자의 자연스러운 제스쳐 인식 등을 통하여 구현될 수 있으며, 본고에서는 음성인식을 통하여 사용자와 친화적으로 상호작용하고 있는 관점과 스마트 기기들이 상황인지를 통하여 자율적으로 판단함으로써 인터랙션을 줄이는 측면에서의 제로 UI의 기술 동향을 살펴보았다.

현재 제로 UI 기술은 스마트폰에서의 음성 비서, 집에서 음성 비서를 탑재한 스피커 형태의 홈 어시스턴트 등 사용자의 음성 인식을 통하여 주로 구현되고 있다. 하지만, 인공지능 기술과 사물 인터넷 기술의 발전을 통하여 초연결, 초지능 사회가 되면 기기들이 자율적으로 판단하여 사용자와의 인터랙션을 획기적으로 줄이는 방향의 제로 UI 기술들이 주류를 이룰 것으로 예상된다.

제로 UI는 자연스럽게 사용자의 요구사항을 인지해야 하므로 사용자의 의도와 맥락을 효과적으로 파악하는 것이 필요하다. 이를 위해서는 현재 단일 기기들이 스마트해지는 것은 한계가 있으며, 궁극적으로 스마트한 기기들이 서로 의사소통하면서 사용자의 맥락을 전달해주는 방향으로 기술 개발이 이루어질 것으로 예상된다. 이를 위해서는 사용자의 생활 환경 안에서 다수의 기기들이 사용자를 항상 모니터링하는 것이 필요하며, 이때 사용자의 민감한 정보를 많이 취득하게 된다. 따라서, 향후에는 스마트해지는 기기들의 정보 취득에 있어 프라이버시 침해 문제와 기기들의 보안 위협으로 인한 개인정보 유출에 대한 관심이 높아질 것으로 예상된다.

가상개인비서(virtual personal assistants)인공지능 기술과 첨단 기술을 결합하여 사용자의 언어를 이해하고 사용자가 원하는 지시사항을 수행하는 소프트웨어 애플리케이션