자유발화형 음성대화처리 기술동향

1. 국내동향

Apple, Google, Microsoft 등의 음성대화 서비스의 영향으로 국내에서도 단순 음성검색 서비스에서 대화형 음성검색 서비스로 진화하고 있다. 특정 영역이나 고정된 대화 패턴에서 높은 성능을 보이나, 대화문맥을 고려하지 않은 단순 자연어 음성 검색 수준을 보인다.

모바일 스마트폰 정보서비스에서는 삼성전자가 지능형 개인비서 SW인 Vlingo를 도입하여 S 보이스를 출시하였고, 다음(Daum)은 자체 기술로 자연어 대화 검색 기능을 도입한 다음지도를 출시하였다. 2013년부터 삼성전자와 LG전자에서 콘텐츠 및 웹 정보에 대한 음성검색과 음성 제어명령이 가능한 스마트TV를 출시하고 있으며, 국내 IPTV 업체인 LG유플러스, 올레TV, SK브로드밴드 모두에서 자연어 음성검색 기능을 제공하고 있다. 하지만, 대화처리 기술이 적용되지 않은 단순한 자연어 음성검색 기술이어서 스마트TV의 복잡한 기능을 제어하고 많은 정보를 처리하기에는 기술적 한계가 있다.

국내의 음성대화처리 기술 연구는 ETRI, 포항공대, 서강대, KT 등을 중심으로 활발히 연구가 진행 중이다. ETRI는 자연어 음성인식 기술, 기계학습 및 패턴기반의 하이브리드 대화이해 기술, 다양한 태스크 처리에 적합한 계층적 태스크 기반 대화관리 모델을 개발하였다. ㈜파인디지털에서 ETRI의 음성대화처리 기술을 차량용 정보서비스에 적용하여 2014년부터 국내 최초의 대화형 음성인식 내비게이션 Fine Voice를 상용화하였다. ETRI에서는 음성대화처리 기술을 영어교육에 적용하여 고정형 대화 상황에서의 문법 오류 교정과 학습자 대답 적합성을 가르쳐주는 음성대화형 영어 학습 서비스인 지니튜터를 개발하였고 2015년에 청담러닝, iMBC, 동아출판 등 6개 수요업체에서 시범서비스를 진행하였다. (그림 4)는 ETRI의 음성대화형 영어 학습 서비스인 지니튜터의 소개 사이트로써 고정 대화 상황에서 대화하고 사용자의 영어 문법 및 표현 오류를 교정하는 화면을 보여준다.

(그림 4)

음성대화형 영어 학습 서비스 지니튜터

ETRI는 음성대화형 영어 학습을 위해, 한국인의 비원어민 영어 발화를 음성인식하기 위한 특화 기술을 개발하였고 이를 기술이전하여, 모바일용 영어 말하기 학습 서비스인 GnB스마트 잉글리시와 NC소프트와 영어학습용 게임 SW인 청담러닝의 호두잉글리시를 상용화하였다.

포항공대는 언어처리 및 대화처리 기술에 대한 다양한 실험적인 선행 연구들을 진행 중이다. 대표적으로 예제기반 대화관리 모델, 영어교육을 위한 대화기반 언어학습 시스템, 다중사용자 대화시스템 등에 대한 기초 선행 연구와 특정 영역의 프로토타입들을 개발하여 관련 시연 영상을 유튜브에 공개하고 있다.

서강대와 KT 등에서는 공동연구로 다중영역 정보서비스를 위한 대화형 개인비서 프로젝트를 2012년부터 2014년까지 진행하였다. 이 과제는 일정, 이메일 등의 개인정보, 날씨, 길찾기 등의 일상정보, 웹서비스 등에서의 개인업무를 처리하는 태스크 기반 음성대화기술과 이들 기술을 기존 서비스와 연계 가능하게 하는 개인비서 플랫폼 구축을 목표로 진행하였다.

2. 국외동향

가. 음성인식 기술동향

현재의 음성인식 구조는 수십 년간 유사한 형태를 유지하고 있으며 성능에 대한 breakthrough가 이루어지지 않고 있다. 음성인식 구조는 단구간 스펙트럼 분석 기법인 Mel-Frequency Cepstral Coefficients(MFCC) 등에 기반한 특징 추출, 가우시안 분포 모델링에 의한 음향모델, Hidden Markov Model(HMM)에 기반한 동적 디코딩, n-gram 기반의 언어모델 등으로 구성되며 이와 같은 구조는 대부분의 상용 음성인식 시스템에 적용되고 있다. 이러한 음성인식 알고리즘의 구성은 음성분석 및 모델링, 인식 과정을 지나치게 단순화 함으로써 인간의 인지 과정에 비하여 정밀도와 유연성이 떨어진다. 이를 극복하기 위해, Deep Neural Network(DNN) 및 심층학습(Deep Learning)을 이용하여 기존의 Gaussian Mixture Model(GMM) 대비 음성인식 성능이 대폭 개선되는 효과를 보임에 따라 Google, Microsoft, IBM 및 국내 ETRI, NHN 등 국내외 음성인식 기술을 보유한 주요 기관에서 적용을 완료했으며 이에 대한 관련 연구가 국내외에서 활발하게 이루어지고 있다[4][5][6]. (그림 5)는 대표적인 음성인식 툴킷인 Kaldi에서 기존의 음성인식 툴킷에 DNN을 적용하는 방식을 설명하는 개요도이다[7].

(그림 5)

음성인식 툴킷 Kaldi에 기반하는 DNN기반의 음성인식 개요[7]

세계적으로 Google, Nuance 등에서는 다국어 음성인식 상용 서비스를 통해 축적한 대용량 다국어 실사용자 음성로그 DB을 기반으로 다국어 음성인식 기술의 강자로 위치를 확고히 하고 있다. 하지만, 최근에는 한국 ETRI, 중국 iFlytec, 일본 Amivoice 등 로컬 기관 및 업체의 모국어 음성인식 기술 수준이 대폭 향상되고 있다. 이는 자국 내 모국어 음성언어 리소스 확보가 용이하고 음성인식 성능이 대용량 음성데이터 확보에 크게 의존적이기 때문으로 판단되며 앞으로 이러한 개발 추세는 타 국가에까지 확산될 것으로 보인다.

Google은 무료 서비스(또는 API)를 통해 사용자들의 대용량 실사용 음성언어 로그 DB(음성, 텍스트 문장 등)를 수집하고, 이를 클라우드 인프라를 기반으로 고속, 고효율로 처리하여 음성인식 엔진의 성능 개선에 활용하고 있다. Nuance는 Apple Siri에 핵심 음성인식 기술을 공급하며, Google, Microsoft, Apple을 비롯해 세계 전화자동 응답 장치(ARS) 시장의 97%를 점유하는 등 전 세계 음성인식 시장의 70% 이상을 점유하고 있다. SRI에서는 EduSpeak 등 언어교육을 위한 음성인식 기술, SRILM 등 범용 언어모델링 도구 등을 연구하고 있으며, 최근에는 기본적인 음성인식 기술에 대한 연구보다는 인공지능 및 의미이해 등에 대한 연구가 주류를 이루고 있다.

모바일 통신 시스템을 개발하는 Vocera에서는 자사가 개발한 무선망 솔루션 및 장비에 대해 음성인식, 전화회의 등을 적용하여 핸즈프리 음성 통신 시스템을 서비스하고 있다. 특히 음성인식을 통해 해당 의료진에 직접 통화가 가능하도록 지원하여, M.D. 앤더슨 암센터 등에 솔루션을 공급하였다. Vocollect는 헤드셋과 웨어러블 컴퓨터를 착용해 양손으로 포장 작업을 하고 동시에 상품 분류를 음성인식으로 시스템에 입력하도록 하는 ‘Talking Warehouse’라는 물류 전용 솔루션을 개발하였다.

나. 대화처리 기술동향

현재 대화처리 기술은 크게 태스크 기반 대화처리(task-oriented dialog processing) 기술과 챗봇(chatbot) 기술로 구분할 수 있다. 태스크 기반 대화처리 기술은 서비스할 태스크(예를 들어, 전화/메시지 작동, 날씨 검색, 경로 탐색, 일정 관리, 표 구입 등)에서 사용자의 요구(예를 들어, 엄마에게 전화하기, 서울 오늘 날씨검색, 서울역까지 경로 찾기 등)를 알아듣고 그 요구에 맞는 서비스를 제공하는 기술이다. 챗봇 기술은 특정한 태스크를 처리하는 대화가 목적이 아니라, 사용자가 사람과 채팅하듯이 사용자의 대화를 들어 주고 맞장구치며 되물어 주는 등의 사람과의 대화와 유사하도록 하는 기술이다.

(그림 6)에서 보듯이, 태스크 기반 대화처리 기술은 정해진 태스크에서 사용자 요구를 정확하게 알기 위해서는 음성인식된 사용자 발화에서 의도(예를 들어, 전화하기, 날씨 검색, 경로찾기 등)와 슬롯(예를 들어, 전화 대상=엄마, 날씨검색 도시=서울, 날씨검색 날짜=오늘, 경로 목적지=서울역 등)을 파악하는 음성언어이해(Spoken Language Understanding: SLU) 기술과 태스크를 수행하기 위해 부족한 슬롯 정보나 의도를 파악하여 주어진 일을 마무리하기 위한 일정한 처리 흐름을 관리하는 대화관리(Dialog Management) 기술로 구성된다. 현재 태스크 기반 대화처리 기술은 아주 작은 슬롯 수와 의도 수가 한정되어 단순한 태스크 처리에서 시스템 설계자가 예상한 대화 흐름 내에서 상용화 수준의 정확도를 보인다.

(그림 6)

일반적인 태스크 기반 음성대화시스템의 구성도[8]

최근, 언어이해기술에서는 수동적으로 구축한 기존의 지식/규칙 기반 방식의 확장성 및 강건성 문제점을 해결하기 위해 통계/데이터 기반 방식 및 기계학습을 적용하는 방법이 많이 연구되고 있다. 정보검색 기법을 적용하여 필요한 정보만으로 의도를 파악하거나, active learning 등의 기법을 적용하여 강건성과 확장성을 개선하려는 연구를 진행하였다[9][10]. Microsoft에서는 도메인 독립적인 SLU를 위한 Deeper Understanding, 쉽게 SLU를 확장할 수 있도록 하기 위한 Scaling SLU, DNN기술을 SLU에 적용하기 위한 ‘Deep Learning for SLU’ 프로젝트를 진행 중에 있다[11][12][13].

대화관리 기술은 대화 상태를 기술하는 방식에 따라 규칙 스크립트 방식, Finite State 방식, Form 방식, Agent 기반 방식, 예제기반 방식과 Partially Observable Markov Decision Processes(POMDP) 모델 등으로 구분할 수 있으며, 이러한 대화 상태의 흐름 방식에서 정해진 규칙으로 하는 방법과 강화학습(Reinforcement Learning) 방법으로 구분할 수 있다. 대표적인 전통적 대화관리 방법으로 CMU의 Agent 기반 대화관리인 Ravenclaw[8]와 IBM의 Form 기반 방식인 FDM과 HOT을 들 수 있다[14]. 최근에는 음성인식 및 음성대화이해의 오류에 강건하게 반응할 수 있는 POMDP 모델 및 DNN 기반의 강화학습 방법론에 대한 연구가 주도적으로 이루어지고 있다[15][16][17][18]. 하지만 이들 연구들이 슬롯 수와 슬롯 인스턴스 수, 대화 상태 수에 대하여 제한적이어서 상용화 단계에 이르지 못하고 있다. 반면에 대부분의 Siri와 같은 상용화 시스템에서의 태스크 기반 서비스(예를 들어, 일정관리, 날씨 검색, 알람, 경로 탐색 등)는 구현 및 제어가 간단한 규칙 스크립트 방식, Finite State 방식과 Form 방식을 채택하고 있다.

챗봇 시스템으로는 Artificial Intelligence Markup Language(AIML)을 기반으로 한 A.L.I.C.E., Pandorabots, AI Buddy 등과 그 외 My Cyber Twin, Rosette 등이 있으며 아직 학습기능을 갖춘 지능형 챗봇이 완성되지 못하고 규칙, 패턴, 예제 매칭에 의존하는 챗봇 기술이 주류를 이룬다[19]. 현재 챗봇 기술은 같은 대화에 대하여 같은 반응 또는 반복적인 반응을 보이는 한계를 보인다. 이러한 문제를 극복하기 위해 최근에는 사용자가 발화한 내용에서 사용자 개인 정보를 추출하여 대화에 활용하려는 연구가 진행되고 있다 [20][21]. 2014년에 러시아 개발진이 개발한 유진 구스트만이라는 챗봇 시스템이 최초로 튜링 테스트를 통과했다고 하여 이슈화된 적 있지만, 기계적이고 엉뚱한 반응으로 인하여 튜링 테스트의 모호성에 대한 의구심이 제기되고 있다.

Apple의 Siri 이후에, 스마트 폰 환경에서의 대화형 개인비서가 기업 기술력을 나타내는 필수적인 요소가 되어, Google Now, Mirosoft의 Cortana, 삼성의 S 보이스 등이 출시되었다. 이들 대화형 개인비서 시스템은 태스크 기반 음성대화시스템과 챗봇 시스템, 질의응답 시스템, 웹검색 시스템 등이 교묘하게 결합하여 각 시스템 기술의 한계 및 서비스 범위를 상호 보완하는 형태로 구성되어 있다. Apple, Microsoft, Nuance 등에서 개발된 음성대화인터페이스 기술은 Ford, Benz, Honda, BMW 등 차량에 적용하여 눈과 손이 차량 운전으로 자유롭지 못한 상태에서의 경로탐색 등의 다양한 서비스를 제공한다.

일본 소프트뱅크에서 대화가 가능할 뿐 아니라 감정까지 읽을 수 있는 인간형 로봇 페퍼(Pepper)를 2015년에 출시할 예정이라고 발표하였다. 로봇 페퍼에 사용된 Wit.AI의 대화처리 기술은 자연어처리 분석을 통해 인간의 말을 해석하고 의도를 파악하는 기술에 기반을 두고 있으나 아직 초보적인 단계이다. Wit.AI는 최근 페이스북에 인수됐고, 삼성, Nao, 일본 소프트뱅크 등 3,000개 기업에서 사용되는 기술을 개발 중이다.

컴퓨터를 이용한 언어학습시스템(Computer Assisted Language Learning)은 최근 음성인식과 언어, 대화처리기술과 더불어 외국어 학습 이론, 사용자 문법 오류 검출, 오류 피드백, 학습자 유창성 평가 등을 결합한 연구를 EUROCALL, CALICO 등을 포함한 다양한 그룹에서 진행하고 있다. 또한, 세컨드라이프같은 가상세계에서의 언어학습, 모바일지원언어학습, 인공지능기술을 접목한 지능적 언어학습 시스템 등으로 확장되고 있다[22][23][24]. Microsoft는 Computer Assisted Lan-guage Learning(CALL)시스템으로 Encarta Interactive English Learning 시스템을 개발하였다. 각 유닛은 리스닝, 스피킹, 실습 및 어휘 학습의 기능을 포함하며 유닛이 완료되면 주요 항목에 대해 테스트할 수 있는 Virtual Challenge를 수행하도록 구성되어 있다[24].

CALL에 음성대화처리 기술을 접목한 DB-CALL 관련된 시스템으로 Role-playing이나 언어를 배울 수 있는 기능 및 환경을 제공해 주는 DEAL, SPELL, SCILL, ITSPOKE 시스템 등이 있는데, 대부분 정해진 시나리오에 한정되어 있다[25][26][27]. 하지만 일반적인 대화시스템과 달리 해당 언어에 미숙한 언어학습자의 발음 및 발화를 이해하고 피드백을 제공해야 하는 어려움이 있고, 이러한 이유로 대화기반 컴퓨터 영어학습 시스템의 성능은 아직 부족한 상황이다.