휴먼케어 로봇과 소셜 상호작용 기술 동향

가. 연구 동향

휴먼케어 로봇은 어린이, 일반 성인, 고령자 등 모든 사람을 서비스 대상으로 할 수 있으나 현재까지의 연구는 주로 고령자를 대상으로 하고 있어 휴먼케어 로봇은 고령자케어 로봇과 동일하게 인식되고 있는 것이 일반적이며 관련 연구 동향은 다음과 같이 요약될 수 있다.

미국은 대학을 중심으로 고령자의 삶의 질(Quality of life) 향상을 위한 연구가 대규모로 진행된 바 있으며, 유럽연합은 기초 기술 경쟁력을 바탕으로 휴먼케어 로봇에 대한 연구개발을 지속 중인데, 중증 환자를 위한 시설 중심의 간병 로봇보다는 가정에서 고령자의 독립적인 생활을 보조하기 위한 기술 위주로 연구가 진행되어 왔다. 국내도 미국/유럽연합과 비슷한 방향으로 연구가 진행되어 왔으며, 2019년부터 물리적 지원(이승, 욕창 예방, 배설, 식사)이 가능한 돌봄 로봇 기술 개발을 시작하였다.

일본은 전 세계에서 고령화가 가장 빨리 진행되어 미국/유럽연합/한국 등과 달리 고령자 대상 로봇 개발 초기부터 물리적 지원을 중심으로 하는 간병 로봇을 활용한 사회 문제 해결에 집중해 왔으나 최근 다른 국가들과 같이 물리적 지원 이외의 서비스 제공을 목표로 연구하고 있다.

물리적 서비스를 주로 제공하는 간병 로봇을 제외하면 고령자케어 로봇은 표 1과 같이 건강관리, 생활 지원, 정서 지원, 인지 지원, 정보·안전 서비스를 제공하는 것을 목표로 주로 연구가 진행되어 왔다.

물리적으로 지원하는 돌봄 로봇을 제외한 휴먼케어 로봇 연구의 주요 특징은 다음과 같이 요약될 수 있다[3].

• 실용적 측면의 실 서비스 제공이 강조되어 원격제어(Tele-presence) 기술 적극 활용

• 타 분야 대비 서비스와 콘텐츠 비중이 높음

• 다학제 간 연구가 활성화되어 있고, 실 환경에서의 테스트 및 사용자 연구를 포함

• 가정에서의 독립생활 지원이 주요 목표, 요양기관에서의 지원도 목표에 포함

상기 주요 특징에서 유추할 수 있듯이 현재까지의 연구는 주로 로봇으로 고령자케어를 위한 서비스를 제공할 때의 기술적 이슈 해결 및 사용자의 수용성 분석에 집중되었다. 기술적 관점에서 볼 때 현재까지의 연구는 로봇에 탑재된 화면에서 고령자가 직접 메뉴를 선택하여 서비스를 제공받거나 로봇이 음성, 영상 등을 입력받아 인식을 수행하여 일회성 서비스를 제공하는 형태가 대부분이었다. 하지만 이러한 수준의 기술은 사람의 다양한 특성을 제대로 이해하지 못하고 다양한 교류 상황에 대한 대응 능력이 부족하여 고객의 기대를 충족시킬 수 없다.

나. 기술적 난제와 시사점

휴먼케어 로봇을 위한 소셜 상호작용 기술의 현재 수준 및 앞으로 해결해야 할 기술적 난제를 살펴보기 위한 참조 자료로 표 2와 같이 유럽연합 로보틱스 기술 로드맵의 소셜 상호작용 기술 레벨 정의가 있다[4].

표 2의 소셜 상호작용 기술 레벨을 구체적으로 설명하면 다음과 같다.

• 레벨 0: 사람과의 소셜 상호작용이 없음

• 레벨 1: 사전 저작된 스크립트에 따라 상호작용. 인식 기술을 활용하지 않는 단방향

• 레벨 2: 사전 입력한 정보를 활용하여 로봇 상호작용 행위 개인화(사람마다 다른 반응)

• 레벨 3: 사람의 행위에 대한 인식을 활용하여 로봇 상호작용 행위 개인화

• 레벨 4: 반복 상호작용을 통해 사용자 행위/외형으로부터 개인에 대한 신원인식, 모델(프로파일) 자동생성·추론을 기반으로 로봇 상호작용 행위 개인화 및 상호작용 이력 기반 행위 적응(adaptation)

• 레벨 5: 상호작용하는 동안 로봇이 관찰을 통해 사용자의 단기 목표, 기본 의도, 욕구를 추론하여 수행하던 작업의 조정에 활용

• 레벨 6: 상호작용하는 동안 관찰을 통해 선호도, 습관, 목표, 믿음 등 사용자 장기 특성에 대한 지식을 축적하여 사용자와의 상호작용 및 수행하던 작업의 조정에 활용

• 레벨 7: 사람-사람 상호작용/관계 모델 이해, 사람-로봇 관계 모델 이해 및 이를 통한 다자 상호작용(multi-party interaction)

상기 총 8단계의 기술 레벨에서 기술 레벨 1에서 3까지는 단기 상호작용, 레벨 4 이후는 장기 상호작용과 관련된 기술이다. 현재 개발된 로봇 제품은 대부분 레벨 3에 해당하며, 수행 중인 연구는 대부분이 레벨 3에 해당하나 일부는 레벨 4에 해당한다.

인간과 로봇의 자연스러운 상호작용을 위해서는 레벨 3까지의 단순 반응형 상호작용이 아니라 레벨 4에서 레벨 7까지의 장기 상호작용 기술 개발이 필수적이며, 이때 로봇은 사람과의 교류행위(상호작용)에 대한 학습을 통해 상호작용의 수준을 스스로 높일 수 있어야 한다. 이때 선결 조건이 장기 상호작용이 가능할 정도로 레벨 3까지 개발된 기술이 로봇에서 안정적으로 동작할 수 있는 수준이 되어야 한다는 것인데, 현재의 기술은 그 수준에 이르지 못한 상태이다.

이러한 기술 수준의 문제와 가격 경쟁력 등의 복합적인 문제로 Jibo, Kuri 등의 로봇이 사업을 중단하게 되어 관련 기업이나 연구자들이 일부 위기감을 느끼고 있다.

로봇 소셜 상호작용에 대해 15년 이상 연구를 해온 Cornell 대학 Guy Hoffman 교수는 2019년 IEEE 스펙트럼 기고에서 현재 로봇 기술 수준이 기업이 약속한 수준의 사용자 경험을 제공하지 못하고 있고, 킬러앱(killer app)의 부재, AI 스피커와의 경쟁의 어려움 등 다수 전문가들의 진단을 소개하면서 현재 상황이 실패가 아니라 기회라는 의견을 피력하였다[5]. 다만 로봇의 성공을 위해서는 단기적인 단순 반응형 상호작용에 머물러 있는 현재 기술의 한계를 극복하고 장기 상호작용이 가능한 수준의 기술 개발의 필요성을 강조하였다. 이를 위해 자연스러운 로봇 제스처 생성, 정교한 대화, 장기/감성 상호작용 등을 가능하게 하기 위해 로봇 스토리텔링 전문가들과의 협업을 강조하였다.

이와 같이 휴먼케어 로봇이 일상에서 사람에게 서비스를 제공할 수 있도록 하기 위해서는 레벨 3 수준의 단순 반응형 상호작용이 아니라 레벨 4 이상의 장기 상호작용 기술 개발이 필수적이며, 이때 로봇은 사람과의 교류행위(상호작용)에 대한 학습을 통해 상호작용의 수준을 스스로 높일 수 있어야 한다.

로봇은 인공지능 기술의 집합체로 조작, 주행, 인간로봇상호작용 등 다양한 지능을 필요로 한다. 휴먼케어 로봇의 핵심 지능인 소셜 상호작용 지능은 음성·시각 정보를 이용한 지각과 주변 상황을 고려한 상황 인지, 인간과 소통할 수 있는 표현 능력을 포함한다. 휴먼케어 로봇의 발전과 더불어 이러한 소셜 상호작용 지능 수준에 대한 관심 또한 높아졌다. 본 절에서는 로봇 챌린지 등 로봇의 지능평가 동향에 대해 살펴보고자 한다.

인공지능 시스템을 대상으로 한 대표적인 평가 방법은 Alan Turing이 1950년 제안한 튜링테스트이다. 하지만 튜링테스트는 사람의 질문에 묵비권을 행사할 경우 인공지능의 기술적인 결함 때문인지 아니면 의도된 침묵인지 구별할 수 없다는 맹점을 가지고 있다[6]. 이에 따라 판정자 마음의 불확실성으로 인공지능 시스템이 튜링테스트를 통과할 수 있으므로 인공지능 시스템의 지능 수준을 평가할 수 있는가는 여전히 논란의 여지가 있다.

MIT에서는 어휘 지식 베이스인 ConceptNet 4를 대상으로 유아용 웩슬러 지능검사를 이용해 지능을 평가하고자 하였다[7]. 그 결과 ConceptNet 4는 4세 유아 수준의 지능으로 단어, 공통점 찾기, 정보 부분에서는 우수하지만, 추론이나 이해는 부족하다는 결론을 내렸다. 이 지능평가 방법은 인간을 대상으로 한 평가 방법을 시스템에 적용해 인간의 지능과 비교했다는 측면에서는 의의가 있지만, 언어지능에 국한되어 있으며, 정보처리 능력을 다루는 인간지능 평가 방법으로 로봇의 사회적 상호작용 평가를 하기에는 적합하지 않다는 한계를 가지고 있다.

대표적인 로봇 챌린지인 RoboCup의 리그 중 RoboCup@Home은 2009년부터 현재까지 서비스 로봇의 지능 수준을 비교 평가하기 위해 매년 개최되고 있다[8]. 각 출전팀은 오픈 플랫폼을 이용해 정해진 시나리오에 따라 작업을 수행하며 가장 높은 점수를 얻은 팀이 승리하는 방식이다. 로봇은 불특정 다수를 상대로 복잡하고 다양한 환경에서 주행, 인식, 조작 지능을 조합해 주어진 시나리오를 수행한다(그림 1). RoboCup@Home 2018부터는 오픈 플랫폼에 일본 도요타의 HSR(Human Support Robot)과 소프트뱅크 로보틱스의 Pepper 로봇 플랫폼을 추가하여 경기를 펼치고 있으며, 평가 시나리오는 지속적으로 업데이트되고 있다.

그림 1

RoboCup@Home 챌린지

유럽 국가를 중심으로 한 또 다른 챌린지인 RoCKin@Home은 노인을 대상으로 한 독립된 실내 환경을 가정하고 과제(Task) 기반과 기능성(Functionality) 기반 방식으로 나누어 로봇을 평가했다[9]. 평가 시스템 없이 심판에 의해 평가되는 RoboCup@Home과 달리 RoCKin@Home은 객관적 시스템에 의한 평가로 재현성과 반복성에 초점을 맞추어 평가를 진행하였다.

그 외에도 HSR 로봇을 이용한 WRC 챌린지[10]의 ‘Tidy up the room’ 시나리오에서는 미등록 물체 인식, 조작, 경로 계획 등의 지능을 평가하고자 했다. 하지만 이러한 챌린지 기반의 평가 방식은 지능보다 성능에 초점을 두고 있으며, 무엇보다 문제의 난이도에 따른 지능의 수준을 측정할 수 없다는 문제점이 있다.

앞서 살펴본 챌린지와 달리 로봇의 지능을 세부적으로 분류하고 정의하는 지능 체계에 대한 연구도 진행되었다. 그 중 하나인 ALFUS(Autonomy Levels for Unmanned Systems)에서는 임무 복잡성, 환경적 어려움, 인간 상호작용을 기준으로 지능 수준을 레벨 0(원격조정)에서 레벨 10(완전하고 지능적인 자율성)으로 정의하고 있다[11].

Horizon 2020에서는 로봇의 능력을 이동, 조작, 인지 등으로 분류하고 능력별 지능 수준을 세부적으로 정의하고 있다[12]. 특히, 상호작용 지능은 인간과 로봇의 협업을 위한 안전성 등에 대한 물리적 상호작용과 자연스러운 인간과 로봇의 상호작용에 대한 소셜 상호작용으로 지능을 분류하고 수준을 정의하였다. Horizon 2020은 로봇의 지능을 세부 단위 지능으로 나누어 체계적으로 정의하고 있지만 이를 평가하기 위한 구체적인 방법은 제시하지 못하고 있다.

휴먼케어 로봇이 인간에게 동반자로서 좀 더 다가가기 위해서는 자연스러운 사회적 상호작용이 중요하다. 이를 위해 사회 인지적 관점에서 소셜 지능에 대한 이해가 필요하다. 한국전자통신연구원에서는 그 답을 인간을 대상으로 한 소셜 지능 평가에서 찾고자 ESI(Evaluation of Social Interaction) [13] 방법을 로봇에 적용하였다. ESI는 표준화된 관찰 기반 목표지향 절대평가 도구로서 27개의 사회적 상호작용 기술로 개인의 사회적 상호작용 능력을 평가한다. 특히, 상대방과의 거리에 관한 ‘위치시키기’, 몸과 얼굴이 상대방의 정면을 향하고 있는지 평가하는 ‘향하기’ 등 신체적 지지와 관련된 평가항목은 로봇의 소셜 지능 평가에 대한 방향을 제시하고 있다(표 3).

ESI를 적용한 소셜 지능 평가를 통해 사회 인지적 관점에서 휴먼케어 로봇의 사회적 상호작용 수준을 객관적이고 정량적으로 평가할 수 있다. 뿐만 아니라 휴먼케어 로봇의 강점과 약점을 분석해 추가 기능을 구현하고 상호작용의 기능 개선을 위한 기초 자료로 활용될 수 있을 것이다.

Howard Gardner에 따르면 소셜 지능은 대인관계 지능(Interpersonal intelligence)과 자기이해 지능(Intrapersonal intelligence)으로 나뉜다[14]. 대인관계 지능은 다른 사람들과 교류하고, 이해하며, 그들의 행동을 해석하는 능력을 말하며, 자기이해 지능은 자기 자신을 이해하고, 느낄 수 있는 인지적 능력을 말한다. 휴먼케어 로봇의 경우 사람과의 유대관계 형성이 중요하므로, 대인관계 지능이 필수적이라 할 수 있다. 따라서 본 절에서는 로봇의 대인관계 지능 관련 연구들을 소개한다.

감지(Sense)-사고(Think)-행동(Act)은 많은 로봇 문제를 해결하는 데 사용할 수 있는 의사결정(Decision making) 루프이다. 예를 들어 로봇의 주행 문제를 해결하기 위해서는 먼저 전방에 장애물이 있는지 감지하고, 그런 다음 앞으로 나아갈 수 있는지, 회전해야 할지, 후진해야 할지 생각(사고)한다. 그리고 그 결정에 따라 행동한다.

로봇의 대인관계 지능도 마찬가지다. 대표적인 연구로 참고문헌 [15]는 감지-사고-행동 패러다임을 적용하여 자폐아와 놀아주는 로봇을 개발하였다(그림 2). 먼저 감지 단에서는 자폐아의 활동/음성/얼굴 표정, 장난감의 위치/자세, 로봇의 현재 제스처/머리 자세 등을 인지하여 메타데이터(Meta-data)로 저장하고, 사고 단에서는 이를 기반으로 관심 영역(Region of interest)을 알아낸 후 규칙 기반(Rule-based) 메커니즘에 따라 의사결정을 한다. 행동 단은 결정된 의사를 수행하기 위한 제어 신호를 생성한다. 이러한 과정을 통해 로봇은 자연스러운 시선 처리(Eye gaze)와 더불어 아이와 다양한 놀이를 하며 교감할 수 있다.

그림 2

자폐아-로봇 간 상호작용 예시

출처 L. J. Wood et al., “Developing Kaspar: A Humanoid Robot for Children with Autism,” Int. J. Social Robotics, https://doi.org/10.1007/s12369-019-00563-6, CC BY 4.0.

그러나 위와 같은 규칙 기반 방법은 개발자가 로봇에게 일어날 수 있는 다양한 상황을 미리 예측하고 그에 따른 의사결정 규칙을 정의해야 한다는 어려움이 있다. 따라서 최근에는 로봇 스스로 학습을 통해 문제 해결 방법을 도출하는 기계학습(Machine learning) 방법이 활발히 활용되고 있다. 기계학습 알고리즘은 크게 확률 기반, 기하 기반, 회귀기법으로 분류된다. 확률 기반 기계학습 알고리즘은 대부분 베이즈(Bayes) 정리에 기반하며, “X가 주어졌을 때 Y가 발생할 확률”을 계산한다고 보면 된다. NBC(Naive Bayes Classifier)나 HMM(Hidden Markov Model)이 이에 해당한다. 참고문헌 [16]은 coupled HMM으로 발화 문장과 바디 제스처 간의 관계를 학습하여 로봇이 사용자의 현재 감정 상태에 맞는 행위를 생성한다.

기하 기반 기계학습 알고리즘은 주어진 입력특징을 벡터로 만들어 특정 벡터끼리의 기하학적인 관계를 기반으로 추론을 진행하는 시스템을 말한다. k-NN(k-Nearest Neighbors), SVM(Support Vector Machine), k-means clustering이 이에 해당한다. 참고문헌 [17]은 로봇이 고령자에게 운동 동작을 알려주고 이를 끝까지 완수하도록 도와주는 시스템을 제안하였다. k-NN을 사용하여 사용자의 현재 행위를 인식하였으며, FSM(Finite State Machine)을 이용하여 로봇의 행위(인사하기, 운동 동작 보여주기, 박수치기 등)를 선택하였다.

참고문헌 [18]에서는 전시장 안내 로봇이 방문자들에게 다른 이들의 경험과 감흥을 공유하고 설명하였다. Photochat이라는 소프트웨어를 통해 방문자들이 찍은 사진과 설명을 수집하였으며, SVM을 통해 각 사진을 세 가지 카테고리(간단한 설명, 새로운 통찰, 전시물 간 관계를 설명)로 분류하였다. 분류 결과에 따라 로봇은 인기 있었던 전시물의 사진을 보여주며 설명과 함께 관계된 다른 전시물을 추천해 주기도 한다.

회귀기법 기계학습 알고리즘은 주로 지도학습(Supervised learning) 문제를 푸는 데 쓰이며, 인공신경망이 여기에 해당한다. 인공신경망은 구조에 따라 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DQN(Deep Q-Network), AE(AutoEncoder) 등으로 나뉘며, 얼마나 깊으냐에 따라 딥러닝이라고도 한다. 참고문헌 [19]에서는 로봇이 CNN을 통해 사용자 영상 정보를 이해하고, multimodal DQN을 이용하여 네 개의 소셜 행위(기다리기, 쳐다보기, 손 흔들기, 악수하기) 중 하나를 선택적으로 수행하였다. 이러한 행위 생성 능력을 학습하기 위해 Pepper 로봇이 식당, 로비 등의 공용 공간에서 14일간 사람과 상호작용하며 데이터를 수집하였다.

참고문헌 [20]에서는 RNN의 일종인 LSTM(Long Short-Term Memory)을 이용하여 사람이 먼저 질문을 하지 않아도 로봇 주도적인 발화와 행위를 생성하였다. 이를 위해 카메라 판매점에서 점원과 손님이 상호작용하는 것을 약 11시간 동안 기록하였으며, 로봇은 LSTM을 이용해 비슷한 과거의 기록을 찾아 적절한 대답을 하거나 새로운 정보를 제공하였다.

참고문헌 [21]은 variational AE를 이용하여 로봇의 발화 음성에 적합한 발화 제스처를 함께 생성하는 방법을 제안하였다. Variational AE는 encoder와 decoder로 구성되는데, encoder는 발화 음성을 암호화하며, decoder는 이 결과로부터 로봇 움직임을 생성한다.

앞서 소개한 기계학습 기법 중 최근 대두되고 있는 기술인 딥러닝은, 입력부터 출력까지 사람의 개입이 없다는 의미에서 종단 간(end-to-end) 학습이라고도 한다. 그러나 앞서 소개한 대인관계 지능을 구현한 딥러닝 기술들은 완전한 종단 간 방식이라고 보기 어렵다. 참고문헌 [19]의 소셜 행위 생성 방법을 예로 들면, 입력으로는 미가공 영상 데이터를 그대로 사용하지만, 출력의 경우 사람이 미리 정의해 둔 네 개의 행위 중 하나를 선택하여 재생하는 방식이다. 따라서 로봇은 대상과의 관계나 상황적 맥락과 관계없이 기계적인 행위만을 반복하게 될 수 있다.

고령자케어 로봇을 개발하고 있는 한국전자통신 연구원은 완전한 종단 간 학습 기반의 대인관계 지능 연구들을 수행하고 있다. 참고문헌 [22]에서는 다수의 유튜브 TED 강연 영상을 학습데이터로 사용하여 RNN기반 발화 제스처 생성 모델을 개발하였다. 입력은 발화 문장이며 출력은 바디 제스처이다. 이때 제스처는 일련의 포즈로 표현하였기 때문에 사전에 정의하지 않은 다양한 제스처가 생성되었다. 그림 3은 생성된 로봇 제스처의 예시를 보여준다.

그림 3

발화 문장에 따른 제스처 생성 모습. 입력 문장은 “What is your body language communicating to me? What’s mine communicating to you?”이며, 밑줄 친 단어에 대한 제스처를 보여준다.

출처 Y. Yoon et al., “Robots learn social skills: End-to-end learning of co-speech gesture generation for humanoid robots,” Int. Conf. Robotics Autom. (ICRA), 2019

참고문헌 [23]에서는 RNN의 일종인 LSTM을 이용하여 사용자의 행동에 반응하는 로봇의 소셜 행위를 생성하였다. 예를 들어 사용자가 문을 열고 들어오면 로봇은 고개를 숙여 인사를 하고, 손으로 얼굴을 가리고 흐느껴 울면 안아주려 한다. 이때, 입력은 일련의 사용자 포즈이며 출력은 일련의 로봇 포즈이다. 이를 학습하기 위해 사람과 사람이 상호작용하는 데이터를 5,000세트 수집하였으며 샘플 데이터와 이를 확인할 수 있는 코드는 참고문헌 [24]에 공개되었다. 그림 4는 학습된 결과를 보여준다.

그림 4

LSTM 기반 소셜 행위 생성 결과. 사용자가 (a) 문 열고 들어올 때 (b) 쳐다보지 않을 때 (c) 악수하려 손 내밀 때 (d) 얼굴 가리고 울 때

출처 W. R. Ko et al., “End-to-End Learning-based Interaction Behavior Generation for Social Robots,” Workshop on Social Human-Robot Interaction of Service Robots in International Conference on Social Robotics (ICSR), 2018.

위의 연구들은 모두 제스처를 일련의 포즈로 표현하였다는 공통점이 있다. 이를 로봇의 움직임으로 변환(retargeting)하기 위해서는 로봇의 형태(configuration)를 고려해 역기구학(inverse kinematics)을 풀어야 한다는 번거로움이 있다. 참고문헌 [25]에서는 강화학습(reinforcement learning)과 AE를 이용하여 사람의 포즈를 다양한 휴머노이드 로봇 포즈로 변환하였다(그림 5).

그림 5

강화학습 기반 로봇 포즈 변환 결과

출처 Reprinted with Author’s Permission from T. Kim and J. H. Lee., “C-3PO: Cyclic-Three-Phase Optimization for human-robot motion retargeting based on reinforcement learning,” arXiv:1909.11303, 2019.