AI Bots를 위한 멀티에이전트 협업 기술 동향

1. AI Bot과 협업 인공지능

이 절에서는 전체 협업 인공지능 기술을 살펴보기 전에 먼저 AI Bot과 협업 인공지능의 개념에 대해서 정의를 하고자 한다.

가. AI Bot

Bot이란 인터넷 등에서 검색 등의 태스크를 자동으로 수행하는 컴퓨터 프로그램을 의미하며 internet bot, web robot, robot으로도 불린다. 대개 chatbot, spambot, socialbot 등의 태스크를 수행한다. AI Bot은 일반적으로 인공지능 기술을 활용한 chatbot을 의미하며, 보통 Bot들에 비해서 추가로 인간 사용자와 소통에 필요한 자연어 처리 및 이해, Conversational AI 등의 기술이 요구된다[4]. 이 개념을 다양한 인공지능 태스크로 확장한다면 AI Bot을 인간과의 소통을 바탕으로 주어진 목적을 달성하기 위하여 스스로 동적인 환경을 인지하고 의사결정을 내리는 자율적 개체로서 인공지능의 고유 기능인 인식, 추론, 학습 등의 태스크를 수행하는 일종의 에이전트로 해석할 수 있다. 본고에서는 인공지능 기능을 제공하는 가상 및 실제 에이전트를 모두 포함하여 AI Bot을 정의하고 이에 관한 기술 동향을 살펴보고자 한다.

AI Bot 에이전트를 정보의 관점에서 몸체(Body)를 가진 개체로 해석하여 제한된 자원을 가지고 1인칭의 자기 시점(Egocentric) 데이터와 지식, 경험의 정보를 처리하고 행동하는 존재로 정의할 수 있다. 이러한 해석은 chatbot 등의 가상 에이전트뿐만 아니라 로봇 등의 실제 세계의 에이전트에도 적용 가능하며 최근의 체화된 인공지능(Embodied AI) 연구의 관점과 유사하다[5]. 상기의 내용을 그림으로 정리하면 그림 2와 같다.

그림 2.

AI Bot 개념도

나. 협업 인공지능

AI Bot 에이전트들은 서로 다른 데이터, 지식, 경험, 자원을 보유하고 있으며, 이들의 협업이 중요하다. 기존의 단일 에이전트 기반의 AI Bot은 인간 사용자와의 소통을 단일 에이전트의 능력(Skill)으로 처리하였으나, 멀티봇의 경우는 복수의 에이전트가 제공하는 능력과 기능을 잘 조율하여서 사용자에게 제공하는 플랫폼 구조가 필요하다. 기존의 인공지능 시스템을 단일체(Monolithic) 컴퓨팅 구조라고하면 AI Bot을 통한 멀티에이전트 협업 방식은 객체 지향이나 모듈식/조립식의 유연성 있는 컴퓨팅 구조로 비유할 수 있다[6].

로봇 분야의 분산지능 연구에서는 복수 에이전트 간의 상호작용 방식에 따라 집합적(Collective), 협력적(Cooperative), 협업적(Collaborative), 조정(Coordinative) 방식으로 분산 인공지능 기술을 구분하였으며, 공통의 목표가 없지만 다른 에이전트의 목표를 추측할 수 있으며 서로 이득을 볼 수 있는 상호작용을 하는 방식을 협업적 방식 분산지능이라고 정의하였다[3]. AI Bots 기반의 협업 인공지능은 이러한 AI-AI 협업 이외에도 인간 사용자와의 소통을 통하여 인간과 AI Bot들의 상호 합의를 통해 AI Bot들이 협업, 참여, 기여, 보상이 이루어질 수 있는 AI-AI 협업 기술을 포함한다[7].

그림 3은 상기의 개념을 적용하여 본고에서 제안하는 AI Bot들의 협업 개념을 도시하고 있다. 복수의 Bot들의 기능(Skill)이 한 번에 한 개가 사용되는 기존의 Multi-bot 구조와 달리 동시에 여러 Bot들이 병렬로 기능을 발휘하여 시너지를 가지는 인공지능 협업 기능을 생성함을 보여주고 있다.

그림 3.

AI Bots 협업 개념 출처 Reproduced from [6].

근래에 협업 인공지능과 유사한 탈중앙화 인공지능 기술이 연구되었으며 협업 인공지능에 활용 가능하다. 이 기술들의 협업 인공지능 방식과의 유사점과 차이점을 정리하면 표 2와 같다.

2. 물체 및 공간 인식을 위한 협업

이 절에서는 AI Bot들의 협업에 활용될 만한 기존의 물체 및 공간 인식에 관련된 연구를 살펴보고 협업을 위하여 필요한 사항에 대해서 분석하여 본다.

기존의 분산된 인식 정보를 융합하여 통합 또는 향상된 인식 기능을 제공하는 연구로서 단일 에이전트에서 멀티모달 데이터 간의 지식 교류를 통하여 인식 기능을 향상시키는 멀티모달 학습 연구가 진행되었다[8]. 그러나, 이러한 방식은 중앙집중형의 인공지능 모델에 적합하며, 제한된 컴퓨팅과 통신 자원을 전제하는 협업 인공지능에는 사용하기 쉽지 않다.

NVIDIA는 청각 지능과 시각 지능의 모달 간의 교차 학습을 통하여 개별 지능에 대한 인식 기능을 향상시키는 연구를 진행하였다[9]. 이 연구는 멀티 모달 정보 간의 지식 교류가 많은 통신량이 필요한 Early Fusion 방식이 아니라 상대적으로 적은 통신량이 필요한 Late Fusion 방식으로서 협업 인공지능에 적용 가능하다.

로봇 분야는 제한된 자원을 가지는 로봇에서 인공지능을 구현하여야 하므로 협업 인공지능 기술이 많이 필요한 응용이다. 여러 대의 로봇들이나 드론들이 개별 개체가 보지 못하는 시각 영역을 교류하여 보다 광범위한 정보를 획득하는 연구가 진행되었다. 특히 공간을 인식하는 주요 기능으로 로봇이 자신의 위치와 자세를 파악하고 주변 환경에 대한 정보를 획득하는 SLAM 연구에서 최근에 향상된 공간 상황인지를 위하여 멀티에이전트의 정보를 공유하여 SLAM의 정확도를 향상시키는 분산 SLAM 기술의 연구가 진행 중이다. 전역 정보가 없더라도 이웃한 에이전트 간의 제한된 통신을 통하여 SLAM을 수행하는 방법이 제시되고 있다[10-12]. 더불어 MIT와 스탠포드를 중심으로 카메라의 시각 정보를 단순한 SLAM에만 적용하지 않고 시각적인 장면(Scene)에서 객체 간의 의미론적 관계와 공간적인 관계를 동시에 구축하는 3D 장면 그래프(Scene Graph) 연구에서 멀티에이전트를 활용하는 연구가 진행 중이다[13]. 각 로봇이 실시간으로 로컬 환경의 3D 메쉬(Mesh) 모델을 구축하고 메쉬 각 면에 의미 레이블(예: 건물, 도로, 개체)을 부여한 후 통신 가능한 로봇 간의 궤도 추정 및 자세 추정 최적화 알고리즘을 통하여 보정하는 기술을 개발하였다.

이상에서 살펴본 분산 SLAM 기술들의 특징을 비교하여 표 3에 정리하였다.

체화된 인공지능 연구에서도 인식과 관련된 멀티 에이전트의 협업 문제를 다루고 있다. 시뮬레이션 환경에서 복수의 에이전트가 각 에이전트가 보이지 않는 영역을 다른 에이전트의 지식을 활용하여 인지하게 하는 협업 시각적 태스크에서 에이전트끼리 의사소통하는 통신 방법의 학습 연구나 협업적으로 공간을 탐색하는 방법의 연구가 진행되었다[14,15]. 그림 4는 이러한 멀티에이전트가 인식 지식을 교류하는 사례를 보여준다.

그림 4.

멀티에이전트의 인식 지식 교류 사례 (경로계획에 적용 사례)

인식과 관련된 협업 인공지능 기술은 단일 에이전트에서의 멀티모달 융합 연구가 활발한 것에 반하여 멀티에이전트 관점에서 멀티모달 정보를 활용하는 연구는 드물다. 인식이나 인지의 관점에서 지식이 내재된 센서 신호, 데이터와 더불어 그래프, 규칙과 같은 상위의 지식을 종합적으로 교류하여 협업 인공지능을 제공하는 연구가 요구된다.

3. 분산 행동 지능 협업

분산 행동 지능의 경우는 에이전트들의 개별 행동의 결과로 얻어지는 최종 결과가 만족스럽도록 각 에이전트의 행동이나 의사결정을 수행하는 것이다. 멀티에이전트의 협업을 위하여 작업 분할, 조직 생성, 작업 할당, 작업 수행의 단계를 거쳐 사람의 요구사항을 복수의 에이전트가 수행한다[16]. 이 4가지 수행 단계의 자동화 여부에 따라 멀티에이전트 시스템을 4가지 레벨의 자율성을 정의하여 구분하였으며, 현재는 작업 분할, 조직 생성, 작업 할당의 3가지를 동시에 자동화하는 레벨 4의 이종 복수 로봇 시스템은 없는 상황이다. 멀티에이전트가 조직을 구성하여 작업을 할당하는 방법론으로는 표 4와 같은 것이 있다. 단순하게 미리 규칙을 정해놓고 이에 따라 협업하는 방식부터 경매나 합의 등을 통하여 에이전트들의 기능/성능/자원 등에 맞춰 주어진 임무에 적합한 협업 구성을 정하는 방식, try-and-error 방식으로 이전의 행위 결정에 대한 결과를 학습 데이터로 행위 지능을 학습하는 강화학습 방법 등의 여러 방법이 개발되었다.

최근에는 체화된 인공지능 연구 그룹에서 복수의 로봇이 가구를 옮기는 동기화된 작업을 위하여 멀티에이전트 강화학습을 통하여 시각적 행동 정책을 시뮬레이션 환경에서 학습하는 방법을 연구하였다[17]. 이러한 전통적인 방법 이외에도 그림 5와 같이 인간의 행동 지능을 로봇 등의 기계에 전달하는 LfD(Learning from Demonstration) 방법을 연합학습 기법으로 구조화하여 인간의 행동 지식을 멀티에이전트 협업에 적용하여 학습하는 연구가 있다[18].

그림 5.

인간 행동의 멀티에이전트 학습 구조 출처 Reprinted with permission from [18], CC BY 4.0.

4. 언어 기반 인간-AI Bots 협업

인간과 AI의 협업을 위한 인간-AI 소통 방식은 언어 지시어를 사용하는 언어적 방식과 제스처(Gesture), 시선(Gaze) 등을 통한 맥락이해와 같은 비언어적 방식의 연구가 있다. 본고에서는 이 중 전통적인 언어 기반의 인간과 멀티에이전트 AI 간의 협업 기술에 대해서 살펴본다.

단일 에이전트에서의 언어 기반 인간-기계 협업 연구는 탐색하거나 조작하기를 원하는 관심 대상 객체를 인간의 언어에서 파악하는 것과 같이 사용자의 의도를 파악한 후 사용자가 원하는 태스크를 도출하고 수행하는 방식의 연구들이 진행되고 있다. PDDL과 같은 상위 개념의 계획을 수행하거나 BERT 등을 학습하여 언어 입력을 연속된 행동 계획으로 만드는 방식의 연구가 진행되고 있다[19,20]. 하지만 아직 멀티에이전트에 이러한 연구를 적용하는 것은 미흡하다.

언어 기반으로 인간과 멀티에이전트가 협업하는 연구는 주로 chatbot과 같은 언어 기반 태스크에 연구가 집중되었다. 멀티봇 기반의 chatbot의 경우는 사용자와의 인터페이스가 하나이므로 다양한 기능을 가진 에이전트를 대화에 선택적으로 연결하는 조정(Orchestration) 기능이 중요하다[6]. 사용자와의 대화의 맥락을 유지하도록 에이전트의 역할과 동작을 조율하는 것에 기술의 초점이 있다. 로봇과 같이 실세계에 적용되는 에이전트의 경우는 chatbot의 경우와 달리 에이전트의 출력 결과가 단일하게 사용자에게 전달되지 않고 분산되므로 결과물에 도달하는 계획(Planning)을 수립하는 방법에 대한 연구가 진행되었다[21].

체화된 인공지능의 연구에서는 Vision-and-Language task, Vision-Language Planning 등의 시각과 언어의 융합 태스크 연구가 활발하다[22,23]. 최근에는 멀티에이전트로 해당 연구가 확장되어 복수의 에이전트가 인간의 언어 질문에 3D-CNN과 LSTM을 활용하여 에이전트 간의 작업 분할과 지식 공유를 통하여 응답하고 이를 AI2-THOR 시뮬레이터로 검증하는 연구가 진행되었다[24].

5. 분산 협업 학습

이 절에서는 마지막으로 협업 인공지능을 멀티에이전트의 협업을 통하여 향상시키는 분산 협업 학습에 활용 가능한 연구를 조사한다. 이를 위해 강화학습, 전이학습, 연합학습 관점에서 유사한 연구의 기술 동향을 살펴본다.

강화학습은 행동이나 의사결정의 결과를 반영하여 지식을 학습하고 수정하는 방법으로 멀티에이전트 강화학습 연구가 진행되고 있다[25]. 다수의 에이전트는 학습 단계에서 모든 정보를 공유하여 학습하고, 실행단계에서는 자신의 관측 정보만을 활용하여 행동을 수행하는 방식인 중앙집중형 훈련-분산형 실행(CLDE: Centralized Learning and Decentralized Execution) 구조에 대한 관련 연구가 활발히 진행 중이다. 완전 분산형의 학습은 협업이나 경쟁적 행동을 정책에 반영하기 힘들기 때문에 이러한 중앙집중식 학습을 수행한다. 그런데, 이러한 중앙집중식 학습은 제한된 컴퓨팅 및 통신 자원을 전제하는 협업 인공지능에는 적합하지 않으므로, 에이전트 간 통신을 최적화하는 연구가 진행되고 있다. 구글 딥마인드는 에이전트 행동에 대한 보상 경험을 공유하는 것과 정책 경사(Policy Gradient) 값을 학습하는 과정을 분리하여 대단위 분산 컴퓨팅 자원상에서 강화학습을 가속할 수 있는 기술인 IMPALA(IMPortance weighted Actor-Learner Architecture) 구조를 제안하였다[26]. 또한, 에이전트 간의 통신에 소요되는 자원 문제를 줄이기 위해 에이전트는 개별적으로 actorNet과 메시지 생성 네트워크를 가지지만 criticNet은 공유하는 방식인 Message CoordinatiorNet과 같은 멀티에이전트 통신 효율화 연구가 진행되었다[27].

에이전트 간 전이학습의 경우는 한 에이전트의 지식을 다른 에이전트에 전이하여 전체 에이전트 그룹의 지능을 향상시키는 연구이다. 멀티에이전트의 전이학습의 경우는 전이학습을 할 에이전트를 찾아 에이전트 간의 통신 연결을 만든 이후에 기존의 전이학습 방법을 활용한다. 강화학습을 통하여 개별 에이전트를 학습하고 이를 다른 에이전트에 전이학습하는 방식으로, 전이학습의 teacher와 student를 연결하는 최적 통신 구조와 최적 정책을 제공하는 방법이 제안되어 분산 태스크 할당 문제에 적용한 연구가 있다[28].

구글 등에서 2017년에 제안된 연합학습은 복수 단말의 분산된 데이터를 직접 학습에 활용하지 않고 모델 계수들을 공유하는 방식으로 보안과 통신 효율성을 증대시킨 학습 방법으로 FedAvg, FedSGD 등의 방법론이 있다[29]. 하지만 중앙의 서버에 모델을 저장하므로 협업 인공지능에 바로 적용하기 어려운데, 최근에는 중앙 서버를 사용하지 않는 탈중앙화 연합학습이 연구되고 있다[30,31]. 이것은 모델 계수의 통합에 P2P 통신을 통하여 서버를 거치지 않고 해당 에이전트들만 참여하므로 전이학습과 달리 양방향의 학습이 가능하고 협업 인공지능의 멀티에이전트에 적용하기 상대적으로 적합하다.