멀티에이전트 강화학습 기술 동향: 분산형 훈련-분산형 실행 프레임워크를 중심으로

DTDE 프레임워크와 CTDE 프레임워크의 차이점은 훈련 시 에이전트 간 정보가 부재하다는 것이다. 정보의 종류로는 다음과 같다. CTDE에서는 관찰 정보와 학습 정보를 둘 다 공유할 수도 있다.

가. 관측 정보

CTDE 프레임워크에서는 에이전트 간 관측 정보를 공유하며 더 많은 상태 정보를 갖고 훈련을 진행한다. 에이전트 간 통신을 통해 관측 정보를 알게 되는 경우도 있고, 관측 정보가 글로벌로 공유된다는 가정하에 있는 환경에서 강화학습을 진행하는 경우도 있다.

나. 학습 정보

CTDE 프레임워크에서 학습 정보는 흔히 파라미터 공유(Parameter-sharing)를 통해 이루어진다[6,7]. 파라미터 공유란 훈련 시에 모든 에이전트가 하나의 강화학습 모델을 훈련시키는 것을 말한다. 대부분의 최근 강화학습 모델은 신경망을 기반으로 구성되어 있는데, 이 경우에는 하나의 신경망을 모든 에이전트가 학습시키는 것을 의미한다.

다. DTDE에서의 정보 교류 부재

반면, DTDE 프레임워크에서는 앞서 살펴본 두 가지 정보를 사용할 수 없다. DTDE 프레임워크에서 이 두 가지 핵심 정보의 부재는 비정상성(Non-stationarity) 문제와 학습 속도의 저하를 야기한다.

이 절에서는 흔히 움직이는 표적 문제(Moving Target Problem)라고도 일컬어지는 비정상성 문제에 관해 서술한다[8]. 강화학습의 이론적 바탕은 마르코프 가정(Markov Assumption)이다. 마르코프 가정에 따르면, 에이전트가 학습을 진행함에 따라 환경을 수리통계적으로 이해할 수 있게 된다.

MARL에서 각각의 에이전트는 자신을 제외한 타 에이전트를 환경으로 인식한다. 따라서 에이전트는 타 에이전트들의 행동을 확률적으로 이해하고 있어야 학습 방향을 정할 수 있다. 그러나 MARL에서는 타 에이전트들의 학습과 탐색이 마르코프 가정을 붕괴시킨다.

가. 학습으로 발생한 비정상성 문제

MARL에서 학습을 진행할 때 문제는 모든 에이전트가 학습을 진행하면서 자신의 행동 전략을 계속 수정해 나간다는 점에 있다. MARL 에이전트는 타 에이전트가 행동 전략을 수정하면 환경이 급작스럽게 변화한 것으로 인식한다. 따라서 마르코프 가정에 기반한 수리통계적 환경 이해가 불가능해지는 것이다. 이렇게 되면 지금까지 확인했던 타 에이전트의 행동에 관한 데이터의 통계적 의미가 퇴색된다. 이렇게 타 에이전트들이 학습을 진행하면서 마르코프 가정이 무너지는 문제를 비정상성 문제라고 한다.

나. 탐색으로 발생한 비정상성 문제

강화학습 에이전트는 현재 최적이라고 생각하는 행동을 이용(Exploitation)하기도 하고 새로운 행동을 탐색(Exploration)하며 최적의 행동 전략을 찾아낸다. 탐색에도 입실론-그리디, 엔트로피 등 다양한 전략이 있다. 탐색 전략은 대체로 무작위적 성향을 띠게 된다. MARL 에이전트 입장에서는 타 에이전트가 탐색하고 있는지, 이용하고 있는지 아무런 정보 없이는 구분할 방법이 없다. 따라서 타 에이전트가 탐색하는 것도 이용으로 간주하며 훈련을 진행할 수 밖에 없다. 타 에이전트의 탐색 전략이 다변화되고 복잡할수록 MARL 에이전트 입장에서는 환경이 비정상성 성향을 띠게 된다고 느껴진다.

다. 비정상성 문제 예시

MARL에서의 비정상성을 설명할 수 있는 예로는 가위바위보 게임이 있다. 가위바위보 게임에서 두 에이전트는 서로를 이겨야 하므로 경쟁적 멀티에이전트 강화학습에 해당한다. 만약 상대 에이전트의 행동 전략이 고정된 상태라면 게임을 진행하면서 에이전트는 상대 행동 전략에 맞게 학습을 수행할 수 있다.

상대가 주먹만 내는 행동 전략을 취한다면 보자기만 내는 전략을 학습하면 되고, 상대가 1/3의 확률로 주먹, 가위, 보자기를 선택하여 낸다면, 똑같이 1/3 확률로 주먹, 가위, 보자기를 선택하여 내는 전략을 학습하면 될 것이다. 그러나, 상대 에이전트도 계속 학습을 하며 전략을 바꿔나간다면 과거의 데이터의 수리통계적 의미가 퇴색되므로 마르코프 가정에 기반한 학습을 진행할 수가 없게 된다. 예시로 든 경쟁적 환경뿐만 아니라 협력적 환경에서도 비정상성 문제는 똑같이 발생할 수 있다.

CTDE 프레임워크에서는 서로의 정보를 공유하기 때문에 비정상성 문제가 일어나는 것을 예방할 수 있다. 에이전트 간 정보 공유를 통해 한 에이전트의 수정된 행동 전략도 타 에이전트들이 충분히 인지할 수 있기 때문이다. 반면, 에이전트 간 정보 교류가 원천 차단되어 있는 DTDE 프레임워크에서는 비정상성 문제를 근본적으로 없애는 것은 불가능하다. 따라서 알고리즘적으로 비정상성 문제 저감 조치를 취하는 식으로 많이 연구되고 있다.

정보와 데이터가 집약될수록 학습이 효율적으로 된다는 것은 CTDE 프레임워크가 발전하게 된 이유이기도 하다. 바꾸어 말하면 DTDE에서는 상대적으로 학습 속도가 저하된다는 것을 의미한다. DTDE 프레임워크하의 에이전트들은 타 에이전트들의 행동 전략을 직접 경험해 보며 통계적으로 체득할 수밖에 없다. 아울러, 타 에이전트가 경험해 봤던 상태, 관측 정보들을 이용할 수 없으니 똑같은 상황이나 최소한 비슷한 상황이라도 직접 경험해 봐야 한다. 에이전트 입장에서는 탐색 공간이 굉장히 넓어진다는 것을 의미한다.

또한, 파라미터 공유를 활용하지 않으니 학습해야 하는 파라미터 수가 늘어난다. 파라미터를 공유할 때는 모든 에이전트가 하나의 신경망을 협력적으로 학습시킬 수 있다. 반면, DTDE처럼 각각의 에이전트가 개별 신경망을 가지고 있는 경우에는 파라미터 수가 에이전트 수에 비례하여 늘어난다.

가장 기본이 되는 가치 함수 기반 DTDE 알고리즘은 Independent Q-Learning(IQL)이다[9]. 다양한 버전의 Q 네트워크를 구성할 수 있으나 현재 대부분 IQL은 각각의 에이전트가 Deep Q-Network(DQN) [10]를 지니고 있도록 설계된 버전을 베이스라인으로 사용하고 있다. 에이전트 간 단절된 정보에 대한 고려가 없는 알고리즘이므로 언급한 DTDE에서의 문제점을 그대로 지니고 있다.

가장 기본이 되는 정책 경사 함수 기반 알고리즘에는 Independent synchronous Advantage Actor-Critic(IA2C) [11]과 Independent Proximal Policy Optimisation(IPPO)이 있다[12].

IA2C 알고리즘은 각각의 에이전트가 하나 존재하는 강화학습에서 흔히 사용하는 A2C 알고리즘[13]을 탑재하도록 설계되었다. IPPO 알고리즘 역시 각각의 에이전트가 강화학습에서 일반적으로 사용하는 PPO 알고리즘[14]을 탑재하도록 설계되었다. IA2C와 IPPO 모두 에이전트 간 단절 된 정보 교류에 대한 고려가 없기 때문에 DTDE에서 발생하는 문제점을 그대로 가지고 있다.

DTDE 프레임워크에서 비정상성 문제를 가장 잘 억제하는 방법은 한 에이전트가 정책을 수정할 때 타 에이전트들은 정책을 수정하지 않는 것이다. 이렇게 한 에이전트씩 정책을 학습해 나가면 다른 에이전트도 변경된 정책을 충분히 참고할 수 있게 된다. 최근 연구에서 이렇게 순차적 학습을 진행하면 각 에이전트는 최적의 정책을 찾을 수 있다는 것이 수학적으로 증명되었다[15]. 그러나 이런 순차적 학습의 가장 큰 문제점은 DTDE 프레임워크의 학습 속도가 더 느려진다는 것이다. 따라서 순차적 학습과 평행적 학습의 중간에서 타협을 보는 알고리즘이 많이 연구되고 있다.

참고문헌 [16]에서는 Hysteric Q-Learning(HQL) 알고리즘을 제안하였다. IQL을 기반으로 이 알고리즘은 느린 학습률과 빠른 학습률의 두 가지 학습률을 채택한다. 가치(Q-value)가 작을 것으로 예상되는 부정적인 상황에서는 느린 학습률을 채택하고, 가치가 클 것으로 예상되는 긍정적인 상황에서는 빠른 학습률을 채택한다. 느린 학습률로 학습하는 에이전트가 생기기 때문에 일반적인 IQL보다 비정상성 문제가 완화되는 효과를 가진다.

참고문헌 [17]에서는 Lenient Deep Q-Network(LDQN) 알고리즘을 제안하였다. 이 알고리즘 또한 IQL을 기반으로 하는 알고리즘이다. 일정한 확률로 가치가 작은 상황에서는 업데이트하지 않는 알고리즘이다. 이 확률은 시간에 따라 점점 감소하므로 훈련 후반부에는 일반적인 IQL과 똑같아진다. LDQN 또한 학습을 안 하는 경우가 있기 때문에 비정상성 문제가 완화된다.

참고문헌 [15]에서는 완화된 버전의 순차적 학습 방법을 제안하였다. 이른바 단계별 학습(Staged Learning) 개념을 제안하며, 상대적으로 많이 학습하는 에이전트와 적게 학습하는 에이전트를 번갈아가며 선택할 것을 제안했다. 일반적 순차적 학습에서는 정책을 학습하지 않는 에이전트가 있는 반면, 단계별 학습(Staged Learning)에서는 정책을 학습하지 않는 것이 아니라 적게 학습한다는 면에서 차이가 난다. 따라서 Staged Learning 개념을 탑재한 Staged IPPO(SIPPO)와 Staged IQL(SIQL) 모두 IPPO와 IQL 보다 좋은 성능을 보였다.

참고문헌 [18]에서는 Ideal Independent Q-Learning(I2Q) 알고리즘을 소개하였다. 본 알고리즘에서는 비정상성 문제를 해결하기 위해 이상적 전이 확률(Ideal Transition Probability) 개념을 제안하였다. 일반적인 가치(Q-value)는 다음 행동의 기대치로 계산된다. I2Q 알고리즘에 따르면 다음 상태 가치를 기반으로 이상적 전이 확률을 계산할 때 다른 에이전트가 행동 전략을 수정해도 비정상성 문제를 적게 겪는다.

기존의 IQL에서의 데이터를 저장하는 방식인 리플레이 버퍼를 DTDE에 맞게 활용하는 방법도 있다. 참고문헌 [19]에서는 Concurrent Experience Replay Trajectories(CERT) 개념을 제안하며, 에이전트 들이 동시에 경험을 쌓아나갈 때 비정상성을 최대한 억제하며 데이터를 다루는 방법을 서술하였다.

IA2C 기반 알고리즘에 에이전트 간 효율적 통신을 고려한 F2A2 같은 알고리즘도 있다[20]. 이렇게 되면, CTDE에서의 에이전트 간 정보 교류와 비슷한 맥락이 있어 완전한 DTDE라고 할 수는 없지만, 최소한의 정보 교류를 목표로 하므로 정보 교류가 완전히 제한되지 않고 어느 정도 제한된 부분적 DTDE 환경에서 사용할 수 있도록 한다는 점에서 의미가 있다.

LBF 환경은 MPE와 비슷하게 그리드 세계를 탐색하는 환경이다. 다른 에이전트와 협력하여 흩어져 있는 음식을 모두 적재하는 것이 목표이다. LBF 환경에는 레벨 개념이 추가적으로 더해져 단순히 음식을 수집할 수 없고 레벨에 맞춰 음식을 수집해야 한다.

보다 구체적으로는 에이전트에게 레벨이 무작 적으로 지정되며, 그리드 세계에 흩어져 있는 음식들에도 레벨이 무작위적으로 지정된다. 에이전트는 동, 서, 남, 북 불연속적 행동을 수행할 수 있으며, 음식 옆에서 음식 적재를 시도할 수 있다. 이때, 에이전트가 음식보다 레벨이 같거나 높으면 혼자서 음식을 적재할 수 있다. 그러나, 음식의 레벨이 더 높은 경우 타 에이전트와 협력해야 한다. 타 에이전트와 자신의 레벨을 더해서 음식보다 더 높거나 같은 레벨을 갖는다면 음식을 적재할 수 있다. 셋 이상의 에이전트가 있는 경우 어떤 에이전트와 협업해야 음식을 적재할 수 있을지 판단하는 것 또한 이 환경의 도전 과제이다.

RWARE 환경은 다수의 로봇이 요청받은 상품들을 이동시켜야 하는 창고 시뮬레이션 환경이다. RWARE 환경 역시 그리드 세계를 기반으로 만들어졌다. 강화학습의 시각에서 로봇이 에이전트이다. LBF와 비슷한 점은 에이전트가 목표물인 상품이 놓인 선반을 찾아 적재해야 한다는 것이다. LBF와의 차이점은 RWARE 환경에는 레벨 개념이 존재하지 않아 어떤 로봇도 어떤 선반이든 적재할 수 있다. 또한, 선반을 적재하는 것에서 끝나는 것이 아니라 선반을 이동시켜야 하는 곳까지 가서 선반을 하역해야 한다. 선반을 가진 있는 로봇은 이동경로가 제한되어 복도로만 이동해야 하며, 선반이 없는 경우는 어디든 이동할 수 있다.

새로운 물건 배송 요청이 들어오면, 기존에 배달된 선반이 있을 때 다시 반환하고 요청된 물건을 배송해야 한다. 에이전트 입장에서는 어떤 선반을 어디로 이동시킬지, 기존에 있는 선반을 어느 위치에 반환할지 등을 판단하여 물건을 올바르게 배송하는 것이 도전 과제이다.