멀티에이전트 강화학습을 위한 통신 기술 동향

통신 메시지는 실행 과정에서 에이전트가 다른 에이전트의 현재 상황을 파악할 수 있도록 정보를 전달하는 임무를 수행한다. 주로 보내는 메시지의 내용은 에이전트가 관측한 부분 관측 정보(Partial Observation), 에이전트가 선택한 행동(Action), 현재 상태(State), 에이전트가 사용하는 파라미터(Parameter) 또는 가중치(Weight)가 포함되어 있을 수 있다.

표 1은 에이전트가 보내는 메시지의 내용에 따라 멀티에이전트 강화학습 통신 알고리즘들을 분류한 것이다.

대다수의 멀티에이전트 강화학습 통신 알고리즘은 에이전트의 부분 관측 정보 또는 현재 상태를 메시지로 공유한다. CommNet [4]의 컨트롤러 모형은 여러 개의 층(Layer)으로 구성되어 있다. 첫 번째 층에서 자신의 현재 상태 벡터를 이용하여 메시지로 생성한 뒤 모든 에이전트가 메시지를 공유한다. 이후 전체 메시지(상태 벡터)의 평균값과 이전 층에서 생성한 메시지가 다음 층의 입력값이 된다. 생성된 출력값은 다시 모든 에이전트에게 공유되어 평균값을 계산하고, 자신이 가지고 있던 출력값과 함께 다음 층의 입력값이 된다. 이 과정을 몇 번 거친 후 최종적으로 행동을 선택하게 된다. 에이전트의 현재 상태를 모두에게 공유하고 평균값으로 반영하는 매우 단순한 형태이지만, 공유 과정에서 통신 정책을 학습할 수 있어 뛰어난 성능을 보여주었다.

에이전트의 관측 정보나 현재 상태가 아닌 행동, 정책이나 다른 정보를 공유하는 알고리즘도 있다. RIAL [5]은 에이전트의 현재 행동을 메시지로 생성하여 다른 에이전트에게 전달한다. 메시지를 전달받은 에이전트는 현재 자신의 관측 정보와 메시지를 이용하여 행동 가치를 계산하여 행동을 선택한다. 선택한 행동은 다시 다음 메시지가 되어 전달된다. RIAL의 방식은 통신 프로토콜을 학습하는 데 좋은 방식이다. 그러나 에이전트의 행동을 제외한 다른 값들은 공유되지 않고, 에이전트 간 피드백 과정이 없어 에이전트가 정책을 학습하는데 매우 부정확하고 오랜 시간이 걸린다는 단점이 있다.

DIAL [5]은 RIAL의 단점을 보완하기 위해, 경사값(Gradient)을 공유하는 과정을 추가하였다. 메시지와 피드백을 통해 경사값을 공유함으로써 더 많은 정보가 에이전트 사이에 공유되게 된다. 이를 통해 학습 과정에서 시행착오를 줄일 수 있으므로 빠르게 정책을 학습할 수 있다.

BiCNet [6]은 행동 가치 계산을 위해서 양방향 RNN(Bidirectional Recurrent Neural Network)을 이용한다. 행동 가치를 계산하는 과정에서 에이전트 간의 협력을 위해 통신을 수행하게 된다. 양방향 RNN의 입력값은 각 에이전트가 관측한 관측 정보이지만, 공유되는 정보는 양방향 RNN의 은닉층(Hidden Layer) 정보이다. 통신 프로토콜도 양방향 RNN에 합류한 순서를 고려하여 설정된다. 공유하는 메시지 에에이전트 간의 의존도가 포함되어 행동에 전달되기 때문에, 경사값이 전체 네트워크에 효율적으로 전파되어 완전한 의존을 허용하게 된다. 결과적으로 에이전트 간에 파라미터가 완전히 공유된다. 실험 결과, 협력에 필요한 에이전트의 수가 많은 시나리오에서 다른 알고리즘에 비해 더 좋은 성능을 보여주었고, 에이전트의 수가 늘어날수록 성능 격차가 더 커지는 것을 보여주었다.

TarMAC [7]은 메시지가 특정 에이전트에게만 효과적으로 반영되는 대상 지정 통신(Targeted Communication) 을 수행한다. 자신의 관측 정보와 이전 과정에 생성한 집합 메시지(Aggregated Message)를 사용하여 에이전트의 행동 가치와 메시지를 생성한다. 이 과정에서 soft-attention을 사용하는데, soft-attention의 결과 중 signature와 value가 메시지에 포함된 다. 메시지는 모든 에이전트에게 브로드캐스팅으로 전파되고, 전송받은 에이전트들은 받은 메시지와 메시지 생성 과정에서 사용하지 않은 Query를 사용 하여 집합 메시지를 생성한다. Attention의 특징에 의해 집합 메시지는 특정 에이전트가 아니면 생성되지 않는다.

통신 대상은 1절에서 설명한 메시지를 에이전트들이 어떤 에이전트에게 공유하는지에 대한 내용이다. 크게 분류하면 에이전트가 다른 에이전트 모두에게 메시지를 전송하는 방법, 통신 범위 내 주변에 이전트에게 전송하는 방법, 그리고 중계 역할을 하는 에이전트에게 전송하는 방법으로 나눌 수 있다.

표 2는 통신 대상에 따라 멀티에이전트 강화학습 통신 알고리즘들을 분류한 것이다.

대부분의 멀티에이전트 강화학습 통신 알고리즘은 통신 모델 및 프로토콜에 대한 설명 위주로 되어있다. 그리고 네트워크에 포함된 모든 에이전트는 전부 통신이 가능하다고 가정하고 시작한다. 중앙집 중형 훈련의 형태로 강화학습이 진행되기 때문에 모든 에이전트가 통신 정책을 학습하기 위해서는 이러한 가정들이 필수적이다. 그러나 실제 실행 환경에서는 통신거리로 인해 모든 에이전트의 통신이 불가능한 경우가 발생한다. 이 점을 통신 알고리즘을 설계할 때부터 고려하여, 주변 에이전트에게만 전송할 수 있도록 설정한 몇몇 알고리즘이 존재한다.

DGN [8]은 그래프 신경망(GNN: Graph Neural Network) 기반의 통신 알고리즘이다. 에이전트들은 관측 정보를 벡터화하여 메시지로 만든 뒤 1홉 거리의 에이전트와 공유한다. 전달받은 메시지와 자신의 메시지를 이용해 합성곱 층(Convolutional Layer)에서 잠재 벡터(Latent Vector)를 생성하게 된다. 합성곱 층은 여러 층이 존재할 수 있으며, 합성곱 층이 많을수록 여러 홉 거리에 있는 에이전트들의 정보까지 포함할 수 있다. 행동 가치는 에이전트가 생성한 모든 층의 잠재 벡터를 사용하여 계산한다.

Neurcomm [9]은 모든 메시지가 어느 에이전트한테서 왔는지 판별 가능하다고 가정한다. 훈련 과정에서 에이전트는 자신의 주변에 있는 에이전트에게만 현재 상태, 은닉 상태(Hidden State), 정책을 메시지로 만들어 전송한다. 전송받은 메시지와 자신의 정보를 입력으로 하여 행동 가치를 계산하고, 결정된 행동을 바탕으로 평가한다.

I2C [10]는 에이전트가 현재 관측할 수 있는 범위 내에 있는 에이전트와만 통신할 수 있다. 이때, 통신 범위 내의 모든 에이전트와 통신하는 것이 아니라, 에이전트들의 공동 행동 가치(Joint-action Value)를 softmax로 비교하여 가장 값이 큰 에이전트와 통신한다.

몇몇 통신 알고리즘은 중계 에이전트를 사용해 통신한다. 중계 에이전트는 훈련이나 실행 과정에서 강화학습에 참여하는 것이 아니라, 에이전트들이 보낸 메시지를 병합 또는 가공하여 네트워크에 속한 에이전트들에게 재전송하는 역할만 수행한다. 중계 에이전트를 사용하는 방법은 중계 에이전트와만 통신을 수행한다는 점에서 통신 프로토콜 설계가 매우 간단하고, 대부분 전송받은 메시지를 압축하여 에이전트에게 전송함으로써 통신 오버헤드가 다른 알고리즘들에 비해 작다는 장점이 있다.

MADDPG-M [11]에서는 에이전트가 메시지를 공유하기 위해 Communication Medium에 메시지를 전송한다. 일정 시간 동안 전송된 메시지는 모두 병합되며, 병합된 메시지들은 다시 에이전트들로 전송된다. 현재와 과거 정보가 모두 포함된 메시지를 가지고 에이전트는 행동 결정 정책을 갱신하고, 정책에 따라 행동을 결정, 실행한다.

Gated-ACML [12]에서 에이전트들은 자신의 관측 정보를 이용하여 생성한 메시지를 Message CoordinatorNet(MCN)에 전송한다. MCN은 전송받은 메시지 중 중요 정보만 추출하여 하나의 메시지 형태로 가공한 후, 다시 에이전트들에 전송한다.

IMAC [13]은 제한된 대역폭(Bandwidth)에서 통신하는 상황을 고려하여, 전송하는 메시지들의 엔트로피(Entropy) 최소화를 위해 중앙 스케줄러에서 메시지 전송을 관장한다. 스케줄러는 에이전트들이 전송하는 메시지 중 서로 겹치는 정보를 최대한 줄이는 클리핑 과정을 수행하여, 메시지의 엔트로피를 최대한 낮추는 방향으로 학습한다.

MASIA [14]는 Attention을 사용하여 생성된 메시지를 중계 에이전트에서 받아 잠재 벡터를 생성한 후, 다시 에이전트들에게 전송한다. 이때 잠재 벡터의 크기를 최소화하기 위하여 MASIA는 과거와 현재 잠재 벡터를 이용하여 다음에 생성될 잠재 벡터를 예측한 뒤, 겹치는 정보를 최대한 줄이는 방법으로 잠재 벡터 메시지를 압축한다. 에이전트는 글로벌 관측 정보가 포함된 잠재 벡터에서 자신에게 가장 필요한 정보만 추출하여 행동 가치 함수에 사용한다. 정보 추출 과정은 MLP(Multi Layer Perceptron)에 잠재 벡터와 에이전트가 가장 필요한 정보를 추출하기 위한 가중치 정보를 입력으로 사용하고, 훈련 과정에서는 정보를 효율적으로 추출하기 위한 가중치 정보를 학습한다.

멀티에이전트 강화학습 통신 알고리즘에서 통신 정책은 훈련 시작부터 지정되어 수행되는 형태와 통신을 위한 정책을 따로 수립하여 훈련 과정에서 함께 훈련하는 두 가지 형태로 분류할 수 있다.

표 3은 통신 방법의 학습 여부에 따라 멀티에이전트 강화학습 통신 알고리즘들을 분류한 것이다.

통신 정책을 직접 지정하는 방법 중 전체 에이전트와 통신은 아무런 제약 없이 모든 에이전트와 통신할 수 있는 것을 의미한다. 이 방식은 대부분의 멀티에이전트 강화학습 통신 알고리즘에 사용되며, 통신 과정에 특별한 가정이 없다면 이 방식에 속한다. 하나 및 일부 에이전트와 통신하는 방법은 에이 전트의 통신거리를 제한하거나, 통신할 에이전트를 선택하는 방식이 수식 등으로 정해져 있는 방식을 의미한다.

VBC [15]는 에이전트 자신의 관측 정보, 이전 은닉 상태와 다른 에이전트로부터 전송받은 메시지를 이용해 행동 가치 함수를 계산한다. 에이전트가 가진 행동 가치의 편차가 일정 기준값을 넘지 못하면, 다른 에이전트에게 정보를 갱신하기 위한 값을 브로드캐스팅을 통해 요청하게 된다. 요청받은 에이전트들도 자신의 정보가 일정 기준값을 초과하였을때만 메시지를 전송한다. 이러한 방식은 상황에 크게 영향을 주지 못하는 메시지들을 제거할 수 있어 통신 오버헤드를 줄이는 효과를 가져온다.

다른 방법은 훈련 중에 통신 정책을 학습하는 방법이 있다. 이 방식은 통신을 위한 정책을 따로 수립하여 훈련 과정에서 함께 훈련하고, 실행 과정에서는 훈련 과정에서 습득한 통신 정책을 바탕으로 에이전트 간 통신을 수행한다.

ATOC [16]는 행동 가치 함수를 계산하기 위해 2개의 actor net을 사용한다. 첫 번째 actor net은 에이전트 자신이 이전에 선택한 행동과 현재 관측 정보 등을 바탕으로 thought라는 핵심 정보만을 요약한 메시지를 생성한다. 생성된 thought는 통신 채널을 통해 에이전트끼리 공유되며, 이 과정에서 하나의 메시지로 병합한다. 두 번째 actor net은 thought와 메시지를 사용하여 에이전트의 행동을 결정한다. 에이전트 간 정보를 전달하는 과정에서 probabilistic gate mechanism을 사용하는데, 훈련 과정에서 정보를 전달할 에이전트를 선택하는 과정과 전달받은 thought를 하나의 메시지로 합치는 과정을 에이전트들이 개별로 학습한다.

위와 다르게 학습 과정에서 전체 에이전트를 같은 정책을 사용하여 학습시키는 경우도 존재한다. SchedNet [17]은 제한된 대역폭을 만족시키기 위해 WG(Weight Generator)를 사용하여 전체 에이전트들의 통신 스케줄을 학습한다. WG는 각 에이전트가 전송한 관측 정보의 중요도에 따라 가중치를 결정하는데, 이 값은 훈련 과정에서 학습되어 결정된다. 통신을 수행할 에이전트를 결정하는 방법은 가중치가 가장 높은 에이전트들로 선정하거나 (top(k)), softmax 함수를 통해 결정하게 된다. 설정된 결정 방법에 따라 선택된 에이전트들은 자신의 메시지를 브로드캐스팅하는 형태로 메시지를 전송한다.

G2ANET [18]은 soft-attention과 hard-attention을 사용하여 행동 가치를 계산한다. Soft-attention은 강화학습의 전체 가중치를 계산하기 위한 용도로 사용되는데, 관계없는 에이전트의 가중치까지 계산하여 계산복잡도가 증가한다는 단점이 있다. 이를 해결하기 위해 hard-attention을 통해 먼저 에이전트 간의 연관성을 탐색하여 계산 범위를 좁히기 위해 사용한다. Hard-attention과 soft-attention은 훈련 과정에서 행동 가치를 계산하는 GNN과 함께 학습된다.

멀티에이전트 강화학습 통신 알고리즘은 에이전트의 상황을 정확히 전달하여 강화학습의 성능을 높이는 방법 위주로 서술된 경우가 많다. 그러나 잡음(Noise), 통신거리, 간섭(Interference), 적대적 공격(Adversarial attack) 등으로 인해 실제 환경에서는 메시지 전달이 완벽하게 이루어지지 않을 가능성이 높다. 이를 극복하기 위해 실제 통신 환경에서의 제약 사항을 고려한 통신 알고리즘들도 많이 제안되었다. 멀티에이전트 강화학습 통신 알고리즘에서 주로 고려되는 통신 제약 사항은 대역폭 제한, 적대적 공격 및 잡음으로 인한 메시지 위변조 등이 있다.

표 4는 멀티에이전트 강화학습 통신 알고리즘들이 고려한 통신 제약 사항에 따라 알고리즘들을 분류한 것이다.

앞서 설명한 몇몇 통신 알고리즘들은 대역폭 제한을 염두에 두고 통신 오버헤드 및 중복 메시지를 최소화하는 것을 목표로 하였다[5,12-15,17].

ETCNet [19]도 대역폭 제한 상황을 염두에 둔 통신 알고리즘이다. 에이전트가 gate mechanism을 사용하여 메시지 전송 여부를 결정한 후, 전송 확률을 계산한다. 전송 확률에 따라 에이전트가 메시지 전송 기회를 부여받았을 때만 메시지 전송이 가능하다. 전송 확률은 최댓값이 지정되어 있으며, 전송을 최근에 했거나 메시지 크기가 클수록 전송 확률은 감소한다.

Variable length coding [20]은 메시지의 크기를 변경하여 대역폭 제한을 해결하려고 하는 알고리즘이다. 기존 통신 분야에서 사용하는 variable length coding을 멀티에이전트 환경에 맞게 수정하여 사용하였다. 메시지 중 등장하는 빈도가 높은 메시지는 짧은 메시지로 보내고, 빈도가 낮은 메시지는 긴 메시지로 생성하여 전송한다. 이 기준으로 메시지 구성을 훈련 과정에서 학습하여 실행 과정에서 사용한다.

TMC [21]는 에이전트마다 메시지 버퍼를 사용하여 자신이 보낸 메시지와 다른 에이전트로부터 받은 메시지를 저장한다. 이때, 현재 자신이 저장한 메시지와 새로 생성한 메시지의 유클리드 거리(Euclidean Distance)를 계산하여 일정 기준값을 넘지 못한다면, 생성한 메시지는 새로운 정보가 없는 것으로 판단하여 전송하지 않는다.

NDQ [22]는 메시지를 전송받은 에이전트의 행동 결정의 불확실성을 낮추고, 메시지는 최대한 짧게 보내야 한다는 두 가지 목표를 만족시키는 방법을 제안하였다. 메시지의 상호의존정보(Mutual Information) 값을 최대화하고 엔트로피를 최소화하는 것을 훈련 과정에서 학습하도록 하였으며, 메시지 전송 시 최대한 필요 없는 부분의 비트(Bit)를 보내지 않는 형태로 메시지 길이를 최소화한다.

이 외에도 통신 과정에서 발생하는 잡음 또는 외부자 침입 및 에이전트 감염으로 인한 적대적 공격을 고려한 통신 알고리즘도 존재한다. 잡음, 적대적 공격은 에이전트가 전송하는 메시지를 변경하여, 에이전트가 정확한 관측 정보 및 상황을 파악할 수 없도록 한다.

Diff Discrete [23]는 메시지를 전송하는 통신 채널의 구간을 나누어 전송 과정 중 잡음이 발생하더라도, 해당 구간 내에 신호가 도달하면 메시지를 완벽하게 복원하는 방법을 제안하였다. Diff Discrete는 멀티에이전트 강화학습보다는 기존의 통신 분야에서 제안하는 알고리즘 쪽에 가깝게 서술되어 있다.

ℜ-MACRL [24]은 적대적 공격으로 인한 메시지 변조를 복원하기 위한 방어 정책을 만드는 알고리즘이다. 훈련 과정에서 에이전트들은 공격자와 방어자로 나뉘어 학습이 진행된다. 공격자는 전체 알고리즘의 보상을 낮추는 정책을 학습하고, 방어자는 적대적 공격이 존재하는 상황에서 보상을 최대화하는 정책을 학습한다. 훈련을 진행하면서 공격자와 방어자의 갱신된 정책을 공유하고, 내쉬 균형 이론(Nash Equilibrium)을 사용하여 가장 좋은 정책을 선택하게 한 후 학습을 다시 진행한다. 훈련이 종료되고 나면 방어자가 학습했던 정책을 모든 에이전트가 수행하도록 한다.

AME [25]도 적대적 공격으로부터 강화학습의 성능을 방어하기 위한 멀티에이전트 강화학습 통신 알고리즘이다. AME에서는 적대적 공격을 수행하는 에이전트의 수가 전체의 절반을 넘지 않는다고 가정한다. 훈련 과정에서 에피소드마다 일부 에이전트들의 메시지만 학습하면, 적대적 공격을 수행하는 에이전트의 메시지보다 정상적인 메시지가 더 많이 들어 있는 경우가 많으므로, 결과적으로는 정상적인 통신 정책을 수립할 수 있게 된다고 주장한다. 표본 메시지의 개수가 많을수록 정책이 더 정확하지만, 처리 속도는 느리다. 표본 메시지의 개수가 적을수록 처리 속도는 빠르지만, 적대적 에이전트의 메시지가 주 의견이 될 가능성도 커지므로, 정책의 정확도는 낮아지게 된다.

Traffic Junction(TJ)은 멀티에이전트 강화학습에서 통신 알고리즘의 성능을 보여주기 위해 주로 사용되는 검증 환경이다. Commnet [4]에서 처음 등장하였고, 참고문헌 [26]에서 다양한 난이도를 설정할 수 있도록 발전되어 다양한 멀티에이전트 강화학습 통신 알고리즘 검증에 사용되었다.

Easy나 Medium 난이도 기준으로, 십자 모양의 교차로 하나를 격자로 구성한 환경에서 각 에이전트는 이 교차로상에서 움직이는 입자(자동차) 하나를 담당하며, 주어진 목적지로 빠르게 이동하도록 설정되어 있다. Hard 난이도의 경우 교차로의 개수와 에이전트의 수가 증가한다. 에이전트는 관측 범위가 지정되어 있고, 관측 범위보다 조금 큰 범위의 통신 범위를 갖고 있다. 에이전트 각각은 가장 빠른 시간 내로 목적지로 이동해야 하는 목표를 가짐과 동시에, 충돌을 일으키지 않으면서 이동해야 하는 협력 목표를 갖는다. 충돌이 일어날수록 보상에서 더 큰 손해를 얻게 되어 있으므로, 통신을 통해 교차로를 통과하는 순서를 에이전트들이 결정해야 한다.

Multi-agent Particle Environment(MPE)[27]는 Open AI Gym 기반으로 여러 형태의 멀티에이전트 시나리오를 검증할 수 있도록 만들어진 검증 환경이다. 에이전트는 입자 형태로 구성되어 입자 형태로 존재하는 목표(Prey, Landmark 등)로 빠른 시간 내에 정확히 이동하는 것이 이 환경의 목적이다. MPE에는 에이전트를 방해하기 위한 방해물(Obstacle) 및 적대적 에이전트(Adversarial Agent)가 존재한다. MPE는 다양한 시나리오를 제공함으로써 이전의 실험 환경에 비해 고차원적인 검증이 가능하다.

StarCraft Multi-Agent Challenge(SMAC) [28]은 블리자드사의 StarCraft II 게임을 멀티에이전트 환경에 맞게 구축한 실험 환경이다. 같은 게임을 싱글 에이전트 강화학습에 사용하기 위한 DeepMind사의 PySC2를 기반으로 생성되었으나, PySC2와 달리 각각의 유닛 하나하나가 에이전트의 역할을 수행한다. 에이전트는 유닛의 종류에 따라 공격 범위, 체력, 이동속도, 특수능력 등이 모두 다르다. 실험의 제1목표는 승리이며, 이때 발생한 피해량, 유닛 손실 등을 토대로 전체 보상이 결정된다. 알고리즘의 성능 검증은 난이도 구분이 되어 있는 여러 시나리오의 승률에 따라 결정된다.

멀티에이전트 강화학습 통신 알고리즘은 협력이 강조되는 시나리오로 검증이 이루어진다. 예를 들어, ‘1o_2r_vs_4r’ 시나리오의 경우, 1기의 대군주(Overseer) 가 전달하는 적군의 위치를 바탕으로, 2기의 바퀴(Roach)가 4기의 적군(Reaper)을 물리쳐야 승리하는 시나리오이다. 1기씩 공격하면 각개 격파되어 패배한다. 정확한 타이밍에 동시에 공격해야만 승리할 수 있으므로, 에이전트 간 통신을 통한 협업이 SMAC의 다른 시나리오들에 비해 강조되는 시나리오라고 할 수 있다.

SMACv2 [29]는 SMAC에 무작위 특성을 강조한 검증 환경이다. SMAC에서는 하나의 시나리오에 대해서 아군과 적군의 구성 및 위치가 훈련을 수행하는 동안 변경되지 않는다. 이러한 점에서 SMAC으로 검증하는 멀티에이전트 강화학습 알고리즘은 해당 시나리오 하나에 대해서는 성능 검증이 되지만, 다른 시나리오에 대해서는 검증이 되지 않았기 때문에 여러 시나리오에 대해 검증해야 한다는 불편함이 발생한다. 또한 SMAC을 적용하여 검증하는 멀티에이전트 강화학습 알고리즘들이 많아지면서, 모든 시나리오에 대해 90% 이상의 높은 승률을 보여주는 알고리즘들이 등장하고 있다. 이 때문에 기존보다 좀 더 어려운 시나리오가 필요하다는 의견들도 나타났다.

SMACv2에서는 전체 아군/적군의 유닛 수, 유닛 구성 비율을 지정하면, 생성 위치, 유닛 구성 등이 에피소드가 실행될 때마다 변경되어 좀 더 다양한 환경에서 멀티에이전트 강화학습 성능을 검증할 수 있도록 하였다. 에피소드마다 환경이 변경되므로, 에이전트 간 통신을 활용해 현재 상황을 빠르게 파악하고, 다른 에이전트들에게도 전달하는 것이 중요해졌기 때문에 멀티에이전트 강화학습 통신 알고리즘을 검증하는 데 좋은 환경이 될 수 있다.

Level Based Foraging(LBF) [30]는 격자로 구성된 정사각형의 환경에 에이전트와 습득해야 하는 목표(열매)가 배치되어 시작된다. 각 에이전트 및 목표에는 레벨에 부여되어 있으며, 배치된 목표에 도달하여 자신의 레벨을 높이는 것이 목적이다. 목표에 부여된 레벨보다 낮은 경우, 에이전트 혼자서는 목표를 습득할 수 없다. 그러나 목표에 도달한 모든 에이전트 레벨의 총합이 목표보다 높다면 목표에 있는 레벨을 나누어 가질 수 있다. 알고리즘의 성능은 목표를 전부 습득한 시간과 에이전트 중 가장 높은 레벨, 전체 에이전트의 평균 레벨로 성능을 검증한다. LBF는 에이전트가 자신의 레벨을 높이는 경쟁 과정과 자신보다 높은 목표의 레벨을 습득하기 위해 다른 에이전트와 협력하는 협력 과정을 동시에 살펴 볼 수 있다.