AI 파운데이션 모델 중심 인공지능 연구 동향의 변화

파운데이션 모델의 범용성과 창발성은 거대한 연산 자원과 방대한 학습 데이터를 기반으로 형성된다. 이러한 스케일링 기반 접근법은 필연적으로 막대한 비용을 수반하기 때문에 모델 전체를 필요에 따라 조정하여 사용하는 것은 다소 비현실적인 상태가 되었다.

그러나 필요에 따라 모델이 판단의 근거인 지식을 조정하는 것은 필수적이다. 첫 번째 이유는 빠르게 변화하는 최신 정보를 반영하기 위해서이다. 예를 들어, ‘AI 연구자가 노벨상을 받은 적 있느냐’란 질문의 정답은 2024년 이전에는 거짓이었지만 2024년 이후에는 참이 될 것이다. 하지만 모델의 학습이 신속하게 이루어지지 않는다면 모델은 사전 학습된 지식을 바탕으로 거짓이라고 출력할 것이다. 이는 학습데이터의 규모와는 관계가 없고 지식의 반영되는 속도와 관련된 지식 정체 현상(Knowledge Staleness)에 해당한다.

두 번째 이유는 맥락 기반 연결 능력(Contextual Grounding)의 부족 때문이다. 비록 파운데이션 모델은 이미 대규모의 데이터를 통해 학습된 방대한 지식을 바탕으로 다양한 벤치마크에서 뛰어난 성능을 보여주지만, 각 응용 분야에 더 최적화시킬 수 있다. 이는 이른바 ‘공짜 점심은 없다 이론(No Free Lunch Theorem)’에 기반하는데, 어떤 단일한 모델, 혹은 알고리즘이 모든 문제 영역에서 동시에 최적일 수 없다는 점을 시사한다. 다시 말해, 각 모델은 고유한 귀납적 편향을 내포하고 있으며, 이 편향은 특정 문제에서는 유리하게 작용하지만 다른 문제에서는 제약으로 나타난다. 따라서 파운데이션 모델 역시 전 영역에서 일관된 최적성을 보장할 수 없고, 응용 맥락에 맞춘 추가적인 조정이 불가피하다.

이러한 한계를 보완하기 위한 대표적인 접근 중 하나가 검색 보강 생성 기법(RAG: Retrieval-Augmented Generation)[6]이다. RAG는 모델이 응답을 생성할 때, 모델 파라미터에 내재화된 지식만을 사용하는 것이 아니라 외부 지식 저장소로부터 관련 정보를 검색하여 이를 추론 과정에서 조건부 입력으로 결합한다. 이를 통해 파운데이션 모델은 학습 시점 이후에 등장한 새로운 사실이나 특정 맥락에 특화된 정보를 반영할 수 있게 된다.

RAG가 효과적으로 동작하기 위해서는 LLM이 언제 검색할지를 판단하여야 하고, 목적에 맞는 정보를 찾을 수 있도록 쿼리로 만들 수 있어야 하고, 검색 결과가 목적에 맞는지 판단하고 편집할 수 있어야 한다. 이를 위하여 다양한 RAG 기술 연구가 활발히 진행되고 있다[7,8].

추론 개입 방식에 해당하는 RAG와 달리, 학습 개입 방식으로 이 문제를 해결하려는 방법도 다수 제시되었다. 대표적으로는 딥러닝 모델의 크기가 증가함에 따라 모든 파라미터를 미세 조정하는 대신 일부 파라미터를 효율적으로 미세 조정하여 성능을 향상하는 파라미터 효율 튜닝(PEFT: Parameter Efficient Fine Tuning)[9]이 있다. 이 계열의 연구 성과 중 최근 가장 널리 쓰이는 방식은 저랭크 적응 기법(LoRA: Low Rank Adaptation)이다. LoRA는 기존의 거대한 가중치 행렬을 그대로 두고, 저차원 투사와 복원을 수행하는 모듈만 추가하여 목표 태스크에 모델을 적응시킨다. 이를 통해 전체 모델을 다시 학습하지 않고도 필요한 보정을 수행하여, 학습 비용과 메모리 사용을 크게 줄일 수 있다.

최근에는 이러한 LoRA를 전문가 혼합 방식(MoE: Mixture of Experts)[10,11] 구조와 결합하려는 시도도 활발하다[12]. MoE는 여러 전문가 모듈을 병렬로 두고, 라우터를 통해 입력 토큰마다 일부 모듈만 선택적으로 활성화하여 추론을 수행하는 방식이다. MoE는 추론 단계에서 각 토큰이 모델 전체를 사용하지 않아 연산 효율을 크게 높일 수 있는데, 이는 FLOPs 관점에서의 효율화로 국한될 뿐, 모델 전체를 GPU 메모리에 대기시켜야 한다는 점에서 메모리 점유율의 관점에서는 효율화시키지 못하는 한계 역시 존재한다. LoRA는 파라미터를 효율화하여 메모리 점유를 줄이기 때문에 이러한 한계를 보완할 수 있다.

LLM의 기반이 되는 트랜스포머는 자기 회귀 생성(Autoregressive Generation) 방식으로 동작한다. 즉, 이미 출력한 토큰들을 조건으로 삼아 이후 어떤 토큰이 가장 적합한지를 판단해 순차적으로 생성하는 구조다. 이러한 방식은 문제 해결을 위한 전체적 계획(Global Plan)을 수립하고 체계적으로 추론하기보다는 국소적 일관성(Local Plausibility)에 따라 다음 출력을 고르는 경향을 강화한다. 이 때문에 모델의 사고 과정은 일관된 체계를 갖추지 못하고, 그 결과물은 단편적이고 즉흥적인 추론의 연쇄로 이어지는 경향성을 보인다. 응답이 길어질수록 이러한 한계는 더욱 두드러져, 오류가 누적되거나 초기 논리의 일관성이 약화되면서 추론이 발산하는 문제가 발생한다.

이러한 긴 추론 경로 유지능력의 부족은 파운데이션 모델로 하여금 논리적 추론(Reasoning)과 같이 체계적이고 일관적인 논리 전개가 요구되는 과제에서 취약점을 드러내게 한다. 따라서 논리적 추론은 현재 LLM의 성능을 평가하고 개선하는 중요한 기준으로 자리 잡고 있다.

이러한 한계를 보완하기 위한 대표적인 접근법이 생각 사슬(CoT: Chain of Thought)이다[13]. CoT는 복잡한 문제를 단순화된 하위 문제 집합으로 분해하고, 모델이 각 단계를 순차적으로 전개하도록 유도함으로써 긴 추론 경로의 사고를 가능하게 한다. 이러한 체계화는 모델이 스스로 하도록 유도할 수도 있고[14], 목표 과제에 맞춰 인간이 설계할 수도 있다[15].

초기 연구에서는 주로 CoT를 프롬프팅을 통하여 모델이 추론 과정을 단계적으로 조정하는 추론 개입 방식으로 사용하였다[13,14]. 그러나 이후에는 지시문 튜닝을 포함한 학습 개입 방식을 포함하여 논리적 추론 문제를 해결하기 위하여 LLM 출력의 체계를 확보하는 전반적인 방법으로 의미가 확장되고 있다[16-18].

또한 CoT처럼 사고 과정의 체계화를 하되, 자기 회귀 생성 방식의 선형성을 극복하고 추론 경로를 다분기적으로 확장하는 방법에 관한 연구가 진행되었다. 예를 들어 생각 트리(ToT: Tree of Thought)[19] 기법은 추론 과정을 분기로 전개하여 다양한 후보해를 평가하는 과정을 포함해 중간 단계 오류에 유연하게 대응한다. 이는 더 일반화되어 생각 그래프(GoT: Graph of Thought)[20] 기법으로 발전되었다.

ToT와 GoT가 CoT의 목표인 사고 체계의 구조적 확장을 통한 발전이라면 생각 프로그램(PoT: Program of Thought)[21,22]은 표현 방식의 변화를 통한 사고 체계의 발전이라고 볼 수 있다. PoT는 자연어로 생성하는 대신, 이를 프로그래밍 언어의 형식으로 생성하여 추론 과정을 외재화하도록 유도한다. 이는 자연어의 모호함을 제거하고, LLM의 생성 방식과 대비되는 규칙 기반의 결정적(Deterministic) 과정을 활용할 수 있어 더 안정적인 논리적 추론을 수행할 수 있게 하는 장점이 있다.

다양한 CoT 연구를 통하여 LLM이 단순히 최종 답변을 산출하는 것보다, 중간 사고 과정을 외재적으로 유도할 때 더욱 안정적으로 작동한다는 사실이 발견되었다. 또한, CoT를 통하여 LLM이 문제 해결을 위한 사고 과정을 자체적으로 계획할 수 있다는 사실 역시 발견되었다. 이러한 발견은 목표 달성을 위해 중간 단계를 능동적으로 설계하고 연속적 추론을 수행하는 에이전트 AI(Agentic AI)의 개념적 특성과 직접적으로 연결된다. CoT 관련 연구는 LLM을 단순한 응답기가 아닌, 스스로 최종 목적 달성을 위한 사고 과정을 체계화하는 행위자로 해석할 수 있도록 연구자들의 관점을 바꾸었고, 이러한 점은 에이전트 AI의 계획(Planning), 의사결정(Decision Making) 과정으로 자연스럽게 연결되었다. 결과적으로 파운데이션 모델을 토대로 한 에이전트 AI 연구가 빠르게 촉진되었다.

파운데이션 모델의 연구는 LLM에서 출발했으며, 여전히 많은 파운데이션 모델 개발이 LLM을 중심으로 이루어지고 있다. 가장 큰 이유는 언어 데이터가 인터넷과 문헌을 통해 다른 모달리티보다 압도적으로 대규모로 수집 가능하고, 다른 모달리티에 비해 정보가 압축적이고 체계적으로 담겨 있기 때문이다. 또한, 텍스트는 정규화된 토큰 시퀀스로 변환이 가능하여 대규모 확률 모델링에 적합하고, 동일한 언어 모델 구조가 번역, 요약, 질의응답 등 다양한 다운스트림 태스크를 포괄할 수 있기 때문이다.

그러나 언어 모달리티 역시 여러 가지 고유한 제약을 지닌다. 언어는 기호적·선형적 표현 수단이므로 물리적·다차원적 맥락을 직접적으로 반영하지 못하며, 복잡한 지각 경험을 제한된 어휘와 구문으로 압축하는 과정에서 세부적 정보가 손실된다. 또한, 토큰 단위의 이산적 구조는 연속적인 신호를 표현하기에 부적합하며, 출력 역시 텍스트에 국한되어 실제 행위나 환경과의 직접적 상호작용을 구현하기 어렵다. 이러한 제약은 언어 기반 모델이 갖는 본질적인 한계로, 언어만으로 세계를 충분히 기술하거나 작동하기에는 불완전하다는 점을 암시한다.

따라서 LLM의 입출력에 언어 이외의 모달리티를 연결하는 연구가 활발하게 진행되게 되었다. 멀티모달 거대 언어 모델(MLLM: Multi-modal Large Language Model)은 LLM의 입출력 모달리티를 모두 확장하는 개념을 포괄하지만, 실제 연구와 논의에서는 주로 입력 모달리티의 확장에 초점을 두어 서술되는 경우가 많다. 즉, LLM의 MLLM으로의 확장은 시각, 음성, 비디오와 같은 다양한 입력 신호를 언어와 정렬(Alignment)하여 하나의 모델이 다중 모달리티 정보를 해석할 수 있는 능력을 키우는 연구로 통용될 때가 많다.

언어 이외의 데이터를 LLM에 입력하기 위해서는 두 단계의 연결고리가 필요하다. 첫 번째는 인코더(Encoder) 단계로 데이터로부터 특징 표현을 추출하는 단계이다. 시각 모달리티 연결을 위해서 일반적으로 비전 트랜스포머(ViT: Vision Transformer) 계열의 인코더를 사용하는데, 대표적으로 CLIP[23], DINOv2[24], EVA-CLIP[25] 등이 여기에 속한다. 비단 시각 모달리티뿐만 아니라 음성 모달리티를 LLM에 연결하는 경우에도 트랜스포머가 일반적으로 사용되고 있다[26,27].

이렇게 인코더를 통과해 특징 표현 벡터로 변환된 언어 외 데이터 정보는 커넥터(Connector)를 통하여 LLM에 연결된다. 이러한 이중 구조를 사용하는 이유는 LLM과 고성능 인코더의 학습이 비용이 많이 들기 때문이다. LLM은 물론이고 위에서 언급한 CLIP, DINOv2, CLIP-EVA 인코더 모두 시각 파운데이션 모델(VFM: Vision Foundation Model)에 해당하여 대규모 데이터로 학습이 이루어진다. 따라서 LLM이나 인코더의 구성요소가 바뀔 때마다 고비용의 재학습을 반복하는 일을 막기 위해서 상대적으로 가벼운 커넥터를 연결하여 호환성을 확보하는 방식을 사용하는 것이다. 현재 다층 퍼셉트론(MLP: Multi Layer Perceptron) 등을 통해 인코더 출력을 투사(Projection)하는 방식[28], 트랜스포머와 학습 가능한 쿼리 토큰을 사용하는 Q-Former 방식[29], 그리고 교차 어텐션(Cross-Attention)층에 별도의 경로를 확보하고 어댑터를 사용하는 방식[30] 등이 널리 쓰인다. 언어 외 데이터 정보는 MLP와 Q-Former를 사용하는 방식의 경우에는 LLM에 입력 토큰 형태로 전달되고, 교차 어텐션 방식은 특징 단계의 융합을 통해 전달한다.

커넥터의 중요성은 연결되는 모달리티와 언어의 표현 간극(Modality Gap)과 상관관계가 높다. 언어와 표현 간극이 큰 시각 모달리티의 경우, 음성과 같이 언어적 정보가 본질적으로 내포된 모달리티보다 커넥터의 고도화가 중요하다.

LLM에서 MLLM으로의 확장은 세계에 존재하는 다양한 형태의 신호를 언어라는 공통 표현 체계 속으로 통합하려는 시도로 이해할 수 있다. 중요한 점은 이러한 통합이 각 모달리티의 고유 특성보다는 LLM의 구조적 제약과 표현 방식에 맞추어 설계된다는 것이다. 예를 들면, 정보가 희소(Sparse)하게 담겨 있는 언어 외 모달리티 데이터를 LLM에 효율적으로 입력하기 위한 연구가 있다. 트랜스포머의 연산량은 토큰 수에 민감하게 반응하고, 따라서 비디오와 같이 정보 대비 고용량의 데이터를 효율적으로 필터링하는 방법에 관한 연구가 활발히 이루어지고 있다[31,32]. 반면, 비디오 행동 이해와 같은 모달리티 고유의 태스크에 관한 부분은 LLM 자체의 창발적 능력을 높이는 CoT 등의 연구의 연장으로 통합되어 가는 경향성이 관찰된다.

LLM의 출력을 비언어 모달리티로 연결하는 예시는 텍스트 기반 영상 생성(T2I: Text to Image) 모델과 시각 언어 액션 모델(VLA model: Vision Language Action model)이 있다. T2I는 입력된 텍스트 지시문을 바탕으로 영상을 생성하는 태스크를 뜻하는데, LLM의 풍부한 언어 이해와 추론 능력을 기반으로 기존 T2I가 처리하지 못했던 복잡한 문맥과 다층적 조건을 반영할 수 있게 되었다. LLM 기반 T2I는 언어 모델에 생성기(Generator)를 디코더로 연결하여 LLM의 출력을 영상의 형태로 바꾸는데, 현재 디퓨전(Diffusion)[33] 방식의 디코더가 가장 일반적으로 사용된다.

T2I 모델이 LLM이 영상을 출력할 수 있게 확장한 모델이라고 한다면 VLA는 로봇의 행동을 제어할 수 있게 하는 모델이다[34]. T2I를 위해 LLM의 출력에 디코더를 연결한 반면, VLA는 로봇의 행동 파라미터를 출력하는 정책 네트워크(Policy Network)를 연결하여 VLM의 출력을 로봇의 행동으로 전환한다. 정책 네트워크의 입력은 언어적 지시문, 시각 정보, 로봇의 상태 정보가 된다. 정책 네트워크는 보통 별도의 트랜스포머로 구현되며 최근에 디퓨전 모델을 활용하려는 시도도 활발하게 이루어지고 있다.

T2I와 VLA에서 주목할 점 중 하나는 LLM, VLM에서 별도의 디코더를 학습한다는 것이다. VLA를 예시로 들면 로봇의 상태 정보를 토큰화하여 언어적 지시문, 시각 정보와 같은 VLM에 넣어서 액션 파라미터를 하나의 트랜스포머로 뽑아내는 것도 이론상 가능하며, 로봇 제어의 창발적 능력을 발현시킬 가능성도 크다. 하지만 많은 경우 파운데이션 모델을 언어적 지시문과 시각 정보를 임베딩하기 위한 인코더로 사용하고 별도의 정책 네트워크를 따로 구성한다. 이는 파운데이션 모델의 학습 난이도가 높고, 접근권 문제에서 모듈화가 중요한 이슈가 되기 때문이다.

마지막으로, LLM이 현실에 작용할 수 있게 하는 방법에 대한 또 다른 방식으로 ReAct[35]를 언급하고자 한다. ReAct는 행동을 언어로 서술하여 다단계 문제를 해결하는 CoT를 제안하였다. 이는 행동을 언어적 공간에서 기호화함으로써 LLM이 외부 환경과 직접 상호작용할 수 있으며 논리적 추론의 일부로 편입시킬 수 있다는 통찰을 주었다. 이는 곧 언어 지시문을 통하여 검색, 계산, 코드 실행과 같은 외부 모듈을 능동적으로 활용하는 도구 사용(Tool Use) 에이전트 AI에 대한 연구로 일반화되었다. 멀티모달 입력 확장이나 디코더 연결 방식과 달리, LLM의 언어적 표현 자체를 인터페이스로 삼아 세계와 연결하는 새로운 방법론으로 볼 수 있다.

대부분의 파운데이션 모델의 학습은 대규모의 데이터를 학습하기 위해 자기 지도 형태로 이루어진다. 그런데 파운데이션 모델을 고도화하는 과정에서 점점 지도 학습이 활용되는 빈도가 높아졌다. 지시문 튜닝을 통해서 지시문 수행 능력을 높이거나 모달리티 간의 데이터쌍을 이용하여 멀티모달 능력을 증진시키는 등 파운데이션 모델의 능력을 확장하고 다운스트림에 적응시키는 학습들에서 추가적인 감독 신호를 이용하는 경우가 점점 많아졌기 때문이다.

그러나 지도 학습은 한계를 빠르게 노출했는데, 첫 번째 이유는 LLM은 태생적으로 생성형 모델이라 정답이 여러 가지 있을 수 있기에 고정된 감독 신호로 감독하는 것이 어렵기 때문이었다. 두 번째 이유는 파운데이션 모델의 성능이 빠르게 상승함에 따라 모델이 의미 있는 학습을 할 수 있는 정적인 지도 학습 데이터의 확보가 점점 어려워졌기 때문이다.

이러한 문제의식은 파운데이션 모델의 고도화를 지도학습 대신 강화학습으로 하려는 시도로 이어졌다. 그 첫 단계라고 할 수 있는 인간 피드백에 의한 강화학습(RLHF: Reinforcement Learning from Human Feedback)[36]에는 두 가지 핵심 디자인이 있는데, 첫 번째는 보상 모델(Reward Model)을 지도 학습으로 학습하고 이 보상 모델을 통하여 LLM을 강화학습 한다는 점이다. 즉 LLM은 인간을 모사한 또 다른 모델인 보상 모델의 학습 신호를 통해 학습이 이루어진다. 두 번째는 보상 모델이 LLM이 생성한 데이터 한 쌍에서 인간의 상대적 선호도를 바탕으로 학습된다는 것이다. 이를 쌍 단위 선호도(Pair-Wise Preference) 비교라고 하는데, 이 방법은 데이터를 LLM이 만든다는 점과 인간의 레이블을 비정밀(Coarse)하게 요구한다는 점에서 학습데이터의 구성 난이도를 혁신적으로 낮출 수 있었다.

RLHF 보상 모델의 학습은 곧 인공지능 피드백에 의한 강화학습(RLAIF: Reinforcement Learning from Artificial Intelligence Feedback)[37]로 빠르게 발전하였다. 즉 학습의 대상이 되는 LLM이 출력한 한 쌍의 답변 간의 선호도를 윤리적 기준을 포함한 다양한 종류의 판단 기준들이 프롬프팅 된 LLM이 판단하여 이를 바탕으로 보상 모델을 학습시키는 방법이다. 이때 답변의 선호도를 판단하는 LLM을 심판(Judge) 모델이라고 한다.

RLAIF에서는 심판 모델을 사용한 학습을 두 가지 트랙으로 사용하였는데, 첫 번째는 심판 모델의 피드백을 받아 곧바로 답변을 재생성하고 이 답변을 교사 학습하는 방법이다. 이때 심판 모델이 언어 형태의 피드백을 줄 수 있기 때문에 LLM은 그 피드백을 받아 곧바로 더 나은 교사 학습 데이터를 생성할 수 있다는 점이 중요하다. 두 번째는 RLHF와 같이 심판 모델을 사용하여 보상 모델을 학습한 후 목표 LLM을 강화학습하는 것이다. 이러한 두 가지 학습 방법을 병용하는 이유는 LLM의 학습이 충분히 진행되지 않은 상태에서 강화학습은 불안정하므로 교사 학습을 통하여 빠르게 학습을 안정화시키기 위해서다.

한편 RLHF, RLAIF에서 강화학습의 불안정성을 해결하고자 보상 모델을 없애고 선호도 비교 요소만 남겨 쌍 단위 교사 학습 형태로 학습 방식을 바꾼 직접 선호 최적화(DPO: Direct Preference Optimization) [38] 방식이 제안되었다. DPO는 손실 함수의 디자인을 통하여 학습이 정책 그래디언트 업데이트를 근사할 수 있도록 하여 보다 안정적인 학습이 가능하게 하였다.

앞서 살펴본 RLHF에서 RLAIF를 걸쳐 DPO로 이어지는 발전 과정은 RLHF의 외부 학습 신호와 쌍 단위 선호도라는 특성을 유지한 채, 보상 모델의 구현을 좀 더 효율화하려는 방향성의 노력이다. 이러한 방향성과는 다르게 최근 세계 모델(World Model) 철학을 파운데이션 모델과 결합하려는 노력이 점점 늘어나고 있다[39,40].

세계 모델은 강화학습에선 오랫동안 사용하던 개념인데, 환경을 시뮬레이션하여 에이전트의 행동 결과를 예측할 수 있도록 하는 모델을 뜻한다. 이러한 연구가 점점 확산되는 이유는 크게 두 가지로 볼 수 있는데, 첫 번째 이유는 어떠한 태스크들은 쌍 비교나 언어 기반의 심판 모델이 태생적으로 어울리지 않을 수 있기 때문이다. 예컨대 로봇 제어와 같이 물리적 연속 공간에서의 행동 결정을 요구하는 태스크는 쌍 단위 비교나 언어논리로 감독하고 피드백하기 어렵다. 이런 경우에는 RLHF 계열의 학습보다는 프로그램이나 모델에 의한 시뮬레이션이 개입하는 학습이 더 적합하다고 쉽게 예측할 수 있다.

두 번째는 강화학습의 보상 모델을 내재화시켰을 때 자가 개선(Self-Improving)이 가능할 것이라는 파운데이션 모델에 대한 기대감 때문이다. 즉 어떠한 연구는 학습하고자 하는 LLM과 세계 모델을 같은 모델로 사용하는데, 이러한 경우 학습하고자 하는 LLM이 시뮬레이션 능력을 얻어 행동 결과를 예측하고 평가할 수 있는 능력을 같이 갖춰 메타인지적 능력을 키운 AI가 될 수 있을 것이라는 기대와 함께 다양한 연구가 시도되고 있다.

딥러닝 연구는 전통적으로 모델 중심(Model-Centric) 접근에 치중해 왔다. 컨볼루션 신경망(CNN: Convolution Neural Network) 시절부터 새로운 네트워크 구조, 학습 기법, 정규화 전략 등 모델 설계의 혁신이 성능 향상을 주도했고, ImageNet과 같은 고정된 벤치마크가 사실상 표준으로 자리 잡으면서 데이터 자체를 개선하거나 재구성하는 연구는 상대적으로 소홀히 다뤄졌다. 이러한 흐름은 LLM 시대에도 이어져, 학계는 데이터의 품질보다는 모델이 데이터의 불완전성을 극복하도록 설계하는 데 집중해왔다.

그러나 지시문 튜닝과 같은 학습 데이터 디자인이나, ICL처럼 추론 단계에서 데이터를 맥락으로 제공하는 방법을 통해 큰 성능 향상이 가능하단 사실을 발견한 연구자들은 데이터 중심(Data-Centric) 연구에 집중하기 시작하였다.

특히 CLIP[23]의 성능을 재현하는 과정에서 연구자들은 CLIP의 일반화 성능이 모델의 구조나 학습 방법에 있는 것이 아닌 데이터에 있다는 사실을 발견하였다[41]. 그러나 빅테크 기업들이 성능의 핵심인 데이터와 그 수집 과정을 불투명하게 다루고, 모델과 학습 방법만을 제한적으로 공개함으로써 재현 가능성과 연구 생태계의 민주성을 약화시킨다는 주장이 제기되었다. 이러한 문제의식에서 나온 대표적 성과가LAION[42]으로 대규모 이미지-텍스트 데이터를 공개해 누구나 활용할 수 있도록 함으로써 연구의 개방성과 민주화를 촉진하였다.

LAION 연구진들은 이러한 철학을 진전시켜 모델이 아닌 데이터를 평가하는 Datacomp[43]를 선보였다. 모델을 평가할 때 데이터를 고정하는 것과 반대로, Datacomp에서는 모델의 아키텍쳐와 학습 방법을 고정한 채, 학습 데이터를 변화시켜서 학습 결과를 비교한다. 이로써 모델의 성능 차이의 독립변인을 데이터로 제한하고 데이터를 어떻게 구성해야 성능과 일반화 능력을 끌어낼 수 있는지를 체계적으로 분석할 수 있는 틀을 제공한다.

데이터 중심 연구의 또 다른 대표적인 성과로는 Molmo&Pixmo[44]를 들 수 있다. 해당 연구는 데이터의 큐레이션을 통하여 많은 상용 파운데이션 모델의 성능을 추월하였다. 저자들은 인터넷에서 크롤링하는 데이터가 우연적일 뿐만 아니라 인간의 캡셔닝 패턴의 편향성을 반영한다고 한다. 가령 사람들이 SNS(Social Network Service)에 사진을 올릴 때 물체 간의 위치 관계 정보를 포함하는 캡셔닝을 할 가능성은 작고, 이를 바탕으로 학습할 경우 모델은 공간적 관계에 관한 서술이 뜻하는 바가 무엇인지 학습하지 못할 가능성이 높다는 것이다. 이러한 문제를 해결하기 위하여 저자들은 사람들이 직접 캡셔닝하게 하되, 타이핑하게 시키는 대신 대신 녹음을 하도록 한 후 TTS(Text To Speech)로 텍스트화하여 캡셔닝의 편의를 높여주거나 구체적인 가이드라인을 주는 등 학습 데이터의 품질을 높이는 여러 방법을 고안하여 시도하였다.

마지막으로, 기존 데이터셋을 리팩토링하는 연구가 급격히 증가하고 있다. 이러한 흐름은 주로 지시문 튜닝과 결합되는데, 지시문 튜닝은 미세 조정을 위한 데이터를 디자인한다는 점에서 본질적으로 데이터 중심 접근이다. 이러한 흐름은 최근 비약적으로 성능이 향상된 상업적 모델을 활용하여 양질의 리팩토링이 가능해졌기 때문에 주목받고 있다.

파운데이션 모델의 등장에 따라 벤치마크 방식도 재편할 필요성이 생겼다. 기존의 벤치마크는 단일 태스크에 대한 성능 평가를 위해 디자인되었는데 이는 범용성과 창발성에 집중하는 파운데이션 모델의 평가에는 근본적으로 맞지 않았기 때문이다.

파운데이션 모델의 능력을 종합적으로 평가하기 위한 초창기 시도는 여러 태스크를 종합적으로 측정하는 방식에 의존하였다. 이러한 연구의 예시로는 MMLU[45]가 있는데, 인문학, 사회 과학, 자연 과학 등 다양한 분야의 질문을 시험하는 형식으로 구성되었다. 이는 파운데이션 모델의 평가가 특정 태스크의 수행 능력 평가에서 다양한 분야의 지식을 시험하는 관점으로 옮겨갔다는 걸 시사한다.

그러나 단순히 지식의 폭을 시험하는 접근은 모델의 실제 활용 가능성을 평가하는 데에는 불충분했다. 파운데이션 모델이 일반인에게까지 널리 쓰이면서 모델의 다면적인 평가 요소가 필요하다는 문제의식이 대두되었다. MMLU 계열의 평가는 다양한 문제를 시험하지만 평가의 요소는 정확도로 제한되었다. 이러한 문제의식 속에서 등장한 HELM[46]은 학문적 분류보다는 기사 요약, 번역, 프로그래밍, 연속된 대화 등 실사용 시나리오를 중심으로 평가를 재편하고, 정확도뿐만 아니라 공정성, 안정성, 효율성 등 다차원 지표를 동시에 제시함으로써 모델의 품질을 총체적으로 파악하려는 시도를 제안하였다.

HELM은 파운데이션 모델을 실제 사용자 중심(Human Centric)으로 평가하기 위한 큰 출발점이었으나, 초창기 연구인 만큼 한계가 있었다. 먼저 공정성, 안정성 등 인간적 가치 평가가 필요한 곳에는 인간의 평가를 통해서 모델을 채점할 수밖에 없었다는 것이다. LLM의 답변이 인간의 기준을 만족시키는지 확인하는 것은 비용적으로 많이 들고 일관성도 부족했다.

이러한 문제를 해결하기 위하여 평가에 필요한 인간의 노력을 줄이는 연구들이 진행되었다. 대표적인 것은 Chatbot Arena[47], LM Arena[48]인데, 이 연구들은 하나의 질의에 대해 LLM에서 나온 두 결과물, 혹은 서로 다른 LLM에서 나온 두 결과물을 사용자에게 제시한 후, 사용자의 피드백을 받아 선호도를 평가할 수 있는 시스템을 만들었다. 이는 앞서 설명한 RLHF나 DPO 등 쌍 단위 선호도 비교 기반 학습 방식과 쉽게 연결되었기 때문에 서로 상승 효과를 일으키며 발전할 수 있었다. 또한, 이런 방향의 연구가 발전해서 과연 인간이 높은 선호도를 보이는 답변은 어떠한 요소를 갖는가에 관한 연구로 확장되기도 하였다[49].

또한, HELM의 데이터가 정적이라는 점도 문제가 되었다. 파운데이션 모델은 점점 에이전트 AI적 요소가 강화되고 있는데 HELM의 시나리오와 지표는 고정적이기 때문에 이러한 능력을 평가하기에 적합하지 않았다. 이에 따라 도구를 사용하고, 환경과 상호작용을 하며, 다단계 추론을 거쳐 최종 결과를 산출하는 능력을 시험하는 새로운 벤치마크 GAIA[50]가 등장하여 파운데이션 모델의 에이전트적 성능을 평가할 수 있는 틀을 마련하였다.

마지막으로 새로운 벤치마크가 공개되는 빈도가 폭증하고 있다는 것을 언급하고 싶다. 앞서 설명하였듯이 상용 파운데이션 모델을 활용해서 양질의 데이터셋 리팩토링이 가능해졌고, 이로 인해 자신의 문제의식과 연결되는 벤치마크를 새로 구성하여 공개하는 연구 방식이 이전에 비해 크게 보편화되었다. 따라서, 기존에 공개된 벤치마크에 의존하여 제한되던 문제설정과 연구설계를 연구자 개개인이 좀 더 자유롭게 설정할 수 있게 되었다.