AI 파운데이션 모델의 발전과 영국의 경쟁 이슈 검토 동향

먼저 A I 파운데이션 모델 산업은 유재흥 등(’23.11)이 제시한 바와 같이 AI반도체-클라우드-파운데이션 모델-AI 애플리케이션 서비스의 가치사슬 속에서 그 위치를 파악할 수 있다(표 1 참고) [4]. 파운데이션 모델 산업의 입장에서는 클라우드가 업스트림에 해당하고 AI 애플리케이션 서비스는 다운스트림에 해당한다(단, 파운데이션 모델 및 AI 애플리케이션 서비스의 경쟁 이슈들에 초점을 맞춘 영국 CMA 보고서는 파운데이션 모델, 클라우드, 데이터 부문을 합쳐 업스트림으로 본다).

AI 파운데이션 모델은 모델이 공개되지 않는 폐쇄소스와 기본 코드, 아키텍처, 학습데이터 등이 공개되는 오픈소스로 구분할 수 있다.³⁾ 폐쇄소스 모델은 다시 오픈AI-마이크로소프트 연합군과 구글이 선도하고 있으며, 오픈소스 모델은 메타와 IBM이 이끌고 있다. 크게 3파전 양상이라는 평가가 나오고 있다.⁴⁾

먼저 오픈AI가 개발한 파운데이션 모델은 GPT-3(’20.05), GPT-3.5(’22.03), GPT-4(’23.03) 순으로 발전해왔다. ChatGPT의 대성공으로 자신감을 갖게 된 마이크로소프트는 New Bing 공개(’23.02), ChatGPT Plus 구독서비스 개시(’23.02), MS 365 코파일럿 공개(’23.03), ChatGPT 플러그인(Plug-in) 출시(’23.05)를 거쳐 최근에는 GPT스토어를 개설하였다(표 2 참고). 즉, 기존 디지털 서비스에 AI를 접목한 AI 애플리케이션 서비스들을 새롭게 제공하고 있으며 써드파티들을 자사 생태계에 포함시켜 확장을 시도하고 있다.

이에 맞서 구글이 개발한 파운데이션 모델은 LaMDA(’22.01), PaLM(’22.04), PaLM 2(’23.05), Gemini(’23.12) 순으로 공개되어 왔다. 2023년 2월에 ChatGPT 대항마로 공개된 챗봇 Bard는 LaMDA 기반으로 운영되었으나, 보다 강력한 모델인 PaLM 2를 거쳐 최근에는 Gemini 기반으로 바뀌었다. 구글은 오픈AI-마이크로소프트 연합에 효과적으로 대응하기 위해 구글 브레인과 딥마인드를 합쳐 구글 딥마인드로 통합(’23.04)하였고, 오픈AI의 라이벌 기업인 앤트로픽에 대한 대규모 투자를 발표(’23.10)하였다. 또한, Vertex AI 플랫폼에서 지원 가능한 대형언어모델을 확대하는 등 생태계 확장을 지속하고 있고 써드파티와의 협력을 강화하고 있다.

메타(구, 페이스북)는 2023년 2월에 LLaMA 1 모델 시리즈를 발표하였고, 2023년 7월에는 LLaMA 2 모델 시리즈를 각각 발표하였다. LLaMA 1은 온디맨드로 모델 가중치에 대한 정보를 연구자들에게 제공하였고, 이러한 정보 공개는 다른 연구소들도 동참하도록 이끌었다. LLaMA 2는 LLaMA 1과 거의 유사하지만 추가로 미세조정되었으며 대화형 애플리케이션에 최적화되었다. LLaMA 2는 상업적인 이용을 불허했던 LLaMA 1과는 달리 거의 모든 기업 및 이용자가 상업용으로도 이용할 수 있는 권리를 부여했으며, 2023년 9월 기준으로 약 3,200만 건의 다운로드를 기록하였다⁵⁾[5].

IBM은 메타와 함께 2023년 12월에 50여 개의 기업, 정부기관, 대학 등이 참여한 ‘AI 얼라이언스’를 창설하였다. AI 얼라이언스는 규제와 안전 등 6대 분야에 우선 집중해 AI의 안전 및 모델 검증을 위한 도구들을 출시할 예정이다[6]. IBM은 새로운 대형언어모델 Granite를 출시하고 자사의 ‘왓슨x 플랫폼’을 통해 기업용 AI 모델 구축을 위한 모든 구성 요소를 원스톱으로 제공하는 전략으로 나가고 있다[7].

앞서 서론에서 언급한 바와 같이 AI 파운데이션 모델들의 주요 특징의 한 가지는 초거대 규모의 신경망으로 구현된다는 점이다. 표 3은 잘 알려진 몇몇 AI 파운데이션 모델의 학습 데이터, 학습시간, 하드웨어를 요약한 것이다. 예를 들어, 오픈AI가 개발한 GPT-3 175B 모델(즉, 1,750억 개 파라미터)⁶⁾ [8]은 3,000억 개의 토큰을 이용하여 34일간의 학습으로 만들어졌으며, 이를 가능하게 하기 위하여 1,024개의 엔비디아 A100 GPU가 사용되었다는 의미이다.

그동안 AI 커뮤니티는 모델이 잘 학습된다면, 파라미터 개수가 모델의 능력에 대한 대리치라는 것을 광범위하게 확인하였다. 그러나, 이와 같은 스케일링 법칙이 향후에도 지속될 것인지는 불확실하다. 마이크로소프트 연구자들은 매우 특수하고 엄선된 데이터로 학습된 소규모 언어모델이 대규모 모델과 잘 경쟁할 수 있다는 것을 보여주었으며 소규모 모델을 효율적으로 만들 수 있는 다양한 방법들도 존재하고 있다[1,5].

한편, 오픈AI는 GPT-3까지는 AI 연구자들에게 유용한 정보를 제공하는 보고서를 발간하였으나, GPT-4 기술보고서는 형식적인 정보만을 담고 있어 AI 연구를 산업화하겠다는 확실한 의지를 보여주었다. 구글의 PaLM 2 기술보고서도 이와 유사하게 유용한 정보를 포함하지 않았으며 앤트로픽은 Claude 모델에 대한 기술보고서를 공개하지 않았다[5].

비교적 최근까지는 오픈AI의 GPT-4가 현존하는 최고성능 인공지능 모델로 평가되었으나, 구글이 2023년 12월에 새로 공개한 제미나이(Gemini)로 인해 최고성능 모델이 무엇인지가 다소 애매해졌다. GPT-4와 제미나이는 텍스트 기반의 대규모 언어모델을 넘어서서 멀티모달 모델에 해당한다. 모델의 성능을 평가하는 방법에는 여러 가지가 있지만, 최근에는 다중작업 언어 이해(MMLU)가 가장 많이 주목받고 있다. MMLU는 수학, 역사, 법률 등 57가지의 다중작업 성능을 측정하는 것으로서 GPT-4와 Gemini Ultra⁷⁾의 MMLU 점수는 거의 비슷한 것으로 알려지고 있다.

성능이 매우 뛰어난 파운데이션 모델들의 챗 애플리케이션 서비스들(오픈AI ChatGPT, 메타 LLaMA-2-chat, 구글 Bard 등)은 인간피드백강화학습(RLHF)을 채택하고 있는 것이 특징적이다. ChatGPT의 기반 모델인 GPT-3.5의 경우 약 40명의 전문가가 직접 피드백을 통해 강화학습을 시행한 것으로 알려지고 있다[3]. 인간피드백강화학습은 AI를 안전하고 유용하게 만드는 데 있어 매우 유용하지만, 기술적인 난이도가 높고 비용도 많이 소요된다는 단점이 있다.

이외에도 대규모언어모델의 한계를 극복하기 위한 연구들과 학습데이터 부족 문제를 해소하기 위한 연구들이 꾸준히 진행되고 있다. LLM의 능력을 제한하는 컨텍스트 길이(Context Length)를 늘리기 위한 혁신적인 방법들이 나타나고 있고, 메모리 요구 급증을 극복하기 위한 경량화 기법들(예를 들면, 양자화, 프루닝 등)과 환각(Hallucination)을 줄이기 위한 기술연구들도 활발하다. 합성데이터(Synthetic Data)는 점점 유용해지고 있지만 아직까지는 이를 이용하는 데 따른 리스크(예를 들면, 모델 붕괴 등)도 상당한 것으로 알려지고 있다.

먼저 업스트림의 FM 개발 경쟁에서는 (1) 데이터에 대한 액세스, (2) 컴퓨팅 파워에 대한 요구사항 및 액세스, (3) 대형 기술기업 및 선발사업자가 다른 기업들보다 이점이 있는지 여부, (4) 경쟁력 있는 오픈 소스 모델 존재 여부의 4가지가 경쟁적인 시장결과가 나타날지 또는 우려되는 시장결과가 나타날지에 대해 영향을 미친다.

데이터에 대한 액세스는 특히 막대한 데이터가 요구되는 사전학습(Pre-training) 단계에서 문제가 될 수 있다. 현행 추세에 따르면 사전학습을 위해 공개적으로 이용 가능한 데이터가 향후 몇 년 안에 고갈될 수 있다고 한다. 이 경우에 독립적인 FM 개발기업들은 소유자가 있는 데이터(Proprietary Data)에 대한 의존도가 높아져서 개발 비용이 높아질 위험성이 있다(사전학습 과정에서 공개적으로 이용 가능한 데이터 외에도 소유자가 있는 데이터를 추가적으로 이용하는 경향은 이미 나타나고 있다).⁸⁾

만약 독립적인 FM 개발기업들이 FM 개발에 필요한 데이터를 합리적인 조건으로 액세스할 수 있어서 다이내믹한 경쟁이 향후에도 지속된다면 좋은 시장 결과가 나타날 것이고, 다른 디지털 시장에서 우세한 포지션에 있는 기존 기업들이 경쟁 FM 개발기업들의 데이터 액세스를 과도하게 제한한다면 우려되는 시장 결과가 나타날 것이다. 소유자가 있는 데이터에 대한 대안으로 검토되는 합성데이터는 학습비용을 절감시킬 수 있지만, 모델 붕괴와 같은 성능저하 문제를 야기할 위험성이 있다. 이 분야에서는 관련 연구가 지속되고 있지만, 합성데이터가 FM 개발을 위한 데이터 소스로서 어느 정도나 실행 가능한지는 상당히 불확실하다.

컴퓨팅 파워에 대한 요구사항 및 액세스는 스케일링 법칙에 따라 AI 모델이 앞으로도 계속 커질 것인가 여부와 상관이 있다. 만약 FM이 성능 개선을 위해 앞으로도 계속 더 커진다면 이것은 진입장벽을 높이고 FM 개발기업 간의 경쟁을 감소시킬 수 있다. 사전학습에는 엄청난 규모의 컴퓨팅 파워가 필요하다. 데이터센터를 보유하고 있지 않은 대다수 FM 개발기업들은 대형 클라우스 서비스 프로바이더(CSP)와의 계약 또는 파트너십에 의존해야만 한다.

이와 관련된 사항으로 Ofcom이 최근에 수행한 클라우드 서비스 시장 조사에 따르면, 영국에는 2개의 리딩 CSP(아마존 AWS, 마이크로소프트 Azure)가 있고 이들의 합산 점유율은 2022년도 기준으로 70~80% 수준인 것으로 나타났다. CSP 간의 경쟁은 주로 신규 고객을 끌어들이는 데만 집중되고 있고 고객들의 사업자 전환 및 멀티-클라우드화는 어렵기 때문에 경쟁 수준이 제한적인 것으로 Ofcom은 평가하였다[9].

그러나, 특정 애플리케이션에 대하여는 소규모의 저렴한 모델이 최첨단의 대형 모델보다 더 적합할 수가 있고 모델을 더 작고 효율적으로 만들 수 있는 방법에 대한 연구들도 진행되고 있어 진입장벽이 낮아질 가능성이 있다. 정리하자면 만약 모든 FM 개발기업이 과도한 제한 없이 공정한 상업적 약관으로 컴퓨팅 파워에 액세스할 수만 있다면 시장에서는 최신 능력을 갖춘 프론티어 모델, 일상적인 과업을 수행하는 모델을 포함하여 다양한 FM이 지속될 수 있을 것이다.

대형 기술기업 및 선발사업자가 대량의 데이터 및 인프라에 대한 액세스로 인해 소규모의 독립적인 FM 개발기업에 비해 누리는 이점의 정도는 불확실하다. 잠재적인 이점들은 선발사업자로 인한 이점, 펀딩 및 기술 지식상의 이점, 범위의 경제, 그리고 데이터 피드백 루프 효과로 인해 발생한다(표 4 참고). 그러나, 선발사업자 이점은 시행착오(예를 들어, 지식재산권 위반 등) 발생, 오픈소스 FM으로 인한 후발사업자의 빠른 캐치업 등으로 인해 상쇄될 수가 있고 범위의 경제 및 규모의 경제, 데이터 피드백 루프 효과는 그 크기가 상당한지가 확실하지 않다.

정리하자면 비록 선발사업자 이점, 범위의 경제 및 규모의 경제, 데이터 피드백 루프 효과가 존재하더라도 만약 신규 진입 기업이 성공적인 FM 개발기업에게 충분한 경쟁제약(Competitive Constraints)을 줄 수 있다면 장기적으로는 좋은 시장 결과가 나타날 수 있다. 만약 다른 디지털 시장에서 우세한 위치에 있는 기업이 그 위치를 경쟁 기업을 봉쇄(Foreclose)하는 데 사용하지 않는다면 시장은 긍정적으로 발전하게 될 것이다.

마지막으로 오픈소스 FM 개발 경쟁이 현재까지는 활발하게 지속되고 있으나, 이와 같은 흐름이 향후에도 지속 가능한지는 불확실하다. 오픈소스 모델의 미세조정에서의 발전은 해당 기능을 크게 향상시켰다. 오픈소스로 사전학습된 모델들은 진입 장벽을 낮추고 기업들이 혁신적인 아이디어로 신규 모델을 발전시킬 수 있도록 보장한다. 그러나, 제약이 없는 오픈소스 모델 이용은 안전 우려를 야기할 수 있고, 미세조정된 오픈소스 모델들이 지속적으로 경쟁력을 유지할 수 있을지도 확실하지 않다. 만약 경쟁력 있는, 고품질 오픈소스 모델들이 앞으로도 지속적으로 출시된다면 이는 소비자의 선택을 넓혀 경쟁을 강화시킬 수 있다.

개발된 FM은 (1) 기존 제품 및 서비스의 개선 또는 (2) 신규 제품 및 서비스의 생성을 통해서 다운스트림의 여러 산업(헬스케어, 금융, 교육, 법률 등)에서 활용될 수 있다.

FM을 기존 프로세스, 제품 및 서비스에 통합시키는 기업들은 생산성과 효율성을 높일 수 있다. 마케팅을 포함한 창조적인 산업들에서 이러한 변화가 일어나기 쉽다. FM은 온라인 검색, 생산성 소프트웨어(Productivity Software)와 같은 분야에서 새로운 기능을 제공함으로써 기존 서비스를 개선하는 데 사용될 수 있다. FM을 이용한 기존 제품 및 서비스의 개선은 소비자에게 좋은 편익을 주지만, 어떤 경우에는 기존 시장 포지션을 강화하거나 또는 약화시킴으로써 경쟁력에 영향을 미칠 수 있다.⁹⁾

FM을 이용하여 생성된 신규 제품 및 서비스로 인해 기존 기업의 인접시장 포지션이 강화될 수도 있지만 반대로 다른 기업들에 의해 기존 기업의 시장 포지션이 약화될 수도 있다. 신규 제품 및 서비스가 효과적으로 경쟁할 수 있는 여러 기업들에 의해 개발된다면 기존 기업의 시장지배력 강화로 이어지지는 않을 것이다. 반면, 소유자가 있는 데이터에 대한 특권적인 액세스, 확고한 유통 체계 수립, 통합 생태계로의 고객 Lock-in 등 이점 및 시장지배력을 이용할 수 있는 소수의 기업만이 그 신규 제품 및 서비스를 개발하게 된다면 이로 인해 시장이 집중될 가능성이 높아진다.

현재 많은 기업들은 FM을 어떻게 활용할지 검토 중이며 FM이 다운스트림에서 얼마나 중요한 입력이 될 수 있는지를 알기에는 너무나 이른 시점이다. 그러나, FM 활용방식이 무엇이든지에 상관없이 긍정적인 시장 결과로 이어질지 또는 우려스러운 시장 결과로 이어질지는 다음과 같은 여러 요인에 달려 있다: (1) 다운스트림 기업들이 다양한 FM에 액세스 가능하고 쉽게 전환할 수 있는가, (2) 이용자가 자신의 니즈에 부합한 최적 제품 및 서비스에 대하여 올바른 정보에 입각한 선택을 할 수 있는가, (3) 수직적 통합이나 전략적 파트너십이 업스트림 및 다운스트림 경쟁자를 봉쇄할 유인이 있는가, (4) 데이터 피드백 효과가 얼마나 중요한가.

(1)과 관련하여 만약 다운스트림 기업들이 선택 가능한 FM 옵션들이 있고 FM 옵션 간에 상호운용할 수 있다면 FM 전환 및 멀티호밍(Multi-homing)이 가능하게 된다. 즉, 전환 및 멀티호밍이 용이하다면 다운스트림 기업들이 하나의 생태계에 묶이지 않을 것이며 긍정적인 시장 결과로 이어지게 될 것이다. 현재까지는 다운스트림 기업들의 전환 및 멀티호밍이 쉬운 편이라는 견해가 제시되었지만, 미래에도 계속 그럴지 여부는 불분명하다.

(2)를 살펴봄에 있어 우선 소비자의 FM 서비스 선택은 서비스가 어떻게 제시되는가(즉, Choice Architecture)와 여러 FM 서비스의 통합 제공 여부 및 고객화된 서비스 제공이 주는 편익에 따라 영향을 받는다는 것을 감안해야 한다. 서비스 선택 아키텍처와 서비스의 통합 제공 여부가 소비자에게 어떤 영향을 미칠지는 불분명하지만, 고객화된 서비스 제공이 주는 편익은 데이터 이동성을 통해 유지될 수 있고, 이로 인해 시장에서 고객들은 특정 생태계에 Lock-in되는 리스크를 피할 수 있다.

(3)과 관련하여 다운스트림 시장을 독점하려는 시도를 통해 얻는 이익이 FM 라이센싱을 통해 얻을 수 있는 이익보다 크다면 업스트림 기업이 다운스트림 시장을 봉쇄할 유인을 갖게 된다. 이미 가치사슬 상에서 여러 기업들이 다양한 형태의 수직적 통합 현상을 보이고 있으며 전략적 파트너십들도 나타나고 있다. 이러한 수직적 통합의 유형과 사례를 정리하면 표 5와 같다.

봉쇄 유인은 부분적으로는 FM 서비스의 수익화 방법에 달렸는데, 아직은 기업들의 수익화 전략이 진화 중이므로 다양한 FM 서비스에 걸쳐 이를 일반화하기가 어렵다. 만약 간접네트워크 효과가 실현된다면 특히 플러그인 호스트가 플러그인 프로바이더를 봉쇄할 수 있는, 시장지배력을 가진 앱스토어 스타일의 플랫폼이 될 가능성이 있다.¹¹⁾ 자기 우대(Self-preferencing), 끼워팔기(Tying)와 같은 반경쟁 행위가 발생하지 못하게 하고 수직적인 통합이나 전략적 파트너십으로 인한 편익만이 구현될 수 있게 하는 것이 바람직한 시장 결과를 가져올 수 있다.

수직적으로 통합된 경우가 그렇지 않은 경우에 비해 더 강한 데이터 피드백으로 인한 혜택을 누릴 것으로 생각되나 이러한 효과의 크기는 FM이 사용되는 특정 상황에 달렸으며 다운스트림 데이터의 실시간 자동 피드백 여부를 단정할 수 없기 때문에 데이터 피드백 효과가 큰지 여부에 대한 결론 도출은 아직은 시기 상조이다. 만약 시장들이 개방되고 경쟁적이어서 FM 개발자들이 데이터 피드백 효과나 선발사업자 이점을 약화시키는 경쟁 제약에 직면하게 된다면, 시장은 보다 긍정적인 방향으로 발전할 것이다.