인공지능 윤리 기반 정렬 기술 동향

마이크로소프트는 2016년 3월 챗봇 ‘Tay’를 공개하면서 트위터에서 사용자들과의 상호작용을 통한 인간 대화 습관을 AI 모델이 학습하도록 설계하였으나, 인종차별적, 성차별적, 반유대주의적 언어를 포함한 부적절한 트윗을 생성하여 24시간 만에 서비스 중단한 바 있다[4]. 이는 학습 모델 개발 시 윤리적 책임 있는 방식으로 학습환경을 통제해야 하고, 공공과 상호작용하는 AI 모델의 경우 법적 규제와 공공 보호 장치가 필요하며, AI 모델의 불확실성과 모호성을 투명하게 공개해야 함과 동시에, 더 많은 시험, 안전 기능, 필터링을 통해 위험을 최소화해야 한다는 것을 알려주었다. 국내에서는 AI챗봇 ‘이루다’ 서비스 논란으로 AI 윤리 문제가 널리 알려진 바 있다. 2020년 12월 정식으로 서비스를 시작한 ‘이루다’는 성희롱 및 혐오 발언, 「개인정보보호법」 위반 등의 논란을 일으키며, 한 달도 지나지 않아 서비스가 중단되었다[5]. ‘이루다’ 사태는 AI 윤리 문제가 추상적인 선언이 아닌 현실적 문제임을 자각하는 전환점이 되었으며, AI 서비스의 편향성, 윤리적 문제, 개인정보 보호 문제의 중요성을 인식하는 계기가 되었다.

오정렬된 AI 모델은 많은 사람의 건강도 위협할 수 있다. Mhasawade[6]는 머신러닝 기법의 공정성이 공중 및 인구 건강에 미치는 영향을 다루면서 사회적 결정 요인이 건강에 미치는 영향을 이해하고, 머신 러닝을 통해 이러한 불평등을 줄이는 방법을 분석하였다. 구체적으로, 건강관리 비용을 모델 척도로 사용할 경우, 흑인 환자가 백인 환자보다 더 적은 돈을 의료비에 지출하는 현상을 잘못 해석하여, 흑인 환자에게 더 낮은 건강 위험 점수를 부여함으로써 흑인 환자가 필요한 의료 서비스를 제공받지 못해 오히려 건강 불평등을 더 심화시키는 인종 편향을 발생시킬 수도 있다는 점을 보였다. 오정렬된 AI는 이미 많은 사람의 건강에 해를 끼치고 있으며, 美 비영리단체 ‘AI안전센터(CAIS)’는 AI의 위험을 팬데믹 및 핵전쟁과 같은 사회적 규모의 위험과 동등한 글로벌 우선순위로 설정해야 한다고 강조하는 성명을 발표한 바도 있다[7].

기 정렬 학습된 LLM 모델도 사용자가 특정 용도로 미세조정하는 과정에서 안전성에 문제가 발생할 수도 있다. Qi[8]는 Meta의 LLaMA 모델과 OpenAI의 GPT 등 LLM 모델을 미세조정하는 과정에서 몇 가지 유해한 예제 학습을 통해 모델의 유해성을 증가시킬 수 있는 유해 예제 공격, 사용자의 지시를 모델이 무조건적으로 이행하도록 하는 정체성 전환 공격 등으로 AI 정렬된 모델의 안전성 손상 사례를 선보였다.

AI 시스템의 행동이 인간의 목표나 원칙과 일치하지 않을 때, 즉 잘못 정렬된 AI는 알고리즘이 더 강력해지고 복잡해짐에 따라 더 많은 잠재적 위험을 내포하게 된다. 이에, 보다 인간 가치에 맞게 정렬된 AI 시스템을 제공하기 위한 윤리 평가용 데이터세트가 다양하게 소개되고 있다. 도덕적 판단 능력 평가용 벤치마크 데이터세트인 ETHICS[9]는 정의(Justice), 의무(Deontology), 덕 윤리(Virtue Ethics), 공리주의(Utilitarianism), 상식적 도덕성(Commonsense Morality) 등 다양한 윤리적 개념을 포함하여, AI 모델이 다양한 텍스트 시나리오에서 인간의 도덕적 판단을 예측할 수 있도록 표 1 예시와 같이 구성되어 있다. 데이터세트의 각 시나리오는 130,000개 이상의 예시를 포함하여, AI 모델이 윤리적 판단을 내리는 데 필요한 다양한 상황을 제시한다. 또한, 각 시나리오에 대해 서로 상반되는 예시를 제공하여, 모델이 다양한 맥락에서 도덕적 판단을 학습할 수 있도록 하였다.

Hate Speech and Offensive Language 데이터세트[10]는 혐오 발언 사전(Hatebase.org)을 사용해 33,458명의 트위터 사용자로부터 8,540만 개의 트윗을 추출하여, 이 중 25,000개의 트윗을 선별해 세 가지 범주(혐오 발언, 공격적 언어, 무해한 언어)로 분류한 것이다. 이 중 혐오 발언은 특정 사회 집단을 겨냥해 잠재적으로 해를 끼칠 수 있는 것으로, AI 시스템의 법적‧도덕적 영향을 고려할 때 인종차별 및 동성애 혐오 표현이 포함된 데이터와 성차별 표현이 포함된 데이터 등을 정교하게 분류할 수 있도록 정렬된 AI 모델을 학습하기 위해 사용된다.

Anthropic社는 오정렬된 AI 모델에서의 사회적 편견 강화, 공격적이거나 유해한 출력의 생성, 개인 식별 정보의 유출, 허위 정보 전파 등의 잠재적 유해행동을 사전에 발견하고 측정하여, 이를 줄이기 위한 레드팀 데이터를 공개하였다[11]. 이 논문에서의 레드팀 공격 데이터는 총 38,961개의 시도로 구성되어 있으며, 각 시도는 4개 모델 유형(기본 언어 모델, 유용하게 훈련된 언어모델, 거부 샘플링 모델, 강화학습 모델)의 유해한 출력을 유도하려는 다양한 접근 방식을 포함한다. 이를 통해 공격 성공률 및 유해성 점수 평가, 주제별 태그분류 등의 결과 분석 제공을 가능하게 한다.

AI 모델과 인간의 시각적 인식 일치도를 정량적으로 측정하기 위한 벤치마크 데이터세트도 공개되었다. VisAlign[12] 데이터세트는 다양한 시나리오에서의 AI 모델과 인간 간의 시각적 인식 정렬을 시험하는 데이터세트로써 표 2에서와 같이 세 가지 주요 그룹과 여덟 개의 카테고리로 나뉘어 있다. 데이터세트의 그룹은 명확한 식별이 가능한 ‘Must-Act’, 식별이 어려운 ‘Must-Abstain’, 모호한 ‘Uncertain’으로 나뉘며, 각 그룹은 이미지의 시각적 정보의 양과 명확성에 따라 ‘변형되지 않은 이미지’, ‘거짓 상관관계’ 등 여덟 개의 카테고리로 구분하였다. 모든 샘플은 골드 인간 인식 라벨로 수집하여, Hellinger Distance 등을 통해 AI 모델의 출력 분포와 인간의 시각적 인식 분포 간의 차이를 객관적으로 측정할 수 있도록 하였다.

2023년 11월 OpenAI社는 이사진과 샘 알트먼 CEO 간 ‘효과적 이타주의(Effective Altruism)’ 원칙과 인공일반지능(AGI: Artificial General Intelligence) 개발상의 관점 차이로 인한 일련의 해임사태가 발생하였다. 이는 일반인들도 AGI 기술에 대해 관심을 기울이게 하는 기폭제가 되었다. AGI 모델로의 진화 가능성이 커질수록 보다 높은 보상을 받기 위한 AGI 모델의 기만적 행동 및 오정렬된 내부 목표의 일반화, 연산자원 확보 및 컴퓨팅 종료 회피 등의 권력 추구전략에 대한 위험성도 함께 높아지고 있으며, 이에 AGI 모델이 인간의 가치나 이익과 일치하지 않는 목표를 추구할 때의 위험성을 어떻게 예방할지에 대한 연구가 활발히 진행 중에 있다[13].

IBM은 AI의 윤리적 위험요소로, 데이터 및 알고리즘의 책임성과 AI 모델의 가치정렬 요소를 들었다[1]. 이 중 가치정렬은 AI와 인간의 가치가 일치하는 결정을 내리는 것을 의미하며, AI 시스템이 목표를 달성하는 과정에서 준수해야 할 가치와 윤리적 기준의 명확한 정의 및 의사결정 과정의 투명한 공개, 그리고 AI 알고리즘이 특정 그룹이나 개인에게 불리하게 작용하지 않도록 편향된 데이터를 제거하거나 보정하여 공정성을 유지하는 절차를 포함하는 것을 의미한다.

AI 모델의 가치정렬 접근법은 외부 정렬과 내부 정렬로 구분된다[14]. 외부 정렬은 AI 시스템 목표를 인간의 가치와 일치시키는 것을 말하며, 내부 정렬은 AI 모델이 실제 설정된 목표를 달성하도록 학습하는 것을 의미한다. 예를 들어, AI 챗봇의 목표가 사용자에게 유익한 정보를 제공하는 것이라면, 이 목표대로 실제 인간에게 유익한 정보를 제공하는지를 확인하는 것이 외부 정렬이다. AI의 행동을 유도하는 보상 시스템이 제대로 설정되어 있는지 확인이 필요하며, 이를 유틸리티 함수라 한다[15]. 복잡한 상황에서 일관된 결정을 내리기 위해 AI 모델은 유틸리티 함수가 필요하며, 이를 통해 AI가 목표를 달성하는 과정에서 예기치 않은 부작용을 최소화하고 인간의 통제하에 남아 있도록 돕는 중요한 도구가 될 수 있다. 내부 정렬은 AI가 학습하고 행동하는 과정에서 생기는 내부적인 목표와 동기부여가 외부에서 설정한 목표와 일치하는지를 다룬다. 즉, AI가 학습을 통해 형성한 내부 모델이나 정책이 우리가 설정한 목표를 얼마나 잘 따르는지를 평가하는 것이다. 예를 들어, AI가 의료 데이터를 학습하면서 형성된 내부 목표(환자에게 정확하고 유익한 의료 정보를 제공해야하는 목표)에 따라서 더 높은 보상을 위해 과잉 진단을 하거나 불필요한 치료를 권장하지 않고, 정확한 의료 상담을 제공하는지에 대해 평가하는 시스템이 될 수 있다.

이러한 AI 모델의 가치정렬 원칙을 결정하는 것은 다양한 도덕적 신념을 가진 사람들이 공정하다고 여기는 원칙을 찾는 문제이며, 다양한 문화적 배경과 신념 체계를 고려한 포괄적이고 구체적인 가이드가 필요하다[16]. 대표적으로 WorldValuesBench 데이터세트[17]가 다문화적 배경하의 인간 가치를 가이드하는 데 활용될 수 있다. Zhao[17]는 World Values Survey에서 수집한 64개국, 94,728명의 답변을 바탕으로, 인구 통계 속성과 가치 질문에 대한 질의 응답 형태의 2,000만 개 이상의 예제를 구축하여, 사례연구를 수행하였다. ‘사회적 가치, 규범, 고정관념’, ‘행복과 웰빙’, ‘윤리적 가치’, ‘종교적 가치’, ‘과학과 기술 인식’, ‘경제적 가치’ 등 총 36개의 가치 질문과 ‘대륙’, ‘거주 지역’, ‘교육 수준’ 등 3개의 인구 통계 변수를 중심으로, 인구 통계 속성을 기반으로 모델의 응답 분포와 인간의 응답 분포 사이의 Wasserstein 1-distance를 계산하여, AI 모델의 가치정렬을 유도하였다.

또한, AI 모델의 가치정렬을 위한 훈련 방법론이 다양하게 제시되고 있다[18]. 정렬 훈련 전 전처리 프로세스로써의 정렬 데이터 수집을 위한 방법으로는 ① NLP 벤치마크를 자연어 지침(Instruction)으로 변환하여, LLM을 보다 손쉽게 다중 작업 학습이 가능하도록 구성하는 방법[19,20], ② 크라우드 소싱 웹사이트를 통해 다양한 수작업 지침을 직접 수집하는 방법[21], ③ LLM을 효과적으로 프롬프트하여 다양한 고품질 합성 지침을 자동으로 생성하는 방법[22,23] 등이 제시된다. 이렇게 수집된 지침 데이터에 기반하여 정렬 훈련을 진행한다. 정렬 훈련은 크게, ① 지도 미세조정 학습(SFT: Supervised Fine-Tuning), ② 인간 피드백 기반 강화학습(RLHF: Reinforcement Learning from Human Feedback), ③ 효율적 파라미터 조정 학습(PET: Parameter-Effective Training) 등으로 구분된다.

SFT는 주어진 지침 입력에 대해 올바른 응답을 생성하도록 학습하는 기본적인 방법이고, 최적응답 학습이 가능하지만, 다양한 상황에서 더 나은 응답을 생성할 수 있도록 하기 어려운 문제가 있다. RLHF 기법은 외부 보상 모델을 사용하여 강화 학습을 통해 인간의 선호 가치를 학습하는 방법이다. 순위기반 접근법[24-26], 언어기반 접근법[27] 등이 있다. PET는 LLM 모델의 모든 파라미터를 직접 미세 조정하는 것은 많은 컴퓨팅 자원과 데이터를 요구하기 때문에 파라미터 미세 조정을 보다 효율적으로 진행하기 위한 방법이다. 대표적으로, Prompt Tuning[28], LoRA[29] 등이 사용된다.

대부분의 AI 정렬을 위한 많은 훈련 방법이 주로 인간의 의도에 따른 데이터 지침과 인간 피드백을 통한 강화 학습에 의존하는 측면이 있기 때문에 높은 비용과 품질, 신뢰성, 다양성, 일관성, 바람직하지 않은 편견 등 여러 문제를 수반하게 된다. 이에 최소한의 인간 개입으로 AI 에이전트를 스스로 정렬하는 Self-Alignment[30] 접근 방식도 제안되었다. Self-Alignment는 그림 2에서 보이는 바와 같이 ① Topic-Guided 레드팀 자습, ② 원칙 기반 자기 정렬, ③ 원칙 각인, ④ 포괄적 복제 등의 과정을 거쳐 AI 모델의 성능을 최적화하고, 윤리적이며 신뢰할 수 있는 응답을 생성하도록 설계한다. 먼저, Topic-Guided 레드팀 자습을 통해 과학적 질문, 역사적 사건, 기술적 지식 등을 포함한 175개의 시드 프롬프트와 20개의 주제별 프롬프트를 사용하여 다양한 주제를 포괄하는 합성 프롬프트를 필터링 및 검토 과정을 거쳐 생성한다. 자기 정렬 모델이 따를 16개의 원칙을 정의하고, 몇 가지 예시를 통해 모델이 원칙을 준수하며 응답하는 방법을 명확히 한 후 모델이 생성한 응답이 원칙을 준수하도록 원칙 기반 자기 정렬 과정을 진행한다. 이후, 원칙과 예시를 모델의 매개변수에 각인하는 미세조정 과정과 보다 상세하고 포괄적인 응답을 생성할 수 있도록 모델을 개선하는 과정을 최종적으로 진행하여, 최소한의 인간 개입으로도 효과적으로 모델의 가치 정렬할 수 있는 가능성을 보였다.

그림 2

Self-Alignment 단계별 파이프라인

출처 Reprinted from Z. Sun et al., “Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision,” arXiv preprint, 2023. doi: 10.48550/arXiv.2305.03047

한편으로, 정렬된 AI 모델에서조차 특정 트리거 조건에서 모델 내에 숨겨진 백도어를 선보이는 경우에 대한 대응 연구도 진행 중이다[31]. AI 모델이 특정 조건에서 악의적인 행동을 보이는 이유는 훈련 중에는 안전하게 행동하지만 실제 배포 환경에서는 다른 목표를 추구하기 위해 기만적 전략을 사용할 수 있기 때문이다. 또한, 모델 훈련 과정에서 의도적으로 악의적인 데이터를 포함시키거나, 현재의 안전성 훈련 방법이 충분히 강력하지 않아 모델이 악의적인 행동을 유지할 수도 있기 때문이다. 이 연구에서는 학습자의 의도적 백도어 삽입 가능성과 자연 발생적 백도어 학습 가능성을 모두 탐색하고, 이를 탐지하고 제거하기 위한 안전성 훈련 방법의 효과를 평가하였다.