대규모 언어·비전 모델에 대한 적대적 공격 및 방어 기술 동향

대규모 언어모델(LLM: Large Language Models)과 비전-언어모델(VLM: Vision-Language Models)은 최근 인공지능 연구 및 산업 분야에서 핵심적인 기술로 자리매김하고 있다. 이들 모델은 방대한 데이터 학습을 통해 사람 수준에 근접한 텍스트 이해 및 생성 능력을 보이거나, 텍스트와 시각 정보를 동시에 처리하여 다양한 멀티모달 응용을 가능하게 한다. 예를 들어, 자연어 대화 시스템, 코드 자동 생성, 이미지 설명 및 검색‧생성 등에서 혁신적인 성과를 보여주고 있으며, 실제 서비스와 산업 현장으로의 확산도 빠르게 진행되고 있다.

그러나 이러한 성과에도 불구하고 LLM과 VLM은 적대적 공격(Adversarial Attacks)에 취약하다는 점이 드러나면서 AI 안전(AI Safety) 연구의 중요성이 크게 주목받고 있다. 특히 프롬프트 주입(Prompt Injection)이나 입력 교란(Input Perturbation)과 같은 단순한 기법으로도 모델이 잘못된 정보를 산출하거나 사회적으로 유해한 결과를 생성하는 사례가 보고되고 있다. 이러한 취약성은 모델 활용 가능성을 제약할 뿐만 아니라, 신뢰할 수 있는 인공지능 시스템 구축에 심각한 위협으로 작용한다.

이에 따라 다양한 방어 기법이 제안되고 있다. 대표적으로 적대적 학습(Adversarial Training), 입력 정제(Input Sanitization), 모델 정렬(Alignment), 모델 강건성 최적화(Robust Optimization) 등이 있으며, 최근에는 안전성 평가 지표 개발 및 거버넌스 차원의 연구도 활발히 이루어지고 있다. 하지만 초대규모 모델에 적합한 확장성(Scalability) 문제, 미지의 공격 기법에 대한 대응, 성능과 안전성 간의 균형 확보 등 여전히 해결해야 할 과제가 산적해 있다.

본고에서는 LLM과 VLM을 대상으로 한 적대적 공격 및 방어 기술의 최신 동향을 체계적으로 살펴보고, 이를 기반으로 AI 안전 연구의 필요성과 향후 연구 방향을 논의하고자 한다. 구체적으로, Ⅱ장에서는 LLM에 대한 공격 기법, Ⅲ장에서는 LLM 방어 기술을, Ⅳ장에서는 VLM 공격 사례, Ⅴ장에서는 VLM 방어 연구를 살펴본다. 이어 Ⅵ장에서는 AI 안전 연구의 필요성과 앞으로의 방향을 제시하고, Ⅶ장에서 결론을 맺는다.

대규모 언어모델(LLM)은 최근 다양한 응용 분야에서 활용되고 있으나, 적대적 공격으로 정렬 메커니즘이 쉽게 우회되는 취약점이 보고되고 있다. GCG(Greedy Coordinate Gradient) 기법[1]은 자동화된 프롬프트 최적화를 통해 다수 모델에 전이 가능한 보편적 공격 접미사를 생성하는 방법으로, 단일 접미사만으로도 다양한 언어모델에서 높은 공격 성공률을 보였다. 이어서 제안된 APT(Adversarial Prompt Translation)[2]는 기존 그래디언트 기반 공격으로 생성된 난해한 접미사를 사람이 이해할 수 있는 자연어 형태로 변환하여, 불필요한 기호를 제거하면서도 공격 의미를 유지하는 일관된 탈옥(Jailbreak) 공격을 가능하게 하였다.

FlipAttack[3]은 LLM의 자동회귀적(Auto-Regressive) 성질을 이용한다. 유해한 내용을 담고 있는 입력 문장의 문자 재배열 과정을 통해 LLM이 내용을 직접 차단하기 어렵게 만드나, 문장 내용을 복구하는 과정에서 유해한 답변을 내놓도록 유도하는 블랙박스 공격 기법이다. 단어‧문자‧문장 단위 뒤집기 등 다양한 변형 방식을 포함하며, GPT-4 Turbo와 같은 최신 모델에서도 효과적인 공격 성능을 보였다. StructTransform[4]은 악성 프롬프트를 SQL, JSON 등 구조화된 형식으로 변환하여 입력하는 방식으로, 자연어와 다른 문법적‧논리적 구조를 활용해 안전장치를 회피하며 다양한 LLM 모델에 대하여 높은 공격 성공률을 기록하였다.

또한 TAP(Tree of Attacks with Pruning)[5]은 블랙박스 환경에서 공격자 모델이 다양한 프롬프트를 생성하고, 평가자 모델이 이를 가지치기(Pruning)하여 효율적인 공격을 수행하는 기법으로, 적은 질의 횟수에도 불구하고 GPT-4o, Gemini-Pro, LlamaGuard 등 최신 모델에 효과적으로 적용되었다. PAIR(Prompt Automatic Iterative Refinement)[6]은 공격자 LLM이 목표 LLM과 반복적으로 상호작용을 하면서 프롬프트를 자동 생성‧개선하는 방식으로, 평균 20회 이하의 질의만으로 안전장치를 우회할 수 있었다. 특히 사람이 이해 가능한 의미적 프롬프트를 사용함으로써 높은 전이성을 확보하고 기존 GCG와 같은 토큰 기반 공격보다 적은 자원으로 높은 성능을 달성하였다(그림 1). 마지막으로 Auto-DAN[7]은 수작업으로 작성된 DAN(Do Anything Now) 프롬프트를 초기 개체로 삼아, 계층적 유전 알고리즘(Hierarchical Genetic Algorithm)을 통해 의미상으로 자연스럽고 탐지 회피가 가능한 공격 프롬프트를 자동 생성하는 방법이다. 문장 및 단어 수준의 교차‧돌연변이를 결합해 탐색 공간을 효율적으로 확장하며, 다양한 방어 방법을 효과적으로 우회하는 성능을 보였다.

그림 1

공격자 LLM이 반복적으로 프롬프트를 개선하며 대상 LLM의 안전장치를 우회함

출처 Reprinted from P. Chao et al., “Jailbreaking black box large language models in twenty queries,” arXiv preprint, 2024. doi: 10.48550/arXiv.2310.08419

LLM의 적대적 공격 취약성이 보고됨에 따라 다양한 방어 기법이 제안되고 있다. SMOOTH-LLM[8]은 적대적 접미사가 문자 단위 변형에 취약하다는 점을 활용하여, 입력 프롬프트에 무작위 삽입‧교환‧패치 변형을 적용한 후 결과를 집계하여 공격 여부를 판별한다. 이 방법은 별도의 재학습 과정 없이도 최신 탈옥 공격의 성공률을 거의 0% 수준으로 낮추며, 모델의 정상 성능을 크게 저해하지 않고 안전성을 강화한다.

Erase-and-Check[9]은 입력 프롬프트의 토큰을 하나씩 삭제한 뒤 안전 필터를 통해 검사하여, 원문 또는 부분열 중 하나라도 유해하다고 판정되면 전체를 유해로 분류하는 인증 가능한 방어 기법이다. 이 방법은 접미어, 삽입, 임의 주입 등 다양한 공격 모드에 대해 최대 길이 d 까지의 변형을 모두 방어할 수 있으며, DistilBERT 기반 구현에서는 100%의 인증 탐지 성능을 달성하였다.

Robust Prompt Optimization(RPO)[10]은 LLM의 보안 취약점인 탈옥 공격 방어를 수학적 최적화 문제로 정의하고, 이를 기반으로 경량의 보편적 방어 접미어를 생성하는 방식이다. 이 방어 접미어는 GCG, PAIR, JBC 등 다양한 공격 기법에 대해 강건성을 확보하며, GPT-4와 Llama-2 등 서로 다른 모델 간 전이 가능성을 보였고 적응적 공격 상황에서도 견고한 성능을 유지하였다(그림 2).

그림 2

모델의 취약점을 이용한 탈옥 프롬프트와 방어 프롬프트를 반복적으로 최적화하여, 언어모델의 안전성과 복원력을 강화함

출처 Reprinted from A. Zhou et al., “Robust prompt optimization for defending language models against jailbreaking attacks,” in Proc. Adv. Neural Inf. Process. Syst., (Vancouver, Canada), Dec. 2024, pp. 40184–40211.

모델 도용이나 지식재산권 보호를 목적으로 하는 방어 기법도 활발히 연구되고 있다. GINSEW (Generative Invisible Sequence Watermarking)[11]은 디코딩 과정에서 토큰 확률 분포에 비가시적 주기 신호를 삽입해 워터마크를 심는 방식으로, 생성 품질을 저해하지 않으면서도 추출된 모델에서 동일 신호를 탐지할 수 있어 효과적인 도용 식별을 가능하게 한다. EmbMarker[12]는 Embedding-as-a-Service(EaaS) 환경을 대상으로 한 워터마킹 기법으로, 중간 빈도의 단어를 트리거로 활용해 타깃 임베딩을 비율적으로 주입(Backdoor)함으로써 워터마크를 삽입한다. 이를 통해 서비스 제공자는 의심되는 EaaS를 질의하여 워터마크 존재 여부를 확인함으로써 저작권 침해를 높은 신뢰도로 탐지할 수 있으며, 서비스 품질에는 거의 영향을 주지 않는다.

마지막으로 AutoDefense[13]는 다중 에이전트 기반 LLM 방어 프레임워크로, 서로 다른 역할을 가진 LLM 에이전트들이 협력하여 응답을 분석하고 유해 여부를 판별한다. 이 방법은 입력 프롬프트를 수정하지 않고 응답 필터링(Response Filtering)을 통해 탈옥 공격을 방어한다.

VLM은 텍스트와 시각 정보를 동시에 처리하는 멀티모달 인공지능으로 주목받고 있으나, 최근 연구에서는 다양한 적대적 공격 기법을 통해 안전 정렬 메커니즘이 손쉽게 우회되는 사례가 보고되고 있다. FigStep[14]은 금지된 텍스트 지시문을 이미지 속 타이포그래피로 변환하여 텍스트 기반 안전 정렬을 우회하는 방법으로, 블랙박스 환경에서도 높은 성공률을 달성한다. 이 기법은 계산 비용이 거의 들지 않으면서도 이미지-텍스트 교차모달 정렬의 구조적 취약성을 드러낸다(그림 3).

그림 3

유해한 텍스트 지시문을 시각적 형태로 변환하여 LVLM의 텍스트 안전장치를 우회하며, 그림은 시각 모듈을 통한 공격 과정과 각 모듈의 반응 흐름을 나타냄

출처 Reprinted from Y. Gong et al., “Figstep: Jailbreaking large vision-language models via typographic visual prompts,” arXiv preprint, 2025. doi: 10.48550/arXiv.2311.05608

Visual Adversarial Examples[15]은 시각 입력의 연속적‧고차원적 특성을 이용해 보편적인 탈옥 공격을 수행하는 방법이다. 소규모 유해 코퍼스(Corpus)에 최적화된 단일 시각적 적대 예제가 훈련되지 않은 광범위한 지시문에도 일반적으로 작동하여, 모델이 폭력‧혐오‧허위정보와 같은 유해 출력을 생성하도록 유도한다. Maximum Likelihood Jailbreaking[16]은 이미지 기반 노이즈를 최대우도 방식으로 최적화하여 멀티모달 모델의 안전장치를 체계적으로 우회한다. 이 방법은 다양한 이미지와 텍스트 입력에 대해 보편적으로 작동하며 높은 공격 성공률을 보여주었다.

화이트박스 환경에서 제안된 Universal Master Key(UMK)[17]는 적대적 이미지 노이즈와 텍스트 토큰을 동시에 최적화하여 모델이 유해 지시문에 긍정적으로 응답하도록 유도하는 방식이다. MiniGPT-4를 대상으로 최대 96%의 성공률을 달성하였으며, 단일 모달 공격보다 훨씬 강력하게 정렬 방어를 우회할 수 있음을 입증하였다. Sneaky-Prompt[18]는 텍스트와 이미지를 동시에 활용하는 교차모달 공격 기법으로, 모델 내부 표현을 왜곡시켜 유해 지시문을 따르도록 만든다. 이 방법은 텍스트 기반 공격에 비해 탐지 우회 능력이 뛰어나고 다양한 VLM에서 일관된 성능을 보였다.

마지막으로 JOOD[19]는 유해 입력을 안전성 정렬 분포 밖(OOD: Out-of-Distribution)으로 변형하여 VLM을 탈옥하는 공격 기법이다. 텍스트 입력에서는 단어 혼합(Text-Mixing)과 같은 단순 변환을 통해 새로운 합성 단어를 만들고, 이미지 입력에서는 mixup‧CutMix와 같은 혼합 기법을 적용하여 정렬 학습에 포함되지 않은 분포를 생성한다. 이로 인해 모델의 불확실성이 증가하며, GPT-4V와 같은 최신 모델에서도 기존 방법보다 훨씬 높은 공격 성공률을 보였다.

VLM의 적대적 공격에 대응하기 위해 다양한 방어 기법이 제안되고 있다. HiddenDetect[20]은 모델 내부 은닉층(Hidden States)에 나타나는 거부(Refusal) 신호를 활용하여, 별도의 재학습 없이도 탈옥 공격을 탐지하는 방법이다. 유해 프롬프트 입력 시 나타나는 특유의 활성 패턴을 포착하고, 이를 거부 벡터(Refusal Vector)와의 코사인 유사도로 계산하여 가장 민감도가 높은 계층에서 모니터링함으로써 공격 여부를 효과적으로 판별한다(그림 4).

그림 4

악성 질의와 정상 질의의 코사인 유사도를 기반으로, 언어모델이 안전하지 않은 응답을 구분하고 거부하는 과정을 나타냄

출처 Reprinted from Y. Jiang et al., “Hiddendetect: Detecting jailbreak attacks against large vision-language models via monitoring hidden states,” arXiv preprint, 2025. doi: 10.48550/arXiv.2502.14744

ASTRA[21]는 이미지 속 시각 토큰을 무작위로 제거하면서 유해 출력과 강하게 연관된 토큰을 식별하고, 이를 기반으로 적대적 방향을 나타내는 Steering Vector를 구축한다. 이후 추론 과정에서 Adaptive Activation Steering을 적용해 해당 방향의 활성화를 억제함으로써 정상 입력에는 영향을 주지 않으면서도 공격 입력에서의 유해 출력을 효과적으로 차단한다. DRESS[22]는 VLM의 정렬성과 상호작용 능력을 강화하기 위해, LLM이 생성하는 자연어 피드백(NLF: Natural Language Feedback)을 활용하는 기법이다. 피드백을 ‘비판(Critique)’과 ‘개선(Refinement)’으로 구분하여, 전자는 응답의 강‧약점을 분석해 인간 선호와의 정렬을 돕고, 후자는 개선 방향을 제시하여 멀티턴(Multi-Turn) 대화에서 점진적으로 응답을 정제할 수 있도록 한다.

MLLM-Protector[23]는 멀티모달 대형 언어 모델의 안전성을 보호하기 위해 제안된 Divide-and-Conquer 방식의 방어 프레임워크다. 경량의 Harm Detector가 모델 출력의 유해성을 식별하고, Response Detoxifier가 유해 응답을 무해하게 변환하는 Plug-and-Play 모듈을 통해 악의적 이미지 입력으로 인한 안전성 훼손 문제를 효과적으로 완화한다. Safe RLHF-V[24]는 멀티모달 대형 언어모델을 대상으로 한 안전 정렬(Safety Alignment) 프레임워크로, 안전성과 유용성을 동시에 고려한 BeaverTails-V 데이터셋을 기반으로 Reward Model-Vision(RM-V)과 Cost Model-Vision(CM-V)을 각각 학습시킨다. 이어 Lagrangian 기반의 Min-Max 최적화와 Budget Bound 업데이트를 적용하여 유해 응답 생성을 억제하면서도 모델의 유용성을 유지하는 정렬을 달성하였다.

VLMGuard[25]는 배포 환경에서 수집된 레이블 없는 사용자 프롬프트를 활용해 잠재 표현을 분해하고 악성성 추정 점수(Maliciousness Estimation Score)를 계산하여 정상‧악성 여부를 구분한 뒤, 이 정보를 바탕으로 안전 프롬프트 분류기를 학습하는 프레임워크이다. 마지막으로 UNIGUARD[26]는 멀티모달 입력에 가드레일을 최적화하여 VLM의 탈옥 공격을 방어하는 방법으로, 이미지 입력에는 투영 경사 하강법(PGD)을 활용한 가드레일 노이즈를 추가하고, 텍스트 입력에는 토큰 최적화 기반 가드레일 문구를 결합한다. 이를 통해 공격으로 오염된 입력에서도 유해 출력 생성을 방지하며, 다양한 모델과 공격 유형에 범용적으로 적용 가능함을 보였다.

1. 초대규모 모델 확산과 안전성 위협

2. 적대적 공격의 고도화와 방어 한계

3. 멀티모달 환경에서의 복합적 위험

4. 지식재산권 및 신뢰성 확보

5. 거버넌스와 사회적 수용성

대규모 언어모델(LLM)과 비전-언어모델(VLM)은 인공지능의 활용 범위를 획기적으로 확장하며 다양한 산업과 사회 영역에서 혁신을 견인하고 있다. 그러나 동시에 적대적 공격에 취약하다는 근본적 한계가 드러나면서, 신뢰할 수 있는 인공지능 시스템 구축을 위해 안전 연구의 필요성이 점차 강조되고 있다.

본고에서는 LLM과 VLM을 대상으로 제안된 대표적인 공격 기법과 이에 대응하는 방어 기술의 최신 동향을 살펴보았다. LLM 영역에서는 프롬프트 변형, 탐색‧자동화 기법 등을 활용한 다양한 탈옥 공격이 등장하고 있으며, VLM 영역에서는 텍스트-이미지 교차모달 공격, OOD 기반 공격 등 복합적인 위협이 보고되고 있다. 이에 대응하기 위해 프롬프트 변환 방어, 워터마킹, 다중 에이전트 협력, 안전 정렬 학습 등 다양한 방어 기술이 연구되고 있으나, 여전히 확장성‧전이성‧성능 유지 측면에서 미해결 과제가 존재한다.

향후 연구는 초대규모 모델 환경에서도 적용 가능한 강건한 방어 체계 구축, 멀티모달 특성을 고려한 안전성 강화, 지식재산권 보호 및 신뢰성 확보, 거버넌스 차원의 제도적 지원과 표준화 등 여러 방면에서 병행되어야 한다. 이를 통해 AI 안전 연구는 단순한 기술적 대응을 넘어, 사회적 수용성과 책임성을 포함하는 포괄적 연구로 발전해 나가야 할 것이다.

결론적으로, LLM과 VLM에 대한 적대적 공격과 방어 기술의 진화는 인공지능 안전성을 확보하기 위한 지속적인 도전과 기회의 장을 동시에 제공한다. 본 동향 분석이 향후 연구자와 산업계가 신뢰할 수 있고 안전한 AI 시스템을 구현하는 데 기초 자료로 활용되기를 기대한다.