지능형 Self-Organizing Network를 위한 설명 가능한 기계학습 연구 동향

XML이 무엇인가를 정의하기 위해 우선 XML 관련해서 설명 가능성, 해석 가능성, 이해 가능성에 대한 용어 정의는 다음과 같다[5]. 해석 가능성(Interpretability)은 인간이 이해할 수 있는 용어로 의미를 설명하거나 제공하는 능력이다. 설명 가능성(Explainability)은 인간과 의사 결정자 사이의 인터페이스로서 동시에 의사 결정자의 정확한 대리인이자 인간이 이해할 수 있는 설명이라는 개념과 관련된다. 설명 가능성은 내부 기능을 명확히 하거나 자세히 설명하려는 의도로 모델이 취하는 모든 조치 또는 절차를 의미한다. 이해 가능성(Understandability 혹은 Intelligibility)은 모델이 내부적으로 데이터를 처리하는 알고리즘적 수단이나 내부 구조를 설명할 필요 없이 인간이 모델의 기능(모델 작동 방식)을 이해할 수 있도록 하는 모델의 특성을 나타낸다. 설명 가능성은 해석 불가능한 모델을 설명 가능한 모델로 변환하는 기술을 다루기 때문에 post-hoc 설명 가능성(외부 XML)과 연결된다. 따라서, XML은 청중이 주어졌을 때 기능을 명확하거나 이해하기 쉽게 만드는 세부 사항이나 이유를 생성하는 것으로 정의할 수 있다.

XML의 한 분류는 설계에 의해 해석할 수 있는 모델(투명한 모델)과 외부 XML 기술을 통해 설명할 수 있는 모델(post-hoc 설명 가능성 모델)로 구분한다. XML의 또 다른 분류는 1) 입력에서 출력으로의 매핑이 사용자에게 보이지 않는 불투명 시스템(불투명 ML); 2) 사용자가 매핑을 수학적으로 분석할 수 있는 해석 가능한 시스템(해석 가능한 ML); 3) 모델이 매핑이 만들어진 배후의 이론적 근거를 이해할 수 있도록 특정 출력과 함께 symbols 또는 규칙을 출력하는 이해 가능한 ML이다.

투명한 ML 모델로는 알고리즘적으로 투명한 모델, 분해 가능한 모델과 시뮬레이션 가능한 모델이 있다. 알고리즘 투명성은 입력 데이터에서 주어진 출력을 생성하기 위해 모델이 따르는 프로세스를 이해하는 사용자의 능력을 다룬다. 분해 가능성은 모델의 각 부분(입력, 매개변수 및 계산)을 설명하는 능력을 나타낸다. 이 특성은 모델의 동작을 이해, 해석 또는 설명하는 능력을 강화할 수 있지만, 모든 모델이 이 속성을 충족할 수 있는 것은 아니다. 분해 가능성은 모든 입력이 쉽게 해석 가능해야 한다. 시뮬레이션 가능성은 엄격하게 인간에 의해 시뮬레이션되거나 생각되는 모델의 능력을 나타내므로 복잡성이 이 클래스에서 중요한 위치를 차지한다. 시뮬레이션 가능한 모델은 동시에 분해 가능하고 알고리즘적으로 투명한 모델이다.

투명한 ML 모델이란 ML 모델 투명성 수준 중 하나 또는 모든 수준(즉, 시뮬레이션 가능성, 분해 가능성 및 알고리즘 투명성)에 속할 수 있는 투명한 모델을 말한다. 투명한 모델로는 Linear/logistic regression, Decision trees, K-Nearest Neighbors(K-NN), 규칙 기반 학습, General additive models, Bayesian models 등이 있다.

블랙박스인 ML 모델에 대한 post-hoc 설명 가능성은 설계상 쉽게 해석할 수 없는 모델이 아니라, 텍스트 설명, 시각적 설명, 로컬 설명, 예에 의한 설명, 단순화에 의한 설명과 기능 관련성 설명과 같은 해석 가능성을 향상시키기 위한 다양한 수단에 의지하는 모델을 대상으로 한다. 텍스트 설명은 모델의 결과 설명에 도움이 되는 텍스트 설명을 생성하는 학습을 통해 모델에 대한 설명 가능성을 제공한다. 시각적 설명은 모델의 동작을 시각화하는 것을 목표로 한다. 로컬 설명은 솔루션 공간을 분할하고 전체 모델과 관련된 덜 복잡한 솔루션 하위 공간에 설명을 제공하여 설명 가능성을 제시한다. 예시 설명은 특정 모델이 생성한 결과와 관련된 데이터 예시를 추출하여 모델 자체를 더 잘 이해할 수 있도록 한다. 단순화에 의한 설명은 설명되어야 할 훈련된 모델을 기반으로 완전히 새로운 시스템을 재구성하는 기술을 집합적으로 나타내는 것이다. 기능 관련성 설명은 관리되는 변수에 대한 관련성 점수를 계산하여 모델의 내부 기능을 명확히 하는 것이다.

ML 모델에 대한 post-hoc 설명 가능성에는 첫 번째, 모델의 내부 처리 또는 내부 표현을 무시하고 모든 ML 모델에 원활하게 적용할 수 있는 post-hoc 설명 가능성을 제공하는 모델 불가지론적(Model-agnostic) 기술, 두 번째, 특정 ML 모델을 설명하도록 맞춤화되거나 특별히 설계된 post-hoc 설명 가능성 기술의 두 가지가 있다. 모델 불가지론적 기술은 예측 절차에서 일부 정보를 추출하려는 의도로 모든 모델에 연결되도록 설계하는 것이다. 단순화 기술을 사용하여 다루기 쉽고 복잡성을 줄이기 위해 선행 작업을 모방하는 프록시 생성과 모델에서 직접 지식을 추출하거나 단순히 시각화하여 동작을 쉽게 해석하는 것에 중점을 두며, 모델 단순화, 특징 관련성 추정과 시각화 기술이 있다. Post-hoc 설명 가능성 기술로는 첫 번째로는 다양한 지도학습 모델을 다루는 Shallow ML 모델에서 엄격하게 해석 가능한 접근 방식(예: KNN 및 결정 트리)이 있지만, 추가 설명 계층이 필요한 보다 정교한 학습 알고리즘(예: LIME(Local interpretable model-agnostic explanations), SHAP, ICE 등)에 의존한다. 두 번째로는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DNN(Deep Neural Network)과 투명 모델을 포함하는 하이브리드 방식 등에 대한 post-hoc 설명 가능성 기술이 연구되고 있다.

여기서는 DARPA에서 추진 중인 XAI 프로그램, DNN 동작을 이해하기 위한 방법들, 훈련된 ANN에서 규칙 추출 기술, 자가 설명 신경망, 퍼지 모델링과 진화 퍼지 시스템을 설명한다.

2017년 5월 DARPA는 설명 가능하고 매우 정확한 모델 제공을 목표로 하는 프로그램 XAI를 시작했다[6]. 이 XAI 시스템의 목적은 설명을 제공하여 인간이 그 행동을 더 이해하기 쉽게 만드는 것이다. XAI 시스템은 수행한 작업, 현재 수행 중인 작업, 다음에 수행할 작업을 설명해야 하고, 행동하고 있는 중요한 정보도 공개하는 것이다. DARPA가 하려는 것은 높은 수준의 학습 성능을 유지하면서 더 설명 가능한 모델을 생성하는 일련의 ML 기술이다. 이것이 성공할 수 있다고 생각하는 이유는 기존 ML 구조와 달리 XAI가 새로운 학습 프로세스, 설명 가능한 모델, 그리고 설명 인터페이스 구조를 가지기 때문이다. 설명 가능한 모델로는 설명 가능한 특징을 학습하는 수정된 DL 기술인 심화 설명(예: Learning Semantic Association, Learning to Generate Explanations 등), 해석 가능한 모델로 보다 구조화되고, 해석 가능하고, 인과적인 모델을 학습하는 기술(예: Stochastic And-Or-Graph, Bayesian Program Learning 등), 그리고 블랙박스 같은 모델로부터 설명 가능한 모델을 추론하는 기술인 모델 유도(예: LIME, Bayesian Rule Lists 등)를 고려하고 있다.

DNN 동작을 이해하기 위한 일반적인 세 가지 접근 방식은 다음과 같다[7]. 첫 번째, 네트워크 일부를 투명하게 만드는 것으로, DL 모델의 예측 설명에서 민감도 분석(SA: Sensitivity Analysis)과 계층별 관련성 전파(LRP: Layer-wise Relevance Propagation)를 사용한다. 두 번째, 네트워크 구성 요소의 의미를 학습하는 것으로, 개체의 특정 부분에 의해 자주 활성화되는 경우 그 뉴런은 의미를 가질 수 있다. 세 번째, 현 결정을 뒷받침하는 근본적인 이유를 설명 생성을 통해 알려준다. DNN에서 목표는 쉽게 해석할 수 있는 것(예: 입력 변수) 관점에서 모델이 예측하는 것(예: 범주)을 이해하기 위해 post-hoc 해석 가능성에 중점을 둔다. ML에서 주요 연구는 프로토타입을 구축하여 모델에서 학습한 개념을 해석하는 것과 관련 입력 변수를 식별하여 모델의 결정을 설명하는 것이다.

훈련된 ANN에서 규칙 추출 기술[8]은 훈련된 ANN 내에는 훈련 단계에서 획득한 지식이 다음과 같이 인코딩된다는 기본 인식에서 출발한다: (a) 네트워크 아키텍처 자체(예: hidden 유닛의 수); (b) ANN의 각 hidden과 출력 단위와 관련된 활성화 함수; (c) 일련의 실수 값의 매개변수(가중치). 훈련된 ANN에서 설명(또는 규칙)을 추출하는 작업은 (a), (b) 및 (c)의 집합적 효과를 이해할 수 있는 형태로 해석하는 것이다. 규칙 추출 기술로는 분해적 접근을 사용한 Boolean 규칙 추출, 교육적 접근을 사용한 Boolean 규칙 추출, 그리고 퍼지 룰 추출 기술이 있다. 분해적 접근을 사용한 Boolean 규칙 추출은 훈련된 ANN 내의 개별(hidden 및 출력) 유닛 수준에서 기존의 Boolean 규칙을 검색하고 추출하는 것이다. 교육적 접근을 사용한 Boolean 규칙 추출 기술에는 다양한 연구가 있지만, 기본적으로는 학습을 통한 규칙을 추출하는 것이다. 퍼지 룰 추출 시스템은 다음 세 가지로 구성된다: 첫 번째, 퍼지 규칙의 형태로 기존 전문 지식을 ANN 구조에 삽입하는 일련의 메커니즘/절차이다(지식 초기화 단계); 두 번째, ANN 훈련 과정에서 훈련 데이터 패턴에 따라 구성원 함수를 조정하는 데 중점을 둔다; 세 번째, 일련의 수정된 구성원 함수의 형태로 포함된 개선된 지식의 분석과 추출을 하는 것이다.

해석 가능성이 학습 중에 이미 구조적으로 내장되고 정규화를 통해 실현되는 복잡한 모델인 자가 설명 신경망(SENN: Self-Explaining Neural Networks)이 있다[9]. 이 모델은 해석 가능성에 대한 세 가지 요구사항인 명시성, 충실성과 안정성을 충족시킨다. 충실성과 안정성은 모델에 특별히 맞춰진 정규화를 통해 실현되고, 안정성은 유사한 입력이 유사한 설명이 생성되도록 보장하는 것이다. SENN은 입력을 해석 가능한 basis 특징의 작은 집합으로 변환하는 개념 인코더, 관련성 점수를 생성하는 입력에 종속되는 parametrizer, 예측을 생성하기 위해 결합하는 aggregation 함수 세 가지 요소로 구성된다.

퍼지 집합 이론(FST: Fuzzy Set Theory)을 사용하여 설명과 예측 모델을 설계하는 퍼지 모델링(FM: Fuzzy Modeling)은 원래 입력과 출력 간 고도로 비선형적인 관계를 나타내는 동시에 단순화된 자연어를 사용하여 그 관계에 대한 지능적 관점을 제공할 수 있는 지식 기반 모델을 개발하는 것이다[10]. 이것은 퍼지 규칙에 의해 달성되었고, 현 퍼지 규칙 기반 모델은 FM에서 일반적인 관행이다. 데이터로부터 만들어진 퍼지 규칙 기반 모델은 주로 정확성을 위해 설계되었지만, 해석할 수 없는 퍼지 규칙 기반 모델은 블랙박스 모델과 유사하다. 해석 가능성은 대략 (퍼지) 모델의 지식 기반을 읽고 이해하는 능력으로 정의될 수 있는 퍼지 규칙 기반 모델의 속성이지만, FST의 단순한 사용으로 해석 가능성이 부여되는 것이 아니라 추가 방법론이 필요하다. 해석 가능한 퍼지 모델을 설계하려면 모델링 단계에서 다음 세 가지 방법이 있다: 첫 번째, 가용 데이터와 전문가의 지식 모두를 고려하는 것인 효과적인 모델에 결정적이므로, 예측과 설명 능력면에서 균형 잡힌 모델 설계를 위해 유도된 지식을 전문가 규칙과 통합하는 반복적 접근 방식을 사용하는 것이다; 두 번째, 해석 가능성과 정확성이 상충되는 목표임을 인식하고 솔루션의 파레토 프런트 달성을 위해 다중 목표 기술을 채택하는 것이다; 세 번째, Ad-hoc 알고리즘으로 데이터로부터 퍼지 규칙을 유도하는 알고리즘 내에 해석 가능성 제약을 통합하는 것이다.

퍼지 규칙 기반 시스템에 파라미터 최적화를 위해 진화 알고리즘(EA: Evolution Algorithm)을 적용한 진화 퍼지 시스템(EFS: Evolutionary Fuzzy Systems)에 대한 연구가 있다[11]. 사용 가능한 모든 정보를 이용하여 가장 깊은 수준에 도달하려면 지식 영역과 데이터 분석 간의 강력한 시너지가 필요하다. 따라서 데이터 관점에서 데이터와 관련된 품질을 인식해야 하고, 적용 대상인 애플리케이션 영역에서 사용할 수 있는 전문 지식의 표현도 고려해야 한다. 이 시나리오에서 FST는 유용한 도구가 될 수 있다. 학습 관점에서는 입력 특징을 퍼지 회원 함수가 있는 퍼지 변수로 변환하면 어느 정도의 불확실성이 있는 데이터에 잘 적응하는 설명 모델을 얻을 수 있다. 일반적으로 퍼지 집합을 포함하는 퍼지 IF-THEN 규칙으로 구현되는 퍼지 규칙 기반 시스템(FRBSs: Fuzzy Rule-Based Systems)은 지식 기반(KB: Knowledge Base)과 추론 엔진 모듈로 구성된다. 지식 기반은 규칙 기반(RB: Rule Base)의 퍼지 규칙과 데이터베이스(DB: Data Base)의 퍼지 집합으로 구성되고, 추론 엔진은 퍼지화 인터페이스, 추론 시스템 및 역퍼지화 인터페이스를 포함한다. FRBSs에서 학습 절차는 관찰을 기반으로 주어진 성능 메트릭에 가장 근접한 모델 검색을 포함한다. 또 FRBSs에서 명료도는 주로 추론과 관련되고, 이해도는 인간이 검사하고 이해할 수 있는 방식으로 모델을 인코딩하는 학습 알고리즘 능력으로 정의되며, 퍼지 규칙과 KB와 관련된다. 솔루션 모집단을 기반으로 하는 일종의 메타 휴리스틱 기반 최적화 기술인 EA는 ML 기법으로 특별히 설계된 것은 아니지만 학습 과제를 최적화 문제로 모델링하여 진화를 통해 효과적으로 해결할 수 있다는 장점이 있다. 즉, 복잡하고 잘 정의되지 않은 문제 공간에서 EA의 강력한 검색으로 다양한 ML 및 지식 검색 작업을 성공적으로 실현할 수 있다. 따라서 FRBSs의 본질적인 이해 가능성과 설명 가능성에 FRBSs를 개선하기 위한 최적화 기술로서 EA를 적용한 것이 EFS이다. EFS는 정확성, 해석 가능성 또는 이 둘을 조합하여 원하는 목적 함수 측면에서 보다 신뢰할 수 있는 솔루션을 얻기 위해 FRBSs 구성 요소의 미세 설정에 EA를 활용하는 것이다. EA는 학습 단계로 이어지는 FRBSs의 구축 단계에서 사전적으로 적용되거나 혹은 튜닝 단계인 FRBSs의 미세 조정을 위해 사후적으로 고려될 수 있다. 또한, 확장성을 위해 여러 설계 기준을 동시에 최적화할 수 있는 다목적 진화 알고리즘(MOEA: Multi-Objective Evolutionary Algorithms)을 사용한 소위 다목적 진화 퍼지 시스템(MOEFS: Multi-Objective Evolutionary Fuzzy Systems)을 사용하는 것이 좋다.

여기서는 XAI에서의 이슈과 도전 그리고 연구 방향을 서술하였다. 우선 DARPA에서 제기한 XAI에서는 이슈와 도전은 다음과 같다[6].

첫 번째, 정확성과 해석 가능성의 트레이드오프다. XAI 연구의 핵심은 해석 가능성의 기술과 한계를 탐구하는 것이다. 해석 가능성은 정확성과 충실도를 포함하는 균형을 고려하고, 정확성, 해석 가능성과 취급 용이성 간의 균형을 유지해야 한다. 특정 회귀, 분류 또는 의사 결정 등의 문제 해결을 위해 어떤 종류의 ML 기술을 사용해야 하는지 결정할 때 고려해야 할 기준은 정확성과 해석 가능성/설명 가능성이다. 정확성에 대한 필요성으로 신경망과 DL 기반의 블랙박스 솔루션을 수용하는 추세이고, 이 시스템들은 복수의 뉴런 계층을 기반으로 하는데 첫 번째 계층은 데이터에서 더 간단한 속성을 추출하고, 이후 계층에서 결합되어 더 복잡하지만 더 대표적인 속성을 형성한다. 정확한 모델을 얻을 수 있는 블랙박스 솔루션의 놀라운 능력에도 불구하고, 종종 더 높은 시스템 복잡성이 따른다. 따라서 설계자는 종종 시스템이 어떻게 작동하는지 이해할 수 없으며 시스템이 특정 출력을 생성하는 이유를 해독할 수도 없다. 해서 기존 ML은 일부 응용 분야에서 인간 사용자에게 자신의 생각과 행동을 설명할 수 없는 기계의 무능력으로 인해 제한될 수 있다. 현재 심층망을 해석하고 설명하는 것이 떠오르는 연구 분야이지만, 대부분의 제안은 post-hoc 해석 가능성에 중점을 두고 있으며, ML 모델을 더 잘 이해하려면 더 많은 노력이 필요하다.

두 번째, 설명을 단순화하기 위해 추상화를 사용하는 것이다. 높은 수준의 패턴은 큰 단계에서 큰 계획을 설명하기 위한 기초이므로, 추상화 발견을 자동화하는 것은 오랫동안 도전 과제였으며, 학습과 설명에서 추상화를 발견하고 공유하는 것은 오늘날 XAI 연구에서 큰 이슈이다.

세 번째, 설명의 효과성을 평가하고 측정하는 것이다. XAI 시스템이 비 XAI 시스템보다 사용자에게 더 이해하기 쉬운지 여부를 측정하는 일반적인 방법은 현재 없다. 이 측정 중 일부는 설명의 명확성과 유용성에 대한 주관적인 평가를 통해 측정할 수 있는 사용자 만족도와 같이 사용자 관점에서 주관적인 측정이다. 설명의 효율성에 대한 보다 객관적인 척도는 작업의 효과성일 수 있다; 즉, 설명이 사용자의 의사 결정을 향상시키는가? 설명의 효과에 대한 신뢰할 수 있고 일관된 측정은 여전히 오픈 연구 문제다. 물론 XAI 시스템에 대한 평가와 측정에서 평가 프레임워크, 다른 생각과 상호 이해, 상식과 논증도 이슈이다.

규칙 추출 기술에서 제기된 이슈는 다음과 같다[8].

첫 번째, 주어진 문제 영역의 요구사항에 기술 집합을 일치시키기 위한 일련의 기준을 공식화하는 것이다. 예를 들어, 실용적인 수준에서 아직 등장하지 않은 것은 이산 데이터와 구별되는 실제 값 데이터를 포함하는 응용 문제 영역에 대해 어떤 규칙 추출 기술이 최적인지 결정하는 것이다. 또한, 데이터에서 규칙 추출을 위한 다른 유도 기술에 비해 ANN/규칙 추출 기술의 성능에서 보고된 개선이 모든 문제 영역에 적용되는지 여부도 불확실하다.

두 번째, 애플리케이션 프로그램에서 추출된 규칙 집합이 규칙 집합이 제거되고 훈련된 ANN보다 우수한 성능을 나타내는 것이 ANN 훈련이 완료된 후 출력 장치에 남아 있는 오류를 어느 정도까지 제거해야 하는지에 대한 것이 명확하지 않다는 것이다. 따라서 추출된 규칙 집합이 원래 네트워크보다 더 나은 일반화를 나타내는 조건 집합을 식별하는 것이 이슈이다.

세 번째, 조사된 규칙 추출 기술의 특징이 ANN 훈련 프로세스 완료 후 규칙이 추출된다는 점에서 발생한다. 즉, 최종 규칙 집합의 하위 집합 추출이 훈련 프로세스의 어느 지점인지, 규칙 삽입과 규칙 추출 작업이 ANN 훈련 중에 발생할 수 있는지에 대한 질문이다.

네 번째, 규칙 추출 알고리즘의 복잡성에 대한 추가 사항으로 충실도가 높은 네트워크를 모방하는 최소 규칙 집합을 찾는 문제가 어려운(아마도 NP-hard) 문제인지 여부를 결정하는 것이다. RULEX 기술을 제외하고, 조사된 규칙 추출 기술은 검색할 샘플 공간의 크기를 제한하기 위해 어떤 형태로든 휴리스틱이 필요하다. 예를 들어, 분해적 접근 방식에서 임계값은 ANN이 생성한 최종 결정에 큰 영향을 미치지 않는 입력을 필터링하는 데 사용된다. 따라서 잠재적인 연구 이슈는 생성된 규칙의 품질과 효율성에 대한 이 휴리스틱의 영향을 평가하는 것이다.

XML의 연구 방향은 다음과 같다[6].

첫 번째, 더 강력한 모델별 접근 방식을 개발하는 것이다. 이 방향의 이점은 결과 접근 방식이 모델의 고유한 특징을 활용하여 설명을 생성할 수 있고 아마도 충실도를 향상시킬 뿐만 아니라 모델의 결과를 설명하는 대신 모델의 내부 작동을 더 잘 분석할 수 있다는 것이다.

두 번째, 견고성 문제를 해결하는 유망한 방법으로 XAI와 통계 간의 연결을 설정하는 추가 방법을 탐색하여 잘 연구된 다양한 도구를 활용하는 것이다.

세 번째, 선형 회귀와 신경망의 결합 방법처럼 불투명 모델의 표현력과 투명 모델의 명확한 의미를 결합한 하이브리드 모델을 설계하는 것이다. 이 방향은 불투명 모델과 투명 모델 사이의 격차를 해소하는 데 도움이 될 뿐만 아니라 설명 가능한 모델을 수행하는 최신 기술 개발에도 도움이 될 수 있다.

네 번째, 설명 가능성 방법들을 결합하는 것이다. 상대적으로 더 강력한 설명을 달성하기 위해 서로 다른 해석 가능성 방법을 결합할 가능성에 대한 접근에는 거의 관심이 없었다. 문헌에는 일부 기술이 다른 기술을 보완하는 데 어떻게 사용될 수 있는지(예: 민감한 분석과 시각화)가 있지만, 서로 다른 해석 가능성 방법들을 새로운 부가가치 기술을 상승적으로 생성할 수 있는 기본과 구성 가능한 구성 요소로 취급하는 방법은 없었다. 따라서 XAI에서 구성 가능성을 활성화하면 이 분야의 최적화 문제를 효과적으로 해결하고 설명 가능성과 정확도를 같은 방향으로 이동시키는 데 잠재적으로 기여할 수 있다. 또한, 궁극적인 조합은 ML 모델에 초점을 맞춘 실제 해석 가능성 방법과 전문가 시스템과 관련된 설명 가능성의 고전적인 솔루션과 관련될 수 있다. 기존의 설명 가능한 전문가 시스템과 현재 해석 가능한 ML 방법의 요소를 정확히 결합하는 방법은 논쟁 주제이다.