딥러닝 기반 항공안전 이상치 탐지 기술 동향

항공안전 위해요인 식별을 위한 이상치 탐지 모델은 기준과 관점에 따라 다양하게 분류할 수 있다. 기존에 많은 연구가 진행되고 알고리즘이 확립된 전통적인 ML 방법, 최근에 빅데이터의 확보 및 GPU 발전에 따라 활발히 연구가 진행되고 있는 딥러닝 방법, 그리고 두 가지 방법의 장점을 조합하여 좋은 성능을 나타내고 있는 Hybrid 방법으로 분류할 수 있다(그림 1).

그림 1

항공안전 위해요인 식별을 위한 이상치 탐지 모델 분류

딥러닝 기반의 이상치 검출 기법은 1) 피처 추출을 위한 딥러닝, 2) 정상 데이터 피처 표현 학습, 3) 엔드투엔드(end-to-end) 이상치 점수 학습 등으로 분류된다[3]. 첫 번째 분류에서는 딥러닝과 이상치 검출이 완전히 구별되어 피처 추출 단계에서만 딥러닝이 활용된다. 두 번째에서는 정상성(Normality)의 내재된 표현을 학습하는 부분에서 서로 의존성이 있다. 이 분류는 다시 포괄적 피처 학습(Generic Feature Learning)과 측정 기반 피처 학습(Measure-dependent Feature Learning)으로 구분된다. 마지막 분류에서는 두 모듈이 완전히 통합되어 신 경망에서 바로 이상치 점수를 학습하게 된다. 본고에서는 포괄적 피처 학습에서 주로 사용되는 오토인코더, GAN 및 하이브리드 방법에 대해 기술한다.

가. 오토인코더

오토인코더(Autoencoder)는 고차원 데이터에 대한 저차원 표현(Representation)을 도출하고, 이를 통해 입력 데이터로부터 출력 데이터를 재구성(Reconstruct)할 수 있는 신경망을 의미한다. 오토인코더는 인코더(Encoder)와 디코더(Decoder) 두 개의 신경망으로 구성된다. 인코더는 고차원 데이터의 차원을 축소하며, 디코더는 저차원 데이터로부터 고차원 데이터로 확장(Expand)하여, 원래 입력 데이터로 재구성하기 위한 것이다. 오토인코더의 신경망이 우수하다면 압축된 데이터를 원 데이터로 구성할 확률이 높으며, 이러한 특성을 활용하여 이상치 검출 모듈에 활용한다.

차원 축소의 특성상, 오토인코더의 경우 고차원 데이터의 이상치 검출에 적합하다. 오토인코더의 데이터 압축(Compression)과 복원(Decompression)은 손실이 발생할 수 있으며(Lossy), 이 과정은 비지도 학습으로 진행된다. 두 개의 신경망은 주로 함께 학습되며, 손실 함수는 출력과 입력의 차이에 대한 재구성 에러(주로 MSE, Cross-entropy)이다. 인코더는 복원에 무관한 정보는 제거하고 필요한 정보만을 잠재 공간(Latent Space)하도록 학습하고, 디코더는 잠재 공간으로부터 제대로 재구성할 수 있도록 학습한다.

정상적인 데이터를 입력하여 오토인코더에 학습할 경우, 은닉층의 잠재공간은 입력 데이터를 잘 표현하는 가중치들로 구성될 것이다. 이렇게 학습된 오토인코더에 잡음이 포함된 데이터가 입력된다면, 잡음을 검출하여 이를 제거한 출력, 즉 이상치를 검출할 수 있다.

1) 잡음 제거 AE

DAE(Denoising AE)는 학습 데이터에 잡음을 추가하여 인코더를 학습한 결과와, 잡음이 없는 데이터와의 에러를 최소화하기 위한 오토인코더이다[4]. 신경망의 구성은 동일한 구조를 가지며, 잡음이 추가된 데이터에서 잡음을 제거하여 원래의 데이터를 추출하는 모델이다. 단순한 오토인코더보다 더 강건한(Robust) 모델을 만들기 위해 은닉층에서 안정적인 구조의 데이터를 추출하기 위해 학습한다.

일반적인 AE에서는 학습 데이터를 기억하여 출력 데이터를 매핑하는 방법이 가능하다. 하지만, DAE는 잡음이 있는 데이터의 경우 입력과 출력이 더 이상 동일하지 않으므로 이러한 방식이 동작하지 않는다. DAE는 입력 데이터를 저차원의 매니폴드(Manifold)와 매핑하기 위한 가중치를 학습하게 되며, 이러한 매니폴드가 정상 데이터를 정확하게 표현한다면, 추가된 잡음을 효율적으로 제거할 수 있다.

2) Sparse AE

오토인코더의 성능을 높이기 위한 다른 방법은 데이터의 희소성을 이용하는 것이다. Sparse 오토인코더는 은닉층에서 노드의 개수를 줄일 필요 없이, 다른 층으로의 활성화(Activation)를 손실함수로 사용한다.

Sparse 오토인코더에서 신경망은 적은 수의 뉴런만이 활성화되도록 인코딩과 디코딩 과정을 학습한다. 기존의 가중치를 최적화하기 위한 방법과는 달리 활성화 함수에 대한 조치라는 점에서 차이가 있다. 결과적으로, 은닉층의 노드들은 입력 데이터의 특정 속성에 더 민감하게 반응하도록 학습된다. 즉, 입력 데이터에 따라 신경망의 일부 영역이 선택적으로 활성화된다.

희소성 제약을 처리하기 위한 방법은 다음과 같다.

• L1 정규화: 각 은닉층의 활성화 벡터의 절대값 합계를 손실함수에 추가

• KL-발산: 희소성 파라미터를 정의하고 이에 대한 확률 분포 차이를 KL-발산을 이용하여 손실함수에 추가

3) 변분 오토인코더

변분 오토인코더(VAE: Variational AE)[5]는 생성적 모델(Generative Model)로서 학습 데이터의 분포를 근사하도록 새로운 데이터 인스턴스를 생성해낼 수 있다. VAE는 생성적 모델을 이용하여 디코더를 학습하기 위한 것으로서, 오토인코더와 동일한 구조를 가지지만 여러 면에서 상이한 점이 많다. VAE는 특정 값이 아닌 분포를 모델링하며 이상치란 기준 분포와는 다른 것을 의미하므로, 재구성 에러에서 이상치를 검출할 수 있다.

VAE는 인코더가 만들어낸 잠재 공간의 평균과 분산을 모수로 하는 정규분포를 저장하고 학습한다. 변분 추론(Variational Inference)을 사용하여, 타겟 분포를 잘 표현하는 분포를 찾고, 이로부터 샘플링하여 데이터에 대한 확률을 구한다. 오토인코더와 VAE의 MNIST에 대한 잠재 공간을 비교한 결과를 보면, VAE는 확률 분포를 기반으로 하고 있으므로 중심을 기반으로 뭉쳐져 있는 반면, 오토인코더는 VAE에 비해 분산되어 있음을 보여준다[6]. 오토인코더는 원본 입력을 재구성하는 데 장점이 많은 반면, VAE는 클러스터링을 통한 이상치 검출에 더 유리함을 알 수 있다.

나. GAN

GAN(Generative Adversarial Network)은 복잡한 데이터의 차원을 잘 학습하는 알고리즘으로서, 분류기(Discriminator)와 생성기(Generator) 두 가지 적대적인 모델이 경쟁을 통해 학습이 더 잘되도록 하는 것을 목적으로 한다. 생성기는 데이터의 분포를 이해하도록 학습되고, 분류기는 실제 데이터인지 생성기가 만든 샘플인지 구분하도록 학습된다. 생성기와 분류기의 학습 성능을 서로 높여가면서, GAN은 모델은 원본 데이터에 가까운 데이터를 생성할 수 있다.

GAN을 이용한 이상치 탐지는 적대적 훈련 과정을 이용하여 정상 행동을 모델링하고, 이상치 점수(Anomaly Score)를 사용하여 이상치를 탐지하는 작업이다[7]. GAN 기반의 이상치 탐지는 BiGAN(Bidirectional GAN)[8]에서 처음 제안되었다. 생성기는 임의의 잠재 분포로부터 샘플을 매핑하고, 분류기는 실제와 생성된 샘플을 구별하도록 훈련한다. BiGAN은 역매핑(Inverse Mapping)을 이용하여 데이터를 역으로 잠재 공간으로 매핑할 수 있다.

최근에는 기존 GAN 이외에 Wasserstein GAN, CycleGAN과 같은 많은 구조가 제안되었으며, 이러한 새로운 구조를 이용하여 이상치 검출 성능을 향상할 수도 있다. 또한 엔드투엔드 One-Class 분류 모델을 적대적으로 학습하는 방식도 연구가 진행 중이다.

GAN 기반 모델의 장점은 다음과 같다.

• 이미지 데이터와 같이 현실적인(Realistic) 인스턴스에 우수한 성능

• 기존의 다양한 GAN 기반 모델의 적용 가능성

GAN 기반 모델의 단점은 다음과 같다.

• 훈련 수렴 실패, Mode Collapse 등 훈련 과정의 문제점

• 실제 데이터 분포가 복잡하거나, 예상치 않던 Outlier 데이터 존재 시 생성기 네트워크의 오류

• 이상치 점수의 준최적화(Suboptimal) 가능성

1) AnoGAN

AnoGAN[9]은 정상 데이터만을 이용하여 훈련된 표준 GAN을 사용하여 잠재 공간 표현(z)을 생성된 샘플에 매핑하도록 학습한 후, 학습하지 않은 신규 샘플이 입력으로 주어질 경우 잠재 공간으로 매핑한다. 정상 데이터로만 학습을 함으로써 정상 샘플의 매니폴드를 생성기가 학습하게 된다. 이후 비정상적인 데이터가 들어왔을 때 재구성 에러가 높을 경우 이상치로 탐지하게 된다.

정상적인 데이터가 많고, 비정상적인 데이터가 부족한 의료 분야에서 비지도 방식으로 이상치를 검출하기 위한 목적에서 제안되었다. AnoGAN에서 잠재 공간은 정상 데이터의 피처들을 가지고 있는 벡터이다. 생성기는 정상적인 데이터를 생성하는 것을 학습한다. 분류기는 입력 데이터(이미지)가 참/거짓일 확률을 산출한다. 이상치 점수는 생성기에서 만들어진 데이터와 원 데이터와의 차이값인 손실을 사용한다. 또한 이상치의 영역을 규명하기 위해 가장 유사한 데이터와 신규 데이터와의 차이(Residual Image)를 사용한다.

AnoGAN은 GAN의 이상치 검출 활용성 제시하고, 잠재 공간과 입력 데이터 공간의 새로운 매핑 방법을 제시한다는 점에서 이점이 있다. 반면, 신규 입력에 대한 최적화가 필요하여 시험 시간이 오래 걸리는 성능 문제가 있고, 이상치 점수 해석이 어렵다는 단점이 있다.

2) GANomaly

AnoGAN, BiGAN, EGBAD(Efficient GAN-Based Anomaly Detection)[10]을 기반으로 하여 2018년 GANomaly가 제안되었다[11]. 생성기는 정상 샘플로 학습하여 매니폴드를 학습하고, 동시에 오토인코더는 이미지 데이터를 잠재 공간상에 효율적으로 인코딩하는 방법을 학습한다.

GANomaly에서 분류기 신경망은 표준 GAN과 동일한 구조를 가진다. 한편, 생성기 신경망은 인코더(GE), 디코더(GD), 추가적인 인코더(E)로 구성된다. 두 개의 인코더는 동일한 구조를 가진다. 입력 데이터는 오토인코더처럼 GE, GD가 인코딩/디코딩 과정을 거치고, 이 결과는 다시 E에 의해서 출력으로 생성된다.

GANomaly의 2가지 특징은 다음과 같다. 1) 오토인코더 구조를 활용함으로써 생성기는 정상 데이터만 생성할 것이고, 이 경우 비정상이 나타나면 높은 값이 나와서 탐지가 가능하다. 2) 마지막 생성기 E는 훈련 단계에서 최적의 표현을 생성할 수 있도록 학습함으로써 생성기의 학습 효과를 향상시킨다.

GANomaly의 이상치 점수는 인코더 손실만 사용하지 않고 모든 샘플에 대해서 매번 점수를 계산하도록 한다. 그리고 스케일링을 적용하여 확률적인 범위인 [0, 1]로 평가한다.

GANomaly에서 사용하는 생성기의 손실은 다음과 같으며, 3가지 손실을 모두 합하고 각각에 가중치를 부여하여 중요도를 조절할 수 있다.

• Adversarial Loss: 피처 매칭 손실로서 입력의 특정 표현 추출을 위해 사용

• Contextual Loss: 생성기가 입력 데이터의 context 정보 학습을 위해 사용

• Encoder Loss: 정상 데이터를 최적으로 인코딩하도록 학습하는 데 사용

GANomaly는 오토인코더 구조를 채택하여 학습 속도를 가속화했으며, 이상치 지점 검출을 위해 Contextual Loss를 사용한다는 점에서 장점이 있다. 또한 이상치 점수 해석이 용이하다. 하지만, 입력 공간과 잠재 공간 모두에서 이상치 검출 결과가 불일치할 수 있다는 단점이 있다.

가. Deep Hybrid 모델

이상치 검출을 위한 Deep Hybrid 모델은, 피처 추출은 오토인코더와 같은 심층 신경망을 이용하고, 이렇게 학습된 피처들을 입력으로 OCSVM[12]과 같은 전통적인 이상치 검출 알고리즘이 비정상을 감지한다. 전이 학습(Transfer Learning) 기술의 발전으로 대규모 데이터셋을 대상으로 미리 학습된 모델로부터 피처를 학습할 수 있다. Hybrid 모델은 이러한 미리 학습된 전이 학습 모델을 피처 추출기로 활용할 수도 있다.

이상치 존재 탐지를 방해할 수도 있는 무관한 피처를 분리하고, 은닉층에는 강건한(Robust) 피처들이 추출된다. Deep Hybrid 모델의 계산 복잡도는 심층 신경망의 최적 파라미터 검색 등 심층 신경망 구조와 전통적인 알고리즘의 연산량 등에 대한 고려가 필요하다.

Deep Hybrid 모델에 사용되는 알고리즘의 예는 다음과 같다[13].

• 오토인코더 기반 모델: AE-OCSVM, AE-SVM, AE-CNN, AE-DBN, AE+KNN, AE-SVDD, DAE-KNN, CAE-OCSVM

• DNN 기반 모델: DBN-SVDD, DNN-SVM, DBN-RF

• CNN 또는 RNN 기반 모델: CNN-Relief, CNN-SVM, CNN-LSTM-SVM, RNN-CSI

Deep Hybrid 모델은 고차원 데이터에 대해 심층 신경망을 이용하여 ‘차원의 저주’ 문제를 크게 감소시킬 수 있다. 또한 선형/비선형 커널 모델의 입력 차원이 축소되므로 확장성이 좋고 효율적인 연산이 가능하다. 하지만, 이상치 검출에 최적화된 피처 추출기가 아니라 범용 함수로 인해 결과가 최적이 아닐 수 있으며, 심층 신경망 레이어 증가에 따라 계산량이 증가하는 문제점이 있다.

나. One-Class 신경망(OC-NN) 모델

One-Class 신경망(Neural Network) 모델은 커널 기반 One-Class 분류 기법을 이용하는 것으로 데이터의 표현을 추출해내는 심층망의 특성과 정상 데이터만을 학습에 활용하는 반지도 학습 방식의 이상치 검출을 결합한 것이다[14]. OC-NN 기법은 심층망의 범용적인 데이터 표현을 이상치 검출이라는 특수한 목적에 활용하는 것이다.

OC-NN은 이상치 검출에 특화된 목적 함수를 최적화함으로써 은닉층에서 데이터 표현의 성능을 높일 수 있다. OC-NN은 은닉층 사이의 데이터 분포의 변화에 대한 공통적인 요소들을 추출하고, 이러한 데이터 분포에서 시험 데이터 입력에 대한 이상치 점수를 산출한다. 이상치 샘플은 공통적인 요소들을 내포하지 못하고 있으므로 은닉층에서는 이상 데이터(Outlier)에 대한 표현은 포착해낼 수 없다.

OC-NN은 오토인코더로 입력 데이터의 피처를 추출하고, 이를 전이 학습으로 재학습하기 때문에 이상치 검출에 적합한 요소를 학습할 수 있다.

OC-NN 모델은 심층 신경망 학습과 동시에 데이터 출력 단계에서 초평면 최적화가 이루어지며, 출력 예측을 위해 데이터를 저장할 필요가 없다. 반면, 고차원 입력 데이터의 경우 학습 및 모델 업데이트 시간이 증가하게 된다.

OC-NN의 변형된 구조로는 Deep SVDD(Deep Support Vector Data Description)[15]가 있다. 기존의 SVDD는 데이터를 잘 구분하는 초평면을 찾는 것과는 달리, 정상 데이터를 포함할 수 있는 가장 작은 구(Sphere)를 찾는 것을 목적으로 한다. Deep SVDD의 경우는 정상 데이터의 공통 요소를 구의 중심에 가깝도록 매핑하는 것을 목적으로 한다. 시험 데이터에 대한 이상치 점수는 신경망을 통과하고 나서 구의 중심과의 거리가 되며, 거리가 클수록 이상치로 판단한다.

항공 교통 관리(ATM: Air Traffic Management) 분야의 이상치 검출은 비행 데이터로부터 유의미한 패턴이나 행동을 보이는 중요한 이벤트를 찾아내는 것에 많이 활용된다. 예를 들어 활주로 이탈, 복행(Go-around), 경로 이탈 등의 이벤트는 항공안전사고 이벤트들이며, 이를 위해 FDM(Flight Data Monitoring)이나 FOQA(Flight Operations Quality Assurance)와 같은 프로그램을 통해 데이터를 수집/감시/분석하는 예측적 항공안전 연구가 많이 진행되었다.

항공 분야에 특화된 이상치 검출 기법으로는 MKAD[17]와 ClusterAD[18]가 있다. MKAD는 OC-SVM을 기반으로 하고 있으며, FOQA 데이터를 이용하여 비이상적인 상황을 판단할 수 있다. MKAD를 접근 단계에 적용하여 고에너지 접근과 난기류 접근 등의 이상치 검출하는 연구도 진행되었다[19]. ClusterAD는 DBSCAN 클러스터링 기반의 이상치 검출 기법으로, 이륙과 착륙 단계에서 고에너지/저에너지, 비정상 플랩 설정, 강풍 조건 등을 식별할 수 있었다.

MKAD와 ClusterAD와 달리 딥러닝 기반의 이상치 검출에 대한 연구도 활발히 진행 중이다. LSTM과 kNN 기법을 활용한 ATC 통신 도중 발생 오류 검출[20,21], 오토인코더 기반 비행 궤적 분석을 통한 비정상 비행 행태 검출[22], ConvLSTM 기반 오토인코더(ConvLSTM-AE)를 이용한 비정상 ADS-B 메시지 분석[23] 등이 대표적인 ATC 이상치 검출 사례이다.

데이터가 적은 경우에도 RNN 아키텍처를 다양하게 구성하여 MKAD와 비교한 결과, 차원 축소 등의 제약이 없는 RNN 모델이 더 좋은 성능을 보이기도 하였다[24].

비행자료 기록장치(FDR: Flight Data Recorder)는 각종 센서로부터 대용량의 이기종 시계열 데이터를 생성하고, 이러한 데이터를 활용하여 고장 분석 및 잔여 수명(RUL: Remaining Useful Life)을 예측할 수 있다. PHM은 스마트팩토리, 항공 등의 분야에서 산업체 및 하계의 주요 연구 주제로 다루어져 왔으며, 데이터 기반의 진단 예측 분야에 이상치 검출 기법을 활용할 수 있다.

심층 오토인코더, Convolutional DAE 등의 딥러닝 기법을 활용하여 고장 및 이상치를 검출하였다. NASA에서 공개한 FDR 데이터세트에 적용하여 비지도 학습 기반으로 각 센서의 정상 상태와 구별되는 고장 및 이상치를 탐지하였다[25]. 또한 ACARS(Aircraft Communications Addressing and Reporting System)의 보고서 데이터세트를 이용하여 엔진 고장 검출에 활용하였다[26].

터보팬 엔진의 잔여 수명을 예측하기 위해 시계열 데이터의 RNN 오토인코더를 이용하기도 하고[27], 건전성 예측 관리를 위해 오토인코더, DBN, CNN, RNN 등 다양한 딥러닝 기법을 비교 실험한 연구도 진행되었다[28].