NPU 기반 온보드 AI를 활용한 UAV 이상탐지 시스템 기술 동향

1. 드론 안전성 패러다임의 변화

무인항공기 기술은 미래 모빌리티 산업의 핵심 동력으로서 단순한 비행체를 넘어 인공지능과 초연결 기술이 결합된 공중 지능형 모빌리티 플랫폼으로 거듭나며 미래 산업의 지형을 재편하고 있다.

특히 드론은 비가시권 비행 기술의 발전을 통해 공간적 제약을 허물고 물류, 농업, 재난 감시 등 다양한 산업 분야에서 필수적인 인프라로 자리 잡고 있다.

글로벌 시장조사 기관에 따르면 2025년 글로벌 상업용 드론 시장 규모는 약 385억 달러 규모로 예상되며, 2035년까지 연평균 10.2% 성장해 1,017억 달러까지 확대될 전망이다[1].

글로벌 드론 시장의 성장세에 발맞추어 정부는 ‘제2차 드론산업발전 기본계획’을 수립하고 글로벌 5대 드론 강국 진입을 목표로 2030년까지 기체 및 관련 기술 고도화를 통해 관련 시장을 2.3조 원 규모로 성장시키려 하고 있다[2].

하지만 비행 환경의 복잡도가 증가함에 따라 모터 고장, 센서 오작동, 배터리 급방전 등 기체 내부 결함과 GPS 스푸핑(Spoofing)과 같은 외부 보안 위협에 노출될 가능성 또한 비약적으로 높아졌다. 이러한 위협은 기체 추락에 따른 인명 및 재산 피해로 직결되므로, 드론의 운용 신뢰성을 보장하는 실시간 이상탐지 및 진단 기술은 드론 시장 확대를 위한 필수 기술로 자리매김하고 있다.

2. 온보드 프로세싱으로의 전환

기존의 드론 이상탐지 방식은 기체에서 수집된 비행데이터와 센서로그를 지상통제시스템(GCS)이나 서버에 전송하여 분석하는 중앙집중식 원격 모니터링 방식에 의존해왔다.

그러나 이러한 방식은 통신 환경이 불안정한 도심 빌딩 숲이나 전파 방해가 심한 지역, 특히 가시권 밖 비행(BVLOS) 상황에서 데이터 전송 지연 및 통신 두절 시 실시간 안전 진단이 불가능하다는 한계를 가진다.

특히 수 밀리초(ms) 단위의 빠른 판단이 필요한 비상 상황에서 통신 지연(Latency)은 곧 대형 사고로 이어질 수 있어 데이터가 생성되는 기체 내부에서 즉각적으로 연산을 수행하는 온보드 프로세싱으로의 전환이 가속화되고 있다.

3. NPU 기반 온보드 AI

드론은 탑재 가능한 배터리 용량과 무게가 엄격히 제한됨에 따라 높은 연산력을 제공하면서도 전력 소모가 적은 하드웨어의 활용이 필수적이다. 범용 CPU는 연산 효율이 낮고, GPU는 전력 소모와 발열 문제가 크기 때문에 최근에는 딥러닝 연산에 최적화된 NPU(Neural Processing Units)가 최적의 대안으로 부상하고 있다. NPU는 복잡한 시계열 센서 데이터와 고해상도 영상 데이터를 낮은 전력으로도 실시간 처리할 수 있게 함으로써 드론 내부에 고도화된 이상탐지 모델을 탑재할 수 있는 기술적 토대를 마련하였다.

본고에서는 드론의 안전한 자율 운용을 위한 핵심 기술로서 NPU 기반 온보드 이상탐지 기술 동향을 고찰한다. 먼저 온보드 환경에서 요구되는 이상 상황의 정의와 기술적 제약사항을 분석하고, 글로벌 및 국내 NPU 하드웨어의 기술 동향을 살펴본다. 이어 하드웨어의 연산 특성을 극대화하기 위한 모델 압축 기법과 멀티모달 시계열 이상탐지 알고리즘의 최신 연구 흐름을 진단한다. 마지막으로 국내외 항공 및 드론 산업의 실전 적용 사례를 분석함으로써 무인 이동체 온보드 기반 이상탐지 기술의 발전 방향을 제시하고자 한다.

1. 드론 이상 상황의 정의 및 분류

드론 등 무인항공기(UAV) 시스템에서 이상이란 기체의 상태 변수가 설계된 정상범위를 벗어나거나, 입력 제어 값에 대한 출력 응답이 물리적 모델의 기대치와 일치하지 않는 상태를 의미한다. 이는 하드웨어 결함뿐만 아니라 성능저하 및 예기치 못한 외부환경 및 물리적 간섭 등을 모두 포괄하는 광범위한 개념으로 발생 원인과 대상에 따라 다음과 같은 범주로 분류할 수 있다.

1.1 하드웨어 결함 및 내부 시스템 이상

기체 내부의 물리적/전기적 부품에서 발생하는 이상으로 탐지 실패 시 비행 안전에 직접적인 위협이 될 수 있으며, 표 1에서와 같이 동력부, 전원부, 센서 이상으로 나타난다.

1.2 외부 환경 및 물리적 간섭

기체의 결함은 없으나 외부 요인에 의해 비행 제어 능력이 상실되거나 저하되는 상태를 의미하며, 표 2에서와 같이 대기환경 변화, 물리적 충돌 또는 전파‧항법(GNSS) 환경에서의 이상으로 나타난다.

2. 온보드 환경의 제약사항

드론 온보드 환경에서 이상탐지 시스템을 구현할 때 가장 고려해야 할 점은 가용 자원이 극도로 제한적이라는 점이다. 이를 흔히 SWaP-C(Size, Weight, Power, and Cost) 제약이라고 하며, 이상탐지 알고리즘은 이 제약 요소를 고려하여 설계되어야 한다[3].

크기 및 무게

드론의 적재 하중은 비행시간과 직결됨에 따라 이상탐지를 위한 고성능 컴퓨팅 모듈이 추가될수록 배터리 효율은 급격히 저하되며, 이는 임무 수행 능력을 제한하는 요인이 된다.

소모전력

드론은 한정적인 배터리 전력의 대부분을 비행 추력 시스템에 우선 할당하려 한다. 따라서 이상탐지 등 부가기능을 수행하는 온보드 프로세서는 저전력 설계가 필수이며, 전력 효율이 낮은 범용 CPU 기반의 딥러닝 추론은 온보드 환경에 부적합하다.

비용

드론 이상탐지시스템의 상용화를 위해서는 고가의 서버 기반 시스템이 아닌, 경제성을 갖춘 온보드 환경에서 시스템 구현이 요구된다.

3. 멀티모달 데이터 기반의 실시간 탐지

드론의 이상 상황은 단일 센서 데이터만으로는 판별하기 어려운 경우가 많다. 예를 들어, 기체의 고도가 낮아지는 현상이 조종사의 하강 명령에 의한 것인지, 모터 출력 저하에 의한 것인지 구분하기 위해서는 제어 명령 데이터와 실제 센서 피드백을 실시간으로 비교 분석해야 한다.

따라서 온보드 이상탐지 기술은 비행 제어 장치(FC)에서 발생하는 비행 로그(IMU, 위치, 자세), 모터 제어 신호(PWM), 그리고 온도, 진동센서 등 외부 센서로부터 얻은 정보 등을 통합하여 수십 밀리초(ms) 이내에 이상 여부를 판단해야 하는 실시간성이 요구된다.

1. NPU 기반 온보드 프로세싱

이전의 드론의 온보드 AI 연산은 NVIDIA의 Jetson 시리즈로 대표되는 임베디드 GPU가 주도해 왔다. GPU는 우수한 범용성과 높은 연산 가속성능을 제공하지만, 전력 소모와 발열에 민감한 소형 기체 환경에서는 비행시간을 단축시키고 시스템 안정성을 저해하는 요인으로 작용하였다.

이러한 한계를 극복하기 위해 2020년대 중반부터는 딥러닝의 핵심 연산인 행렬곱 처리에 특화된 NPU(Neural Processing Units) 아키텍처가 발전하면서 온보드 하드웨어에도 다양한 선택지를 제공하고 있다. NPU는 전력 대비 연산 성능 측면에서 기존 GPU 대비 수 배 이상의 효율성을 제공하고 있어 에너지 자원이 극도로 제한된 드론 환경에서 실시간 이상탐지 모델을 상시 구동할 수 있는 최적의 컴퓨팅 구조로 볼 수 있다.

2. 글로벌 NPU 하드웨어 동향

글로벌 시장에서는 엔비디아의 독주 속에 퀄컴, 헤일로(Hailo) 등 전문분야에 특화된 기업들이 각자의 아키텍처 강점을 내세우고 있다.

NVIDIA

NVIDIA는 기존 GPU의 강력한 CUDA 환경을 유지하면서, 추론전용 가속기인 DLA(Deep Learning Accelerator)를 SoC에 통합하는 전략을 취하고 있다. 또한, 차세대 자율주행 및 로봇용 칩셋인 Thor는 복잡한 생성형 AI모델까지 온보드에서 처리할 수 있는 구조를 갖추고 있다[4,5].

퀄컴(Qualcomm)

퀄컴은 모바일 AP시장의 강점을 살려 통신+AI+영상처리를 하나로 묶는 통합 플랫폼 전략을 내세우고 있다. 특히 저전력 대기 상태에서도 센서 데이터를 상시 모니터링할 수 있는 AI 기술이 강점이다[6].

헤일로(Hailo)

이스라엘의 헤일로는 데이터의 흐름에 따라 연산 자원을 배치하는 Structure-driven Dataflow 구조를 채택하였다. 이는 불필요한 메모리 접근을 최소화하여 와트당 연산 성능을 극대화하는 기술 특징이 있다[7].

3. 국내 NPU 하드웨어 동향

국내 AI 반도체 산업은 데이터센터‧서버급 고성능 NPU부터 전력‧공간이 제한된 엣지‧온디바이스용 NPU까지 제품 스펙트럼을 빠르게 넓히고 있다. 최근 추론 시장이 급격히 성장하면서 국산 NPU에 대한 정책적‧산업적 기대가 커지고 있다.

리벨리온

리벨리온은 데이터센터용 추론 NPU인 ATOM을 KT 클라우드에 국내 최초로 상용화하였으며, 성능 개선을 통해 SKT의 에이닷 전화 통화 요약서비스 등에 적용하였다. 최근 엔비디아 서버용 GPU와 경쟁을 목표로 하는 서버향 NPU인 ‘REBEL100’을 개발하고 이를 바탕으로 글로벌 시장진출을 추진하고 있다[8,9].

퓨리오사AI

퓨리오사AI는 1세대 Vision NPU인 ‘Warboy’에 이어 2024년 2세대 칩 레니게이드(RNGD)를 공개하였다. RNGD는 HBM3를 탑재한 데이터센터용 가속기로 대규모 언어모델 추론에 최적화된 것이 특징으로 LG AI 연구원의 엑사원 구동에 활용되었다[10].

모빌린트(Mobilint)

모빌린트는 데이터센터부터 온디바이스까지 추론시장을 겨냥한 고성능‧저전력 NPU를 개발하였다. ARIES는 최대 80 TOPS의 연산 성능을 제공하는 NPU로, 데이터 재사용 극대화와 외부 메모리 접근 최소화를 통해 전력 효율을 높였으며 온프레미스 AI 서버‧산업용 AI PC(MLX-A1) 등에 활용된다[11]. 반면 REGULUS는 약 3W 이하의 초저전력과 소형 폼팩터를 갖춘 온디바이스 AI SoC(10 TOPS급)로, 별도의 서버 없이 단일 칩에서 AI 추론과 시스템 제어를 수행한다[12].

1. 하드웨어 가속을 위한 모델 압축 기법

NPU는 저 정밀도 고정소수점 연산에 적합하게 설계되어서 이러한 특징을 잘 활용하기 위해서는 모델 압축(Model Compression) 기법을 활용하여 추론 모델이 NPU에 최적화되게 하는 과정이 필수이다.

모델 압축은 딥러닝 모델의 매개변수 수를 줄여 메모리 사용량, 추론 속도, 전력 소비를 최적화하면서도 성능을 유지하는 기술로 엣지 디바이스에 배포하고 활용하기 위한 핵심 요소이다. 프루닝(Pruning), 저차원 분해(Low-rank Decomposition), 양자화(Quantization), 지식 증류(Knowledge Distillation)와 같은 기법을 단독 또는 혼용하여 사용함으로써 경량화 및 최적화를 달성하게 된다[13].

프루닝

프루닝은 네트워크 내부에 중복 매개변수나 영향력이 작은 변수를 제거하는 기법으로 추론 속도가 향상되고 모델 크기가 감소한다.

저차원 분해

저차원 분해는 고차원 텐서를 연산량이 적은 여러 개의 저차원 행렬의 곱으로 근사화하여 분해하는 방식으로 연산부하를 줄여 추론 속도를 높인다.

양자화

양자화는 가중치와 활성화 함수 값을 부동소수점(FP32)에서 8비트 정수(INT8) 이하의 낮은 정밀도로 변환하여 추론 속도의 상승과 모델 크기 감소, 연산량 감소를 통해 에너지 소모량을 감소시킨다.

지식증류

지식증류는 사이즈가 큰 모델에서 학습한 지식을 작은 모델로 전이하여 학습시키는 방법으로 크기가 작은 모델에서도 거대모델과 유사한 수준의 성능을 나타낼 수 있다.

2. 시계열 및 멀티모달 이상탐지 모델

본 절에서는 드론 등 UAV에서 활용되는 온보드 기반 이상탐지 모델의 최신 연구 동향을 살펴보았다.

2.1 시계열 재구성 + 이상탐지 결합형 모델

본 모델은 드론 센서 데이터를 전처리를 통해 재구성하고 경량화된 LSTM-AE 모델을 기반으로 Isolation Forest의 이상치 점수를 결합하여 이상을 탐지하는 구조를 갖는다. 데이터 전처리 최적화를 통하여 추론시간 지연을 방지하고, 연산량 및 에너지 소모량을 줄일 수 있다. LSTM 재구성 오류와 Isolation Forest 이상치 점수를 앙상블로 활용하여 불규칙한 시계열에서도 강인하며, Raspberry Pi, Jetson Nano 등 엣지 디바이스에서 실시간 동작이 가능하도록 설계되었다[14].

2.2 1D-CNN 기반 온디바이스 음향분석 모델

1D-CNN을 사용하여 모터 음향 신호를 입력으로 이상 상태를 판별하며 양자화를 통하여 모델 크기와 연산량을 줄이면서도 정확도 손실을 최소화하도록 설계하였다. TinyML‧IoT 디바이스에서 독립적으로 활용하도록 하였으며 낮은 지연 및 전력 소모, 오프라인 동작, 보안성을 향상하여 엣지 컴퓨팅에 최적화된 이상탐지 모델을 구현하였다[15].

2.3 경량 비전 네트워크 + 양자화 기반 구조 이상탐지 모델

본 모델은 MobileNet과 CNN을 기반으로 UAV의 이미지 데이터를 통해 구조 건전성을 실시간으로 모니터링할 수 있다. 동적 양자화, 학습 후 양자화(Post-Training Quantization) 등과 같은 다양한 양자화 기법을 도입하여 저전력 엣지 장치에서 실시간 균열 탐지가 가능하도록 최적의 TinyML 양자화 설계 및 모델을 구현하였다[16].

2.4 다중 아키텍처·다중 가속기 기반 UAV 인지 모델

본 연구에서는 MobileNet, YOLO 등 다양한 이상 탐지 모델의 동적 양자화를 통하여 UAV의 이미지 및 신호 데이터로부터 이상치를 탐지하는 모델을 구축한 후, CPU, GPU, FPGA, NPU 등의 조합을 통하여 2개 이상의 이기종 하드웨어를 통하여 이상탐지 모델의 처리 성능과 효율을 높일 수 있도록 하드웨어를 구성하였다. 이에 따라, 각 하드웨어 특성에 맞는 최적 배포 구성과 함께 다중 플랫폼에서 이상 탐지를 효율적으로 수행할 수 있는 아키텍처 및 조합을 도출하였다[17].

2.5 센서 시계열용 CNN-LSTM 기반 FPGA 가속 모델

CNN-BiLSTM-AE 모델을 활용하여 UAV의 실시간 센서 데이터를 기반으로 장애를 탐지하고 CNN-LSTM 분류 모델로 장애를 식별하도록 설계하였으며, FPGA 기반 하드웨어 가속을 통해 온보드 GPU(NVIDIA Jetson TX2) 대비 전력 소모를 절반으로 줄이면서 탐지 속도를 약 40배(≈2.6ms) 향상시켜, 낮은 지연과 높은 전력 효율의 실시간 장애 감지 시스템을 구현하였다[18].

2.6 모델 압축·양자화 결합형 CNN-LSTM-AE 기반 UAV 이상탐지 모델

ETRI에서는 모델 압축 및 양자화를 결합한 NPU 기반의 이상탐지 연구를 수행하고 있다. CNNLSTM-AE 모델을 기반으로 다양한 동적양자화 기법을 결합‧활용하여 실제 비행 데이터(정상 및 다양한 이상 조건)의 이상탐지를 수행하는 이상탐지 모델을 개발하였다. NPU 기반 온보드 디바이스에서 실시간으로 동작하도록 구현되어, 실제 UAV 플랫폼에서 배터리 소모를 줄이면서도 높은 탐지 성능을 유지할 수 있다[19].

3. 이상탐지 및 제어

최근 드론 연구는 단순한 이상판단에 그치지 않고 고장 시 비행 제어 루프와 밀접하게 연동되어 안정적인 비행을 유지할 수 있도록 개발되고 있다.

3.1 결함 허용 제어

NPU에서 특정 모터의 고장을 탐지하면, 탐지 즉시 제어 알고리즘이 나머지 모터의 출력을 재분배하여 비상착륙을 유도한다. 이 과정에서의 연산 지연을 최소화하기 위해 이상탐지 결과가 제어기로 전달되는 경로를 하드웨어적으로 최적화한다[20].

3.2 온디바이스 피드백 학습

기체의 노후화나 환경 변화에 따라 정상 범위의 기준이 달라질 수 있다. NPU의 학습 기능을 일부 활용하여 이상탐지 결정 Layer만 피드백 데이터에 따라 미세 조정하는 적응형 이상탐지 기술이 활용되고 있다[21].

1. 주요 기업별 기술 및 서비스 동향

미국 GE Aerospace

미국의 GE Aerospace는 항공기 엔진의 건전성 예측 기술을 강화하여 실시간 성능 모니터링 솔루션을 제공하고 있다. AI와 디지털 트윈을 활용해 제트엔진의 상태를 지속 추적하고, 고장전조 식별 및 잔여 수명을 예측함으로써 비계획 엔진 정비를 줄이고 상용 항공기의 운영 비용을 절감하고 있다[22].

미국 Fliant

운항 품질 보증(FOQA)을 위한 데이터 분석 시장에서는 분석 자동화와 정밀도가 핵심 경쟁력으로 부상하고 있다. 미국의 Fliant는 ‘FlightVue FDM’ 플랫폼을 통해 150개 이상의 이벤트 규칙을 적용하여 불안정 접근이나 연료 이상 등 이상 상황을 자동으로 탐지한다[23].

프랑스 Airbus

프랑스의 Airbus는 클라우드 기반 데이터 분석 플랫폼 ‘Skywise’와 예측정비 솔루션 ‘Skywise Fleet Performance+(S.FP+)’를 통해 기체‧시스템의 건전성 모니터링, 예측정비, 신뢰성 관리를 아우르는 통합 플랫폼을 운영하고 있다. Skywise는 Palantir와 협력해 구축되었으며, 다수의 항공사‧공급사‧MRO를 공유 데이터 생태계로 연결하여 방대한 데이터로부터 지속적으로 학습한다[24].

프랑스 ERGOSS

프랑스의 ERGOSS는 자사 ‘SARA’ 비행 데이터 분석 솔루션을 통해, 기록 주파수와 무관하게 모든 유형의 비행기록장치 데이터를 파라미터 리샘플링 없이 원본 그대로 처리하는 것을 강점으로 내세운다. 이를 통해 대량의 비행 데이터를 재추출 없이 처리하며, 소형기부터 대형기까지 광범위한 민간‧군용 수송기에 적용 가능하다고 밝히고 있다[25].

NAVBLUE

한편, Airbus의 자회사인 NAVBLUE는 ‘Nsight’ 플랫폼을 통해 데이터 수집부터 안전 보고서 생성까지 전 과정을 처리하는 비행 데이터 분석(FDA) 서비스를 제공하며, 비행 데이터를 분석하여 운항 위험을 예측‧관리하는 서비스를 확대하고 있다[26].

2. 국내 산업 및 기술 동향

2.1 국내 항공산업의 AI 기반 예지 정비 확산

국내 항공 및 방산 업계는 항공기의 가동률을 극대화하고 유지보수 비용을 절감하기 위해 인공지능 기반의 이상탐지 기술을 적극 도입하고 있다.

민간 항공 분야에서는 대한항공이 2023년 11월, 글로벌 항공 솔루션 기업인 Collins Aerospace와 자사 Boeing 787 기단(Fleet)에 예지‧상태 관리 솔루션 ‘Ascentia’를 장착하는 계약을 체결하였다. Ascentia는 비행 데이터와 정비 기록을 실시간으로 분석하여 잠재적인 정비 문제를 사전에 예측하고 시정 조치를 권고함으로써 항공기 가용성을 높이고 예기치 않은 비예정 정비를 최소화하는 데 기여한다[27].

방위 산업 분야에서는 국산 기체의 신뢰성을 높이기 위해 한국항공우주산업(KAI)과 코난테크놀로지가 협력하여 고정익‧회전익 항공기용 PHM 시스템을 개발하고 있다. 이 사업은 비행기록장치(FDR)와 항공기 실시간 안전진단시스템(HUMS)의 데이터를 융합한 고장진단용 통합 DB를 구축하고, 이를 기반으로 고정익 항전장비의 교체 주기를 최적화하는 AI 고장 진단 알고리즘을 개발하는 것을 목표로 한다[28].

2.2 항공 특화 솔루션의 국산화

기체 내부의 핵심 장비를 지능화하려는 시도도 활발하다. 2025년 4월, 스타넥스와 세미솔루션은 AI 기반 비행 정보 기록장치인 ‘AI-FDR’의 공동 개발 및 상용화 추진을 위한 MOU를 체결하였다. 기존의 단순 기록 기능을 넘어 비행 중 발생하는 이상 징후를 온보드에서 실시간으로 분석하고 탐지함으로써 운항 안전성을 획기적으로 향상시킬 수 있는 솔루션으로 주목받고 있다[29].