재난환경 멀티모달 센싱 플랫폼 기술 동향

벽 관통 레이더(TTWR: Through-The-Wall Radar)는 구조 상황에서 매우 유용한 도구로, 특히 연기, 벽, 붕괴된 잔해 등으로 인해 가시성이 제한된 경우 구조 효율성을 크게 향상시킬 수 있다. 이를 위해 TTWR의 핵심 요소 중 하나인 SoC(System on Chip)를 설계하였다[10]. 이 시스템은 인명 센싱 문제를 해결하고 저전력으로 설계하였다. TTWR SoC는 클럭 기반으로 설계하였으며, SoC는 130nm CMOS 공정기술을 이용하여 제작 및 검증하였다. 클럭 신호는 레이더의 작동을 구동하며, 일관성과 재구성이 가능하다. 클럭 기반의 일관된 반복 방식을 사용하여 신호 대 잡음비(SNR: Signal-to-Noise Ratio)가 좋은 장점을 가진다. 130nm CMOS 기술을 사용하여 소형화된 형태로 구현되어 휴대성이 좋으며 대상 정보의 실시간 표시가 가능하다. 제작된 칩은 다양한 유사 재해 조건에서 테스트하였으며 시스템의 신뢰성과 효율성을 검증하였다. 또한 시스템과 함께 개발된 테스트 표준 및 방법도 제시되어, 다양한 상황에서 일관된 성능을 검증하였다. 그림 1은 임펄스 무선 레이더 SoC 칩 사진이다[10]. 칩의 주요 구성은 송신부, 아날로그프론트엔드, 샘플러, 제어부, 클럭생성기로 되어있다.

그림 1

임펄스 무선 레이더 SoC 칩 사진

출처 Reprinted from P. Park et al., “An impulse radio (IR) radar SoC for through the-wall human-detection applications,” ETRI J. vol. 42, no. 4, 2020. (KOGL) Type 4: Source Indication + Commercial Use Prohibition + Change.

다양한 형태의 정보 소스를 활용하는 것은 응용 인공지능(AI)의 광범위한 영역에서 자원과 기술을 개발하기 위한 연구자와 실무자의 관심을 가진다. 자연재해가 발생하면 사람들은 멀티미디어 정보를 텍스트와 이미지 형태로 소셜 미디어를 통해 소통한다. 이러한 중요한 상황에서는 위기와 관련된 중요한 지식을 더 잘 포착하기 위해 모든 형태의 정보 소스를 사용하는 것이 필수적이다. 텍스트와 이미지 형태의 다중모드 정보 소스를 활용하여 자연재해 발생 시 유용한 정보를 전파할 수 있는 효과적인 딥러닝 모델을 제안한다[11]. 제안한 모델은 중요하고 잠재적으로 실행 가능한 7가지 범주로 분류하였으며, 벤치마크 데이터 세트에 대한 실험을 통해서 검증하였다. 텍스트 및 이미지의 정보를 사용하여 매크로 F1 점수 0.51을 얻었으며, 이는 분류에 텍스트 또는 이미지만 사용하는 기본 모델에 비해 크게 향상된 것이다. 이 현상의 원인을 탐구하는 철저한 분석으로 결과를 보완하여 다양한 양식을 활용하는 유용성을 더욱 입증하였다. 텍스트와 이미지를 사용하여 이미지를 재난 영역에 대한 중요한 클래스로 분류하는 데 도움이 되는 세심한 딥러닝 모델을 개발하는 데 사용하였다. 주요 결과는 해당 이미지를 분류하면서 텍스트 특징을 사용하면 분류 성능이 향상하였으며, 또한 다중모드 기능을 융합하는 다양한 방법을 탐색하고 주의 메커니즘을 통한 융합이 재난 영역의 이미지 분류에 가장 적합하다. 텍스트에 대한 인공지능 알고리즘은 BiLSTM 기반에 CNN을 이용하여 학습하였으며, 이미지는 VGG16을 이용하여 처리하였다.

플랫폼은 모든 종류의 데이터를 수집하는 데 점점 더 많이 사용되고 있으며, 자연재해 발생 시 플랫폼에 텍스트 및 이미지 데이터를 게시하여 인프라 피해, 부상자, 주의 및 경고에 대한 정보를 보고할 수 있다. 실시간으로 효과적으로 처리하고 분석하면 도시 조직이 피해 입은 시민들의 상황을 인식하고 적시에 적용 가능하다. 딥러닝 기술의 발전으로 최근 연구에서는 위기 관련 트윗 분류 성능이 크게 향상되었다. 그러나 딥러닝 모델은 인간이 인지할 수 없지만 모델의 오분류로 이어질 수 있는 적대적 사례에 취약하다. 다중모드 데이터를 처리하고 딥러닝 모델의 견고성을 향상시키기 위해 다중 모드 적대 학습 방법을 제안하였으며[12], 평가 결과는 트윗 분류의 견고성을 향상시키는 데 있어 제안된 모델의 장점을 명확하게 보여준다. 다중모드 신경망은 두 가지 유형의 데이터로부터 특징을 학습하였으며, Visual Convolutional Neural Network(Visual-CNN)는 이미지 입력 처리를 위한 것이고, Text Convolutional Neural Network(Text-CNN)는 텍스트 입력 처리를 한다.

현대 보안 상황에서 까다로운 도시 환경 내에서 여러 사람 개체를 실시간으로 추적하는 것은 상황 인식을 강화하고 대응 시간을 최소화하며 전반적인 운영 효율성을 높이는 데 중요한 기능이다. 여러 개체를 추적하면 정보에 입각한 의사결정, 위험 완화, 민군 작전 보호를 통해 안전과 임무 성공을 보장할 수 있다. 까다로운 환경에서 실시간으로 사람 개체를 감지, 인식, 분류 및 추적하기 위한 다중모드 전기광학/적외선 및 무선 주파수 융합 감지 플랫폼을 제시한다. 다양한 센서를 보완적인 방식으로 활용함으로써 감지 시스템의 견고성이 향상되어 다양한 상황에서 안정적인 감지 및 인식 결과를 얻을 수 있다. 특별히 설계된 레이더 태그와 열 태그를 사용하여 우호적인 물체와 비우호적인 물체를 구별할 수 있다. 이 시스템에는 딥러닝 기반의 이미지 융합과 HORT(Human Object Recognition and Tracking) 알고리즘이 통합되어 정확한 상황 평가를 보장한다. 전지형 로봇에 통합한 후 다양한 환경에서 HORT의 일관성을 확인하기 위해 여러 지상 테스트를 수행했다. MEIRFS 센서 시스템은 자율 지상 및 항공기에 설치하기 위한 크기, 무게, 전력 및 비용에 대한 요구 사항을 충족하도록 설계되었다[13]. 그림 2는 사람 개체 감지, 인식 및 추적을 위해 설계된 MEIRFS 센서 시스템의 전체 구조를 보여준다. 엣지 플랫폼에는 사람 개체를 감지하고 지속적으로 추적하는 데 필요한 모든 센서가 장착되어 있다. 이러한 센서에는 범위 레이더, 전기광학/IR 카메라, 레이저 거리 측정기, 차동 기압계 및 팬/틸트 플랫폼이 포함된다. 또한, 알려진 친숙한 물체에는 IR 방출기와 RF 트랜스폰더가 장착되어 있어 감지된 모든 사람 개체 중에서 MEIRFS 시스템이 쉽게 인식할 수 있다. 이상적으로는 추가 태그나 마커 없이 친숙한 사람 개체를 정확하게 감지하고 식별할 수 있는 솔루션을 갖는 것이 바람직하다. 그러나 실제 시나리오에서는 모든 상황에서 효과적으로 작동할 수 있는 방안은 어렵다.

그림 2

멀티모달 전기광학/IR 및 RF 기반 센서 시스템

출처 Reprinted from Peng Cheng et al., “A Deep Learning-Enhanced Multi-Modal Sensing Platform for Robust Human Object Detection and Tracking in Challenging Environments,” Electronics, vol. 12, 3423, 2023. CC BY.

가시광선 이미징은 조명이 밝은 환경에서 알 수 없는 친구와 적 개체를 구별하는 데 사용할 수 있는 귀중한 색상과 특징 패턴을 제공할 수 있다. 그러나 이 접근 방식은 조명이 약하거나 어두운 환경에서는 문제가 있다. 따라서 우호적인 사람 개체를 신속하고 정확하게 식별하기 위한 추가적인 조치가 필요하다.

인공지능의 발달로 이상 상황을 평가하는 데 많은 연구가 집중되어 왔다. 업계에서는 전통적으로 일부 감시 및 보안 작업을 자동화하려고 시도함에 따라 다양한 센서를 사용하여 인간에 의해 수행된다. 특히, 멀티모달 센서를 이용한 이동로봇은 조종용으로 활용되고 있다. 보안로봇이 다양한 야외 상황에 대처할 수 있도록 돕는 작업이다. 멀티에이전트 시스템과 모바일 시스템을 결합하여 더 효율적인 커버리지를 제공할 수 있다. 그러나 데이터 처리 및 통신 증가로 인해 네트워크 병목 현상이 발생한다. 다양한 분야에서 객체 인식 및 이상 상황 판단의 최근 동향을 살펴보았다. 실외보안로봇 환경을 변화시키고, 이를 운용하는 실외보안로봇 플랫폼에 대해 설명한다.

다중모드 센서가 장착된 다중 에이전트로 사용된다. 멀티모달 센싱은 7가지 센서를 사용하여 데이터 획득 가능하도록 제작되었다[14]. 그림 3은 멀티모달 센서 모듈의 구성도를 나타낸 것이다.

그림 3

멀티모달 센서 모듈 구성도

출처 장지호 외, “멀티모달 센서 기반 실외 경비로봇 기술 개발 현황,” 전자통신동향분석, 제37권 제1호, 2022년. 공공누리 4유형.

그림 4는 재난환경에서 멀티모달 센서 기반의 모니터링 개념도를 나타낸다. 재난 상황이 발생하면 다양한 센서(영상, 음성, 레이더, 열, 진동)가 활성화되어, 미리 학습된 인공지능 알고리즘에 의해 위험 상황을 인식한다. 이 시스템은 지휘관제소 및 소방서와 자동으로 연계되어 재난 위험 상황을 실시간으로 모니터링한다[15].

그림 4

재난환경 멀티모달 센서 기반 재난 위험 감지 및 모니터링 개념도

출처 게티이미지뱅크, 무단 전재 및 재배포 금지

이러한 멀티모달 센서 기반의 모니터링 시스템은 다음과 같은 절차로 작동한다. 재난 발생 시 다양한 센서가 데이터를 수집한다. 카메라를 통해 실시간 영상을 촬영한다. 마이크를 통해 주위 소리를 녹음한다. 물체의 거리와 속도를 측정하며, 사람의 유무를 감지한다. 온도 변화를 감지하며, 구조물의 진동을 감지한다. 또한, 수집된 데이터는 미리 학습된 인공지능 알고리즘에 의해 분석하며, 알고리즘은 위험 상황을 인식하고 그 심각성을 평가한다. 위험 상황 인식이 되면 인공지능 알고리즘이 재난 위험 상황을 인식하면 즉시 대응 절차가 시작되고, 또한 위험 상황이 확인되면 지휘관제소와 소방서로 자동연계되어 실시간으로 정보를 전달하여 자동연계를 한다. 지휘관제소와 소방서는 전달받은 정보를 바탕으로 재난 상황을 모니터링하며, 필요한 조치를 신속하게 한다. 이 시스템은 다양한 센서와 인공지능 기술을 활용하여 재난 상황을 신속하게 인식하고 대응할 수 있도록 하여, 인명 피해를 최소화하고 효율적인 재난 관리를 가능하게 한다.

그림 5의 Yolo v5는 yolo모델을 이용하여 기존의 R-CNN모델들을 기반으로 개선하였으며, 이를 통해서 이미지를 분석 통하여, 통합된 모델을 사용한다. 이러한 특징으로 실시간 객체탐지가 가능한 장점을 가지고 있다. 따라서 재해환경에서 실시간으로 객체를 탐색하여 인명 구조에 적합하다. Yolo v5를 이용하여 학습된 결과 및 라벨링 된 클래스 분포와 이미지의 특징을 나타내고 있다. 원본과 예측 간의 오차를 나타내고 있다.

그림 5

Yolo v5 기반의 학습결과 지표

그림 6은 화재영상을 데이터 셋 학습에 사용하여 검출한 결과를 나타내어 주고 있다. 그림 7은 레이더 기반의 인명탐지 실시간 플랫폼으로 IR-UWB SoC 칩과 실시간 레이더 제어 및 신호처리 보드가 내장되어 있다. 레이더 안테나 모듈, 레이더 모듈, UI디스플레이로 구성되어 있다. 그림 8은 안전로봇 실증센터 실내 시험장이다. 인명탐지 레이더 센서 시험 플랫폼을 통해서 벽돌 반대편의 사람에 대해서 존재 여부를 알아내는 데 플랫폼을 이용하여 데이터를 수집하고 재난환경에서 비가시 영역에서 실시간으로 인명을 탐지하는 데 사용된다. 또한, 농연 환경에서 테스트를 수행하였으며 레이더 수신 가능한 거리를 알아내기 위해서 거리별로 탐지성능을 테스트하였다[16].

그림 6

재난환경에서 Fire 검출 시뮬레이션 결과

그림 7

인명탐지 실시간 플랫폼

출처 박필재 외, “실내 요구조자 유무 판단을 위한 융합형 재실자 감지 장치 개발,” 연차보고서, 2022. 11.

그림 8

안전로봇실증센터 실내시험장

출처 박필재 외, “실내 요구조자 유무 판단을 위한 융합형 재실자 감지 장치 개발,” 연차보고서, 2022. 11.

재난환경에서 메인 데이터인 영상, 레이더, 음성을 입력으로 받아, 인공 신경망을 통해 이들의 가중치를 예측하고자 한다. 가중치를 인공지능을 이용해서 동적으로 결정하는 방법은 여러 가지가 있으나, 여기서는 Tensorflow 기반의 인공 신경망을 사용하여 데이터의 특징을 학습하고, 이를 기반으로 가중치를 예측하는 방법을 시뮬레이션하였다. 그림 9는 각 데이터 유형(영상, 레이더, 음성)의 특징을 입력으로 받아, 인공 신경망을 통해 이들의 가중치를 예측하는 예제이다. 예측된 가중치는 영상데이터에서 0.514가 가장 좋은 결과를 나타내었다.

그림 9

Tensorflow 기반의 멀티모달 센싱 데이터 가중치 학습 시뮬레이션 예시

출처 박필재 외, “실내 요구조자 유무 판단을 위한 융합형 재실자 감지 장치 개발,” 연차보고서, 2022. 11.