소방·경찰·해경 긴급신고 대응 인공지능 기술 개발 동향

긴급신고는 모든 대응 활동의 출발점으로서 초기 신고 단계에서 확보되는 정보의 정확성과 대응 속도는 인명 구조 및 피해 최소화에 결정적인 영향을 미친다. 이에 따라 긴급신고 업무의 신속성과 정확성을 향상시키기 위한 인공지능(AI) 기술의 도입이 확대되고 있으며, AI는 단순 자동응답을 넘어 신고 접수, 상황인지, 우선순위 판단, 출동 지원에 이르는 전 과정에서 접수 요원을 지원하는 핵심 기술로 발전하고 있다. 이러한 기술 발전에 따라 기존에는 상황실 접수자가 음성 신고를 직접 청취하고 수기로 핵심 정보를 정리한 뒤 대응 기관에 전달하는 방식이 일반적이었으나, 현재는 음성 신고 내용을 실시간으로 텍스트로 변환하고 자연어처리 기반 질의문 추천, 다채널로 분산 접수된 신고 정보의 연계 분석을 통해 사건의 위치‧유형‧긴급도를 종합적으로 판단하며, 중복 신고를 자동으로 병합‧정리함으로써 상황인지부터 출동 지령까지의 전 과정을 신속하고 정확하게 지원하는 방향으로 고도화되고 있다[1].

그러나 이러한 AI 기반 긴급신고 기술은 대부분 육상 중심의 신고 접수 환경을 대상으로 발전해 왔으며, 해상 긴급신고는 신고 채널과 통신 특성이 상이하여 별도의 기술적 접근이 요구된다. 주로 전화망을 통해 이루어지는 소방과 경찰의 육상 긴급신고와 달리, 해상에서의 긴급신고는 전화 이외에도 무선통신을 통한 긴급신호를 수신‧청취하는 방식으로 접수된다. 선박 무선통신(VHF, SSB), 디지털 선택호출(DSC), 위성 기반 통신 등 다양한 해상 통신 수단을 통해 신호가 분산 접수되므로, 단일 전화망으로 수렴되는 육상 체계와 달리 여러 경로의 신호를 통합하여 상황을 판단하는 처리가 별도로 요구된다.

이러한 배경에서 본고는 육상의 소방‧경찰과 해양경찰의 긴급신고 체계에 적용된 AI 기술의 현황과 발전 양상을 비교‧분석하고, 해상 긴급신고 환경의 특성을 포함한 AI 기반 긴급신고 접수‧대응체계의 발전 방향을 제시하고자 한다.

국내 육상과 해상에서의 긴급신고 업무에 인공지능 적용은 최근 몇 년간 단계적으로 확대되고 있다. 초기에는 음성 데이터의 자동 전사 및 빅데이터 분석을 통한 현황분석 수준에 머물렀으나, 최근에는 상황실 접수자의 의사결정 지원을 점진적으로 확대‧자동화된 형태로 적용되는 추세이다.

서울, 충남 그리고 대전 소방본부 등에서는 생성형 AI 기반 콜봇 및 지능형 신고 접수 플랫폼이 적용되었으며, 해당 시스템은 신고 음성의 실시간 분석을 통해 신고 상황의 긴급도를 자동으로 판단하고 신고 내용 요약 및 추가 질의 추천 기능 제공으로 접수 요원의 인지 부담 경감시킨다. 아울러 동시다발적으로 신고가 접수되는 상황에서 중복 신고, 비긴급신고를 자동 분류‧분산 처리하고 긴급신고를 먼저 표출하는 기능을 제공한다[2].

이러한 기술 실증을 기반으로 소방청은 ‘차세대 119 신고 시스템’ 구축 사업을 추진하고 있으며, 음성 신고뿐만 아니라 영상, 문자, 센서 데이터 등 다매체 기반 신고정보를 AI가 통합 분석하여 상황을 판단하고 출동 자원을 최적 배치하는 지능형 긴급 대응 플랫폼으로 발전시키는 것을 목표로 하고 있다[3].

경찰 분야에서도 인공지능을 활용한 112 긴급신고 대응 지능화 기술이 점차 확대되고 있다. 외국어 자동 통역, 다채널 신고 처리, 신고 이력 및 관계 정보 연계 기능을 포함하는 ‘차세대 AI 기반 112 신고 시스템’ 구축을 추진 중이다[4]. 해당 시스템은 신고 접수 직후 신고자의 인적 정보와 사건 관련 데이터를 통합적으로 조회하여, 과거 신고 기록, 피의자 및 피해자 이력, 관계 정보 등을 실시간으로 분석하고 이를 접수 요원에게 자동 제공하는 구조를 지향한다. 이를 통해 기존의 단순 음성 기반 신고 처리 방식에서 벗어나 사건의 맥락 정보를 초기 단계부터 반영하는 지능형 의사결정 지원형 긴급신고 플랫폼으로의 전환을 목표로 한다. 축적된 112 데이터를 체계적으로 활용할 수 있는 AI 기반 차세대 112 시스템은 카카오톡 등 모바일 메신저를 활용한 신고, 지역 특성‧날씨‧유동 인구 등과 외부 데이터와 연계한 종합적인 판단으로 이상 징후를 포착해 선제적으로 개입하는 능동적 플랫폼 개발을 목표로 한다[4].

해상 긴급신고는 선박 무선통신(VHF, SSB), 디지털 선택호출(DSC), 위성 기반 통신, 전화 신고 등 다양한 통신 채널을 통해 병렬적으로 접수된다. 이로 인해 서로 다른 형식의 음성‧신호‧항행 데이터가 여러 경로로 분산 수집되며, 이를 통합하여 상황을 정확하게 인지하고 판단하는 과정은 육상 긴급신고에 비해 더욱 복잡하다[5]. 또한, 단일 신고 정보만으로는 신고 대상이나 사고 위치를 정확하게 식별하기 어려운 경우가 빈번하여, 선행 연구에서는 AIS(선박 자동식별장치), 레이더, 전자해도(ECDIS) 등 항행 정보와 연계한 융합 분석의 필요성을 제시하고 있다[5]. 예를 들어, 신고자가 자신의 정확한 위치를 전달하지 못하거나 무전 교신 과정에서 해상 잡음으로 인해 일부 내용이 유실되는 경우에는 신고 정보만으로 사고 선박을 특정하기 어렵다. 그러나 동일 시간대와 인근 해역의 AIS 항적 정보, 레이더 정보 등을 함께 분석하면 신고 대상 선박을 보다 정확하게 식별할 수 있으며, 이를 통해 신속하고 정확한 구조 대응이 가능하다.

이처럼 육상과 해상의 긴급신고는 신고 경로의 구조와 통신환경에서 뚜렷한 차이를 보이며, 각 분야는 고유한 운용 여건에 맞추어 신고 접수‧처리 기술을 발전시켜 왔다. 국내 소방‧경찰은 음성 전화 중심의 신고를 영상‧문자 신고, 위치 정보 자동 수신 등으로 확장하여 신고 수단을 다변화하고, 해양경찰은 이미 여러 경로로 분산되어 들어오는 해상 통신 신호를 AIS‧레이더 등 흩어진 해상 정보를 통합해 상황인지의 정확성을 높이는 방향으로 기술을 발전시키고 있다.

해외에서는 911 긴급신고 체계에 AI를 적용하여 신고 접수와 상황 판단을 지원하는 연구와 실증 사례가 활발히 진행되고 있다. 대표적인 사례로 덴마크에서 개발된 Corti는 응급 신고 통화를 실시간으로 분석하여 병원 밖 심정지(OHCA: Out-of-Hospital Cardiac Arrest) 징후를 조기에 탐지하고, 음성 및 비언어적 신호를 기반으로 상담원이 적절한 질문과 심폐소생술(CPR) 안내를 수행할 수 있도록 의사결정을 지원한다. 이를 통해 심정지 인식 정확도를 향상시키고 초기 대응 시간을 단축하는 효과를 보였다[6]. 최근에는 긴급신고 체계의 운영 효율성을 높이기 위해 비긴급 신고를 자동 처리하는 AI 기술도 도입되고 있다. 미국의 Aurelian은 가상 상담원인 Ava를 통해 소음 민원, 주차 문의 등 비긴급 신고를 자동으로 접수‧분류하며, 긴급상황으로 판단되는 경우에는 상담원에게 즉시 연결한다. 이 과정에서 AI Copilot인 Cora는 발신자 정보, 위치정보, 사건 유형 및 통화 내용을 실시간으로 상담원에게 제공하고 표준 대응 절차(SOP: Standard Operating Procedure)에 따른 대응을 지원함으로써 상담원의 업무 부담을 줄이고 긴급상황 대응의 신속성과 일관성을 향상시키고 있다[7].

이와 함께 AI 기반 신고 지원 서비스의 고도화와 더불어, 긴급신고 인프라 자체를 차세대 디지털 환경으로 전환하기 위한 노력도 이루어지고 있다. 대표적인 사례가 미국의 차세대 긴급신고 체계인 NG911(Next Generation 911)이다. NG911은 기존의 음성 중심 신고체계를 넘어 문자, 이미지, 영상 및 각종 센서 데이터까지 통합적으로 처리할 수 있도록 설계되었다. 특히 IP 기반 네트워크인 ESInet(Emergency Services IP Network)을 통해 다양한 유형의 데이터를 실시간으로 전달하고, NGCS(Next Generation Core Services)를 이용하여 위치 기반 라우팅과 데이터 처리를 수행한다. 이를 통해 다양한 형태의 신고 정보를 통합적으로 수집‧연계할 수 있는 데이터 중심의 긴급신고 체계를 구축하였으며, 향후 AI 기반 상황 분석과 의사결정 지원을 위한 핵심 인프라로 활용될 것으로 평가된다[8].

이와 같은 AI 기반 긴급신고 기술의 발전은 육상 뿐만 아니라 해상 긴급신고 분야로도 확대되고 있다. 해상에서는 국제 표준인 GMDSS(Global Maritime Distress and Safety System, 세계 해상조난안전제도)를 기반으로 VHF, DSC(Digital Selective Calling), EPIRB (Emergency Position Indicating Radio Beacon) 등 다양한 무선통신 채널을 통해 조난신호가 수신되며, 이러한 다채널 데이터를 AI로 분석하여 상황인지와 초기 대응을 지원하기 위한 연구가 활발히 진행되고 있다.

대표적인 사례로 스웨덴 해사청(Swedish Maritime Administration)은 Heimdall 혁신 프로젝트를 통해 VHF 긴급채널에서 수신되는 조난 음성을 실시간으로 분석하는 AI 기반 자동 탐지 시스템을 개발‧실증하였다. 이 시스템은 음성 통신을 실시간으로 전사(STT)하고, ‘Mayday’, ‘SOS’, ‘Help’, ‘Sinking’ 등 조난 관련 핵심 키워드를 자동 탐지하여 상황 요원에게 즉시 경고를 제공함으로써 긴급 신고의 누락 가능성을 최소화하도록 설계되었다. 또한, 신호가 약하거나 해상 잡음이 존재하는 환경에서도 긴급 호출을 효과적으로 탐지하는 성능을 확인하였으며, 발트해와 북유럽 해역의 실제 해상 구조 관제 업무에 적용 가능성을 입증하였다[9,10].

이와 함께 해상 무선통신의 신뢰성과 구조 대응의 효율성을 향상시키기 위한 다양한 AI 기반 연구도 수행되고 있다. 미국에서는 해안경비대(US Coast Guard)를 중심으로 VHF 무선통신에서 발생하는 허위 조난신고(Hoax Distress Call)를 식별하기 위한 음성 포렌식(Voice Forensics) 기술이 연구되고 있다. 허위 조난신고는 구조 자원의 불필요한 투입과 실제 조난 상황에 대한 대응 지연을 초래할 수 있어, 발신자의 음성 특징, 주파수 특성 및 통신 장비의 신호 특성을 분석하여 발신자를 식별하고 동일 발신 여부를 판별하는 기술이 제안되었다. 이러한 음성 포렌식 기술은 VHF 통신 기록의 디지털화와 함께 허위 신고 탐지뿐만 아니라 수사 지원과 법적 증거 확보에도 활용 가능성이 높은 것으로 보고되고 있다[11].

한편, 독일에서는 해상 구조 활동을 지원하기 위한 AI 기반 무선통신 분석 기술이 활발히 연구되고 있다. 대표적인 사례인 ARTUS(Automated Transcription of Maritime VHF Radio Communication for Search and Rescue Mission Coordination) 프로젝트는 독일 해양구조협회(DGzRS)를 중심으로 수행된 연구로, VHF 무선통신의 음성 메시지를 실시간으로 자동 전사(STT)하고 방향탐지(Direction Finding) 기술을 이용하여 송신자의 위치를 추정하는 통합 구조지원 시스템을 개발하였다. 이 시스템은 조난 메시지를 자동 기록하고 발신 위치를 신속하게 추정함으로써 구조기관의 상황인지와 의사결정을 지원하며, AIS 정보가 없는 상황에서도 구조 대상 선박의 위치를 보다 정확하게 파악할 수 있도록 설계되었다. 또한, 소형 구조정이나 고소음 해상 환경에서도 무선통신 내용을 안정적으로 기록할 수 있어 구조 대응 시간을 단축하고 구조 활동의 효율성을 향상시키는 것으로 보고되었다[12].

최근 긴급신고 분야의 인공지능 기술은 음성 내용을 텍스트로 변환하는 음성인식(STT) 중심의 기술을 넘어, 음성 신호에 포함된 음향 특징(Acoustic Features)을 함께 분석하여 긴급상황을 조기에 인지하는 방향으로 발전하고 있다. 이를 통해 신고 내용 뿐만 아니라 신고자의 긴장도와 감정 상태, 주변 환경음, 비명‧충돌음 등 위험 징후를 종합적으로 분석함으로써 긴급상황의 유형과 심각도를 보다 신속하고 정확하게 판단할 수 있는 상황인지 기반 기술로 고도화되고 있다.

대표적으로 전화 신고 음성을 대상으로 에너지 변화, 발화 속도, 포먼트(Formant), 피치(Pitch) 변동 등 다양한 음향 특징을 분석하여 신고자의 패닉 상태, 호흡 곤란, 의식 저하 등을 추정하고, 이를 기반으로 긴급상황의 긴급도와 위험도를 조기에 판단하는 연구가 활발히 진행되고 있다[13]. 또한 음량, 발화 강도, 음성 떨림(Jitter), 중첩 발화 비율(Overlap Ratio) 등의 음향 특징을 활용하여 폭력 상황이나 위협적 발화를 자동으로 감지하고, 사건 유형 분류와 대응 우선순위 결정의 정확도를 향상시키는 방향으로 기술이 발전하고 있다[14].

전화 신고 외에도 무선 음성 통신 및 디지털 조난 신호 기반의 다양한 통신수단을 통한 긴급상황 수신 정보는 통신환경의 특성상 파도‧바람‧엔진 소음 등 열악한 해상 환경의 영향으로 인한 잡음과 신호 왜곡이 빈번하게 발생한다. 낮은 신호대잡음비(SNR), 전파의 반사‧굴절‧산란으로 인한 다중 경로 전달 과정에서 발생하는 신호 세기의 불규칙한 변동 현상(페이딩), 통신 시작 및 종료 시 발생하는 순간적 고강도 잡음, 그리고 협대역 음성 대역폭의 한계는 사람 음성의 일부 고주파 및 저주파 정보를 일부 손실시켜 음질 저하와 음성인식 성능 저하를 초래한다. 따라서, 해상의 무선통신 환경에서는 일반적인 육상 환경에서 학습된 음성인식 모델을 그대로 적용하는 데 한계가 있다. 이러한 문제를 해결하기 위해 해상 채널 특성을 반영한 음향 특징 기반 전처리 기법과 함께 조난 음성 패턴 분류 기술이 핵심 요소로 제안되고 있다[15].

1.1 음성 인식 모델 적용 방향

긴급신고 현장에서 음성 인식 기술은 신고자의 발화를 실시간으로 문자화하여 접수 요원의 시각적 가독성을 높이고, 기록 업무를 자동화로 대응 시간 단축을 기대할 수 있다. 이는 기존의 일반 대화 음성 인식과 달리, 고잡음 환경과 비정형 발화, 그리고 긴급상황 특유의 발화 패턴을 고려한 모델로 개발되고 있다. 최근에는 대규모 음향‧음성 데이터를 활용한 사전학습 모델 기반의 음성인식 기술이 발전함에 따라, 다양한 언어와 화자 특성은 물론 복잡한 잡음 환경에서도 높은 인식 성능과 강건성을 확보할 수 있게 되었다.

대표적인 대규모 사전학습 기반 음성인식 모델인 Whisper는 방대한 다국어 음성 데이터를 활용한 사전학습을 통해 높은 일반화 성능과 강건성을 확보하였으며, 긴급신고 환경에서 빈번하게 발생하는 비정형 발화와 고잡음 환경에서도 우수한 음성인식 성능을 제공한다. 또한 기존의 음향 모델과 언어모델을 분리하여 구성하던 방식과 달리 종단간(E2E: End-to-End) 구조를 적용함으로써 음성 신호로부터 직접 텍스트를 생성할 수 있으며, 장기 문맥(Long-Term Dependency)을 효과적으로 반영하여 불완전하거나 단편적인 발화에서도 의미를 안정적으로 추론할 수 있다.

이와 함께 음성 신호의 국소적인 음향 특징과 전역 문맥 정보를 동시에 학습할 수 있는 음성인식 모델도 주목받고 있다. 대표적인 예인 Conformer는 CNN(Convolutional Neural Network)을 이용한 국소 음향 특징 추출과 Transformer 기반의 전역 문맥 학습을 결합한 구조로, 음성 신호의 세부적인 음향 특성과 문맥 정보를 동시에 학습할 수 있도록 설계되었다. 이를 통해 잡음이 많은 환경이나 비정형 발화 조건에서도 높은 음성인식 정확도와 강건성을 확보할 수 있어 긴급신고와 같은 실환경 음성인식에 효과적으로 활용되고 있다[16].

1.2 음향 인식 적용을 통한 상황인식 고도화

음향 인식(SED: Sound Event Detection)은 음성 발화 이외 긴급신고 분야에서 추가로 위험 상황을 감지하기 위해 상황 특징별 음향 이벤트를 자동 분류함으로써 음성 중심의 긴급신고 체계에 대한 한계를 보완할 수 있다. 탐지 대상 음향은 음성 이외의 모든 소리가 분석 대상으로 긴급신고 상황에서 비명, 총성, 유리 파손음, 화재 폭발음 등은 신고자가 말하지 못하는 상황에서도 위급함을 알리는 결정적인 신호가 될 수 있다. 또한, 해상의 환경에서 선박 엔진 소음, 풍절음 및 파도음 등이 혼재하는 극저품질 음향 조건의 환경에서 신고자의 발화 내용 자체가 왜곡되거나 단절되는 현장 상황을 음향을 통해 상황 판단의 지표로 활용할 수 있다.

음향 인식(SED: Sound Event Detection)은 음성 신호로부터 추출한 음향 특징(Acoustic Features)을 기반으로 비언어적 음향 이벤트를 탐지하여 긴급상황을 조기에 인지하는 기술이다. 기존의 음성인식(STT)이 신고자의 발화를 텍스트로 변환하는 데 중점을 두었다면, SED는 에너지(Energy), 피치(Pitch), 스펙트럼 특성(Spectral Features), 엔트로피(Entropy) 등 다양한 음향 특징을 분석하여 비명, 총성, 유리 파손음, 폭발음과 같은 위험 음향 이벤트를 자동으로 탐지한다. 이를 통해 신고자가 정상적인 의사소통이 어려운 상황에서도 긴급상황을 신속하게 인지할 수 있으며, 음성 중심의 긴급신고 체계를 효과적으로 보완할 수 있다.

특히 해상 긴급신고 환경에서는 선박 엔진 소음, 파도, 바람 등 다양한 배경 소음이 동시에 존재하고 무선통신의 특성으로 인해 신고자의 발화가 왜곡되거나 일부 누락되는 경우가 빈번하다. 이러한 환경에서는 음성 내용뿐만 아니라 엔진 이상음, 충돌음, 경고음 등 주변 음향 이벤트를 함께 분석하는 것이 상황인지의 정확성을 향상시키는 중요한 요소가 된다.

그림 1은 참고문헌 [17]을 기반으로 음성인식 모델에 음향 특징 분석을 결합한 종단간 구조를 나타낸 것이다. 입력된 음성은 먼저 멜-스펙트로그램(Mel-Spectrogram)으로 변환되어 Whisper Encoder-Decoder를 통해 텍스트로 변환되며, 동시에 Acoustic Branch에서는 에너지, 피치, 엔트로피 등 다양한 음향 특징을 추출한다. 이후 텍스트 기반 특징과 음향 특징은 Fusion 모듈에서 통합되어 음성인식과 음향 이벤트 탐지에 함께 활용된다. 또한, 학습 과정에서는 음성인식 손실과 함께 음향 이벤트 탐지 기반의 보조 손실(Auxiliary Acoustic Loss)을 동시에 적용하는 멀티태스크 학습(Multi-Task Learning)을 통해 음성 전사뿐만 아니라 음향 이벤트 탐지 성능도 함께 최적화한다.

그림 1.

음향 특성을 고려한 모델 구조

이와 같은 구조는 음향 특징을 기반으로 경고음, 충돌음, 급격한 에너지 변화와 같은 비언어적 위험 이벤트를 효과적으로 탐지할 수 있으며, 음성인식 결과와 음향 이벤트 정보를 함께 활용함으로써 고잡음‧비정형 환경에서도 긴급상황인지의 신뢰성과 음성인식의 강건성을 동시에 향상시킬 수 있을 것으로 기대된다.

긴급신고에서 상황인지 및 대응지원 기술은 음성‧음향 결과와 신고 내용을 비롯하여 과거 유사 사건, 대응 이력 및 도메인 지식을 종합적으로 활용하여 사건 유형, 위험도, 발생 위치, 피해 대상, 진행 상황 등을 파악하고, 현재 상황을 해석하여 적절한 대응 절차와 의사결정을 지원하는 인공지능 기술이다. 신고자의 발화 내용을 분석하여 사건 유형 판단, 긴급도 또는 환자 중증도 예측을 통해 신고자와 현장 출동 대원에게 초기 대응에 필요한 가이드 정보를 정확하고 신속하게 제공하는 것이 목표로 한다.

자연어 이해(NLU: Natural Language Understanding) 기반 상황인지 기술은 단순한 키워드 매칭이나 사건 분류를 넘어, 신고자의 발화를 종합적으로 이해하고 과거 유사 사건, 대응 이력 및 도메인 지식을 함께 활용하여 현재 상황을 해석하고 적절한 대응 방안을 제시하는 기술로 발전하고 있다. 예를 들어, 신고 내용에 “호흡이 없다”와 같은 표현이 포함된 경우 단순히 특정 키워드를 탐지하는 것이 아니라 발화의 전체 맥락을 분석하여 심정지 가능성을 추론하고, 심폐소생술(CPR: Cardiopulmonary Resuscitation) 수행 절차를 실시간으로 안내하는 등 상황에 적합한 대응 매뉴얼을 자동으로 제시함으로써 초기 대응의 신속성과 정확성을 향상시킬 수 있다.

최근에는 대규모 언어모델(LLM: Large Language Model)의 발전에 따라 신고자의 발화를 이해하고 대응 전략을 생성하는 기술이 단일 모델 중심의 처리 방식에서 역할별 Agent가 협력하여 상황을 분석하고 대응을 지원하는 Agent 기반 의사결정 지원 구조로 발전하고 있다. 이러한 구조에서는 LLM이 접수 요원의 Co-pilot으로 동작하며, 신고 내용 분석, 위험도 추론, 대응 절차 추천, 관련 정보 검색 등 역할별 기능을 각 Agent가 분담하여 수행한다. 이를 통해 인간 중심의 의사결정 체계를 유지하면서도 AI의 분석 능력을 효과적으로 활용할 수 있으며, 실시간 상황 분석과 일관된 대응 절차 제공을 통해 의사결정의 신속성과 정확성을 향상시킬 수 있다. 또한, 기존 긴급신고 시스템과의 연계가 용이하여 별도의 시스템 전환 없이도 현장 업무에 적용할 수 있다는 장점을 가진다.

2.1 상황인지 및 대응지원 기술

에이전트형 의사결정 보조 기술로 발전하고 있는 상황인지 및 대응지원 기술은 판단 결과에 대한 추론 근거를 함께 제시하고, 업무 규칙과 대응 매뉴얼을 반영한 자동 보고서를 생성함으로써 접수 단계부터 상황 판단, 대응 절차 추천, 결과 보고까지 긴급신고 대응 전 과정을 지원하는 지능형 의사결정 지원 기술로 발전하고 있다[18].

그림 2는 긴급신고 상황인지 기술이 신고접수부터 상황 판단, 대응 추천, 보고서 생성에 이르기까지 어떠한 처리 흐름으로 구성되는지를 설명하는 선행연구[18]의 내용을 바탕으로 재해석하여 표현한 것이다. 시스템은 먼저 지식 구축(Knowledge Construction) 단계에서 실제 긴급신고 데이터를 기반으로 사건 유형, 신고자 특성 및 대응 지침을 체계적으로 구조화하여 지식베이스를 구축한다. 다음으로 상황 맥락 이해 기반 대응정보 생성 단계에서는 검색증강생성(RAG)과 단계적 추론(CoT: Chain-of-Thought)을 활용하여 경찰‧소방‧해경의 대응 매뉴얼과 관련 정보를 검색하고, 신고 상황의 맥락과 신고자 특성을 반영한 대응 정보를 생성한다. 이 과정에서는 단순히 최종 결과를 생성하는 것이 아니라 단계적인 추론 과정을 수행함으로써 상황 판단의 신뢰성과 설명 가능성을 향상시킨다. 마지막으로 검증 및 보정(Validation with Looped Correction) 단계에서는 생성된 결과의 정합성과 사실성을 반복적으로 검증하고, 오류가 발견될 경우 수정 또는 재생성을 수행하여 최종 결과의 정확성을 확보한다. 이와 같은 구조는 상황 이해, 단계적 추론, 결과 검증 및 의사결정을 통합한 Agent 기반 파이프라인으로, 신고자의 발화 의도를 해석하고 사건의 위험도를 추론하며, 대응 매뉴얼과 연계된 최적의 대응 방안을 제시하고 자동 보고서를 생성하는 일련의 의사결정 과정을 지원한다.

그림 2

LLM 기반 상황인지 및 대응지원 기술 동작 구조 예시

그림 3은 이러한 시스템의 전체 구조를 나타낸다. 시스템은 32개의 주요 응급 증상에 대한 전자의무기록(EHR), 6가지 신고자 유형 시나리오, 디스패처와 신고자 간 상호작용 사례, 그리고 6단계 긴급통화 절차를 구조화된 지식베이스로 구축하여 Agent가 도메인 지식에 기반한 추론과 판단을 수행하도록 설계되었다. 이를 기반으로 Caller Agent는 신고자의 역할을 수행하며 다양한 응급신고 상황을 생성하고, Dispatch Agent는 신고 내용을 분석하여 응급도를 판단하고 적절한 대응 방안을 결정한다. 마지막으로 Responder Agents는 구급대의 역할을 수행하여 출동 및 현장 대응 과정을 모사함으로써 전체 응급의료 대응 절차를 구현하고, 이를 통해 상황인지와 대응 지원이 가능함을 제시하였다[19].

그림 3

소방 구급 DispatchMAS의 구조

출처 Reprinted from X. Li et al., “DispatchMAS: Fusing Taxonomy and Artificial Intelligence Agents for Emergency Medical Services,” BMC Emerg. Med., vol. 26, no. 78, 2026.

참고문헌 [20]에서 제안된 Agent 기반 긴급상황 대응 의사결정 지원 기술과 참고문헌 [21]의 소방 응급의료서비스(EMS)를 위한 도메인 지식‧대규모 언어모델(LLM) 기반 멀티에이전트 상황인지 및 대응 시스템은 모두 Agent 간 협업과 단계적 추론을 통해 상황 이해, 위험도 판단 및 대응 전략 수립을 지원하는 공통적인 구조를 갖는다.

2.2 멀티모달·멀티소스 기반 상황인지로의 확장

기존 긴급신고 인공지능 기술은 신고자의 음성과 발화 내용을 중심으로 상황을 인식하고 대응 방안을 도출하는 데 초점을 두어 발전해 왔다. 그러나 실제 긴급상황에서는 음성 정보만으로 사건의 전체 맥락을 정확하게 파악하기 어려운 경우가 많다. 신고자의 진술이 불완전하거나 주변 소음으로 인해 음성인식 성능이 저하될 수 있으며, 긴급한 상황에서는 위치, 영상, 센서 정보 등 다양한 정보가 동시에 발생한다. 따라서 최근에는 음성 기반 상황인지에서 나아가 다양한 형태의 데이터를 통합적으로 활용하는 멀티모달(Multimodal)‧멀티소스(Multisource) 기반 상황인지 기술로 연구가 확대되고 있다.

멀티모달‧멀티소스 기반 상황인지는 음성, 문자, 영상, 위치정보뿐만 아니라 CCTV, 드론, 차량 단말기, IoT 센서, 무선교신, 디지털 조난신호 등 다양한 데이터 소스로부터 수집된 정보를 상호 연계하여 상황을 종합적으로 이해하는 기술이다. 이를 통해 개별 데이터만으로는 파악하기 어려운 사건의 발생 위치, 진행 상황, 위험도 및 주변 환경을 보다 정확하게 추론할 수 있으며, 상황 판단의 신뢰성과 대응 의사결정의 정확도를 향상시킬 수 있다.

대표적인 사례로, 미국에서 개발된 차세대 911(NG911) 기반 공공안전 플랫폼인 RapidSOS는 스마트폰, 차량, 웨어러블 기기 및 IoT 센서 등 다양한 데이터 소스로부터 실시간 위치정보와 상황 정보를 수집‧통합하여 긴급상황 대응을 지원하는 시스템이다. 이는 기존의 음성 중심 신고 체계를 다양한 데이터를 융합하는 멀티소스 기반 상황인지 체계로 확장한 대표적인 사례로 평가된다. 현재 미국 전역의 다수 긴급통신센터(PSAP: Public Safety Answering Point)에서 활용되고 있으며, iOS와 Android 운영체제는 물론 차량 충돌 감지 시스템, 차량 텔레매틱스, 차량 호출 서비스(Uber 등)와 연계되어 사고 발생 시 신고자의 별도 신고 없이도 위치정보와 사고 관련 정보가 상황실로 자동 전송된다[22].

이와 같이 음성 신고뿐만 아니라 CCTV 및 드론 영상과 같은 다양한 멀티모달 데이터로부터 추가적인 상황 정보를 획득하면 텍스트 기반 신고정보와 결합함으로써 상황의 신뢰성과 정확도 향상이 가능하다. 또한, 위치 및 센서 데이터 결합으로 GPS 정보, IoT 센서, 차량 데이터 등은 신고 내용의 정확성을 보완하며, 위치 기반 상황 판단 및 출동 최적화에 활용될 수 있다.

그림 4는 기존 단일 모델의 멀티모달 정보 처리 한계와 이를 개선하기 위한 멀티에이전트 기반 상황인지 구조를 나타낸다. 기존 단일 모델에서 발생하는 멀티모달 정보 간 충돌과 추론의 불일치 문제를 해결하기 위해, 텍스트‧영상‧음성 Agent가 각각의 정보를 독립적으로 분석한 후 상호 간 추론 결과를 반복적으로 교환하고 검증하는 협업 기반 추론 구조를 적용한다. 이를 통해 개별 모델로는 파악하기 어려운 상황 맥락을 통합적으로 이해할 수 있는 것이 특징이다[23]. 향후 긴급신고 분야에서는 다양한 멀티모달‧멀티소스 정보를 실시간으로 융합하여 상황을 종합적으로 이해하고, 위험도를 예측하며, 최적의 대응 전략을 자동으로 제시하는 Agent 기반 상황인지 기술로 발전할 것으로 예상된다.

그림 4

단일에이전트의 멀티모달·멀티소스 멀티 에이전트 프레임워크로 진화

출처 Reprinted from A.D. Alghamdi, “MultiAgent-CoT: A multi-agent chain-of-thought reasoning model for robust multimodal dialogue understanding,” Comput. Mater. Contin., vol. 86, no. 2, 2026.

다만, 이러한 에이전트 기반 구조를 초실시간성이 요구되는 긴급상황실에 실제 적용하기 위해서는, 추론 과정에서 발생하는 응답 지연(Latency)을 최소화하고 공공안전 매뉴얼에 위배되는 환각(Hallucination) 현상을 방지하기 위한 강력한 가드레일(Guardrails) 기술에 대한 연구가 병행되어야 할 것이다.