지능형 CCTV 기반 동적 범죄예측 기술 동향

1. 해외 범죄예측 동향

가. PredPol(Predictive Policing)

미국 UCLA 인류학 교수 브랜팅엄과 산타클라라 대학 교수 몰러가 지진, 여진 예측 알고리즘 ETAS(Epidemic-Type Aftershock Sequence) 모델을 수년치 범죄 빅데이터 분석에 이용하여 범죄예측 기술을 개발하였다. 지진과 범죄의 발생 유형이 유사한 것을 발견했으며, 특히 최근에 발생한 범죄와 지리적으로 가까운 곳에서 유사 범죄가 발생하는데 이를 큰 지진 뒤에 인근에서 잇따라 발생하는 여진 현상과 연결하였다. PredPol은 새로운 범죄가 일어날 때마다 예측 모델에 정보를 입력하여 최근에 발생한 범죄 정보기반 예측 기능을 수행하며, 핫스팟의 범위는 약 2.25km²(150m×150m) 규모이다. 과거 범죄가 일어난 지역을 6개월 단위로 재학습하고 예측 모델을 업데이트하여 새로운 범죄 패턴 등을 수용해 높은 확률의 범죄 발생 예상 지역에 순찰을 강화하는 온라인 범죄예방 시스템이다[1].

나. HunchLab

필라델피아에 본사를 둔 벤처회사 ‘Azavea’에서 개발한 범죄예측시스템이며, 범죄조직 구성원, 마약 거래 내역 등의 데이터뿐만 아니라 지역 내 사업장 위치, 날씨 정보, 경제 정보 등의 공공 정보 및 총격음 등의 다양한 정보를 수집하여 분석해 범죄 발생 확률이 높은 지역으로 순찰차를 보내는 역할을 한다. 시카고 7구역 관할에 도입되어 같은 기간 내 전체 시카고 시의 살인사건은 3% 증가하는 추세였음에도 불구하고 2017년 기준 총이 사용된 사건은 39%, 살인 사건은 33% 감소하였다. 단 일반적인 폭력, 총기 사건을 통계적으로 분석하여 예방 가능하나 가정 폭력과 같은 다른 강력 범죄의 예측 기술이 필요하다[1].

다. NDAS(National Data Analytics Solution)

영국에는 잠재적인 범죄자 혹은 관련 피해자가 될 가능성 높은 사람을 예측하는 예측 식별(Predictive Identification) 시스템을 개발하고 있다. 개인의 범죄 기록, 소셜 네트워크 데이터 및 개인 정보 1,400종 등의 지표를 기반으로 사회에 끼치는 영향력을 점수화하는 Gang Matrix 알고리즘을 개발하여 범죄를 예측하는 프로젝트를 수행했다. 단, 예측 식별 모델이 예상하는 개인이 젊은 흑인에 우선하고 있어 미들랜드 경찰이 주축이 되어 Concern Hub라는 편향된 데이터 분석을 극복하는 국가 분석 시스템을 개발 중이다[9].

라. NPA(National Police Agency)

일본 히타치에서 CCTV, 날씨 정보, 총소리, 교통 상황 및 소셜 미디어 등 데이터를 수집하고 폭행, 살인 등의 범죄 상황마다 발생 가능성을 확률적 수치로 표기한 PCA(visualization Predictive Crime Analytics)를 개발하였다. 도쿄 경찰청은 2020년 도쿄 올림픽에서 효과적인 테러 방지를 위한 딥러닝 기반 예측 치안을 도입할 계획이다. 한 명의 가해자가 여러 범죄를 저지르고 있는지 발견된 범죄자의 다음 행동을 예측하는 것을 목표로 하고 있다.

CCTV에서 의심스러운 자동차의 유형, 특정 지역에서 자주 관찰되는 개인 및 일정시간 이상 방치된 물건을 인식하는 기술 등이 기반이 되어 활용될 예정이다[10].

마. 톈왕(天網, 하늘을 덮는 그물)

중국 공안부 주도로 인공위성의 GPS와 CCTV를 활용한 범죄자 감시 시스템을 구축하였다. 사생활 침해 등의 규정이 상대적으로 높은 미국과 한국 등 주요국이 주춤하는 사이 중국은 안면인식 기술력을 위한 학습데이터를 적극적으로 수집하고 적용 영역을 확대하였다. 그 결과 2,000만 대 이상의 CCTV 카메라가 범죄 용의자 추적과 재탐색에 활용되어 약 2,000명 이상의 범죄자를 체포하였다[11].

2. 국내 범죄예측 동향

가. CLUE(Crime Layout Understanding Engine, 클루)

한국 경찰청이 빅데이터와 AI 기술을 이용한 범죄분석 및 예측시스템을 개발 중이며, 형사사법포털(KICS)에 입력된 범죄사건 시간, 사고지역, 범죄자와 피해자 특성, 범행 도구, 범행 패턴 및 목적 등 100여 종에 이르는 범례를 수사에 필요한 빅데이터로 구축하고 해당 사건 시간대 날씨, 사건 장소 주변 인구 구성, 주변 상가의과 주택의 유형, 공시지가 등의 공공 데이터까지 추출하여 분석에 활용할 예정이다.

클루가 완성되면 범죄사건 발생 시 과거에 양상이 비슷했던 사건을 신속히 검색해 범위를 좁히고, 수사 효율성을 높여 검거하는 데 걸리는 시간의 단축을 기대하며, 발생한 절도나 강도사건의 지역과 시간, 특성 등의 정보를 클루에 입력하고 과거사건 정보를 토대로 일치도가 높은 사건을 제시하고 용의자 출현 예상 지역 범위도 표출 가능하다[8].

나. 범죄징후 사전예측(U-Guard)

국내 성범죄자 등 전자발찌 착용자를 대상으로 사후 대응 위주의 위치추적시스템(U-Guard)을 사전 대응으로 전환하는 것이 목적이며, 전자감독대상자의 상태와 이상 징후를 파악하기 위해 일상생활에서 추출되는 요소와 재범 가능성을 높이는 행동과의 연관성을 분석해 재범징후 위험도를 제시하고 있다. 특히 법무부는 전자감독대상자의 심리적 상태 등을 포함하여 더욱 면밀히 파악하여 다양한 방법으로 재범억제 기능을 강화할 예정이다.

또한, 법무부와 국토교통부는 시민의 안전을 위한 업무협약을 체결하고, 지자체에서 CCTV를 설치하여 운영하는 스마트시티 센터와 법무부 위치추적센터 간 전자감독 대상자가 접근금지, 출입금지 및 외출금지 등을 위반하여 시민의 안전이 위협받는 경우 CCTV 영상 관제를 활용해 대상자에게는 신속한 치안대응과 잠재적인 피해자에게는 신속한 구조를 통해 범죄예방효과를 기대하고 있다(그림 1)[12].

그림 1

스마트시티센터-위치추적센터 연계 서비스 출처 국토교통부 보도자료 2019. 04. [12]

1. 최근 휴먼 인식 기술 동향

가. 얼굴 인식

사생활 및 개인 정보 보호 문제[13] 등이 있지만 범죄자 식별, 전자주민증 등 공공 부문에서는 사회안전 및 행정의 효율성 개선 등의 목적으로 얼굴 인식(Face Recognition) 기술의 활용도가 기대되는 것으로 조사되었다[11].

이스라엘 업체인 Cortica는 AI 스타트업 중에 가장 많은 특허를 보유한 업체이며, 기존 신경망이 아닌 자사만의 “autonomous AI”를 개발하여 범죄자 예측 기술 개발에 활용하였다. 사용된 “autonomous AI”는 기존 신경망이 아닌 자체 개발한 “확률과 컴퓨팅 모델”로, 이 모델은 쥐의 뇌 연구를 통해 발견한 Clique라 불리는 특정 그룹의 뉴런에서 아이디어를 얻었으며, 이 뉴런을 통해 실제 뇌처럼 동작할 수 있는 서명 파일과 수학 모델을 생성하였다. 기존의 AI는 근본적으로 블랙박스 형태이므로 학습에 오류가 있는 경우 대부분 처음부터 다시 학습을 시켜야 할 수 있는데, 이 모델은 인공지능이 투명한 학습 과정을 거쳐 AI가 실수하더라도 서명 파일을 통해 오류를 추적하고 해당 부분만 수정할 수 있다[14].

국내에서는 계층적인 local appearance feature pair relation을 사용해서 얼굴 인식 딥러닝(DL: Deep Learning) 이전에 사용하던 방법론을 DL과 결합하였으며, DR-GAN 이후 Generative Model로 얼굴 인식 성능이 향상하는 연구가 진행되고 있다[15].

나. 사람 재식별

CCTV를 활용한 범인 검거가 가능한 상황이지만, 범죄현장 주변의 열악한 이미지가 포함된 영상을 일일이 보고 용의자를 추적하기에 시간이 많이 걸린다. 따라서 카메라 영상으로부터 사람을 자동으로 검출하여 특정 사람과 확률적으로 동일인이라고 볼 수 있는 사람을 자동으로 인식하는 기술이 범죄예측 혹은 해결에 중요한 유수로 보각되고 있다[16].

최근 사람 재식별(Person Re-identification) 기술은 얼굴 인식에서 성능이 입증된 Hypersphere embedding과 angular margin loss를 적용하여 Market 1501에서 98.1%, DukeMTMC-reID에서 94.4%로 기존의 글로벌 최고 기술 수준을 모두 갱신하여 중요한 요인 분석 기술로 기대된다[17].

2. 최근 차량 인식 기술 동향

가. 번호판 인식/복원

CCTV를 이용한 차량인식기술은 차량 번호판 인식기술 중심으로 상용화가 이루어지고 있으며, 주차장 자동출입을 위한 차량번호판 인식제품, 체납차량 번호인식시스템 제품 등에 주로 활용되고 있다. 넓은 현장의 관제 목적의 CCTV에서는 차량 번호판을 검출하여 인식하기에는 열악한 환경으로 인식된다[18]. 하지만 범죄 현장에서 차량 등장, 배회 및 잠복 등의 유무는 강력 범죄일 가능성이 있어 객체를 특정할 필요가 있다. 얼굴과 마찬가지로 Super-resolution 등의 기술을 이용하면 열악한 환경에서 획득된 번호판의 복원이 가능하다(그림 2).

그림 2

CCTV를 이용한 번호판 복원 기술

나. 차량 재식별

차량 재식별은 다중의 CCTV 영상에서 차량을 탐지하는 기술과 탐지된 차량을 분류하여 확률상 동일한 차종을 인식하는 재식별 기술의 두 가지를 연동하여 특정 차량을 추적하는 시스템 기술이다. 차량의 경우 번호판을 비롯하여 제조사/모델/색상은 오랜 시간 동안 쉽게 변할 수 없는 타고난 속성이므로 용의자 추적에 중요한 단서로 인식된다. 따라서 CCTV에서 등장하는 차량을 검출하여 모델을 분류하는 기술이 필요하며, 분류된 결과를 활용하여 다중 CCTV 다수의 차량 흐름에서 해당 모델이 등장하는 시점을 인식하여 용의자 추적의 시간을 단축할 필요가 있다.

매년 개최되는 NVIDIA AI City Challenge에서는 미국 교통 및 공공 안전 부서와의 자문을 통해 속도 추정, 이상 탐지, 차량 재식별 세 가지 기술의 성능 현황을 볼 수 있다. 특히, 트랙 2에서의 차량 재식별 기술은 3km² 영역 넓이에 10개의 교차로 장소에서 촬영된 3.25시간 길이의 40개 동영상에 대하여 영상에 존재하는 666개의 차량을 식별하는 목표로 경연이 열렸다. 경연 결과는 mean Average Precision(mAP)를 기준으로 333개 차량이 평균 4.55의 다중 카메라에서 84.5번을 등장하는 환경에서 1,052번의 차량 Re-ID 요청에서 expensiveGPUs 팀이 mAP 0.8607로 1위로 랭크되었다[19].

1. 범죄예측에 사용되는 CCTV 기반 영상 인식 기술

가. 휴먼 속성

휴먼 속성 기술은 영상 인식을 통한 Born-To 속성: 성별(CCTV 영상에서 추출된 사람의 body shape 이용), 나이(위험예측분석을 위한 4개 클래스: child, teenager, adult, old로 분류)와 Belong-To 속성: 착용 속성(모자, 선글라스, 마스크 등), 휴대 속성(백팩, 흉기, 둔기 등)을 인식하여 범죄 유발요인 추출에 활용할 수 있다.

나. 범죄 전조 현상

범죄 과정에서 전조 현상으로는 이상행동이 포함된 연속된 움직임과 사람에 의해 발생되는 소리를 고려할 수 있다. 공개된 이상행동 영상 DB로는 UCF-Crime 1,900건, ShanghaiTech 437건, UCSD-Peds 98건 및 Avenue 36건 등이 있으며, 사람의 의해 발생되는 소리로는 공포에 따른 비명과 폭력에 의해 사람의 몸에서 나는 소리 및 개인별 상황에 따라 달라지는 발자국 소리 등이며, audio surveillance 관련 공개 데이터는 walking만 포함하고 있고, sound classification이 포함된 데이터 셋으로 YouTube AudioSet이 있으나[20], surveillance 환경이 아니라 내레이션, 대화, 배경 소음 등 많은 노이즈를 포함하고 있다.

다. UCF-Crime

UCF(University of Central Florida) 대학에서 공개한 128시간의 영상에서는 13개 클래스의 anomaly: Abuse, Arrest, Arson, Assault, Accident, Burglary, Explosion, Fighting, Robbery, Shooting, Stealing, Shoplifting, Vandalism과 normal을 분류하고 있다[21]. Anomaly Detection은 Optical flow 기반의 motion-aware feature를 사용하여 Accuracy 31%로 보고되어 있다[22].

라. 경로 재인식(Path Re-ID)

용의자 혹은 미아, 치매노인 등을 찾기 위해서 대부분 최근에 획득한 사진 혹은 마지막 발견된 CCTV에서의 모습을 기준 이미지로 이용하기도 하지만, 현재의 모습이 아닌 과거 사진이 이용된다면 관심 객체를 찾기 힘들 수 있다. 이때, 전자감독 시스템이나 미아방지 목걸이 등에서 위치 정보 이력이 남아 있다면 이동 경로 입력으로 CCTV에서 현재 모습을 찾는 경로 재인식을 할 수 있다. 사람 경로 재인식에는 이동 경로와 일치하는 CCTV상의 사람을 특정하기 위해 유사한 모습의 사람을 클러스터링하는 기술, 차량 경로 재인식에는 보행속도 이상의 상황에서 다중 CCTV에서 이동 경로와 유사하게 차종이나 번호판이 인식된다면 이를 탑승 혹은 납치된 차량으로 판단할 수 있다(그림 4).

그림 4

차량 경로 재인식

2. (심층 환경정보 기반) 다차원 위험 예측 기술

범죄예측 기술을 실현하기 위해서는 과거 데이터에 대한 분석이 필요하다. 시·공간적 다차원 과거 범죄 데이터와 이를 분석하여 설명 가능한 예측 방법에 대해 소개한다.

가. 다차원 과거 유형별 범죄 데이터

범죄사건의 구체적인 사건 정보는 형사·사법기관 4곳(검찰, 경찰, 법원, 법무부)에서 2004년부터 구축한 형사사법정보시스템(KICS)[23]과 스마트법원 4.0으로 대표되는 빅데이터 및 인공지능 기반의 차세대 전자소송 시스템[24]에서 보유하고 있다. KICS의 경우 4대 기관 이외에는 데이터 접근이 불가하나, 법원 판결문은 디지털화되어 분석이 가능하다. 단, 비정형 데이터를 표준화된 규격으로 변환하는 것이 필요하다.

FBI에서는 UCR(Uniform Crime Report)의 2019년 규격[25]에 의거하여 6종의 Segments(Administrative, Offense, Property, Victim, Offender, Arrestee)에 상세하게 52 Elements(사건일시, 장소, 성별, 나이, 부상, 무기, 행위 등) 범죄정보를 요약하여 데이터를 구축하고 있으며, 국내 범죄 정황에 맞춰 변환이 가능하다.

법원 판결문에는 경찰이 수사하여 검사가 기소한 범죄 정황에 판사가 양형[26] 기준으로 법정형을 선고되어 있으며, 피해자 혹은 가해자의 부상 정도가 의사의 진단서 혹은 상병을 상세히 표현[27]하여 기술되어 있어 각 과거 범죄 데이터별 레이블링(Labeling)을 통한 GT 구축이 가능하다.

나. 범죄 발생요인 분석

양형과 상병의 스코어링은 텍스트 데이터에서 그림 형태소 사전 추출을 통한 각 11종(사형, 무기징역, 징역, 집행유예, 사회봉사, 벌금, 정보통신망공개, 위치추적, 치료교육, 약물치료, 봉사활동 등)/8종(정형외과, 신경외과, 외과, 흉부외과, 비뇨기과, 안과, 이비인후과, 산부인과 등의 진단서 교부지침)으로 분류가 가능하다(그림 5).

그림 5

양형 및 주요 상병 분포

스코어링 혹은 분류된 과거 범죄 데이터는 위험 상황 10종 주요요인(성별, 나이, 상태, 도구, 행동, 사건일시, 장소 유형 등) 기반 영향력 분석하기 위해 150개 유형의 Features를 입력하여 유의확률을 확인하고, 통계적으로 유의하게 타당한지 판단이 가능하다.

위험 상황의 주요요인은 사람 수나 나이와 같은 양적 데이터뿐만 아니라 사건 장소나 무기 등의 질적 데이터가 다수 포함되어 있으며, 행동의 경우 시계열 데이터이며 가해자와 피해자 사이의 상호작용을 고려해 분석할 필요가 있다.

다. 범죄 유발 CCTV 예측

CCTV에서 인식되는 요인들의 영향력이 관제센터에서 취합된다면 시·공간별 동적 위험 발생 가능성을 한눈에 관제하고 즉각 대응하기 위한 예측적 범죄지도(Predictive Crime Map) 생성이 가능하다. 이를 Predictive Policing에 활용하여 Hot Spot인 Grid 영역으로 경찰의 순찰이 아니라, 해당 CCTV로 출동이나 기타 유관기관의 대응이 가능하다(그림 6).

그림 6

위험 예측분석 관제시스템

라. 일상패턴 기반 범죄위험 예측

전자 감독 대상자와 같이 동종 재범 위험성이 높은 유형의 경우 개인별 생활 패턴과 범죄 사실 정보를 학습하여 일상과 주의 상황을 분류하여 예측 가능하며, 일상패턴 인식을 통해 오경보를 줄일 수 있다.

3. 기술의 확장을 위해 필요한 기술

범죄예측을 위한 영상과 부가데이터는 개인의 민감한 데이터를 포함되어 있으며, 넓은 상황이 수집된 데이터 일수록 범죄 유발요인에 끼치는 영향력이 높으므로, CCTV와 시공간 정보에서 범죄 전조를 표현할 수 있는 기술의 확장이 필요하며, 안정적인 데이터를 확보하기 위해서 개인 정보 보호가 우선되어야 한다[28].

가. 범죄 행동 표현의 다각화

국내 법원 데이터에서 나타나는 주요요인 행위는 가해자 18종, 피해자 22종 등 구체적인 방향으로 추출되나 UCF Crime의 행위는 13종으로 실제 데이터와 Benchmarking Dataset 사이의 괴리감이 있으며, 심지어 인식의 성능 또한 기대에 미치지 못한다. 따라서 Activity에 대한 Representation 방법, 예를 들어 activity2vec[29]와 같이 CCTV 영상에서 나타나는 다차원의 범죄 행위를 인식할 수 있는 Dataset이 요구된다.

나. 개인 정보 비식별화

영상의 경우 영상 내 민감한 사생활 영역만 마스킹하고 권한을 가진 사용자에게 제한적으로 복원하여 활용성을 높이는 영상 프라이버시 마스킹 기술, 최초로 생성한 혹은 유포한 DNA를 암호학적으로 생성하여 검증하는 영상 아이덴티티 기술, 영상이 보호되었지만 활용하기에는 충분한 효율성을 제공할 수 있는 영상 비식별화 기술(De-identification) 등 대표적인 영상보호기술의 적용이 필요하다[30].

다. GPS, 나이/성별이 포함된 Dataset

나이, 성별, GPS 정보의 공개는 개인 정보 침해를 유발해 해당 Dataset을 원활하게 구축하거나 활용하기 어렵다. 이를 해결하기 위해 Differential Privacy와 같은 기술로 개인 정보를 쉽게 획득할 수 없는 차등 데이터로 제공하지만 공개된 데이터를 분석하는 알고리즘이나 학습된 모델을 서비스에 적용하였을 때 개인 정보가 포함된 원본을 활용한 것보다 성능이 크게 저하되지 않는 연구가 진행되고 있다[31].