무자각 지속인증 기술 동향

얼굴(또는 안면) 인식은 안면 특징을 사용하여 디지털 이미지 또는 비디오 프레임에서 사람을 식별하는 인증 방식이다. 얼굴 특징적 요소로는 각 부분(눈, 코, 입, 광대뼈 및 턱)의 위치/크기/모양, 피부나 머리카락의 질감(주름, 패턴, 반점)이 주로 사용된다[3]. 일반적인 얼굴 인식 시스템은 세 가지 주요 단계로 구성된다. 첫 번째 단계에서는 카메라로 촬영한 이미지 또는 비디오에서 얼굴을 감지한다. 그런 다음 얼굴의 전체적인 특징 또는 얼굴 일부의 특징을 추출한다. 마지막으로 추출된 얼굴 특징을 분류기로 전달하고, 기등록된 사용자의 특징 정보와 일치 여부에 따라 인증 여부를 결정한다.

안면 인식을 무자각 지속인증에 활용하기 위해서는 얼굴의 전체적인 특징보다 부분의 특징을 더욱 중요하게 고려해야 한다. 무자각 상황에서 지속적으로 획득하는 이미지에는 사용자의 얼굴이 온전히 표현되지 않고 일부분만 존재하는 경우가 많기 때문이다. Google ATAP 부서의 연구원들은 머신러닝 기술을 사용하여 핸드폰의 전면 카메라로 획득한 부분 얼굴 이미지를 사용해 실시간 안면 인식을 수행할 수 있게 하는 가벼운 알고리즘을 개발했다[4]. 이 기술은 FSFD(Facial Segment-based Face Detector)이라 불리며, 사람의 다양한 얼굴 이미지를 얼굴 요소들로 조각내고 얼굴 영역을 추정하는 단계, 부분 얼굴 이미지와 실제 사용자를 패턴화하는 머신러닝 단계, 안면 인식 시스템이 얼굴의 부분적 이미지들에 신뢰도 레벨을 할당하는 단계를 가진다. 테스트 결과, FSFD는 부분 얼굴과 전체 얼굴을 탐지할 수 있었고 조명과 포즈의 변화에 거의 영향을 받지 않았다.

무자각 상황에서 수집하는 얼굴 영상은 사용자의 자세나 조명 변화에 따라 전혀 다른 성능을 보일 수 있다. 이 문제를 해결하기 위해 최근에는 DNN(Deep Neural Network) 기반의 얼굴 인식 방법이 연구되었다[5]. 제안된 방법은 임베디드 환경에서 구동할 정도로 모델의 복잡도가 낮고 자세와 조명 변화에 강하며 Android 기반 모바일 임베디드 플랫폼에서 실시간으로 실행할 수 있음을 입증했다. 다른 연구에서는 DCNN(Deep Convolutional Neural Network) 기반의 방법이 개발되었다[6]. 이 방법은 먼저 Alexnet[7]의 처음 다섯 레이어를 사용하여 깊은 피쳐를 추출하고, 특정 크기의 얼굴 이미지를 감지하기 위해 각 창 크기에 대해 SVM(Support Vector Machine)으로 학습했다. 이 검출기는 조명 변화에 매우 견고하며 얼굴 일부 이미지만으로도 신원을 검증했다.

화자(Speaker) 인식은 목소리의 특징을 활용하여 말하는 사람을 식별하는 인증 방식이다. 이 개념은 관절 기관(성대의 구조, 비강의 크기, 성대 특성) 및 말하기 방식의 고유한 차이에 따라 다른 음성 서명을 가지고 있으며, 동일한 단어가 다른 억양이나 다른 상황으로 말하면 다른 의미를 가질 수 있다는 특징에 기반한다. 화자 인증 시스템은 발화하는 문장에 따라서 텍스트 의존적과 텍스트 독립적으로 나뉘는데, 무자각 지속인증을 위해서는 등록 및 검증 중에 임의의 텍스트를 사용하는 텍스트 독립적인 방식이 요구된다.

화자 인식 시스템에서 사용하는 음성 특징적 요소는 사용자 간에는 큰 차이가 있지만, 동일 사용자의 다른 세션에서는 작은 변화를 가져야 한다. 또한, 모방, 재현, 잡음 및 채널 효과에 강건해야 한다. 초기의 화자 인식 기법은 스펙트럼 표현과 피치와 같은 음향 특징의 장기적인 평균값을 사용했으나, 긴 음성 데이터를 요구하여 화자의 많은 의존 정보가 손실된다. 성대 특성을 모델링한 LPC(Linear Predictive Coefficient) 매개 변수, 스피커의 성문 정보를 나타내는 LPC 잔여 신호, 필터 뱅크 기법을 모델로 한 MFCC(Mel Frequency Cepstral Coefficient), PCA(Principal Component Analysis)를 사용한 특성추출 방법[8]이 연구되었다.

일단 특징 피쳐 세트가 생성되면 학습 데이터로 화자 모델을 훈련한다. 화자 모델은 템플릿 모델과 확률 모델로 분류할 수 있다. VQ(Vector Quantization) 접근법은 텍스트 독립적인 화자 인식에 사용되며 기본적으로 클러스터링 절차로 모든 스피커에 대한 코드북을 만든다. 확률 모델은 GMM(Gaussian Mixture Model)과 HMM (Hidden Markov Model)을 포함한다. GMM은 화자 인식 시스템에서 거의 표준화된 방법으로, 목소리 확률적 모델로 표현한다. 또한 화자 인식 목적으로 사용되는 일부 보컬 트랙 특성 및 스펙트럼 모양은 개별 가우스 성분으로 나타낸다.

신경망 기법의 모델은 특정 화자를 표현하기 위해 개별 모델을 훈련하는 대신, 알려진 세트와 가장 잘 구분되는 의사 결정 기능을 모델링한다. 이 접근법은 각 화자에게 자신의 발화에 의해서만 활성화되는 개인화 된 신경망을 제공한다. MLP(Multi-Layer Perceptron), GRNN(General Regression Neural Network), RBF (Radial Basis Function) 등의 모델이 화자 인식 시스템에 적용되었다.

걸음걸이(또는 보행, Gait) 인식은 사람의 걸음걸이 형태의 특징을 추출해 사용자를 인증하는 방식이다. 이는 의학계에서 오래전부터 연구한 기법으로, 신경이나 근육, 뼈 등에 이상이 있으면 비정상적인 걸음걸이가 나타난다는데서 착안했다. 보행은 골격이나 근육 등의 체격적인 특징 또는 걷는 방법 등의 동적인 특성으로 개인을 식별할 수 있다.

보행 인증에는 머신 비전 기반, 바닥 센서 기반, 웨어러블 센서 기반의 세 가지 주요 유형으로 구분된다[9]. 머신 비전 기반 접근법에서 보행 동작은 비디오로 캡처되어 신호 처리, 이미지 처리 및 기계 학습 기술로 보행 정보 및 개인을 식별한다. 바닥 센서 기반 접근법에서는 바닥에 설치된 센서로 개인이 걸어올 때의 힘이나 압력을 측정하여 개인 식별에 활용한다. 웨어러블 센서 기반 접근법에서 사용자는 보행을 측정하고 패턴을 인식할 수 있는 장치를 착용한다. 이 접근법은 속도, 가속도계, 자이로스코프 및 입력 센서와 같은 다양한 유형의 센서를 사용할 수 있다. 장소에 무관하게 무자각 지속인증을 수행하기 위해서는 웨어러블 센서 기반 접근법이 적합하다. 요즘 대부분 스마트폰에는 3축 가속도계가 내장되어 있기 때문에 스마트폰 기반 보행 인증이 활발하게 연구된다.

보행 인증을 결정하는 방식은 데이터의 특징 분석 또는 인증 알고리즘의 유형에 따라 다르다. 예를 들어, 상관관계, 주파수 영역 분석 및 데이터 분포 통계에 기반한 방법, 동적 시간 왜곡에 기반한 방법, 보행주기를 특징으로 사용할 수 있다. 인증 알고리즘으로는 KNN(K-Nearest Neighbors), HMM 등이 사용되었다.

수집 자세에 따라 걸음걸이의 인식 성능이 다르게 나타날 수 있다. 관련 연구에 따르면 인간의 팔다리 운동마다 특이성과 보편성의 수준이 다르다. 예를 들어, 벨트, 바지 앞주머니, 뒷주머니, 발목, 손 등에 장치를 부착학고 측정한 걸음걸이는 저마다 다른 신호를 보인다. [10]은 방향 센서를 사용하여 각 동작의 피치, 롤 및 제목을 수집하고 보행 자세의 특성을 활용하여 6.85%의 EER(Equal Error Rate)를 달성했다. [11]은 보행 인식을 위해 HMM의 적용과 함께 GDI(Gait Dynamic Images) 라 불리는 센서 방향 불변 보행 표현 기법을 제안했다. GDI는 센서 방향과 관련하여 불변하므로 센서 회전 전후에 기존 방식에 비해 더 일관적인 결과를 보였다.

키스트로크(KeyStroke) 다이나믹스는 키보드 또는 키패드에 문자를 입력하는 방식과 리듬으로 사람을 식별하는 인증 방식이다. 이 개념은 타이핑 패턴이 학습된 운동 기술이며 행동 특성이 된다는 사실에 기인한다. 키스트로크 다이나믹스는 텍스트 입력 길이에 따라 단문(패스워드, 단어, 문장)과 장문(에세이, 산문)으로 구분 가능하다. 또한, 타이핑 패턴을 추출하기 위한 단어의 동일성 여부에 따라 정적 방법과 동적 방법으로 구분된다. 동적 방법은 일정한 단어에 국한하지 않고 일정시간 동안의 키보드 입력으로부터 지속해서 패턴을 분석하는 방법으로 무자각 지속인증에 적합하다.

키스트로크 다이나믹스의 특징적 요소로는 단일 키 동작(키 다운 이벤트와 키 업 이벤트 사이의 시간 차이), 키 다이그래프(Digraph) 동작(총 지속시간, 키를 눌렀다 놓은 시간(Down-Up Time), 두 개의 연속 키가 눌러 진 시간(Down-Down Time) 사이의 경과 시간, 키가 다음 키로 해제될 때까지의 시간(Up-Down Time), 두 개의 연속 키가 해제되는 시간(Up-Up Time), 양극 활자, 삼중 그래프 및 사중 그래프가 사용되었다. 분류기를 구축하는 방법에는 통계적 방법, 퍼지 논리, 신경망, 유클리드 거리, SVM 알고리즘 방법이 사용되었다.

최근 연구에서는 사용자가 특정 단어에 대해 보이는 인지적 타이핑 리듬을 관찰하기 위해 SVM과 KRR (Kernel Ridge Regression) 알고리즘을 적용한 CTR (Cognitive Typing Rhythm) 인증 시스템이 제시되었다. 이 개념은 사용자에 따라 특정 단어에 대해 인지하는 시간 차이가 발생할 수 있고, 타이핑 패턴에 반영될 수 있다고 가정한다. 1,977 명의 사용자를 대상으로 실시한 실험 결과에 따르면 FRR(False Rejection Ratio)은 0.7%이고 FAR(False Acceptance Ratio)은 5.5%라는 성능을 보였다[12].

마우스(Mouse) 다이나믹스는 마우스를 움직이는 방식으로 사람을 식별하는 인증 방법이다. 마우스의 이점은 키보드보다 물리적 구조가 훨씬 간단하다는 것으로, 마우스 유형과 마우스 사용 환경에 덜 의존적이다.

마우스 다이나믹스의 특징적 요소로는 마우스 이동, 클릭, 더블클릭, 드래그 앤 드롭 및 동작 특성(각도, 속도, 이동 거리) 등과 같은 다양한 동작 범주로 나눠진다. 기존 특징적 요소를 분석하여 평균 이동 속도, 클릭 기반 간격 시간, 동작 막대 그래프 및 이동 거리당 평균 이동 속도를 특징적 요소에 추가로 포함할 수 있다.

[13]은 사용자가 일상적으로 컴퓨터를 사용하는 동안 수집한 마우스 데이터에 신경망을 사용하여 2.46%의 EER을 달성했다. [14]는 ANN(Artificial Neural Network)과 SVM를 통해 마우스 특징적 요소를 선택하고 계산을 보정한 결과, 1.86%의 FAR 및 3.46 %의 FRR을 달성했다. [15]는 사용자가 마우스로 클릭한 지점의 각도 기반 특징을 계산하여, 사용자 당 마우스 스트로크가 적지만 유사한 분류 결과를 얻는 방안을 제안하고 1.3%의 EER을 달성했다.

터치(Touch) 다이나믹스는 터치스크린 장치를 터치하는 방식으로 사람을 식별하는 인증 방식이다. 터치 다이나믹스는 모바일 장치에서 가장 일반적으로 사용되는 지속 인증 방법 중 하나로, 화면 터치 동작(사용자가 모바일 장치의 터치스크린에서 손가락을 스와이프하는 방식)으로 스마트폰을 사용하는 동안 사용자를 무자각으로 지속 인증할 수 있다.

터치 다이나믹스의 특징적 요소에는 시간적 요소(터치 이벤트의 종류, 지속 시간(Dwell Time), 이벤트 사이 시간(Flight Time), 이벤트 길이(n-graph)), 공간적 요소(터치 위치, 터치 크기, 터치 압력), 동적 요소(가속도, 자이로스코프) 등이 사용된다. 사용자를 모델링하는 방식으로는 거리 측정(Euclidean, Manhattan, Mahalanobis, Bhattacharyya), 통계적(평균 및 표준편차, 편차 내성), 확률론적(Bayes, Naïve Bayes, GMM), 클러스터(k-means, k-Star, KNN), 의사결정 트리(J48, RF(Random Forest), SVM, RBFN(Radial Basis Function Network), MLP)가 사용되었다.

[16]은 기존의 터치 다이나믹스 특징적 요소와는 달리 GTGF(Graphical Touch Gesture Feature)라는 이미지 기반 기능을 제안했다. 이 접근법에서 스와이프 형상 특성은 이미지 공간으로 변환되어, 스와이프의 동적, 압력 특성을 명시적으로 모델링한다. 이 모델은 통계 분석 모델을 적용해 이미지 영역에 있는 GTGF의 사용자 동작 편차를 학습하고, 새로 추가된 스와이프에 따라 새로운 인스턴스를 합성하여 기존보다 더 나은 성능을 보였다.

문체(Stylometry)는 언어학적 형태에 기반하여 사람을 식별하는 인증 방식이다. 이 개념은 모든 사람이 서로 다른 작가를 구별하기 위해 계량화되고 측정될 수 있는 고유한 언어 스타일을 가정한다. 많은 연구자가 텍스트 분류, 저자 식별 및 저자 확인과 같은 여러 목적을 위해 언어 프로파일링의 타당성을 조사했다. 문체 기법은 긴 문서에 대해 높은 정확도를 달성할 수 있지만, 많은 저자 중에서 짧은 문서의 작성자를 식별하는 것은 어려운 것으로 알려져 있다. 무자각 지속인증을 위해서는 장문에 비해 단문에서의 문체 인증이 요구된다.

문체의 특징적 요소는 잠재적으로 무궁무진하며, 기존 연구에서는 기능(Function) 단어, 문법, 문자 n-gram 등을 사용했다. 원시 데이터는 모든 키 입력으로 구성되기 때문에, 맞춤법 오류나 삭제 패턴(문장을 선택하고 삭제를 누를 때, 백 스페이스를 반복적으로 누를 때)과 같은 언어 및 입력 특성을 추출할 수 있다.

문체 인증 방법으로는 각 특징적 요소들의 주기(Frequency) 측정 또는 빈도 평가를 주로 사용한다. 단문을 활용한 기존 연구들은 주로 전자메일의 저자 확인을 목표로 했다. [17]은 292개의 다른 특징을 추출하고 독자적인 분류 및 회귀 알고리즘을 적용했다. [18]은 150개의 문체 특징을 추출하여 n-gram 분석과 결합된 감독 학습 기법을 사용했다.

위치 기반 인증은 사람이 주로 생활하는 장소의 패턴으로 사람을 식별하는 인증 방식이다. 사용자의 이동성 정보를 통해 일상 활동에서의 사회적 패턴을 인식하고, 사회적으로 중요한 위치를 파악하고, 패턴화된 리듬을 모델링 할 수 있다. 스마트폰과 태블릿 같은 모바일 기기의 확산으로 인해 이동성 데이터를 정확하고 쉽게 장기간 수집할 수 있으며, 생활 패턴을 추론하기 위해 이동성 데이터를 마이닝하는 연구 활동이 증가 중이다.

위치의 특징적 요소로는 GPS 신호(시간, 고도, 위도, 경도), 자이로스코프, 가속도계, 자력계, 블루투스, WiFi, 셀 안테나 등이 일반적이며, 컨텍스트 정보(직장, 집, 쇼핑, 관광, 스포츠 활동) 등이 추가로 고려될 수 있다. 위치 데이터로부터 분류기를 구축하는 방법으로는 지리적 위치를 몇 가지 특성으로 클러스터링한 다음 상태 전이 궤도의 순차적 패턴 마이닝을 수행하는 방법, 템플릿 매칭 접근법, 문자열 일치 알고리즘, MMC (Mobility Markov Chains), MMM(Mixed Markov chain Model), HMM으로 상태 공간 모델을 구축하는 방법 등이 사용된다.

무자각 지속인증을 위한 위치 기반 검증 접근법으로 최근에 연구된 PATH(Person Authentication using Trace Histories)는 사용자의 기록 추적 데이터를 기반으로 최근 위치 추적을 사용하여 스마트폰의 현재 사용자를 인증하기 위한 신뢰도 점수를 생성한다. 연속적으로 사용자의 과거 위치 데이터로부터 사용자 검증을 수행하여 위치 정보에 기초한 검증 스코어를 연속적으로 획득한다. 새로운 위치를 처리하기 위해 사용자 데이터 클러스터링을 위한 고유한 방법이 도입되었고, 수정된 HMM 기반의 사용자 검증 방법인 MSMM(Marginally Smoothed HMM)을 제안했다[19].

앱 사용습관에 기반한 인증은 사용자 행동, 습관 및 관심사에 따라 앱이나 웹에서의 동작이 차별화되는 특성으로 사람을 식별하는 인증 방식이다. 이 개념은 다른 사람들이 동일한 핵심 작업을 수행하기 위해 서로 다른 명령 세트를 사용한다는 사실에 기반한다. 이 연구 분야는 과거 유닉스와 같은 명령행 기반 시스템에서 사용자가 입력하는 명령을 모니터링하여 프로파일링하였으나, GUI(Graphic User Interface) 기반 시스템이 등장함에 따라 사용자의 GUI 상호 작용 스타일을 프로파일링하는 것으로 발전되었다.

앱 사용습관의 특징적 요소는 명령행 인터페이스와 GUI에 따라 서로 다른 요소를 가진다. 공통적으로는 사용자의 동작, 컨트롤 유형(스크롤 막대 사용, 버튼 클릭), 메모리 및 CPU 소비와 같은 정보가 활용될 수 있다. GUI에서는 열려있는 창의 수, 새 창 사이의 시간 및 창 제목의 단어 수, 열린 시간, 열린 상태의 앱, 열린 상태와 닫힌 상태 등의 특징적 요소가 활용된다. 또한, 컨텍스트 요소를 반영하여 시간(주중/주말, 시간대), 활용하는 동작 종류(운영 체제 상호 작용 동작, 웹 브라우징 동작, 이메일 확인, 워드 프로세싱 동작, 미디어 상호 작용 동작, 사진 편집 동작, 게임에서의 플레이 전략, 목적에 따른 소프트웨어 선택 여부)가 특징적 요소로 사용될 수 있다.

앱 사용습관에서 분류기를 구축하는 방법으로는 SVM, AdaBoost, KNN, Naïve Bayes, 결정트리, ANN, HMM, RF, k-means 클러스터링이 사용되었다. 최근 연구에서는 특징 벡터를 모델링하기 위해 앱 사용습관의 피쳐에 n-gram 시퀀싱 기법을 고유하게 적용함으로써 빠르게 앱 사용습관을 기반으로 사용자를 인증할 수 있다[20].

모바일 장치 사용 기반 인증은 사람들이 모바일 장치(스마트폰, 웨어러블)의 서비스와 상호 작용하는 방식에 따라 사람을 식별하는 인증 방식이다. 최근의 모바일 장치는 다양한 센서가 장착되어 미세한 레벨에서 사용자의 활동을 암시적이고 지속적으로 관찰할 수 있다.

모바일 장치 사용 기반 인증은 가속도계 및 자이로 스코프와 같이 내장된 다양한 센서를 활용한다. 또한, 현재 급속히 증가하고 있는 웨어러블 기기(스마트워치)의 블루투스 연결성과 다중 센서를 활용한다. 일반적으로 모바일 장치 사용 기반 인증은 스마트 폰 및 스마트 워치로부터 센서 데이터를 수신한 뒤, 미가공 데이터로부터 세분된 시간-주파수 특성을 추출하고 두 개의 특성 벡터(컨텍스트 특성 벡터, 인증 특성 벡터)를 생성하여 각각 컨텍스트 검색 구성 요소와 인증 구성 요소로 변환한다. 컨텍스트 검출 컴포넌트는 사용자가 어느 컨텍스트에 있는지를 결정하고 검출된 컨텍스트를 인증 컴포넌트로 보내어 사용자의 최종 인증 여부를 결정한다.

모바일 장치 사용 기반 인증에서 분류기를 구축하는 방법으로 k-means 클러스터링, RF, Logistic regression, 신경망, KNN, SVM, KRR, Gaussian kernel SVM이 사용되었다. 최근에는 딥러닝 AutoEncoder를 특징 추출 프로세스에 활용하여 감소된 피쳐 그룹을 사용하고, 숨겨진 계층의 수가 더 많은 자동 인코딩 아키텍처가 사용자와 공격자의 특징을 명확히 구분 지었다. 이를 통해 오랜 시간 뒤에 더 작은 데이터 세트로 모델을 재훈련하여도 더 높은 정확도 수준을 달성함을 보였다[21].