휴먼이해 인지컴퓨팅 기술 연구 동향

본고에서는 장소, 시간의 제약을 두지 않고 스마트폰이나 스마트워치를 사용하여 일상생활 중 사용자 행동 예측을 목표로 하는 비광학식 방법에 대한 연구 동향을 조사하였다.

인간의 행동은 선행연구에서 다양하게 정의되고 있으나, 많은 연구에서 참고문헌 [3]과 [4]에서 정의한 내용을 인용하고 있다.

참고문헌 [3]에서는 행동이 갖는 의미의 정도와 소요되는 시간에 따라 인간의 행동을 분류한다. Motion은 수초 이내에 이루어지는 행동으로, 시선 또는 머리의 자세 추정 등 비교적 작은 움직임을 탐지하는 것으로 정의하였다. Action은 수초에서 수분 정도의 시간에서 이루어지는 움직임으로 앉기, 서기, 걷기 등 인간의 기본 행동 단위가 된다. Activity는 수분에서 수시간에 걸쳐 이루어지며, 특정한 순서를 갖는 일련의 행동들로 구성된 작업을 의미 한다. 예를 들면 조리, 샤워, 침구준비 등이 있다. Behavior는 수시간, 또는 수일에 걸쳐 나타나는 일상적 행동(ADL: Activities of Daily Living)을 의미하며, 개인의 생활 방식, 습관 등을 설명할 수 있는 매우 고수준의 의미로 이해되는 행동을 의미한다. Motion에서 Action, Activity, Behavior의 순서로 행동의 지속 시간이 길어지며, 지속 시간이 길어지는 만큼 단순한 움직임이 아닌 특정한 목적을 갖는 행동들로 행동에 부여되는 의미가 커진다고 할 수 있다.

참고문헌 [4]도 이와 유사하게 분류하고 있으나 행동 단위에 있어 다소 다른 분류체계를 갖는다. 사용자의 행동을 Action, Activity, Behavior로 구분하고 있는데, Action이 가장 작은 단위의 행동이나 참고문헌 [3]에서 정의한 앉기, 서기, 걷기 등과 같은 기본 행동이라기보다 문 열기, 물체 옮기기, 조명 끄기, 걷기 등 보다 구체적인 행동을 타임 스탬프와 함께 Action으로 정의하였다. Activity는 ‘커피 마시기’, ‘회의 참석’, ‘화상 회의’, ‘이메일 보내기’ 등 목적을 갖고 이루어지는 일련의 Action 집합으로 정의된다. Behavior는 Action 또는 Activity의 시퀀스로 구성된다.

앞의 사례에서 보듯이 행동 인식을 위한 대상 분류와 정의는 각 연구의 목적과 특성에 맞추어 저수준의 행동으로부터 고수준의 행동으로 정의하여 사용하고 있다.

행동 인식(HAR: Human Activity Recognition) 기술 분야 연구를 위해서는 행동 데이터셋 구축이 선행되어야 한다. 그러나 행동 데이터셋 구축은 비용과 시간이 많이 들고, 기존 연구결과와 비교할 때 인식율의 객관성 확보가 쉽지 않기 때문에 많은 연구자는 기존에 발표된 공공 데이터셋을 이용하고 있다. 공공 데이터셋 중 스마트폰 또는 신체부 착형(On-body) 센서를 사용하여 일상생활에서 데이터를 수집한 데이터셋으로는 UCSD ExtraSensory [5], UCI-HAR [6], mHealth [7]가 있다. 국내에서는 한국전자통신연구원(ETRI)이 이와 비슷한 방법으로 2018년부터 손목착용형 센서와 스마트폰을 이용하여 업무, 학습, 회의, 통근/통학 등 일상 생활 중에 빈번히 발행하고 의미적으로 구분할 수있는 17개 행동의 레이블 데이터를 수집하고, 행동이 시작하고 끝날 때까지의 시간, 자세, 장소, 휴대폰 위치, 같이 있는 사람 등 다양한 맥락 레이블을 같이 수집하여 데이터셋을 구축하였다[8]. 표 1은 이들 데이터셋을 피실험자 수, 수집 기간, 수집 데이터, 사용 디바이스 관점으로 비교한 표이다.

UCI-HAR은 스마트폰만을 데이터 수집 디바이스로 이용한 반면, mHealth는 스마트폰, 스마트워치 및 피부에 직접 부착하는 신체부착형 센서를 이용하였고, ExtraSensory와 ETRI 데이터셋은 스마트폰과 스마트워치를 함께 이용하였다.

UCI-HAR의 경우, 인식 대상이 되는 행동이 걷기, 앉기, 서기, 눕기, 계단 올라가기, 내려가기 등기본 행동을 대상으로 하고 있다. ExtraSensory와 ETRI 데이터셋의 경우 기본 행동뿐만 아니라 라이프스타일을 알 수 있도록 실생활에서 자기보고 형식으로 고수준 행동(Behavior) 레이블을 함께 수집하였다.

기존의 행동 인식을 위한 데이터셋은 대부분 제한된 실험실 환경에서 지정된 행동을 수행하는 방식으로 진행되어왔다. 이러한 데이터를 기반으로 학습된 모델은 실생활에서 발생하는 다양한 타겟 행동 인식을 위한 적용에는 어려움이 있다. 사용자에 따른 행동 특징의 차이, 센서 디바이스에 따른 데이터 특징의 차이, 디바이스의 착용 위치 및 수집 환경의 다양성 등이 대표적인 예이다. 이러한 도메인 변화에 강건하게 동작하는 행동 인식 모델 개발을 위해 비지도학습 기반 도메인 적응 (UDA: Unsupervised Domain Adaptation) 방법을 적용한 행동 인식 기술 관련 연구들이 진행되고 있다. 참고문헌 [9]는 스마트워치, 헬스케어 밴드, 이어폰, 스마트폰 등 디바이스들의 다양한 위치와 자유도를 착용 다양성에 의한 도메인 변화(Domain Shift) 문제로 해석하고, 이를 해결하기 위해 UDA 딥러닝 방법을 적용하였다. 소스 도메인과 타겟 도메인의 특징 공간이 서로 비슷하도록 조정하는 것을 목표로 하며, 데이터 증강(Data Augmentation) 기법, 특징 매칭(Feature Matching) 기법과 혼동 극대화(Confusion Maximization) 기법을 적용하여 결과를 비교하였다. 실험 결과, 특징 매칭 기법이 타겟 도메인 적응 이후에도 소스 도메인 학습 모델의 무결성을 저해하지 않으면서도 도메인 간의 관계를 학습하는 데 나은 성능을 보였으며, 타겟 도메인 분류 성능을 향상시켰다. 데이터 증강 기법은 디바이스를 신체에 착용하는 다양성에 적응하는 데 효과적인 반면, 혼동 극대화 기법은 착용 위치 차이가 큰 경우에 효과적인 것으로 나타났다. 또한, 강인한 도메인 적응 모델을 위해서는 여러 착용 위치에서의 데이터와 자유도가 높은 센서 착용 위치에서의 데이터가 결정적인 것으로 확인하였다.

참고문헌 [10]은 기존 연구가 타겟 도메인 데이터셋이 미리 존재하는 비실시간의 도메인 적응 시나리오를 가정한 것에 반하여, 실시간으로 타겟 도메인 데이터셋에 적용 가능한 실시간/온라인 도메인 적응 기법의 중요성을 강조하였다. 사용자별 데이터를 소스 도메인으로 보았을 때 행동 인식의 개인화에서 다중 소스 도메인 적응 문제로 적용하였으며, 도메인 조정을 위한 배치 정규화 레이어를 사용한 기법을 제안하였다. 이 기법은 실시간 분석을 진행하기 때문에 대용량의 데이터 저장을 필요로 하지 않는다. 또한, 일정한 컴퓨팅 자원을 효율 적으로 사용하기 때문에 잠재적으로 많은 양의 실시간 데이터를 처리할 수 있다는 장점이 있다. 그러나, 실시간 도메인 적응을 위한 최적의 하이퍼 파라미터 선택을 위해서 그리드 탐색 기반 대규모 실험이 필요하다는 단점이 있다.

한편으로는, 레이블된 데이터셋의 한계를 극복하고 학습에 사용되는 데이터의 다양성과 복잡성을 향상시키기 위해서 레이블되지 않은 데이터도 함께 활용하는 준지도학습 방법을 적용한 연구들이 진행되어왔다. 이런 연구에서는 대용량의 도메인 데이터셋으로 네트워크 학습을 진행한 다음, 다른 태스크 혹은 도메인 데이터를 테스트 데이터로 활용하여 미세 조정을 수행하는 전이학습 방법이 널리 사용되었다. 참고문헌 [11]은 기존 행동 인식 연구에서 사용되지 않은 준지도학습 방법 중 하나인 자기학습(Self-training)을 도입하였다. 이 연구 에서는 레이블 된 데이터셋은 그 크기가 제한된 반면, 레이블 되지 않은 데이터셋은 상대적으로 많이 존재하는 점에 착안하여 레이블 되지 않은 데이터도 학습에 함께 활용하는 방법을 제안하였다. 이 방식은 지도학습과 준지도학습 방법의 추론 복잡도를 증가시키지 않으면서도 더 높은 성능을 보이는 것으로 확인되었지만, 레이블 되지 않은 데이터 셋을 학습에 활용하는 것일 뿐 해당 데이터의 레이블을 추론하는 것이 아니라는 한계가 있다. 참고문헌 [12]는 데이터의 레이블링을 위한 시간과 노력, 그리고 보안과 관련된 문제를 완화하기 위해 도메인 지식을 필요로 하지 않는 비지도학습 기반의 멀티 태스크 딥 클러스터링 행동 인식 방법을 제안하였다. 이 연구는 기존의 딥 클러스터링 방식이 CNN에 기반하였던 것에 비해 시계열 센서 데이터의 시공간적 연관성을 반영하는 CNN-LSTM 구조의 인코더를 도입하였다는 특징이 있다. 또한, 딥 클러스터링과 멀티 태스크 학습 기법을 통합하여 군집화에 적합하면서도 행동 분류를 목적으로 하는 데이터 표현형 생성이 가능하다는 장점이 있다. 하지만, 군집화 기반의 방식이기 때문에 데이터의 분포가 불균형을 이룰 경우 편향된 결과를 도출하게 되므로, 행동 클래스별 데이터의 수가 동일 하게 설정되어야 하고 전체 데이터 중 사용자별 데이터 분포 또한 균등하게 설정하는 전처리가 필요하다.

최근 스마트 기기를 이용하여 개인의 일상을 모델링하고 행동패턴을 분석하는 연구 또한 활발하다[13]. 특히 개인의 채팅 기록, 접속 기록, 구매 기록 등 라이프로그 데이터를 지식 그래프, 시맨틱 네트워크 구조로 나타내어 개인의 일상을 모델링하고자 하는 시도가 있는데, 그래프 형식의 라이프 로그 데이터는 노드와 엣지를 활용함으로써 노드 간의 데이터 관계를 나타내어 개인의 일상에 대한 의미정보를 표현하는 데 적합하다[14]. Google은 빅데이터의 형태로 저장된 수많은 정보를 표현하기 위해 노드, 엣지의 연결구조를 갖는 지식 그래 프를 생성하였다. 구축된 지식 그래프를 기반으로 검색 기록 사이의 연관성 분석 등의 작업을 통하여 검색 성능이 향상되었다. 개인화된 대화 시스템으로 자연스러운 대화를 수행하는 구글 어시스턴트에서는 채팅 로그, 라이프로그 데이터를 시맨틱 그래프로 표현하여 학습하였다. 그래프 구조를 이용한 행동패턴 데이터 분석 기술은 노드와 엣지로 연결된 저장 구조를 이용하여 연관 정보를 추출함으로써 패턴을 분석할 수 있다. 하지만 그래프의 가변적인 크기, 그래프마다 다른 근접 이웃 등 그래프 데이터의 복잡성으로 인해 전통적인 탐색 알고리즘을 사용하여 유의미한 특징을 뽑아내기에는 한계가 있다[15]. 딥러닝 그래프 임베딩 기술은 그래프를 저차원의 벡터로 표현하여 문제를 해결하지만 블랙박스 특성으로 인해 유의미한 패턴 분석에 어려움이 따르고 도메인 지식 활용에 한계가 존재한다. 따라서 그래프 신경망을 통한 데이터기반 접근방법과 도메인 지식을 통한 심볼릭기반 접근 방법을 결합하는 뉴로-심볼릭 결합기술이 제안되고 있다.

변화시점감지(CPD: Change Point Detection)는 시계열 데이터의 추세와 특성이 변화하는 시점을 감지함으로써 레이블되지 않은 데이터에서 의미를 추출하는 데 많이 사용되는 기법이다. 자동화 시스템에서 시스템 폴트로 인한 사람의 개입이 필요한 문제시점 탐지에서부터 행동 인식, 이동 경로 예측, 제스처 인식, 라이프로깅 등의 도메인에서 시계열 데이터의 시간에 따른 분할 이벤트 감지, 이상징후 탐지 등 시스템의 동작 특성을 이해하는 데 활용되고 있다. 기존 연구에서 변화 시점은 시계열 데이터의 다양한 특성, 그중에서도 시간에 따른 시계열 형태 및 연속성 통계적 분포(Auto Regressive Model, Kernel Function 등) 변화 등에 기반하여 결정하였다. 그러나 어떤 응용 도메인에 적용되는지에 따라 데이터의 의미 구간을 결정하는 방법이 달라지기 때문에 그 방법을 일반화하는 데 한계가 있다. 이 절에서는 라이프로그 데이터에 적용 가능한 다양한 이벤트 분할 기법과 관련된 선행연구에 대해 분석한다.

참고문헌 [16]은 변화시점 감지 문제에 자기지도학습 기법 기반 대조예측코딩(CPC: Contrastive Predictive Coding)을 적용한 시계열 변화점 감지 방법을 제안하였다. 이는 시계열 데이터의 지역적 상관관계를 활용하여 연속적인 시계열 데이터 간의 공통적인 데이터 표현형을 최대화하면서, 시간적으로 떨어져 있는 상관관계가 낮은 시계열 데이터 간에는 공통적인 데이터 표현형을 최소화하는 자기지도 방식으로 학습을 진행하였다. 이 연구에서는 성능 평가를 위해 USC-HAD 데이 터셋[17]에서 30개의 행동에 해당하는 데이터를 6명의 사용자로부터 임의로 추출하여 다시 임의로 엮는 방식으로 총 30개의 변화시점을 생성하여 실험에 사용하였다. 하지만 이렇게 인위적으로 조합한 데이터의 변화시점은 연속적이지 않으므로 실제 데이터에서 나타나는 연속적인 변화시점과는 차이가 있다.

참고문헌 [18]은 많은 양의 레이블이 없는 다양한 형태의 연속적인 시계열 데이터셋을 사람의 개입 없이 자동으로 이산적 세그먼트의 시퀀스로 분할하는 시계열 분할 기법을 제안하였다. 해당 기법을 적용하면 연속적인 시계열 데이터를 비지도 학습 기반으로 작은 단위의 세그먼트로 분할하는 전처리가 가능하다. 그 결과 데이터에 대한 이해도를 높여 데이터 특징을 추출하는 데 도움을 줄 수 있다. 기존 통계 기반 데이터 분할 연구는 시계열 데이터 자체에 많은 제약 사항을 가정하는데, 이 연구에서는 이러한 한계를 극복하기 위해 시계열 데이터의 엔트로피와 시간적 특성을 동시에 반영하는 하이브리드 방식의 변화시점 감지 알고리즘을 제안하였다.

인간의 감정은 개인적 경험, 생리적 또는 행동적 반응, 또는 대화 시의 반응과 같은 여러 요소들로 구성되어 표현되는 감정 상태를 일컫는다[19]. 인간은 일상생활에서 상대의 감정을 파악하기 위해 상대의 음성, 표정, 행동 정보 중 하나 이상의 두드러진 특징과 여러 문맥적 정보와 혼합하여 파악하게 된다. 기존 연구에서는 개인의 감정 상태를 시간적 구간 특성에 관련하여 감정을 분류하고 정의하였다[20]. HCI 분야에서 인식하는 사람의 감정은 대체적으로 분(Minutes) 또는 시간(Hours) 구간으로 짧은 시간에 강하게 표현되는 ‘full-blown’ 감정을 지칭하는 경우가 많다. ‘Mood’ 또는 ‘Emotional Disorders’는 상대적으로 오랜 시간 또는 수개월 동안 지속되는 심리적 상태를 지칭한다.

HCI 분야에서 기계가 상대의 감정을 파악할 때도 일반적인 감정인식에서 사용하는 정보에 기반해야 한다. 기계는 인간과의 상호작용 중에 발생하는 사용자의 직접적 반응 내용(What)이 전달되는 명확한(Explicit) 채널, 또는 사용자의 반응 방식 (How)이 전달되는 내포적인(Implicit) 채널로부터의 정보를 통해 상대의 감정을 인식한다. 음성 정보에 기반하는 감정인식 기술을 가정할 경우, 명확한 감정 채널의 정보로는 화자가 말하는 내용이 될 수 있고, 내포적인 채널로 전달되는 정보는 화자의 말하는 방식이 해당된다.

HCI 분야에서의 감정인식은 특정 감정 분류로 구분되는 이산적(Discrete) 감정 모델[21] 또는 긍부정도(Valence), 각성도(Arousal), 파워(Power) 등의 감정 속성을 소수 단위의 레벨로 정의하는 차원적 (Dimensional) 감정 모델[22]에 기반한다. 이산적 감정 모델 기반 감정인식에서는 슬픔, 기쁨, 공포, 분노, 혐오, 그리고 놀람과 같은 감정 레이블로 인식한다.

음성신호에 기반하는 감정 인식(SER: Speech Emotion Recognition)은 사용자가 발화한 음성신호를 처리하여 이산 감정 모델 또는 차원적 감정 모델을 이용하여 감정 레이블을 인식한다. 최근에는 음성신호의 유효한 특징을 추출하고, 추출된 특징을 심층 기계학습 모델을 통해 학습하는 감정인식 연구가 활발하다.

표 2는 기계학습을 위해 음성신호로부터 추출되는 음성특징의 분류를 보인다. 운율(Prosodic) 분류에서는 음성의 억양(Intonation), 리듬(Rhythm)과 관련된 음성특징을 포함한다. 스펙트럼(Spectrum) 관련 특징은 시간 도메인의 음성신호를 주파수 도메인의 특징으로 변환한 MFCC(Mel Frequency Cepstral Coefficients), LPCC(Linear Prediction Cepstral Coefficients) 등을 포함한다. 음성 품질에 관련된 특징에는 jitter, shimmer, HNR과 같은 음성의 물리적 특징을 포함한다. TEO(Teager Energy Operator) 특징은 스트레스와 같은 요인에 의해 발화 시 성대의 근육에 가해지는 에너지를 정의하는 물리적인 음성특징에 관한 것이다[23].

기계학습 기반 음성 감정인식 모델을 구축하기 위해서는 인식하고자 하는 감정 모델의 레이블이 부여된 음성 감정 데이터셋이 필요하다. 음성 감정 데이터셋의 구축은 감정 레이블의 분류와 강도를 평가함에 있어 개인이 갖는 주관성, 음성 감정 신호에 대한 개인적, 문화적 또는 환경적 다양성으로 인해 음성 감정 데이터 수집에 많은 시간과 비용이 필요하다.

현재 공개되어 있는 감정 데이터셋은 그 수집 방법에 따라 특정 감정 상황에 대해 연기하거나 (Acted, Simulated), 오디오 또는 비디오 자극을 통해 사용자로부터 특정 감정을 유도하는 방법 또는 자유발화(Natural Conversation) 수집 방법으로 구분된다. 대표적으로 IEMOCAP [24]과 KESDy18 [25] 데이터셋은 연기된 데이터셋이며, eNTERFACE’05 audio-visual [26]은 유도의 방식으로 수집된 데이터셋, SAMAINE [27]은 자유발화 데이터셋으로 구분된다. 수집된 데이터셋에 대한 감정 레이블의 태깅은 수집 대상자, 즉 화자의 자기보고 방식 또는 외부 감정평가자의 평가에 의한 감정 레이블 부여의 방식에 따라 부여된다.

최신의 음성 감정인식 결과는 대부분은 RNN, CNN에 기반하는 심층학습 기반의 학습모델에 기반하여, 단일 네트워크 또는 복수의 네트워크를 혼합한 앙상블 구조로 구현한다. 최근에는 특정 음성 감정 소스 데이터셋을 기반으로 지도(Supervised) 또는 비지도(Unsupervised) 방식으로 학습된 훈련모델을 활용하여 추출한 특징 정보를 새로운 타겟 도메인에서의 감정 학습모델에 이용하는 전이학습 기반의 음성 감정 모델에 대한 연구가 활발히 수행되고 있다[28-30].

웨어러블 디바이스로 수집 가능한 많은 라이프로그 데이터를 바탕으로 개인의 감성 또는 무드(Mood)를 인식하거나 예측하는 기술들도 연구가 활발히 진행되고 있다.

참고문헌 [31]은 스마트폰과 스마트워치를 이용하여 HR(Heart Rate), GSR(Galvanic Skin Response) 데이터를 수집하고, PSS(Percieved Stress Scale)를 5점 척도로 하루 두 번 응답받아 부정적 감성(스트레스)을 감지하는 기술을 구현하였다. 사용자가 자각하지 않은 상태에서 생리반응 신호를 수집하여 스트레스를 모니터링하고 피드백함으로써 질병 예방과 같은 효과를 목적으로 하였다. 참고문헌 [32]는 사용자를 심리적으로 이해하기 위해 라이프로그 데이터를 사용하였다. 아침 기상 직후에 무드 (Happy, Peaceful, Depressed, Anxious)를 수집하여 이를 긍부정도(Arousal/Valence)로 분류하고 신체활동과 바이오메트릭스를 함께 이용하여 무드를 예측하는 방법을 제시하였다. 참고문헌 [33]은 회사에 근무하는 60명의 사무실 노동자들로부터 주중 수면 상태에 대한 웨어러블 센서 데이터와 건강지수를 측정하기 위한 기상 직후 DAMS(Depression and Anxiety Mood Scale) 질문지 응답을 수집하고, 이를 바탕으로 우울, 불안 무드를 인식하는 모델을 제시하였다.

이러한 연구들은 무드 예측을 위해 Fibit, MS Band2, Affective Q Sensor, E4 등과 같은 손목 착용형 디바이스를 사용하였다. 착용 디바이스로부터 HR, GSR, SKT(Skin Temperature), 가속도 등의 데이터를 수집하였다. 라이프로그 레이블로는 수면 정보를 비롯하여 행동이나 상황정보와 관련된 특징들을 수집하여 사용하고 있다. 특히, 수면은 개인의 감성 또는 무드에 큰 영향을 미치는 것으로 보고되고 있어 많은 연구에서 수면과 관련된 특징들을 추출하여 활용하고 있다.

개인의 감성 또는 무드는 응용에 따라 목표로 하는 무드가 다양하게 존재하고 있다. 대표적으로 신체적·정신적 건강에 가장 영향을 많이 미치는 스트레스를 중요한 개인의 감성으로 다루고 있었고, 이외에도 다음 날 아침 기상 직후의 기분을 예측하려는 연구들도 있다. 이 분야 연구 역시 많은 사람을 대상으로 양질의 데이터를 대량으로 확보하는 것이 인식의 정확도를 높이는 문제와 직결되는 만큼 대용량, 고품질의 라이프로그 데이터를 확보하는 기술에 대한 연구가 시급한 연구과제로 보고되고 있다.