거리영상 기반 동작인식 기술동향

삼각 측량 기반 거리영상 센서는 인간의 두 눈과 같이 특정한 베이스라인(baseline)을 가지는 두 좌표계에서 영상을 획득하고, 두 영상에서의 대응점을 찾아 거리를 계산한다. 대응점을 찾아야 거리영상을 복원할 수 있기 때문에 텍스처가 없는 환경이나 조명변화가 심한 환경에서는 사용하기 힘든 단점이 있다. 이를 보완 하기 위해 하나의 카메라 대신 광파를 이용하기도 하며, 광파의 사용 유무에 따라 수동(passive)방식과 능동(active)방식으로 나눌 수 있다.

가. 스테레오

스테레오 비전(Stereo vision)의 경우 빠른 속도로 대응점을 찾거나 텍스처가 부족한 환경에서 매칭을 시도하는 방법 등 효율적으로 스테레오 매칭을 시도하는 연구가 수행되어 왔으며[4], 여러 시점의 영상을 기반으로 거리영상을 복원하는 방법[5], 텍스처가 부족한 환경을 보완하기 위해 임의 패턴을 추가하여 능동 스테레오(active stereo)를 사용하는 방법 등 여러 방면에서 연구가 진행되고 있다. 상용 스테레오 카메라 제품으로는 Point Grey Research의 Bumblebee²⁾ 제품이 있다.

나. 구조광

구조광은 대표적인 능동방식의 삼각 측량 방법으로, 스테레오 카메라에서 하나의 카메라를 패턴을 투사할 수 있는 프로젝션 시스템으로 대체한 형태로 구성된다.패턴을 투사하기 때문에 텍스처가 없는 환경에서도 거리를 계산 할 수 있으며, 미리 정의된 패턴으로 하나의 카메라 영상에서 대응점을 찾을 수 있다. 때문에 대부분의 연구는 목적에 알맞은 패턴설계를 통한 거리영상 획득속도, 정확도/정밀도 향상, 혹은 환경 강인성에 대한 연구들에 집중되어 왔다[6]. 구조광 방법은 패턴 코딩방법에 따라 크게 직접 코드(direct code), 공간 코드(spatial code), 시간 코드(temporal code)로 나눌 수 있다. 시간 코드는 가장 높은 정확도/정밀도를 보여 주지만 여러 장의 패턴을 사용하기 때문에 속도가 느린 측면이 있고, 공간 코드는 한 장의 코드를 사용하여 속도는 빠르나 정확도/정밀도가 떨어지는 단점이 있으며, 직접 코드는 환경에 영향을 많이 받는 단점이 있다. 상용 제품으로는 Microsoft의 Kinect가 있다.

시간 지연 측정(time-of-flight)기법은 특정 광파를 쏘고 되돌아 오는 시간을 측정하여 거리정보를 복원하는 방법으로 디지털 카운트를 가지고 레이저 펄스가 되돌아 오는 시간을 측정하거나 수신된 펄스의 위상 차이를 이용하여 시간을 측정하는 방법을 사용한다. 이때 서로 다른 위상 차이를 만들기 위해서 하나의 픽셀에서 노출구간을 조절하거나, 인접한 픽셀에서 서로 다른 구간 시간을 지정하는 방법 등을 사용한다[7]. 기하학적인 위치 변이를 사용하는 삼각 측량과는 달리 광파를 직접 활용하기에 이에 대한 오차를 보상하는 방법들이 연구되고 있다[8]. 상용제품으로는 Softkinetic의 DS series³⁾, Mesa Imaging의 SR series⁴⁾ 등이 있다.

먼저 참고문헌 [12]에서는 특징정보를 추출하기 위해 영역화된 깊이 영상에 R transformation을 적용하였다. 이를 통해 얻어진 1차원 특징 프로파일(profile)은 변위와 스케일에 불변하는(translation and scale invariant) 장점을 가진다. 여기에 추가적으로 PCA(Principle Component Analysis) 및 LDA(Linear Discriminant Analysis)를 적용하여 최종 특징 벡터를 생성한다. 동작의 분류(classification)에는 discrete HMM(Hidden Markov Model)이 사용되었다. 참고문헌 [13]은 깊이 영상으로부터 얻어진 중간단계 특징이라고 할 수 있는 스켈레톤 정보를 활용하여 Histogram of 3D Joints (HOJ3D) 특징을 제안하였다. 이는 스켈레톤의 루트(root) 관절을 기준으로 다른 관절들의 공간적 분포를 히스토그램(histogram) 형식으로 계산한 것이다. 하나의 HOJ3D 벡터는 하나의 자세(posture)를 나타내며, 추가적인 LDA 및 K-means clustering을 통해 벡터 양자화(vector quantization)가 되어 최종적으로 discrete HMM을 통해 동작이 분류된 분류된다. 참고문헌 [14]에서는 깊이 영상과 스켈레톤 정보를 동시에 사용하는 하이브리드(hybrid) 특징 벡터를 제안하였는데, 이는 기존의 스켈레톤 관절의 방향(orientation), 위치(position), 움직임(motion) 정보와 함께 깊이 영상으로부터 얻어진 HOG(Histogram of Oriented Gradients) 특징정보의 결합으로 이루어진다. 또한 이 논문에서는 사람의 동작이 계층적(hierarchical) 구조를 가지고 있다는 점에 주목하여 동작을 two-layer MEMM(Maximum Entropy Markov Model)로 모델링하는 방법을 제안하였다. 참고문헌 [10]에서도 하이브리드 특징을 사용하였는데, 관절 쌍(pair)의 상대적인 위치 차이를 이용하여 스켈레톤 특징을 구성하였고, 추가적으로 특정 관절주위의 깊이 외양정보라고 볼 수 있는 LOP(Local Occupancy Patterns)를 정의하여 특징 벡터로 사용하였다. 또한 단순히 모든 스켈레톤 관절을 모두 사용하는 것이 아니라, 동작 분류에 도움이 되는 관절의 조합을 actionlet이라 정의하고 이를 발견하고, 결합하는 방법을 제안하였다. 그리고 Fourier Temporal Pyramid 특징 벡터를 구성함으로써 별도의 학습과정 없이 동작의 동적인 모델링을 수행하였다. 참고문헌 [15]에서는 오디오 정보와 스켈레톤 정보를 함께 사용하는 multi-modal 방법을 제안하였다. 이 논문에서 다룬 데이터셋은 동작들이 한 동영상 안에서 연속적으로 이루어지므로 동작인식 방법은 동작의 유형을 분류해야 할 뿐만 아니라 발생한 위치 또한 추정해야 하는데, 즉 단순한 동작 분류가 아닌 동작 검출(detection)을 다룬다. 이를 위해 에너지 기반의 thresholding 방법을 통해 동작이 발생한 구간(interval)의 후보를 생성한다. 그리고 각각의 후보구간에 대해 오디오 및 스켈레톤 기반의 두 분류기(classifier)를 동시에 적용한다. 오디오의 경우 MFCC(Mel Frequency Cepstral Coefficient) 특징 기반의 discrete HMM을 사용하고, 스켈레톤의 경우 가장 관련성이 높은 4개의 관절의 3차원 위치 및 DTW (Dynamic Time Warping) 거리를 기반으로 하여 kNN (k Nearest Neighbor) 방법을 적용한다. 최종적으로 두 분류기의 결과를 선형 결합하여 분류를 하는데, 실험결과를 통해 multi-modal 정보의 사용이 개별정보를 사용할 경우보다 인식결과를 향상시킴을 보여주었다.

먼저 참고문헌 [16]에서는 주어진 일련의 깊이 영상들을 4차원 시공간체적(4D space-time volume)으로 간주하고 그 안에서 사람에 해당하는 3차원 깊이 정보들의 분포를 묘사하는 STOP(Space-Time Occupancy Patterns) 특징을 제안하였다. 비슷하게 참고문헌 [17]에서는 4차원 시공간체적 안에서 다른 위치 및 다른 크기를 가지는 4차원 부속체적(4D sub-volume)들을 무작위로 샘플링하여 이를 활용하는 ROP(Random Occupancy Patterns) 특징을 제안하였다. 전체적(holistic) 특징인 STOP에 비해 ROP는 국소적(local) 특징이라고 볼 수 있다. 또한 참고문헌 [17]은 동작 분류를 위해 추가적으로 sparse coding을 적용하였으며, SVM(Support Vector Machine)을 사용하였다. 참고문헌 [18]은 세 직교(orthogonal) 평면으로 투영된 깊이 영상의 움직임 정보를 나타내는 이진(binary) 영상들을 DMM(Depth Motion Map)이라고 정의하였다. 이로부터 HOG를 계산하여 DMM-HOG 특징 벡터를 제안하였는데, 현재까지 알려진 바로는 MSR Action3D dataset에 대해 가장 높은 분류 성능을 보인다. 참고문헌 [19]의 경우 스켈레톤으로부터 자세, 움직임, 그리고 옵셋(offset) 정보를 계산하고 PCA를 적용하여 Eigen Joints 특징 벡터를 생성한다. 이 논문은 특징적으로 동작-동작(action-action) 거리가 아닌 동작-클래스(action-class) 거리를 계산하는 Naïve-Bayes-Nearest-Neighbor classifier를 사용한다. 마지막으로 참고문헌 [20]에서는 기존의 오프라인(offline)이 아닌 온라인(online) 동작인식 문제를 다루었는데, 이를 위해 각각의 동작이 인식되어야 하는 시점을 나타내는 action point라는 개념을 제안하였다. 효율적인 온라인 동작인식을 위해 무작위 결정 트리(randomized decision trees) 방법을 제안하였고, 실험을 통해 대기 시간(latency)과 인식 정확도를 나타내는 F-score 사이에 트레이드오프(tradeoff) 관계가 있음을 입증하였다.

손에 대한 정보를 얻기 위해서는 손이 실제 화면 상에 존재하는지 여부를 먼저 탐색해야 한다. 가장 기본적인 방법은 입력 컬러영상에서 미리 모델링된 피부색(skin-color) 정보로 손을 탐색하는 것이다[24]-[27]. 이 경우 기존에는 배경이 복잡하거나 피부색과 유사한 객체가 배경에 존재할 경우에 알고리즘의 성능이 저하되는 경향이 있었으나, 추가로 거리정보를 참고하면 손 부분을 배경과 용이하게 분리할 수 있다는 장점이 있다.

다른 방법으로 손이 가지는 특징들을 영상으로부터 분석하여 손을 탐색하는 방법들이 있다. 참고문헌 [28]은 미리 촬영된 손 데이터들의 윤곽 정보를 참고하여 화면에서 손을 탐색하고, 참고문헌 [21]에서는 손 끝과 같이 뾰족한 특징(tip)을 가지는 부분과 손가락과 같이 관 형태의 특징(pipe)을 가지는 영역을 영상으로부터 추출한 다음 이를 활용하여 손을 탐색하고 자세를 추정한다. 참고문헌 [29]의 경우에는 거리영상에서 특정 구간을 추출하여 손이라 가정하고 추출된 영역에서 손바닥의 중앙점을 정의한다. 그 후 이로부터 최대의 3차원 geodesic distance를 가지는 위치를 탐색하여 이를 손가락 끝(fingertip)으로 인식하고 이를 추적한다. 최근 동작인식 인터페이스에서는 손을 포함하는 사용자 골격(skeleton)을 3차원 위치정보로 제공하는데 이를 활용하여 얻어진 손 위치 정보를 가지고 자세 추정 등에 활용하기도 한다[30].

손 자세(hand posture)는 연속적인 동작이 아닌 단일 영상에서 사용자가 취한 손 형태를 의미한다. 본 절에서는 손 자세 추정동향을 기존의 논문들에서 소개된 분류체계인 형태 기반 접근방법(shape-based approach)과3차원 모델 기반 접근방법(3D model-based approach)으로 나누어 소개한다[22][23].

가. 형태 기반 접근방법

형태 기반 접근방법을 가지는 손 자세 추정 알고리즘은 컬러영상 혹은 거리영상 등과 같은 입력영상으로부터 손에 해당하는 부분의 특징들을 추출하여 현재 손 자세를 구분하는 방법이다. 참고문헌 [32], [34]는 분할된 손에서 원 형태로 추출한 샘플의 패턴을 분석하여 사용자의 현재 손 자세를 추정한다. 손가락보다 다소 두꺼운 손목의 위치를 포함하는 패턴이 나오기 때문에 같은 손 자세일 경우 사용자 손의 롤(roll) 회전에 영향을 받지 않고 자세를 판별해 낼 수 있다는 장점이 있다. 한편 분할된 손의 윤곽선에서 특징을 추출하여 손 자세 판별에 활용하기도 하는데 윤곽선에서 급격하게 꺾이는 곡선의 개수를 분석하여 사용자가 몇 개의 손가락을 펴고 있는지를 분석한 연구가 있으며[31], 분할된 손의 윤곽선을 구한 다음 미리 학습된 데이터베이스에 있는 손의 윤곽선과 차이를 계산하여 손 자세를 추정하기도 한다[30]. 특정 자세의 손 형태정보를 미리 수집하고 학습하여 판별하는 방법을 기반으로 다양한 연구들이 진행되어 왔다. 참고문헌 [24]는 가상환경에서 손을 합성하여 윤곽과 거리정보를 뽑아내어 활용하며, 참고문헌 [35]는 컬러장갑을 끼고 촬영한 학습데이터를 활용하여 입력영상에서 2D 윤곽, 3차원 포인트 클라우드(3D point cloud)에서 추출한 표면정보, 그리고 손의 위치를 특징으로 입력영상의 손 자세를 추정한다. 최근에는 참고문헌 [36]처럼 거리 영상센서에서 나오는 3차원 포인트 클라우드 정보에서 3차원 접평면(tangent plane)의 법선 벡터(normal vector)를 추출하는 등 3차원 점 데이터로부터 3차원 정보를 재가공해서 손 자세 추정의 특징으로 사용하는 접근이 이루어지고 있다. 이런 접근들은 거리정보의 유용성을 보여준다고 할 수 있다.

나. 3차원 모델 기반 접근방법

3차원 모델 기반 접근방법은 입력된 영상에서 촬영된 사용자의 실제 손과 3차원으로 모델링 된 손의 불일치도(discrepancy)를 최소화시켜 맵핑시키는 방법으로 손 자세의 연속적인 추적을 목표로 하는 접근방법이다. 참고문헌 [25]는 손을 해부학적으로 분석하여 27개의 변수 형태로 표현하여 모델링한다. 그리고 가상 손 모델과 실제 손의 차이를 구하기 위해서 거리영상과 컬러정보 등을 활용하여 불일치도를 정의하고 이를 최소화시키기 위해 최적화 알고리즘 중 하나인 Particle Swarm Optimization(PSO)을 사용하여 한 손의 자세를 추정한다. 나아가 참고문헌 [37]에서는 양 손의 자세를 최적화 알고리즘으로 구하면서도 ‘양손 깍지끼기’와 같이 양 손 사이의 긴밀한 상호작용의 경우도 지속적으로 추적할 수 있는 기술을 소개했고, 최근에는 손과 컵, 그릇과 같은 실제 객체와의 상호작용(예. 손으로 컵을 잡고 들어 옮기기)들도 추적하여 손뿐만 아니라 손과 객체 사이의 상호작용 또한 추적하고 인식할 수 있음을 보였다[38].

손 특징을 추출하는 알고리즘이 다양하듯 손 동작을 분류하는 알고리즘도 다양한 방법들이 존재한다. 참고문헌 [26], [36]에서는 대표적인 기계학습(machine learning) 알고리즘 중의 하나인 SVM을 활용한다. 추출된 특징들을 기준으로 학습시킨 SVM을 활용하여 입력영상의 특징과 가장 가까운 데이터셋을 찾고 이를 판별결과로 출력한다. 여러 가지 분류기들의 성능을 비교하여 결과를 보여준 논문인 참고문헌 [32]에서는 세 가지의 분류기들, 즉 k-d tree based K-means clustering, Bayesian plug-in classifier, 그리고 nearest neighbor classifier의 성능을 비교했으며, 결론적으로 해당 논문의 실험 환경에서는 nearest neighbor 방법이 가장 좋은 성능을 보였다. 손 동작 분류의 정확도를 높이기 위해서 하나 이상의 분류기를 함께 사용하는 연구들도 존재한다[27] [28], [39][40]. 그 들 중 특히 [28], [39]의 경우에는 다수의 분류기를 계층적으로 배치시켜 적용함으로써 분류 성능을 향상시켰다. 또 다른 연구로는 손 위치의 연속적인 변화 패턴이 하나의 동작이 되기 때문에 동적 패턴 분석에 많이 사용되었던 HMM이나[41][42], 특정 동작이 이루어지는 속도나 시간에 영향을 받지 않는 것을 특징으로 가지는 DTW[24]를 사용해서 연속적인 동작을 구분하는 연구들도 있다.

한편, 손 동작 분류 알고리즘들의 성능을 평가하기 위하여 필요한 표준 데이터셋이 갖추어지지 않는 실정이지만[23], 많은 연구들에서 손 동작 알고리즘의 성능을 평가하고자 할 때 수화(手話, sign language)를 얼마나 정확하게 구별하는지를 확인하여 평가한다[26], [36], [40]. 수화는 다양한 손 모양을 포함하고 있는데, 2차원 윤곽으로는 다소 구별하기 힘든 동작들도 포함되어 있어 거리영상 기반 손 동작 알고리즘을 평가하기에 적합하다. 하지만 이 역시 나라별로 수화 표현이 다르기 때문에 손 동작인식 기술들의 객관적인 평가를 위해서는 표준 데이터셋이 필요한 실정이다.