객체 추적 연동 다중 PTZ 카메라 제어 기반 객체 중심 다각도 영상 획득 기술

Object-of-Interest Oriented Multi-Angle Video Acquisition Technique Using Object-Tracking based on Multi-PTZ Camera Position Control

저자
김유경, 엄기문, 조기성 / 미디어클라우드연구실
권호
31권 3호 (통권 159)
논문구분
방송·전파·위성 & 스마트 미디어 기술 특집
페이지
1-8
발행일자
2016.06.01
DOI
10.22648/ETRI.2016.J.310301
초록
최근 개인화된 미디어의 출현과 더불어 방송통신 미디어 분야에서 개인별 맞춤형 방송 서비스에 대한 관심과 지원이 빠르게 확산되는 추세다. 특히, 다중 카메라를 이용한 관심 인물에 대한 다각도 영상과 같은 차별화된 영상을 제공하려는 수요가 꾸준히 증가하고 있다. 객체 중심의 영상을 생성하기 위한 관련 기술의 발전 및 수요 변화에 발맞춰 본고에서는 관련 기술의 개요 및 연구동향을 살펴보고, ETRI에서 개발 중인 객체 추적 기반의 다중 Pan-Tilt-Zoom(PTZ) 카메라 제어를 통한 객체 중심 다각도 영상 획득 기술을 소개하고자 한다.
   4133 Downloaded 5579 Viewed
목록

Ⅰ. 머리말

오늘날 방송통신 미디어 분야의 주요한 변화 중 하나는 개인화된 미디어의 출현이라고 할 수 있다. 동영상 데이터 이용률의 폭발적 증가 및 지식 기반 사회 구축 추세에 따라 개인별 맞춤형 방송 서비스에 대한 차별화 방안에 대한 관심이 높아졌다. 특히, 시청자의 관심사가 다양해짐에 따라 시청자가 관심을 가지는 객체 중심의 맞춤형 영상 미디어를 제공할 필요성이 꾸준히 증가하고 있다. 다양한 영상 내 객체 중심의 영상 미디어 응용 서비스에 대한 관심이 고조되고 있으며, 관련 제품 및 서비스 시장 확대에 대응하기 위한 차별화된 개인별 맞춤형 영상 획득 기술 개발이 필요해지고 있다. 이러한 맞춤형 영상 미디어의 발전 추세에 맞추어, 방송 사업자 위주의 획일화된 미디어 제공 환경에서 벗어난 다양한 웹 기반 영상 미디어를 활용하기 위한 개인화 미디어 서비스 기반 기술 및 플랫폼 등이 지속해서 등장하고 있다.

기존 방송 관련 유사한 서비스로 관중이 그룹 가수 중 좋아하는 인물만 따라가며 직접 캠코더로 촬영한 ‘직캠’ 영상을 스트리밍 서버로 올려서 제공하거나 방송사에서 카메라별로 각각의 카메라 촬영 기사를 두고 음악 방송이나 축구 경기 등에서 인물별로 촬영한 영상을 제공하는 멀티 앵글 서비스가 있다. 이와 같은 기존 서비스는 시청자가 원하는 앵글의 화면과 관심 인물을 볼 수 있다는 점에서 대중적 관심과 호응을 얻고 있다. 하지만 관심 인물만을 위한 영상을 얻기 위해 카메라별로 사람이 직접 촬영해야 하므로, 비용과 노력이 많이 들고 관심 인물의 수가 늘어나면 서비스 제공에 한계가 있는 등 아직 서비스를 확대하기에는 어려움이 많다. 이를 극복하기 위한 방안으로 컴퓨터 비전 분야에서 오랜 기간 연구된 영상 기반의 추적 기술과 추적 기반의 카메라 연동 제어 기술을 이용하면 자동화된 객체 중심 영상 획득이 가능하다.

본고에서는 객체 중심 다각도 영상을 획득하기 위해 사용할 수 있는 다중 촬영, 객체 추적, 카메라 제어와 같은 관련 기술을 서술하고 관련 기술동향을 살펴본다. 또한, ETRI에서 연구 중인 객체 추적을 통해 연동된 다중 Pan-Tilt-Zoom(PTZ) 카메라 제어 기반 객체 중심 다각도 영상 획득 기술을 소개한다.

Ⅱ. 기술개요

객체 중심 다각도 영상 획득을 자동화하기 위해서는 다중 촬영을 위한 카메라 네트워크로 연결된 컨트롤 및 획득 시스템이 필요하고 지정된 객체를 추적하며 그 추적 위치에 따른 다중 카메라의 PTZ 값을 자동으로 계산하는 다중 PTZ 카메라 연동 제어 기술이 필요하다.

1. 다중 촬영 기술

다중 촬영 기술은 한 장면에 대해 여러 대의 카메라를 이용하여 동시 촬영하는 기술로, 방송의 필요와 목적에 따라 새로운 시점의 영상을 개별 영상 또는 각기 다른 시점의 영상을 조합해서 제공할 수 있다. 특히, 영화 ‘매트릭스’로 대중에게 널리 알려진 타임 슬라이스는 같은 시간에 촬영된 다양한 각도의 샷을 연이어 보여주는 기법으로, 이는 일반적인 상황에서 보기 힘든 장면을 구성할 수 있어 특히 광고 분야에서 선호된 기법이다. 같은 시간을 좀 더 길게 볼 수 있는 효과가 있어 기존 방송에서는 보기 힘들었던, 시간이 정지되어 있다는 느낌을 강조하기 위해 사용된다. 이를 위해 여러 시점의 카메라로 동시 촬영하고 촬영한 각기 다른 카메라 영상을 연달아 보여주기 때문에 촬영 상의 노출, 트리거, 동기화 등의 카메라 컨트롤이 정밀하게 이루어져야 한다. 또한, 촬영 후 다양한 각도로 촬영된 영상에서 관심 인물을 제거하고 파노라마 형태로 배경을 만든 후 배경과 인물 영상을 합치는 후처리 작업이 진행된다[1].

2. 객체 추적 기술

전통적으로 고정 또는 이동식 카메라를 이용한 영상 내 객체 추적 기술은 컴퓨터 비전 학계에서 활발히 연구되는 주제로, 주로 실내외 Closed-Circuit Television (CCTV)를 이용한 범죄 또는 재해 예방/감지와 같은 다양한 응용 영역의 보안 및 공공 서비스, 스포츠 경기 분야에서 경기 분석을 위한 서비스로 활용되고 있다. 객체 추적 기술은 일반적으로 고정된 카메라로 촬영된 영상 내 존재하는 객체의 움직임을 추적하거나 이동식 카메라로 영상을 촬영한 경우 카메라의 3차원 움직임과 객체의 움직임을 동시에 추적하는 것을 말한다[2].

객체 추적은 컴퓨터 비전의 2가지 주요 기술을 필요로 한다. 하나는 탐지(detection)이고, 다른 하나는 추적(tracking)이다. 탐지는 영상 내 찾고자 하는 대상, 즉 객체를 찾는 것이고, 추적은 영상 내 특정 대상의 위치 변화를 찾는 것이다. 추적 알고리즘은 크게 2가지로 분류되는데, ① 탐지가 초기화에만 사용되고 이후 탐지 없이 시간에 대한 객체의 움직임에 대한 추정이 객체의 움직임 흐름에 의한 변이 추적에 의존하는 경우와 ② 매 프레임마다 탐지를 하고 매 프레임에서의 탐지결과에 대해 객체 간 매칭(matching)에 의해 추적을 수행하는 경우(tracking by detection)가 있다[3].

추적 방법은 검출을 위해 일반적으로 사람을 포함하지 않는 배경 영상을 모델링한 후 현재의 카메라 입력영상과 배경 영상과의 차이를 구해 움직임 영역을 검출한다. 이 경우 사람이 엇갈리거나 중복됨으로 인해 검출 영역의 수와 추적 객체 수가 다를 수 있으므로 각 사람에 대한 추적이 유지되도록 강인하고 고도화된 매칭 기술이 필요하다. 추적 과정에서 사용되기 위해 추출되는 특징 정보로는 컬러, 에지(edge), 광류(optical flow), 텍스쳐 등이 있고, 알고리즘에 따라 다양한 특징들을 조합하여 사용한다. 특징을 검출하는 알고리즘은 Kanade-Lucas-Tomasi Feature Tracker(KLT), Scale Invariant Feature Transform(SIFT), Histogram of Oriented Gradients(HOG), Haar 특징, Ferns, Local Binary Pattern(LBP), Modified Census Transform(MCT) 등이 있다[4].

추적 알고리즘은 특징의 형태에 따라 포인트 기반 추적, 커널(kernel) 기반 추적, 실루엣(silhouette) 기반 추적으로 나뉜다[5]. 커널 기반 추적은 객체의 외형 모양을 따라 그 변환 과정을 추적하고, 실루엣 기반 추적은 객체의 에지 정보를 이용해 윤곽의 일치 여부에 따라 추적한다. 검출된 객체의 특징이 포인트의 형태로 표현되는 포인트 기반 추적은 포인트들의 연관성을 추적하기 위해 칼만 필터(Kalman filter) 방식, 파티클 필터(particle filter) 방식이 대표적으로 사용된다.

칼만 필터는 ① 객체의 상태(위치와 속도)를 선형 시스템을 이용해 이전 상태로부터 예측(prediction 또는 estimation)하고, ② 새로 들어온 현재의 상태에 대한 측정값으로 보정(update)하는 과정을 반복한다[6]. 칼만 필터의 경우 상태 변화가 선형 시스템으로 예측 가능하지 않는 움직임을 포함하는 경우에 취약하다.

이에 반해 파티클 필터는 파티클의 상태를 가중치 정보(샘플의 중요도)를 갖는 샘플들의 집합으로 표현한다. 즉, 객체 위치에 대한 확률 분포를 가중치를 가진 샘플들로 근사화시킨다. 상태 초기화 이후의 파티클 필터의 동작 순서는 ① 이전 측정값으로부터의 현재의 위치를 예측하고, ② 현재 측정값으로부터 중요도 가중치를 업데이트하고, ③ 파티클 중 높은 예측 확률(likelihood)을 갖는 파티클 위주로 리샘플링한다[7]. 이를 순차적 중요도 샘플링(Sequential Importance Sampling, SIS) 이라고 한다. 위 3가지 과정은 반복되며 리샘플링된 파티클을 이용해 객체의 위치를 예측한다. 파티클 필터 추적 방식이 객체의 갑작스러운 움직임 변화에도 강건하여 추적 성능이 뛰어난 것으로 알려져 있다.

3. 카메라 네트워크 기반 카메라 제어 기술

(그림 1)

NHL 멀티 앵글 뷰 서비스[8]

images_1/2016/v31n3/ETRI_J003_2016_v31n3_1_f001.jpg

카메라 연동 제어 기술은 고정 카메라와 PTZ 카메라를 마스터-슬레이브 모델로 구성함으로써, 원거리 객체에 대한 근거리 영상을 얻기 위해 PTZ 카메라를 연동 제어하는 기술을 말한다. 이와 같은 기술은 지능형 영상 감시 시스템에서 필수적이고, 사람/얼굴 식별, 비정상 행동 탐지와 같은 다양한 응용 서비스를 위한 요소 기술로 활용도가 높다.

고정 카메라와 PTZ 카메라는 동일 네트워크로 연결되고 멀티 카메라 간의 상호 연동을 위해 영상 동기화와 캘리브레이션(calibration) 과정을 거친다. 이후, 고정 카메라에서 전달된 객체 좌표를 PTZ 좌표로 변환하고, 이 PTZ 값에 대한 제어 정보를 이용해 PTZ 카메라를 제어한다. PTZ 컨트롤을 통해 관심 객체를 원하는 크기로 PTZ 카메라 영상 중심에 위치 시키고 관심 객체에 대한 근거리 영상을 획득한다. 이 때 캘리브레이션은 멀티 카메라의 위치, 자세 정보를 얻기 위해 패턴을 이용해 카메라 파라미터를 계산하거나 대응점 매칭 기반의 호모그래피(homography)를 이용해 고정 카메라와 PTZ 카메라 영상 간의 변환 관계를 계산한다.

Ⅲ. 기술동향

본 장에서는 객체 중심 다각도 영상 획득을 위한 다중 촬영, 객체 추적, 카메라 네트워크 기반 카메라 제어에 대한 기술동향을 살펴보고자 한다.

1. 다중 촬영 기술

본 절에서는 다중 촬영 방송 서비스에 대하여 국내 Internet Protocol Television(IPTV) 사업자와 방송사에 제공하는 방송 서비스를 소개하고, 미국, 캐나다, 영국에서 개발한 주요 서비스 내용[8]을 소개한다.

• IPTV 사업자인 KT는 2010년부터 자사가입자 대상 멀티 앵글 비디오 및 프로야구 편파중계 서비스 실시함.

• 드라마 ‘별에서 온 그대’, ‘대왕의 꿈’, ‘2014 KLPGA SBS 골프’ 등 국내 방송 프로그램 내 다수 카메라를 통한 타임 슬라이스 특수 영상 제작 기법 사용됨.

• SBS 스포츠 채널에서는 70대 이상의 카메라 영상을 동일한 시간대에서 연속적으로 보여주는 타임 슬라이스 기법을 이용하여 프로야구 경기의 중요장면을 4D 리플레이라는 서비스로 제공함.

• 미국 YouTube사는 2015년 2월부터 일부 채널에 대해 동영상 감상 중 시점을 변경하는 다중 카메라 앵글 기능을 시범 도입함.

• 앱 개발 회사인 영국 Touch Press사는 비발디의 사계를 연주하는 오케스트라의 모습을 다양한 각도에서 촬영한 멀티 앵글 비디오를 보여주는 아이패드 앱 Vivaldi’s Four Sea-sons 출시함.

• 캐나다 National Hockey League(NHL)는 다중 카메라 피드 동기화 시스템을 보유하고 다중 스크린 뷰를 이용해 골 여부 판정 분석 및 멀티 앵글 뷰를 제공함[(그림 1) 참조].

• 미국 Waco 대학과 Extreme Networks사, YinzCam사가 협력하여 McLane Stadium 내에서 진행된 대학 미식축구 경기에 대해 모바일 기기에서 사용자가 선택한 시점의 비디오를 리플레이 하는 앱 Baylor In-Game을 개발함[(그림 2) 참조].

• 미국 해리스, 일본 소니 등이 방송용 카메라 중심 다중 카메라 촬영 및 획득 관련 솔루션 보유함.

• 캐나다 Vizrt사는 기존의 스포츠 방송화면을 분석하여, 선수별로 위치를 분석하거나, 다른 각도에서 바라본 영상을 가상으로 생성하여 보여주는 시스템을 개발함.

2. 객체 추적 기술

본 절에서는 국내 및 국외 주요 대학에서 기존에 개발한 객체 추적 기술 현황[8]에 대하여 살펴보기로 한다.

• 광주과학기술원은 카메라 움직임에 강건한 객체 탐지기 검출 기반의 다중 객체 추적 기술 보유함.

(그림 2)

Baylor In-Game[8]

images_1/2016/v31n3/ETRI_J003_2016_v31n3_1_f002.jpg

• 포항공대에서는 사람 검출기와 추적기를 결합하여 신체 일부의 가려짐, 자세의 변형, 장면 전환 등에 강인한 추적 기술을 개발함.

(그림 3)

호모그래피를 이용해 동일 좌표계로 변환된 카메라 영상[8]

images_1/2016/v31n3/ETRI_J003_2016_v31n3_1_f003.jpg

• 미국 MIT 대학의 Chris Stauffer 교수는 학습에 기반한 보안 카메라용 자동 객체 추적 기술 보유함[(그림 3) 참조].

• 독일 뮌헨 대학에서는 Automated SPort Game Analysis MOdel(ASPGAMO) 과제를 통해 여러 대의 TV 방송 카메라 영상 내에서 선수들을 검출하고 추적하여 선수들의 움직임 정보를 생성하는 기술을 개발함.

• 포르투갈 Porto 대학에서는 실내 스포츠 경기를 천장에 설치한 두 대의 고정 카메라를 이용해 촬영하면서 선수 검출과 그 선수의 팀 정보에 대한 식별 후 실시간으로 선수를 추적하는 시스템을 개발함[9].

• 미국 메릴랜드 대학에서는 멀티 카메라 추적 방법과 파티클 필터를 이용하여 중복되는 사람 영역을 검출, 머리, 상체, 다리 영역을 구분하여 검출하고 사람인지를 인식하고 움직임을 추적함[10].

• 중국 과학원에서는 HOG 특징을 기반으로 한 아다부스팅(Adaptive Boosting, AdaBoost) 방법으로 머리 영역을 검출하고 파티클 필터를 이용해 객체를 추적함[11].

3. 카메라 네트워크 기반 카메라 제어 기술

본 절에서는 카메라 네트워크를 이용한 카메라 제어 기술에 대한 주요 개발내용을 기술한다.

• 미국 Stanford 대학 Hamid Aghajan 교수는 다중 카메라 네트워크를 이용한 비디오 보안 시스템을 개발함[8].

• 일본 캐논사는 고정식 카메라로 상대적으로 저해상도인 전역 영상을 얻고 특정 객체를 추적하면서 그 객체에 대한 고해상도의 확대된 영상을 얻기 위해 이동식 PTZ 카메라를 연동 제어함[12].

• 미국 GE 글로벌 리서치는 제한된 개수의 PTZ 카메라로 감시 대상의 근접 영상을 효과적을 얻을 수 있도록 PTZ 스캐줄링을 위한 목적 함수(objective function)를 제시하였고, PTZ 카메라별 감시 영역을 객체와 PTZ 카메라와의 거리, 화각을 이용해 분할함으로 광역 보안 시스템에 대해 연구함[6].

• 이탈리아 Florence 대학은 PTZ 카메라 네트워크를 이용해 고정식 카메라 영상 내 사람의 발 위치와 PTZ 카메라 영상에서의 머리를 매칭하도록 하는 실시간 변환 관계를 예측함으로 다수 PTZ 카메라를 이용해 협조적으로 추적하는 기술을 개발함[6].

Ⅳ. 객체 중심 다각도 영상 획득 기술

앞서 설명한 바와 같이 다각도 영상에 대한 관심과 더불어 추적 기반 PTZ 카메라 연동 제어를 통한 지능형 감시 시스템이나 스포츠 분야로의 효용성이 강조되는 추세이다. 추적 성능의 강인성을 향상시키려는 연구가 다양한 방식으로 진행되어 왔으나 아직까지는 독보적인 성능을 보이는 연구는 없어 보인다. 본 절에서는 ETRI에서 개발 중인 객체 중심 다각도 영상 획득 기술에 대해 소개한다. 이 기술은 고정식 카메라를 이용해 다수 객체를 추적하고, 그 영상 내 추적 객체 위치 정보를 전달하면 각 PTZ 카메라별 호모그래피를 통해 타겟 PT 값을 자동 계산해 제어한다. 관심 객체를 촬영하는 다중 PTZ 카메라를 한 그룹으로 지정하여 추적 객체에 대한 확대된 다각도 고해상도 PTZ 카메라 영상을 얻을 수 있다. 관심 객체의 수는 PTZ 카메라 그룹 수에 따라 여러 명으로 확장 가능하다. 이러한 영상들은 스포츠 경기와 같은 방송 화면에서 시청자가 좋아하고 관심 있는 선수 위주로 촬영된 주요 장면을 여러 각도에서 보여주는 개인 맞춤형 콘텐츠로 이용될 수 있다.

1. 다중 카메라 촬영 환경

(그림 4)

선수별 영상 획득 시스템의 농구경기에 대한 운용 장면

images_1/2016/v31n3/ETRI_J003_2016_v31n3_1_f004.jpg

실내 스포츠 경기를 주 방송 서비스 콘텐츠로 타겟팅하고 경기장 환경에 맞도록 다중 카메라를 배치하였다. 전체 경기장을 촬영하기 위해 경기장 천장에 좌, 우 영역을 촬영하는 두 대의 고정식 Internet Protocol(IP) 카메라를 설치해 두 개의 top-view 영상을 획득한다. 이 두 영상을 이용해 경기장 전체 영역을 포함하는 통합 영상을 만들어 선수들의 위치를 추적한다. 이를 기준 좌표계로 사용해 PTZ 카메라와의 연동 제어를 한다. 선수별 다각도 영상을 얻기 위해 선수별로 4대의 PTZ 카메라를 경기장 바깥 영역에 동서남북 방향으로 경기장 중앙을 바라보도록 배치하였다. (그림 4)는 실제 농구 경기에 대해 객체 중심 다각도 영상 획득 소프트웨어를 사용한 모습이다. 세부 기능으로 다수 고정식/PTZ 카메라 영상 획득, 표출, 저장, 기준 평면 상 객체 추적 위치 표출, 기준 평면과 PTZ 카메라 간의 캘리브레이션, 추적 객체에 대한 카메라 그룹 연동 설정, 다수 PTZ 카메라 자동 제어를 통한 선수별 다각도 영상취득이 가능하다.

2. 기준 평면을 통한 통합 좌표계 변환 기술

다수 고정식 카메라 이용 시 전체 촬영 영역 내에서의 객체 추적 위치를 파악하도록 전체 경기장 평면을 포함한 통합 좌표계가 필요하다. 각각 두 영상 간 대응점을 이용해 호모그래피 관계식을 계산하고 전체 경기장으로 정의된 기준 평면 상으로 각 카메라 영상을 투영한다. 이와 같이 통합 좌표계로 투영된 영상들에서 영상별로 사용될 영역을 선택하고 이 영역들을 정합하여 하나의 통합 영상으로 만든다. 이 통합 영상은 PTZ 카메라를 제어하기 위한 기준 평면으로 이용된다.

3. 객체 추적 기술

선수 간의 겸침이 빈번한 실내 스포츠 경기 특성에 맞춰 안정적인 선수 추적을 위해 두 가지 추적 기법을 상호 보완적으로 사용하는 시스템을 제안하였다.

(그림 5)

유사도 맵 기반 객체 추적 기법[13]

images_1/2016/v31n3/ETRI_J003_2016_v31n3_1_f005.jpg

기본적으로 ① 운동 경기의 특성 상 빠른 움직임 변화에 강인하도록 파티클 필터 기반 추적을 사용한다. 이 때 객체의 특징을 통해 위치를 추적하는데 유사도 맵 기반 컬러 히스토그램 세분화[13]를 이용한다. (그림 5)와 같이 추적하는 물체와 유사한 시각 정보를 갖는 주변 영역을 사전 확률 지도를 모델링해 유사도 맵을 생성하고 이를 이용한다. 객체가 유사 색상 지역으로 이동 시 컬러 히스토그램 세분화로 적응적 관측 모델을 설정한다[(그림 5) 참조]. 이 추적 방식은 미세한 시각 정보 부각을 통한 객체와 주변 영역 간의 분리 성능 향상되는 장점이 있다. 이러한 장점에도 불구하고 선수 간의 겸침이 빈번한 실내 스포츠 경기 특성 상 유사도 맵 기반 추적 기법만으로는 경기 40초 이내 추적 실패가 발생한다.

추적 실패 시 자동 검출을 통한 재추적을 시작할 수 있도록 ② 자동 검출 레이블링(labeling) 기반 추적 기법을 함께 사용한다. 객체는 컬러 정보를 이용한 배경 분리(background subtraction)로 자동으로 검출된다. 이 때 영상의 색 좌표계 변환으로 그림자 효과를 최소화한다. 검출된 객체의 위치와 이전 추적 결과의 거리를 비교하여 객체 ID를 유지하고, 추적 실패 시 재추적을 위한 객체의 위치를 제공한다. 경기 중 선수 간 겹침이 발생하더라도 일정시간이 지난 후 객체들 간 거리가 떨어지는 상황을 이용하여 객체의 추적 위치를 보정한다. 따라서 유사도 맵 기반 추적 기법만을 사용한 경우보다 경기 내내 추적 오류에 대한 보정을 수행하면서 보다 안정적인 추적 결과를 제공한다.

현재 방식의 장점은 운동 경기라는 특성에 맞춰 유니폼 색상이라는 컬러 정보를 세분화하여 이용한다는 점과 top-view를 이용한 자동 검출 레이블링 추적 방식을 이용하여 경기 내내 객체를 분리, 검출, 재추적하기 용이하다는 점이다. 단점은 높은 곳에서 객체를 추적하기 어려운 일반 실내나 사무실 환경 아래에서는 객체의 움직임에 따른 객체의 모양 변화가 심해 객체 검출이 용이하지 않다는 점이 있다. 이를 해결하기 위해 객체의 움직임에도 변하지 않는 특징점과 광류와 같은 움직임 기반의 추적 방식을 함께 사용하는 방향으로 추가 연구를 진행 중이다.

4. PTZ 카메라 연동 제어 기술

객체 추적 기반 다중 PTZ 카메라 연동 제어 기술은 호모그래피를 이용해 추적 객체의 위치에 따른 다중 카메라 Pan-Tilt 값을 자동으로 동시에 계산하여 PTZ 카메라를 제어한다. 이 때 선수와 카메라 간 거리를 고려해 줌을 적응적으로 제어하고, 위치 예측을 통한 연속 이동 제어 방식을 적용하여 부드럽게 PTZ 카메라가 이동하도록 한다. 다중 카메라 레이아웃 제어의 최대 지연시간은 400ms 이내 수준이다.

Ⅴ. 맺음말

최근에는 개인화된 미디어 제공이 용이해지고 그 이용이 확산됨에 따라 시청자의 다양한 관심사를 반영할 수 있는 맞춤형 영상 서비스 관련 기술의 수요가 증가하고 있다. 이에 따라 차별화된 콘텐츠와 서비스를 생성하는 방법 중 하나로 다중 카메라를 이용한 다각도 촬영 및 카메라 제어 기술과 객체 추적 기술에 관한 연구개발이 활발히 진행 중이다. 본고에서는 이런 추세에 맞춰 객체 중심의 다각도 영상 획득을 위해 필요한 다중 촬영 기술, 객체 추적 및 카메라 제어 기술개요와 관련 연구동향을 분석하고, ETRI에서 연구 중인 객체 중심 다각도 영상 획득 기술에 대해 살펴봤다. 향후에는 스포츠 방송 시스템이나 지능형 방범 시스템에서 객체 추적 기반으로 카메라를 연동 제어하며 관심 인물을 자동으로 촬영하는 등 보다 의미 있는 맞춤형 영상 콘텐츠 생성과 제공이 더욱 확대되고 쉬워질 것으로 전망한다.

용어해설

카메라 캘리브레이션 3차원 점들과 카메라 영상의 투영된 위치 관계를 통해 카메라 내부/외부 파라미터 값을 찾는 과정

호모그래피(Homography) 하나의 평면을 다른 평면으로 옮기는 투영 변환으로 두 영상 사이의 관계를 3×3 행렬을 통해 규정하는 변환 기술

약어 정리

ASPGAMO

Auto-mated SPort Game Analysis MOdel

CCTV

Closed-Circuit Television

HOG

Histogram of Oriented Gradients

IP

Internet Protocol

IPTV

Internet Protocol Television

KLT

Kanade-Lucas-Tomasi

LBP

Local Binary Pattern

MCT

Modified Census Transform

NHL

National Hockey League

PTZ

Pan-Tilt-Zoom

SIFT

Scale Invariant Feature Transform

SIS

Sequential Importance Sampling

[1] 

SBS 뉴스, “'별그대' 김수현, 시간을 멈추는 장면의 비밀 '타임 슬라이스',” 2014. 1. 8.

[2] 

박한훈, 서병국, 박종일, “모델 기반 카메라 추적 기술 동향,” 전자공학회지, 제39권 제2호, 2012, pp. 138-147.

[3] 

Z. Kalal, K. Mikolajczyk, and J. Matas, “Tracking-Learning-Detection,” IEEE Trans. On Pattern Analysis and Machine Intelligence, 2012, pp. 1409-1422.

[4] 

다크 프로그래머, “영상 feature 비교 (SIFT, HOG, Haar, Ferns, LBP, MCT),”, 2014, http://darkpgmr.tistory.com/116.

[5] 

한국정보통신기술협회, “영상 감시 시스템에서의 객체 추적 및 이동궤적 분석 기술 보고서,” 정보통신단체기술보고서, 2009.

[6] 

H. Aghajan and A. Cavallaro, “Multi-Camera Networks: Principles and Applications,” Academic Press, 2009.

[7] 

남기형, “Particle Filter를 이용한 이동 물체 자동 추적 모니터링 시스템 구현,” 호남대학교 석사 논문, 2014.

[8] 

한국전자통신연구원, “방송용 영상 인식 기반 객체 중심 지식융합 미디어 서비스 플랫폼 개발,” 정보통신∙방송 연구개발사업계획서, 2016.

[9] 

C.B. Santiago et al., “Tracking Players in Indoor Sports Using a Vision System Inspired in Fuzzy and Parallel Processing,” Cutting Edge Research in New Technologies, April 5th, 2012, pp. 117-140.

[10] 

K. Kim and L. S. Davis, “Multi-camera Tracking and Segmentation of Occluded People on Ground Plane Using Search-Guided Particle Filtering,” Lecture Notes in Computer Science, 2006, pp.98-100.

[11] 

M. Li et al, “Rapid and Robust Human Detection and Tracking based on Omega-Shape Features,” 16th IEEE Proc. Intern. Conf. Image Processing(ICIP),, Nov. 2009, pp.2517-2520.

[12] 

Canon Kabushiki Kaisha, “Surveillance Camera System and Surveillance Camera Control Apparatus,” USA 특허, 2014.

[13] 

김가람, “The Robust Object Tracking using Similarity Map,” 한양대학교 석사논문, 2014.

(그림 1)

NHL 멀티 앵글 뷰 서비스[8]

images_1/2016/v31n3/ETRI_J003_2016_v31n3_1_f001.jpg
(그림 2)

Baylor In-Game[8]

images_1/2016/v31n3/ETRI_J003_2016_v31n3_1_f002.jpg
(그림 3)

호모그래피를 이용해 동일 좌표계로 변환된 카메라 영상[8]

images_1/2016/v31n3/ETRI_J003_2016_v31n3_1_f003.jpg
(그림 4)

선수별 영상 획득 시스템의 농구경기에 대한 운용 장면

images_1/2016/v31n3/ETRI_J003_2016_v31n3_1_f004.jpg
(그림 5)

유사도 맵 기반 객체 추적 기법[13]

images_1/2016/v31n3/ETRI_J003_2016_v31n3_1_f005.jpg
Sign Up
전자통신동향분석 이메일 전자저널 구독을 원하시는 경우 정확한 이메일 주소를 입력하시기 바랍니다.