인터랙티브 초다시점 콘텐츠 제작 기술

미국 남가주 대학은 피코 프로젝터 어레이를 이용한 72 시점 수평 시차 디스플레이를 구축하고 시점별 640×480 해상도 영상을 실시간에 가시화하는 렌더링 시스템을 개발했다[1].

미국 Google은 2015년 Google I/O에서 16대의 GoPro HERO4 Black 카메라를 연결하여 360도 촬영 가능한 카메라 리그 ‘JUMP’를 선보였다[2]. JUMP를 이용하여 촬영되고 합성된 파노라마 영상은 Youtube 서비스를 통해 공유할 수 있다.

나고야 대학은 100개의 다시점 카메라 시스템을 갖추고 촬영된 영상을 서버로 전송하여, 깊이 맵 기반의 임의시점 영상을 실시간으로 생성하고, 이를 다시 모바일 단말로 보내는 중간시점 TV 시스템을 구축했다[3].

미국 카네기멜론 대학(CMU)은 가까운 거리의 깊이 정보 획득이 가능한 깊이맵 카메라와 웨어러블 시스템을 접목하여 손가락의 움직임으로 실공간의 모든 표면에 나타난 가상객체와 상호작용이 가능한 Omnitouch 기술을 개발했다[4].

미국 워싱턴 대학(UW)은 부가적으로 몸에 부착하는 Sensing device나 Line-of-sight가 필요 없는 Wi-Fi 시그널 기반 제스쳐 인식 솔루션을 개발하였다[5].

Foundry사의 Nukex[6]와 플러그인 Ocular[7] 영상편집 제품은 스테레오로 촬영된 영상으로부터 입체(2 시점)영상을 생성하고 합성하는 기능을 제공한다.

NewSight사의 PPTK[8], Visumotion사의 z.l.i.c.e.3D[9] 등의 일부 저작도구에서 8 시점까지 지원하는 다시점에 특화된 영상 편집기능을 제공하고 있다. 또한, 오픈소스 3차원 Blender[10]도 다시점 영상 렌더링을 제공하고 있다.

어지러움 없이 편안하게 초다시점 영상을 초다시점 디스플레이에서 보려면, 초다시점 디스플레이 자체도 인체에 맞게 잘 설계되어야 하지만, 그 안에 담기는 초다시점 영상 콘텐츠도 사람 눈에 편안하게 만들어져야 한다. 입체영상의 입체감을 살리기 위해 충분히 넓은 각도의 시점에서 피사체를 영상에 담으면서도, 관객이 초다시점 디스플레이를 통해 피사체를 보며 움직일 때, 영상 변화에 있어서 연속감을 느껴야 한다. 초다시점 영상 제작기술은, 초다시점 디스플레이가 제공하는 정해진 시점 수 안에서, 불연속적인 시점별 영상들이 피사체의 연속감을 다치지 않게 하려는 적절한 타협점을 찾는 데에 있다.

초다시점 영상시스템이 가진 물리적 조건은 다음 세 가지이다. 첫째, 초다시점 디스플레이가 제공하는 시점 수는 제한적이다. 현재 상용으로 출시되었거나 시제품으로 제작된 다시점 디스플레이들은 4 시점, 9 시점, 16 시점, 60 시점, 81 시점, 108 시점 등을 제공한다.

둘째, 입체감을 느끼려면, 피사체를 촬영한 양 끝 시점 카메라 간의 각도가 커야 한다. 그러나 이 각도가 너무 크면, 초다시점 디스플레이에서 인접한 시점 영상의 차이가 너무 커 관객의 눈에 피로감이 크고 어지러움을 느낀다.

셋째, 초다시점 카메라리그에서 촬영된 영상들만으로는 어지러움 없이 눈이 편안한 초다시점 영상을 만들 수 없다는 점이다. 카메라로 촬영된 영상들만 사용하여 편안히 볼 수 있는 초다시점 영상을 만들려면, 다시점 카메라리그에서 카메라 사이 간격이 2cm 이하여야 하는데, 현재 상용 카메라를 이용할 경우, 카메라 사이 간격은 8cm 이상이다. 이러한 카메라 리그에서 촬영된 영상들의 인접시점 영상들은 시점 차이가 너무 커서, 관객이 이러한 초다시점 영상을 보았을 때 눈이 피로하고 어지럼증이 쉽게 일어난다. 이러한 이유로 인접한 시점 사이에 적절한 수의, 시점 차이가 작은 중간시점 영상들을 만들어 최종 초다시점 영상을 필수적으로 만들어야 한다. 또한, 초다시점 디스플레이가 지원하는 시점 수보다 작은 개수의 카메라로 촬영하여 중간시점 영상 생성을 통해 초다시점 영상을 만들면 제작 단가를 줄이는 효과도 있다.

다시 요약하면, N 개의 카메라가 장착된 리그와 총 M 개(≫N)의 시점을 지원하는 초다시점 디스플레이를 이용한 초다시점 영상 제작은, 촬영된 N 개의 원본 영상들로부터 최종적으로 M 개 시점의 영상이 나오도록 중간시점 영상들을 합성하는 것을 기본 얼개로 한다.

초다시점 영상 콘텐츠 저작도구에서 제작 전 과정은 (그림 1)과 같이 영상 촬영, 영상 보정(위치 동기화), 영상 변환, 영상 압축, 영상 출력의 5단계로 구분하여 진행된다. 단계별로 입출력 데이터와 처리 과정을 상세히 다음에서 살펴본다.

(그림 1)

다시점 영상 콘텐츠 제작 프로세스

가. 영상 촬영

다시점 영상 촬영을 위해 다수의 카메라를 일정한 간격과 방향으로 배치하는 것이 필요하다. 카메라 배치방법과 관련하여 평행배치와 집중배치로 구분할 수 있다. 평행배치는 모든 카메라를 평행하게 배치하는 것으로 주로 원경 촬영에 적합하며, 집중배치는 모든 카메라를 특정 대상을 바라보면서 같은 거리에 놓이도록 배치하는 것으로 근경 촬영에 적합하다.

다시점 촬영을 위해 다수의 카메라를 배치하고 제어하기 위해, 휠 하나로 평행배치와 집중배치를 손쉽게 제어할 수 있는 리그 장치[(그림 2) 참조], 또는 평행배치 만을 위한 고정 프레임을 갖는 리그 장치[(그림 3) 참조]를 구성할 수 있다.

(그림 2)

평행/집중배치 제어 가능한 리그 장치(ETRI 제작)

(그림 3)

평행배치 고정 리그 장치(ETRI 제작)

나. 영상 보정

다시점 카메라 리그에서 촬영된 영상들은 거의 모든 경우, 시간, 색상 차이가 있고 카메라 자세가 일정하지 않아 촬영된 영상들의 기하학적 결과가 미묘하게 다르다. 이러한 이유로 이 영상들을 동일한 방법으로 처리하는 것이 불가능하므로 통일된 형태로 동기화하는 것이 필요하다.

1) 시간 동기화

다시점 카메라 리그에서 촬영된 영상들의 시간상 시작 시점이 다를 수 있으므로 이를 일치시킨다. 자세, 소리, 빛 등의 정보를 사용하여 시간상 시작 시점을 동기화하는 것이 가능하다.

2) 색상 동기화

다시점 카메라 리그에서 촬영된 영상들의 색상에는 차이가 있을 수 있다. 카메라의 방향과 위치에 따라 조명 조건이 상이하여 같은 시점의 영상들이라도 색상차가 발생하므로 이를 최소화해야 한다. 이를 위해서는 표준컬러패치를 사용하거나 각 영상의 히스토그램을 조정하여 색상차를 줄이는 것이 일반적이다.

3) 위치 동기화

다시점 카메라리그에서 촬영된 모든 영상이 하나의 카메라 자세(롤, 피치, 요)에서 촬영된 결과를 가지는 것은 거의 불가능하다. 미세제어 리그장치를 통해 각 카메라의 일정한 자세제어가 어느 정도 가능하지만 시간이 너무 많이 걸리고 리그 장치가 이동한다면 다시 조정해야 한다는 문제가 있다. 따라서 다시점 촬영작업을 쉽게 하기 위해서 촬영 이후에 각 영상이 마치 동일한 카메라의 자세에서 촬영된 결과와 최대한 가깝게 S/W적으로 정렬하는 것이 필요하다. 이러한 정렬을 통해 각 영상에서의 피사체의 위치를 일치시키는데, 이를 영상 정렬이라고도 부른다.

다시점 영상들의 위치 동기화를 위한 처리 과정에는 영상 캘리브레이션 과정과 영상 정렬과정이 있다. 우선, 영상 캘리브레이션 과정을 통해 각 카메라의 자세 정보를 찾아낸다[(그림 4) 참조]. 이후 영상 정렬 과정을 통해서 각 카메라의 자세를 동기화하는 리매핑 정보를 구하고 이를 이용하여 정렬된 영상을 생성한다[(그림 5) 참조].

(그림 4)

영상 캘리브레이션 과정(ETRI 개발)

(그림 5)

영상 정렬 과정(ETRI 개발)

다. 영상 변환

Ⅲ장 1절에서 언급했듯이 초다시점 영상을 만들려면, 중간시점 영상을 만들어야 하는데, 정밀한 중간시점 영상을 생성하기 위해서 시차정보(영상내 각 객체/배경의 깊이정보[(그림 6) 참조])를 구하는 것이 필요하다. 중간시점 영상은 이러한 시차정보를 활용하는 DIBR(Depth image-based rendering)[11], Image domain warping [12] 등의 방법을 사용하여 생성할 수 있다.

(그림 6)

시차 정보 생셩 결과

라. 영상 압축

초다시점 영상 처리에 있어서 최종 시점 수가 많을수록 중간시점 영상들을 포함하여 처리해야 할 전체 영상 데이터양이 매우 크므로 초다시점 영상을 압축하여 보관할 필요가 있다.

초다시점 영상에는, 정해진 시각에 촬영된 영상들을 볼 때, 시점별 영상이 매우 유사하다는 특성이 있다. 현재 사용되는 비디오 압축기술은 동영상에서 인접 프레임 간 영상들이 거의 유사하다는 아이디어로부터 개발되었다. H.264/MVC(Multi-view Video Coding) 기술[13], 또는 H.265/MV-HEVC(Multi-view High Efficiency Video Coding) 기술[14]은 인접 프레임 간 영상 압축뿐만 아니라 인접 시점 간 영상 압축을 동시에 지원한다. 이러한 초다시점 영상 압축 기술을 사용하면 시점별로 동영상 파일을 생성할 필요 없이, 모든 시점을 포함하는 하나의 영상 파일을 생성하여 관리할 수 있다. 또한, 하둡 기반의 분산처리시스템을 사용하여 더욱 쉽고 빠르게 초다시점 영상을 부호화/복호화하여 활용할 수 있다[(그림 7) 참조].

(그림 7)

초다시점 영상 압축/관리를 위한 하둡 기반 분산처리 시스템(ETRI 개발)

마. 영상 출력

준비된 초다시점 영상들은 초다시점 디스플레이에서 출력 가능한 형태로 변환하는 것이 필요하다. 렌티큘라 렌즈나 시차 장벽을 사용하는 디스플레이라면 디스플레이와 함께 제공되는 S/W를 사용하여 시점별 영상들을 하나의 영상으로 (그림 8)과 같이 먹싱하여 초다시점 영상으로 출력하게 된다. 만일 초다시점 디스플레이가 프로젝터를 사용하는 투사형 방식이라면 처리된 시점별 영상들을 그대로 사용할 수 있다.

(그림 8)

최종 초다시점 디스플레이로 출력을 위해 먹싱된 예(ETRI 개발 SW)

출력작업 전에 초다시점 영상을 조정하는 두 가지 작업이 필요할 수 있다. 첫 번째는 입체감을 자연스럽게 조정하는 작업이고, 두 번째는 영상 분할이다.

첫 번째로 자연스러운 입체감을 만들기 위해 입체영상의 양감과 음감을 조정하는 작업이다. 초다시점 영상들은 초다시점 디스플레이에서 출력될 때 소실점의 위치에 따라 양감(스크린보다 튀어나옴)과 음감(스크린 안쪽으로 들어감) 영역이 (그림 9)와 같이 발생한다. 이러한 양감과 음감을 조정은 각 시점 영상들을 좌우로 적절한 거리로 시프팅(Shifting)하여 입체감을 조절한다.

(그림 9)

소실점의 위치 변화에 따라 양감/음감 조정

두 번째로 초다시점 디스플레이를 여러 개 사용하여 2×2, 3×3 등의 어레이(Array)로 구성할 경우, 이에 맞게 초다시점 영상을 분할하는 작업이 필요하다.

초다시점 영상 콘텐츠 스트리밍 기술은 여러 개의 다른 시점의 카메라들에서 촬영된 영상들을 스트리밍하여 초다시점 디스플레이에서 사람의 눈이 편안한 초다시점 영상을 볼 수 있도록 하는 것이다. 이 과정은 기본적으로 많은 양의 데이터 처리를 고려한 H/W 및 알고리즘적 장치를 사용하여 시점 영상들을 동기화하는 것이 필수이다. 초다시점 영상제작을 위한 영상의 동기화에는 Ⅲ장 2절 나에서 설명했듯이 다음 세 가지가 있다. 첫째, 시점 영상간의 시간적 동기화, 둘째, 시점 영상간의 색상 동기화, 셋째, 시점별 영상 정렬이다.

초다시점 영상 콘텐츠를 스트리밍하여 보려면, 이 동기화들 또한 거의 실시간으로 되어야 한다. 이 문제에는 몇 가지 특성과 제한점이 있는데, 다음에서 이 부분을 먼저 소개한 이후, 초다시점 영상콘텐츠 스트리밍 시스템에 대해 소개를 한다.

가. 초다시점 영상 스트리밍의 특성과 이슈들

초다시점 영상 콘텐츠를 스트리밍으로 보려면, 위에서 언급했듯이 각 시점 영상에 대한 시간, 색, 영상 위치에 대한 동기화가 거의 실시간으로 되어야 한다. 초다시점 영상이라는 매우 많은 양의 데이터 처리를 위해, 짧은 시간에 막대한 양의 계산을 해야 한다. 스트리밍의 시간적 지연은 계산량에 비례하므로 계산량 중 일부는 미리 계산해두어 스트리밍 중 해야 하는 계산량 자체를 줄이고, 이외에도 GPU 등의 H/W 및 알고리즘적 최적화를 이용하여 계산량을 줄이거나 가속화한다.

시간 동기화는 동기화 디바이스를 사용하면 계산량을줄이는 수고를 덜 수 있다. 각 시점 영상의 색상은 스튜디오의 조명을 조절하여 모든 시점에서의 획득한 영상들 간 색상 차가 작아지도록 하여 색상 동기화를 위한 계산은 피한다. 영상정렬의 경우는 카메라 캘리브레이션 계산을 미리 수행하여 스트리밍 시 필요한 계산량을 줄인다.

나. 초다시점 영상콘텐츠 스트리밍 시스템

ETRI에서 개발한 초다시점 영상 콘텐츠 스트리밍 시스템은 (그림 10)과 같이 구성되었다. (그림 11)과 같이 18개의 일렬로 늘어선 카메라들로부터 획득된 영상들은 3개의 노드 서버들로 들어와 동기화 및 전·배경 분리가 된다. 노드 서버들은 계산한 전·배경 분리 영상 및 원래 영상들을 획득 서버로 전송한다. 획득 서버에서는 이들로부터 깊이 맵을 계산하여 영상 및 깊이 맵 영상을 렌더링 서버로 전송한다. 렌더링 서버에서는 받은 영상에 CG 영상을 합성한 영상을 만들어 중간영상 서버로 전송한다. 중간영상 서버에서는 받은 18개의 영상에 적절한 수의 중간시점 영상을 만들어 초다시점 디스플레이에서 보일 최종 초다시점 영상으로 먹싱한다. 이 영상은 초다시점 디스플레이에 보내져 관객이 스트리밍된 초다시점 영상을 즐길 수 있다.

(그림 10)

ETRI가 개발한 초다시점 영상 스트리밍 시스템 구조

(그림 11)

다시점 영상 획득용 카메라 리그(ETRI 개발)

ETRI는 18개의 카메라 획득 영상으로부터 최종 60 시점, 81 시점, 그리고 108 시점을 실시간 출력하는 시스템을 개발하였다.

디지털 콘텐츠와 상호작용을 위한 사용자 제스처 인식을 위해 카메라(RGB, Depth 등) 또는 웨어러블 센서로부터 획득한 영상 및 신호 데이터를 분석하여 인식할 수 있는 다양한 방법들이 연구되어 왔다. 초다시점 콘텐츠의 특징은 사용자의 위치에 따라 각기 다른 방향의 입체 영상을 볼 수 있다는 것이다. 따라서 다시점 콘텐츠와 상호작용을 위해서는 사용자의 위치에 따른 제약이 존재하지 않아야 한다. 기존 카메라 영상 기반의 제스처 인식 기술은 카메라 렌즈의 시야각(FOV: Filed of View)으로 인하여 사용자 위치에 제약을 받는다. 본고에서 인간의 신체에 착용하여 몸의 움직임 제스처를 입력 수단으로 다시점 콘텐츠 사용자의 위치 제약 없이 상호작용 가능한 웨어러블 디바이스 기반 제스처 인식 기술에 대한 동향을 알아본다.

웨어러블 디바이스 기반 제스처 인식 기술은 디바이스의 사용자 착용 부위에 따라 반지형, 손목 및 팔목 밴드형, 전신 착용형으로 구분할 수 있다. 이중 전신 착용형 제스처 인식 기술은 몸의 모든 관절과 움직임을 실시간으로 추적하고 캡쳐할 수 있는 풀바디 모션 센싱(Full-body motion sensing) 기술로 가상현실 솔루션에 적합하다[15]. 다시점 콘텐츠와의 상호작용 활용에 적합한 반지 및 밴드형 디바이스 기반 제스처 인식 기술에 대해 살펴보도록 한다.

가. 반지형 웨어러블 제스처 인식 기술

반지형 디바이스 기반 제스처 인식 기술은 손가락의 움직임을 자이로 센서 및 가속도 센서 정보를 이용하여 제스처를 인식함으로써 컴퓨터나 주변 기기 제어 및 콘텐츠와 상호작용할 수 있는 장점으로 다양한 반지형 디바이스가 선보이고 있다[(그림 12) 참조].

(그림 12)

반지형 제스처 인식 디바이스 및 콘텐츠 상호작용

Nod 링은 검지에 착용한 상태에서 디스플레이 화면의 키보드를 통해 글자를 입력할 수 있으며, 아이콘을 클릭하여 명령을 실행 등 화면 및 버튼 조작 등 단순 터치나 탭과 같은 조작이 가능하여 IoT(Internet of Things) 제품 및 콘텐츠와 상호작용할 수 있다[16]. Logbar 링은 손가락 제스처 인식을 통한 IoT 제품 컨트롤, 허공에서의 문자 제스처 인식, 진동과 LED 피드백 기능 등으로 활용할 수 있다[17]. 국내 제품인 유즈브레인넷의 모션링은 손가락에 끼워 허공에서 손목을 움직여 화면에 나타난 마우스 포인터를 조작함으로써 컴퓨터의 조작 및 게임 콘텐츠 상호작용 기능을 제공한다[18].

나. 밴드형 웨어러블 제스처 인식 기술

반지형 디바이스 기반 제스처 인식 기술은 자이로 센서 및 가속도 센서 정보를 이용 손가락의 움직임 정도만 인식함으로써 콘텐츠와의 상호작용에 있어 한계를 가지고 있다. 이에 반해 손목 또는 팔목에 착용 가능한 밴드형 디바이스 기반 제스처 인식 기술은 맨손 손가락의 움직임에 따른 근전도 및 손목 힘줄 변화 등의 생체신호 변화를 감지하고 인식함으로써 다양하고 정밀한 상호작용 응용에 적용할 수 있다[(그림 13) 참조].

(그림 13)

밴드형 제스처 인식디바이스 및 콘텐츠 상호작용

Thalmic 사에서 개발한 Myo는 팔목에 착용하는 암 밴드형 제스처 인식 장치로서 손 및 손가락 형태에 따라 변하는 팔 근육의 근전도 신호를 감지하여 손의 포스처 및 제스처를 인식하는 장치[19]로, 이를 활용한 콘텐츠 상호작용뿐만 아니라, 로봇이나 드론 등 다양한 응용을 제시하였다. 한국전자통신연구원(ETRI)은 손목에 착용하여 손가락 움직임에 따른 힘줄 변화를 적외선 센서로 감지하고 인식하는 손목 밴드형 제스처 인식 장치를 개발하였으며[20], 이를 활용하여 2인이 동시에 상호작용할 수 있는 다시점 게임 콘텐츠를 제시하였다.