Post-UHD 실감미디어, 고품질 파노라믹 AV기술

Post-UHD Realistic Media, High Quality Panoramic AV Technology

저자
조용주, 석주명, 임성용, 안상우, 차지훈 / 감성미디어연구실, 서정일 / 오디오연구실
권호
29권 3호 (통권 147)
논문구분
방송통신미디어 기술 특집
페이지
37-46
발행일자
2014.06.01
DOI
10.22648/ETRI.2014.J.290305
초록
3D와 UHD(Ultra High Definition) 기술의 발전과 함께 실감미디어의 응용분야가 점차 증대되면서 넓은 시야각의 고품질 파노라마 영상기술도 활발히 연구되고 있다. 실사 기반의 파노라마 영상은 현실감과 몰입감을 증대시킴으로써 시청자에게 새로운 실감미디어를 경험할 수 있는 계기가 마련되고 있다. 특히, 그 응용분야가 기존의 전시관과 스트리트 뷰 등에서 영화, 뉴스룸 등으로 점차 확산되고 있는 추세이다. 본고에서는 고품질 파노라마 기술의 현시점을 짚어보고, 요소기술과 활용분야에 대하여 소개한다. 고품질 파노라마 AV 기반의 실감미디어서비스를 위해 기술적으로 극복해야 할 사항들이 존재하지만, 다양한 분야에서의 수요가 증가함에 따른 많은 연구개발이 이루어질 것으로 예상되며, 이에 대한 추가 연구개발을 통해 지적재산권 확보와 해외기술의 국내시장 잠식에 대처할 필요가 있다.
   4087 Downloaded 10535 Viewed
목록

I. 서론

현재, HD(High Definition) 콘텐츠는 이미 보편화되어 방송 및 통신의 넓은 분야에서 서비스 중에 있으며[1], 보다 더 실감적인 영상을 원하는 시청자의 요구 충족을 위해 3D, UHD(Ultra High Definition) 등 실감미디어 기술개발이 이루어 지고 있으며, 제한된 서비스이지만 소비자는 실감미디어를 경험하고 있다.

파노라마는 중복이 존재하는 멀티뷰(HD 또는 UHD Mult-view) 영상들을 끊김없이 이어 붙여 고해상도의 넓은 시야각(FOV: Field of View)을 통해 몰입감과 현장감을 극대화한 또 다른 형태의 실감미디어이다.

파노라마는 CG(Computer Graphics) 또는 정지영상에 국한되어 전시회, 보안, 스트리트뷰(Street-view) 등 다소 협소한 분야에서 활용되어 왔으나, 실사영상을 기반으로 한 뉴스, 영화, 엔터테인먼트 등에서 주목 받고 있으며 그 활용분야를 점차 넓혀가고 있다.

하지만, 실감미디어로 정착하기 위하여 해결해야 할 사항도 분명히 존재한다. 파노라마 영상 획득을 위한 상용제품들은 제한된 해상도, 파노라마 생성 시 시차(parallax)로 인한 품질저하 그리고 대용량으로 인한 비실시간 영상처리, 라이브 서비스를 위한 전송채널 확보등의 제약사항들은 필히 극복해야 하는 숙제이다.

본 논문에서는 현재 ETRI에서 상기 제한사항을 극복하고 새로운 실감미디어 서비스의 현실화를 위하여 수행 중인 ‘휴먼융합형 파노라마 기술개발’ 과제에서의 연구개발 내용을 소개하고 활용분야를 제시함으로써 새로운 실감미디어로써 파노라마 서비스의 가능성을 도출하고자 한다.

고품질 파노라마 서비스를 위해서는 멀티 카메라를 통한 멀티뷰 영상 획득, 멀티뷰 영상을 이용한 파노라마 영상 생성, 3차원 공간상의 음원을 물리적으로 정확히 모사하기 위한 음상재현 그리고 고해상도 영상 렌더링을 위한 멀티 프로젝션 디스플레이로 구성된다.

파노라마 영상 획득을 위해 다양한 형태의 멀티 카메라 릭(Rig) 구조체를 이용한다((그림 1, 2) 참조) 구조체에 따라 획득된 영상은 서로 그 특징이 상이하지만, 일반적으로 멀티뷰 영상 동기화와 카메라 간의 서로 다른 광학 원점으로 인한 시차문제는 공통적인 난제이다.

획득된 멀티뷰 영상은 기하학보정(Geometry Correction), 블랜딩(Blending), 컬러보정(Photometric correction)등의 영상처리를 통해 파노라마 영상을 생성한다. 평면, 실린더 또는 구형태로 파노라마 영상 생성이 가능하지만, 생성 시 발생하는 품질저하, 획득과 마찬가지로 시차 최소화 그리고 대용량 영상처리의 실시간성 등 극복해야 할 문제가 있다.

실시간 파노라마 서비스를 위해 압축과 전송은 필수이다. AVC(Advanced Video Coding)를 이용한 실시간 대용량 영상압축은 가능하나 최신 기술인 HEVC(High Efficiency Video Coding)를 이용한 실시간 압축기술은 미미한 단계이며 전송채널 확보 또한 제한 사항이다. 압축 및 전송은 본 논문에서 자세히 다루지 않도록 한다.

고품질 파노라마 영상(7Kx2K 이상)은 멀티패널 또는 멀티 프로젝션 디스플레이를 통해 렌더링이 가능하다. 멀티 프로젝션 디스플레이는 생성과 마찬가지로 프로젝터 간의 기하학보정 및 컬러보정이 필수적이며, 자동보정을 함에 있어 오류가 존재하므로 오류를 최소화하는 것이 중요하다. 또한, 현장감과 몰입감을 증대하기 위하여 3차원 공간상의 음원을 물리적으로 정확하게 모사하는 음장재현 오디오 기술(WFS: Wave Field Synthesis)도 필수적이다.

상기 제한사항들은 실감미디어로써 파노라마 연구를 위한 동기부여가 되어 ETRI에서 과제 수행 중에 있으며, 많은 부분에 대한 해결방안을 도출하였고, 본문을 통해 설명하고자 한다.

본 논문의 II장에서는 파노라마 동향분석을 통해 현 파노라마 기술을 설명하고, III장에서는 고품질 파노라마 AV(Audio-Video) 요소기술을 그리고 IV장에서는 고품질 파노라마 AV 활용분야를 소개하면서 논문의 끝을 맺고자 한다.

II. 파노라마 기술동향

1. 파노라마 동영상 획득동향

최근 이동전화 단말기에서 필수적으로 포함하고 있는 파노라마 정지영상 촬영 소프트웨어에서는 정지영상을 연속적으로 촬영하여 하나의 대형 파노라마 정지영상을 생성하는 방법이다. 하지만 연속적인 파노라마 동영상을 획득하기 위해서는 파노라마 동영상이 획득하고자 하는 화각을 동시에 촬영하고 이를 프레임 단위로 생성하여 대형 파노라마 동영상을 생성하여야 한다. 이를 위하여 크게 두 가지 방향으로 파노라마 동영상 획득장치가 개발되고 있다.

먼저 Immersive media사와 Point Grey사 에서 제작한 파노라마 획득장치는 산업용 카메라에서 사용하는 센서와 렌즈를 고정된 구조체에 포함하는 방식이다[2][3]. (그림 1)에서와 같이 카메라 센서와 렌즈가 일체형으로 되어 있으며 정해진 방향과 화각을 담당하여 획득하는 방식이다. 현재 Point Grey사의 경우 360° 구체를 화각으로 하여 약 삼천만 픽셀을 초당 10 프레임 생성할 수 있다.

(그림 1)

일체형 파노라마 동영상 획득장치[2][3]

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F001.jpg
(그림 2)

거울을 이용한 파노라마 획득장치[4][5]

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F002.jpg

이러한 일체형 파노라마 획득장치는 가벼운 무게와 손 쉬운 획득방법으로 인하여 널리 활용되어 왔으나, 최근 고품질 파노라마 동영상을 획득하기 위하여 Full HD급 이상의 카메라를 활용하는 방법이 대두되었다. (그림 2)에서와 같이 독일의 HHI연구소와 Social Animal사 거울을 이용하여 동영상 카메라의 배치 자유도를 증대시키는 방식을 연구하고 있다[4][5]. 고품질 파노라마 동영상을 획득하기 위해서는 개별 동영상 카메라의 품질이 충분해야 하고, 이를 위해서는 카메라의 크기가 기존 산업용 카메라에 비해서는 커질 수 밖에 없다. 카메라의 크기는 파노라마에서 가장 큰 문제인 시차와 밀접한 관계가 있기 때문에 카메라의 광학 원점을 최소한으로 줄이기 위하여 거울을 사용한 반사형 파노라마 동영상 획득장치를 개발하고 있다. 독일 HHI연구소의 경우 180도 실린더를 화각으로 획득하는 경우에 7Kx2K 동영상을 초당 30 프레임 획득할 수 있으며, 최소 2m정도의 근거리 객체에서도 시차를 발생시키지 않는다.

2. 파노라마 동영상 재현동향

고품질 파노라마 동영상을 소비하기 위해서는 일반적인 가정환경에서는 현재 공간적인 문제로 현실적인 어려움이 있으나, 영화관 및 전시공간을 중심으로 점차 확산되고 있는 추세이다. 2014년 국제가전전시회인 CES에서는 S사의 곡면형 TV가 일반적인 TV보다 일정한 시야각을 확보할 수 있다는 장점으로 소개되었으며, 동시에 곡면형 TV를 다수 활용한 대형 곡면형 파노라마 TV((그림 3) 참조)를 소개한 바 있다[6].

(그림 3)

곡면형 파노라마 TV[6]

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F003.jpg

뿐만 아니라, 프로젝터 다수를 활용하여 대화면을 구성하는 멀티 프로젝션분야에서도, Barco사, Christie사에서 출시된 프로젝터와 운용할 수 있는 자동보정도구를 함께 제공하고 있다[7][8]. (그림 4)에서와 같이 멀티 프로젝터가 투사하고 있는 전체 스크린을 촬영하는 장치와 이를 활용하여 프로젝터 간의 기하학적 중첩 정도, 컬러보정 그리고 스크린 형태에 따른 왜곡을 계산하는 도구를 제공한다. Christie사의 경우 동시에 12대의 프로젝터를 제어할 수 있으며, 실린더, 구체와 같은 곡면형 스크린도 적용할 수 있다.

(그림 4)

멀티 프로젝터 자동보정 도구[7][8]

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F004.jpg

III. 고품질 파노라마 AV기술

1. 획득/모니터링

고품질을 유지하면서도 넓은 대화각을 지원하는 파노라마 동영상을 획득하기 위하여 복수개의 카메라를 이용하기 때문에 파노라마 영상 생성 시, 영상은 왜곡될 수 밖에 없어서 실감을 느끼는데 저해요인이 된다. 이러한 문제를 해결하기 위하여 앞서 설명한 바와 같이 다수의 카메라를 구조체에 탑재하여 왜곡 없이 인접영상을 동시에 획득하는 파노라마 촬영방법이 국내외에서 연구되고 있다. 또한 왜곡이 없는 고화질 파노라마 영상을 얻기 위하여 촬영자가 다수의 카메라 영상을 동시에 실시간으로 보면서 카메라 색감과 광학을 동일하게 맞출 수 있도록 하는 파노라마 모니터링 방법도 연구되고 있다.

우선 다수의 카메라를 활용한 파노라마 촬영방법은 여러 개의 카메라가 한 개의 카메라처럼 운용되어야 하는데 (그림 5)와 같은 릭 구조체가 필요하다. 이러한 릭 구조체는 촬영형태에 따라 카메라를 바 위에 장착하여 피사체를 직접적으로 촬영하는 바(bar)타입 (그림 5 (a))형태와 미러에 반사된 영상을 촬영하는 간접 촬영하는 미러(mirror)타입 형태의 (그림 5 (b))로 구분된다.

(그림 5)

파노라마 촬영용 멀티 카메라 릭 구조체

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F005.jpg

두 종류의 릭 구조체의 큰 차이점은 동일한 광학 원점을 맞출 수 있는지 여부이다. 바 타입은 카메라의 광학 원점이 카메라 간의 거리만큼 떨어져 있기 때문에 근거리 물체를 촬영하는 경우에 중첩구간에서 시차가 발생하는 단점이 있으나, 카메라의 설치 및 자세 제어가 미러 타입 릭에 비하여 쉽고 빠르다는 장점이 있다.

반면에 미러타입 릭은 근거리 시차를 방지하기 위하여 카메라의 광학 원점을 한 점으로 만드는 거울을 사용한 구조체 방식으로 실제 광학 원점과 시야 방향은 수평선에 평행하도록 구성하여 촬영한다. 그러나 고정된 거울로 인하여 줌 등의 카메라 운용이 자유롭지 못한 단점이 있다.

한편 파노라마 모니터링은 단일 카메라처럼 파노라마 영상 촬영 시 촬영자에 촬영정보를 편리하게 제공하는 촬영 필수기능으로 여러 대의 카메라가 마치 한 대의 카메라인 것처럼 맞추기 위하여 카메라들 간의 색온도, 색차 정보를 비교 제공하고, 광학 원점이 맞는지 등의 여부를 확인하는 기능을 제공한다. 국외적으로 독일 HHI 연구소, 미국 Social Animal사 등에서 모니터링을 위하여 멀티 모니터를 쓰거나 모자이크 형태로 고정 레이아웃을 갖는 모니터를 사용하고 있는 상황이며, 지속적으로 파노라마 모니터링 기술을 연구개발하고 있다. 국내에서는 ETRI에서 파노라마 모니터링 기술을 개발 중에 있으며 카메라의 구조체 형태에 따라 2D 혹은 3D로 렌더링을 하는 뷰파인더 기능을 바탕으로 기하학보정 정보 혹은 색보정 정보를 얻을 수 있다. 또한 기본적인 카메라 보정이 완료되면 보정결과를 확인하기 위하여 샘플 이미지를 추출하여 프리 스티칭을 해봄으로써 실제 촬영현장에서 파노라마 영상 품질을 바로 확인할 수 있는 특징이 있다((그림 6) 참조).

(그림 6)

파노라마 모니터링 예시(ETRI)

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F006.jpg

2. 파노라마 동영상 생성

고품질 파노라마 영상은 복수 개의 중복이 존재하는 멀티뷰 영상을 끊김 없이 이어 붙여 생성한다. 멀티 카메라의 물리적인 한계로 카메라 간 동일한 광학 원점을 갖지 못하는 멀티뷰 영상은 시차를 유발한다. 정교한 기하학보정과 블랜딩을 통해 시차를 최소화하는 것이 관건이다. 또한, 영상변환(warping 또는 transformation)은 필수적이므로 이에 따른 품질저하를 최소화하는 것과 대용량 영상처리를 실시간화 하는 것이 실감미디어로 활용되기 위하여 매우 중요하다.

가. 기하학보정 기술

기하학보정은 두 이미지의 중첩영역 내 오브젝트의 위치를 정확히 위치하도록 교정하는 기술이다[9].

오브젝트들의 특징점(feature point)들 중에서 두 이미지를 가장 정확히 겹칠 수 있는 호모그래피를 계산하고[1], 평면 파노라마 영상 생성 시, 호모그래픽 변환을 통해 기하학보정을 한다((그림 7 (c)) 참조). 실린더와 구형 파노라마 생성을 위해서는 상기 호모그래피의 정보를 이용하여 이미지 투영을 위한 파노라마 영상의 초점거리(Focal Length)를 계산하여 각 이미지를 투영한다.

정확하지 못한 기하학보정은 시차를 유발하며, 결국 영상 내 고스트현상(Ghost Effect)을 초래한다. 또한, 모든 영상변환은 픽셀 간의 보간(interpolation)이 이루어져 품질저하를 초래하기 때문에 획득 시, 멀티 카메라 켈리브레이션 및 초점거리 계산이 매우 중요한 역할을 한다.

(그림 7)

파노라마 영상 생성과정

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F007.jpg

나. 블랜딩 기술

기하학보정으로 2차원상(평면, 실린더 또는 구)에 정렬된 영상은 ((그림 7 (c))와 같이 중복영역의 픽셀 밝기가 증가하게 된다. 블랜딩은 좌우 비중첩영역과의 밝기 차를 매끄럽게 처리하는 방법이다((그림 7 (d) 참조)[9]. 3차원의 오브젝트들은 2차원 영상에 따라에서 오브젝트들의 카메라부터의 거리는 많은 깊이(depth) 차이를 가질 수 있고, 이는 중첩영역에서의 고스트현상을 야기의 원인이 되기하기 때문에 최적의 중첩영역 설정에 따른 블랜딩이 중요한 역할을 한다.

다. 기타 요소기술

상기 핵심 요소기술 이외에 멀티뷰 영상들 간의 색차보정을 위한 기준영상 선택방법, 멀티 카메라의 독립적인 움직임을 보정하기 위한 멀티 카메라 흔들림 보정기술 그리고 파노라마 영상의 품질측정 방법[10] 등은 고품질 파노라마 영상 생성을 위해서 선행되어야 하는 연구개발 내용이다.

3. 재생

고품질 파노라마 영상의 재생을 위해서는 복수의 패널이나 프로젝터가 필요하다. 특히, 고품질 파노라마 영상을 복수 개의 프로젝터를 이용하여 스크린에 재생할 때, 스크린의 형태(평면, 실린더 또는 굴곡이 있는 스크린 등)에 따라 영상의 왜곡현상이 발생한다. 이러한 스크린 형태에 따른 영상 왜곡을 최소화하기 위해 스크린의 기하학보정이 필수적이다. 또한, 두 대 이상의 프로젝터를 이용하여 끊김 없는 영상을 투영할 경우, 중첩영역의 밝기에 대한 블랜딩 기술 등을 접목시켜야 한다.

가. 기하학보정 기술

기하학보정이란 (그림 8)과 같이 불규칙한 스크린의 형태에 따른 영상의 왜곡현상을 최소화하는 것이다.

(그림 8)

비평면 스크린에 영상 투영 시 발생하는 영상 왜곡현상

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F008.jpg

기하학보정은 패턴 이미지 사용 여부에 따라 액티브(active, 사용할 경우)와 패시브(passive, 사용하지 않을 경우)로 구별하며, 영상 재생 전 또는 영상 재생 중에 적용하는 것에 따라 오프라인(offline)과 온라인(online)으로 구별한다. 최근 가장 보편적으로 적용되는 기하학보정은 AF(Active-oFfline) 방식이며, 그 절차는 다음과 같다.

- 패턴 이미지를 비평면 스크린에 투영하여 스틸카메라로 획득

- 획득된 패턴 이미지와 원 패턴 이미지와의 상관관계를 비교하여 왜곡 보정함수를 생성

- 본 영상에 보정함수를 적용하여 왜곡 최소화

나. 블랜딩보정 기술

블랜딩보정이란 (그림 9)와 같이 멀티 프로젝터를 사용함으로 인하여 발생되는 중첩영역의 밝기를 보정하는 것이다. 중첩영역의 경우 그렇지 않은 영역에 비하여 빛의 세기가 거의 2배에 가깝기 때문에 자연스러운 파노라마 영상 재생을 위하여서는 이에 대한의 처리가 필요하다.

(그림 9)

멀티 프로젝터 사용에 따른 중첩영역

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F009.jpg
(그림 10)

생성된 블랜딩 마스크 이미지 예

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F010.jpg

블랜딩보정은 측정된 중첩영역 빛의 세기를 보정할 수 있도록 (그림 10)과 같은 블랜딩 마스크를 중첩영역에 적용함으로써 가능하다.

다. 기타 보정 기술

프로젝터 응답의 비선형적 특성으로 인하여 입력 픽셀의 밝기 및 컬러 값 대비 출력 픽셀의 밝기 및 컬러 값이 선형적으로 증가하지 않는 문제를 해결하기 위한 ITF(Intensity Transfer Function), 인트라 밀집도 보정(Intra Intensity Correction), 색보정(Color Correction)을 적용하여야 한다.

라. 멀티 프로젝션 렌더링

기하학보정, 블랜딩보정 정보를 이용하여 고화질 파노라마 영상을 렌더링하는 예는 다음 (그림 11)과 같다. 본 실험에서는 9대의 프로젝터, 15.2m x 3.8m의 원통형 스크린을 사용하였다.

(그림 11)

고화질 파노라마 영상 렌더링 예

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F011.jpg

최근에는 대화면의 고화질 파노라마 영상과 함께 사용자의 선호영역을 확대하여 제공하는 ROI(Region of Interest) 서비스에 대한 연구도 진행 중이다.

4. 오디오

고품질 파노라마 영상과 부합하는 사운드를 청취자에게 제공하기 위해서는 1)영상 오브젝트와 공간상에 정확하게 일치되는 음상재현과 2)대화면으로 구성되는 대형 청취공간을 가득 채울 수 있는 음장감 재현이 관건이다. 영상 오브젝트와 3차원 공간상에서 동기되는 음상(음향 오브젝트)을 생성하는 방법은 두 개 또는 세 개의 스피커간의 음압비를 이용하는 패닝(panning)기술에 기반하는 전통적인 방식과 3차원 공간상의 음원을 물리적으로 정확하게 모사하는 음장재현(sound field reconstruction) 방식이 제안되고 있다. 대화면으로 구성되는 대형 청취공간을 채우는 오디오 기술은 극장용 사운드 시스템으로 대변될 수 있으며, 최근 디지털 시네마의 보급과 맞물려 3차원 시네마 사운드를 제공하는 다양한 기술들이 제안되고 있다.

가. 3차원 음상 재현 기술

3D 스피커 셋업에서 음상을 정위시키기 위한 패닝기법으로는 주로 Triplet-wise 기법이 사용된다. Triplet-wise 기법에서는 음상이 정위되는 시점에서 최대 3개의 스피커가 이용된다. 즉 (그림 12)와 같이 3D 스피커 셋업에서의 스피커들 배치구조는 삼각형으로 이루어진 격자들로 구분할 수 있으며 가상음원을 위치시키기 위하여 격자들 중 하나가 이용된다. Ville Pulki는 임의의 3D 스피커 셋업에 적용할 수 있도록 3차원 벡터의 투영을 통한 패닝 기법을 VBAP(Vector Based Amplitude Panning)이란 이름으로 제안하였다[11].

(그림 12)

VBAP 기법을 이용한 3차원 음상 정위

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F012.jpg
(그림 13)

WFS의 원리

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F013.jpg

3차원 공간상의 음원을 물리적으로 정확하게 모사하는 음장 재현 기술 중 가장 대표적인 기술은 파면음장합성(WFS) 기술이다. WFS는 (그림 13 (a))와 같이 파면(wave front)상의 모든 점은 구형 2차 파면의 점 소스(point source)로서 작용한다는 호이겐스 원리에 기반을 두고 있다. 다시 말해서 파면 상에 존재하는 점(점음원, point source)을 스피커로 대체하여 생각해본다면 (그림 13 (b))와 같이 원래 음원이 존재하지 않더라도 그 음원을 만들어낼 수가 있는 것이다. 이러한 개념을 가지고 Kirchhoff-Helmholtz 적분과 레일레이 정리를 이용하여 수식화 한 것이 WFS이다[12]. WFS는 스피커 어레이를 이용하여 구현하는데 있어서 무한하고 연속적인 파면을 유한하고 불연속적인 스피커 배열을 통하여 재생함으로써 공간 에어리어징(spatial aliasing)과 스피커 어레이 양 끝단에서의 왜곡 등 여러 가지 기술적인 문제점이 존재하며, 가장 큰 문제점은 시스템의 구현에 있어서 많은 수의 스피커를 필요로 하기 때문에 일반 가정에 구현하기 어렵다는 점이다.

나. 3차원 시네마 사운드 기술

수평면상에만 음장을 형성할 수 있는 기존의 5.1채널 또는 7.1채널 시네마 사운드 시스템을 3차원으로 확장한 기술들이 최근 들어 소개되고 있다. Dolby의 Atomos, Auro Technologies사의 Auro 3D, SonicTier사의 STA(SonicTire Audio), IOSONO사의 WFS 시스템이 대표적이다.

Dolby사의 Atmos는 (그림 14)와 같이 기존의 7.1채널 시스템에 2채널의 천정채널을 추가한 9.1채널로 멀티채널 배경음(beds)을 형성하고 정확한 음상재현이나 음향효과를 필요로 하는 오디오 신호는 객체(object)로 분리하여 표현하는 하이브리드 시스템이다. 시네마 사운드를 beds와 object로 분리함으로써 다양한 극장환경에서 제작자가 의도한 3차원 음향장면을 최적으로 재생할 수 있다.

Auro 3D는 기존의 5.1채널 스피커 배치 환경을 9.1채널로 STA는 14.2 또는 30.2채널로 확장한 것이며, 시네마 사운드를 구성하는 방식은 기존방식과 유사하다.

(그림 14)

D사 Atmos의 Beds와 Object 개념

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F014.jpg
(그림 15)

IOSONO WFS 시네마 사운드 시스템

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F015.jpg

IOSONO사의 WFS 시스템은 (그림15)와 같이 100개 이상의 스피커를 설치하여 영화관 사면을 둘러싸는 형태로 구성된다. WFS 기술을 이용하기 때문에 청취자에게 완벽한 음상 정위감을 제공할 수 있으나 청취공간이 넓어질수록 설치되어야 할 스피커의 개수가 증가하기 때문에 설치비용이 증가한다는 문제점이 있다.

IV. 활용분야

1. 전시회 등 문화공연 이벤트

2013년 1월 세계 최초로 런칭한 CGV ScreenX 환경은 메인 스크린을 넘어 양쪽 벽면까지 3면을 스크린으로 활용하여 몰입감을 제공하는 멀티 프로젝션 기술 환경으로 ‘The X’ 라는 파노라마 영화를 제작·상영하였다((그림 16) 참조). ‘다면상영시스템’ 기술을 기반으로 국내에 40개 상영관에 설치하였으며, 국내외적으로 확대추진할 예정이다. 또한, 2012년 220m, 폭 30m 규모의 여수 엑스포 디지털 갤러리(EDG: Expo Digital Gallery)를 시작으로 대전 스카이로드 등 국내 옥외대형 LED 스크린 설치가 점차 확대되면서 정기적으로 각종 생활정보와 광고, 상영 이벤트를 개최하는 등 일반 사용자들의 관심이 높아지고 있으며 지역의 랜드마크로 성장하여 관광수입 증가에 대한 기대가 커지고 있는 상황이다((그림 17) 참조). 그러나 아직 실사 영상 콘텐츠보다는보다는 컴퓨터 그래픽을 위주로 상영하고 있는 상황이다.

(그림 16)

CGV 다면상영시스템(ScreenX)

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F016.jpg
(그림 17)

옥내외 대형 스크린 활용 예시

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F017.jpg

또한 멀티 패널 가격이 점차 낮아짐에 따라 대화면 디지털 사이니지, 뉴스 스튜디오 백패널 등 멀티 패널을 활용한 서비스가 증가추세에 있어 파노라마 영상의 수요는 빠른 시간 내에 급속히 증가할 것으로 예상된다.

2. 라이브 실황중계

댁내에서 TV 화면을 통해서 시청하는 스포츠 경기는 서비스 제공자에 의해서 다양한 정보와 시점을 제공해 주지만, 실제 관중석에서 느낄 수 있는 현장감과 한꺼번에 대화각을 체험할 수 없다는 단점이 있다. 차후에 라이브 파노라마가 제공된다면 현장에 직접 가지 않아도 마치 현장에 있는 듯 새로운 경험을 제공할 수 있을 것으로 예상된다((그림 18) 참조).

(그림 18)

라이브 파노라마 서비스 예시

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F018.jpg

약어 정리

AF

Active-oFfline

AV

Audio-Video

AVC

Advanced Video Coding

HEVC

High Efficiency Video Coding

CG

Computer Graphics

EDG

Expo Digital Gallery

FOV

Field of View

HD

High Definition

ITF

Intensity Transfer Function

ROI

Region of Interest

UHD

Ultra High Definition

VBAP

Vector Based Amplitude Panning

WFS

Wave Field Synthesis

[1] 

A. Ahmed et al., “Geometric Correction for Uneven Quadric Projection Surfaces Using Recursive Subdivision of Bézier Patches,” ETRI J., vol. 35, no. 6, Dec. 2013, pp. 1115-1125.

[2] 

PointGrey, LadyBug5, http://ww2.ptgrey.com/_PGR_Uploads/PGRNA/files/Ladybug5_datasheet.pdf

[3] 

ImmersiveMedia, Dodeca2360, http://immersivemedia.com/products/#cameras

[4] 

hhi, OmniCAM, http://www.hhi.fraunhofer.de/fields-of-competence/image processing/solutions/capture/2d-3d-omnicam.html

[5] 

Social Animal TV, SA9, http://www.socialanimal.tv/

[6] 

Samsung Electronics, Samsung Curved UHD TV, http://www.samsung.com/uk/discover/news/samsung-at-ces-2014/

[7] 

Christie, AutoStack, http://www.christiedigital.com/en-us/products/accessories/Pages/Christie-AutoStack-2.aspx

[8] 

Barco, AutoAlign, http://www.barco.com/barcoview/downloads/AutoAlign_Suite_bro_20121227.pdf

[9] 

M. Brown and D. G. Lowe, “Automatic panoramic image stitching using invariant features,” International J. Comput. Vision, vol. 70, no. 1, Aug. 2007, pp. 59-73.

[10] 

H.S. Qureshi et al., “Quantitative quality assessment of stitched panoramic images,” IET Image Process. vol. 6, no. 9, Dec. 2012.

[11] 

V. Pulkki, “Spatial Sound Generation and Perception by Amplitude Panning Techniques,” Ph.D Thesis, Helsinki University, 2001.

[12] 

A. J. Berkout, D. de. Vries, and P. Vogel, “Acoustic Control by Wave Field Synthesis,” JASA, vol. 93, no. 5, 1993.

(그림 1)

일체형 파노라마 동영상 획득장치[2][3]

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F001.jpg
(그림 2)

거울을 이용한 파노라마 획득장치[4][5]

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F002.jpg
(그림 3)

곡면형 파노라마 TV[6]

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F003.jpg
(그림 4)

멀티 프로젝터 자동보정 도구[7][8]

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F004.jpg
(그림 5)

파노라마 촬영용 멀티 카메라 릭 구조체

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F005.jpg
(그림 6)

파노라마 모니터링 예시(ETRI)

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F006.jpg
(그림 7)

파노라마 영상 생성과정

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F007.jpg
(그림 8)

비평면 스크린에 영상 투영 시 발생하는 영상 왜곡현상

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F008.jpg
(그림 9)

멀티 프로젝터 사용에 따른 중첩영역

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F009.jpg
(그림 10)

생성된 블랜딩 마스크 이미지 예

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F010.jpg
(그림 11)

고화질 파노라마 영상 렌더링 예

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F011.jpg
(그림 12)

VBAP 기법을 이용한 3차원 음상 정위

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F012.jpg
(그림 13)

WFS의 원리

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F013.jpg
(그림 14)

D사 Atmos의 Beds와 Object 개념

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F014.jpg
(그림 15)

IOSONO WFS 시네마 사운드 시스템

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F015.jpg
(그림 16)

CGV 다면상영시스템(ScreenX)

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F016.jpg
(그림 17)

옥내외 대형 스크린 활용 예시

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F017.jpg
(그림 18)

라이브 파노라마 서비스 예시

images/2014/v29n3/ETRI_J003_2014_v29n3_37_F018.jpg
Sign Up
전자통신동향분석 이메일 전자저널 구독을 원하시는 경우 정확한 이메일 주소를 입력하시기 바랍니다.