고해상도 3D 데이터 생성 기술 분석 및 연구 동향

Trends in High-Resolution 3D Data Generation Technologies

저자
김현주홀로그래픽콘텐츠연구실
최중용홀로그래픽콘텐츠연구실
오아름홀로그래픽콘텐츠연구실
지형근홀로그래픽콘텐츠연구실
권호
37권 3호 (통권 196)
논문구분
5G/6G 통신 및 미디어 기술
페이지
64-73
발행일자
2022.06.02
DOI
10.22648/ETRI.2022.J.370307
본 저작물은 공공누리 제4유형: 출처표시 + 상업적이용금지 + 변경금지 조건에 따라 이용할 수 있습니다.
초록
As the COVID-19 pandemic has decreased face-to-face communication in everyday life, our interest in cultural communication via virtual world has grown significantly. In particular, the demand for applications that use three-dimensional (3D) data generation technology such as virtual reality, augmented reality, virtual performances, and realistic content is rapidly increasing in the entertainment and gaming industries. Additionally, improved computing capacity has increased the demand for high-resolution data. This study investigates the trends in 3D scanning and photogrammetry technologies that can support high-quality 3D data generation and introduces the high-resolution 3D data generation technology developed and reported in ETRI.
   3043 Downloaded 2181 Viewed
목록

Ⅰ. 서론

최근 코로나19 팬데믹으로 사회, 경제, 문화를 비롯한 대부분의 활동이 비대면으로 전환되면서, 사회망 서비스(SNS), 원격 회의, 원격 수업과 같은 비대면 소통 방식이 일상화되고, 메타버스와 같은 가상세계를 통한 문화적 소통에 관심이 증가하고 있다. 특히 엔터테인먼트와 게임 산업에서 가상현실(VR), 증강현실(AR), 가상공연, 실감 콘텐츠와 같은 3D 데이터 생성 기술에 기반한 응용서비스 수요가 급증하고 있다.

컴퓨터 비전 분야에서 3D 데이터 생성 기술은 물체에서 반사되거나 투과되는 에너지를 측정하는 광학식 3D 모델링 기법이 주로 연구되어 왔다. 특히 광학식 기법 중 능동방식인 3D 스캐닝 기술과 수동 방식인 포토그래메트리(Photogrammetry) 기술이 광학 기술 발전과 컴퓨팅 성능 향상으로 활발히 연구되어 다양한 분야에서 활용되고 있다.

3D 스캐닝 기술은 정밀한 3D 데이터 생성을 위한 대표적인 방식으로, 물체에 빛이나 특정 패턴을 투영하고 물체의 표면에 투영된 패턴의 왜곡(굴곡)을 취득한 후, 물체의 깊이와 표면 정보를 계산하여 3D 모델링을 수행하는 기술이다. 이 기술은 3차원 좌표뿐만 아니라 구조물 표면의 재질까지도 표현가능한 정확도를 제공한다. 따라서 건설, 고고학, 문화유산 보존, 지질학, 제조 등 다양한 산업 분야에서 사용되고 있다. 특히, 의료와 역공학 분야에서 정밀한 측정을 위해 활용되고 있다.

포토그래메트리 기술은 2차원 이미지를 기반으로 기하학적인 3차원 형상 정보를 구축하는 기술로, 여러 위치에서 물체를 촬영한 영상을 통해 위치, 형상, 크기 등을 파악하여 3차원 데이터를 생성한다. 주로 지형 지도 제작, 건축, 엔지니어링, 품질 관리, 경찰 조사, 문화유산 및 지질학과 같은 분야에 사용되고 있다.

본고에서는 3D 데이터 생성 기술 중 고품질 데이터를 지원할 수 있는 3D 스캐닝 기술과 포토그래메트리 기술에 대한 분석 및 연구 동향을 살펴보고, ETRI에서 연구 중인 고해상도 3D 데이터 생성 기술을 소개한다.

Ⅱ. 3D 데이터 생성 기술 분석 및 연구 동향

1. 3D 스캐닝 기술

능동방식 3D 스캐닝 기술에는 직접 거리 측정방식과 삼각측량 방식이 있다[1-4]. 직접 거리 측정방식은 비행시간 측정방식(ToF: Time of Flight)과 위상 변이(Phase-Shift) 측정방식이 있으며, 삼각측량 방식은 수동적인 형태의 3D 스캐닝 방식에서도 쓰이지만, 이 절에서는 능동적인 형태의 광 삼각법 방식 위주로 설명하고자 한다.

비행시간 측정방식은 레인지 파인더(Range Finder)가 대표적이며, 빛을 스캐닝 대상에 보내 그 빛이 돌아오는 시간을 측정하여 거리를 구하는 방식이다. 이때 빛은 주로 레이저를 사용하며, 레이저 거리 측정기는 시야 방향에서 한 지점까지의 거리만 측정할 수 있으므로 시야 방향을 변경하여 다른 지점을 스캐닝함으로써 전체 시야를 한 지점씩 스캔하게 된다. 측정 방향을 변경하는 방법에는 거리 측정기 자체를 회전하는 방법과 회전하는 거울을 사용하는 방법이 있는데, 회전하는 거울을 적용하는 방법이 훨씬 가볍고 정확하게 회전할 수 있어서 더 많이 활용되고 있다.

위상 변이 측정방식은 송출 신호와 수신 신호의 위상차를 분석하여 측정 대상과의 거리를 계산하는 방식이다. 보통 레이저 광이 변조되어 측정 대상의 표면에 송출되면 반사된 레이저 광이 수신 센서에서 획득된다. 이때 송출되었던 레이저 광의 파형과 반사되어 수신된 파형과의 위상차를 측정하여 지연 시간을 계산한 후 측정 대상과의 거리를 도출해내는 원리이다.

능동방식의 광 삼각법은 레이저가 멀리 떨어져 있는 물체와 부딪힌 후, CCD 카메라 소자에 다른 위치로 보이는 원리를 이용한 방식이다. 그림 1[5]과 같이 레이저와 CCD 카메라 소자 사이의 거리와 각도를 미리 알 수 있으므로 카메라 화각 내에서 수신 광선이 CCD 소자의 상대적 위치에 따른 스캐닝 대상과의 거리 차를 구할 수 있다.

그림 1.

거리측정을 위한 레이저 삼각측량 센서의 원리

출처 Reprinted from [5], CC BY-SA 3.0.

images_1/2022/v37n3/HJTODO_2022_v37n3_64f1.jpg

광 삼각법을 사용하는 3D 스캐너 중에는 휴대성 측면을 강화한 핸드헬드형 스캐너도 있다. 일반적으로 점과 선 타입의 레이저를 스캐닝 대상에 투사하는 레이저 송신 장치, 반사된 레이저를 수신하는 장치, 내부 좌표계를 기준 좌표계로 변환하기 위한 시스템으로 구성되어 있다. 상대적으로 작은 대상을 근거리에서 스캔하기에 유용하고, 고정형에 비해 정확도나 해상도는 낮지만, 휴대성이 높아 다양한 산업에서 사용되고 있다.

그 외 광 삼각법을 이용한 스캐너 중 백색광 방식과 변조광 방식의 3D 스캐너들이 있다. 백색광 방식은 특정한 패턴 영상을 스캐닝하고자 하는 대상에 투영하고 투영된 패턴의 형태를 분석하여 3D 형상 정보를 파악한다. 사용되는 패턴은 크게 1차원 패턴 방식과 2차원 패턴 방식으로 나눌 수 있다. 1차원 패턴 방식은 선 형태의 패턴 영상을 스캐닝 대상에 투영한다. 스캐닝 대상에 투영된 패턴 영상은 해당 패턴 영상을 인식하기 위한 별도의 카메라를 통해 인식되며, 이때 광 삼각법을 이용하여 표면의 깊이 값을 계산한다. 2차원 패턴 방식은 그리드(Grid)나 줄무늬의 패턴을 이용한다. 2차원 패턴을 사용할 경우, 1차원 패턴보다 많은 데이터를 얻을 수 있다. 백색광 방식의 최대 장점은 측정 속도가 빠르다는 점이다. 스캐닝 대상의 전체 촬영 영역좌표를 동시에 얻어 낼 수 있고, 불필요한 장치의 움직임이 없기 때문에 측정 정확도 또한 높일 수 있다.

변조광 방식은 스캐닝 대상의 표면에 주파수가 다른 빛을 송출하면, 이 빛을 수신하는 센서에서 주파수의 변화를 감지하여 깊이 값을 계산해내는 방식이다. 해당 방식은 스캐너가 송출하는 특정 주파수 대역만 식별하기 때문에 해당 권역 외 주파수로 인한 간섭을 배제시킬 수 있다는 장점이 있다. 이러한 방식은 시간 분해능에 대한 제한이 없으므로 시간지연 측정방식에 비해 빠른 스캔이 가능하며, 레이저 세기가 약하므로 중거리 영역을 스캔할 때 주로 이용된다.

이러한 능동형 3D 스캐닝 기술은 다양한 산업군에서 응용되어 활용 및 연구되고 있으며, 건축 분야에서는 오래된 석조 건축물을 콘크리트로 보완한 후 하중 증가에 따른 변형 경향을 분석하는 연구도 있다. 해당 연구에서는 레이저 스캐너로 수집된 포인트 클라우드 데이터를 기반으로 아치형 콘크리트 구조물 변형 경향을 분석하였으며, 아치형 구조의 경계 데이터를 추출하고, 상부와 하부 경계의 근사치를 제시하였다[6].

건축 분야의 다른 연구로는 레이저 스캐닝 기술을 통해 건축자재의 수분을 감지하는 연구도 있다. 해당 연구는 기하학적인 데이터가 아닌 스캔 대상의 속성(표면 거칠기, 색상, 수분 등)을 분석하는 최신 추세가 반영된 연구이다[7].

그 외 광산의 자원 채굴용으로 사용되는 컨베이어 벨트 표면을 레이저 스캐닝을 통해 손상 정도를 감지하는 연구도 진행되었다. 해당 연구는 레이저스캐닝으로 포인트 클라우드 데이터를 수집하여 컨베이어 벨트의 기하학적 모델을 생성하였다. 개발한 알고리즘을 통해 벨트 모양을 추출, 표면의 불규칙성을 감지하고, 가장자리의 거칠기를 평가하였다. 시설 관리 인력을 배치하기 어려운 환경에 적합하며, 육안검사보다 객관적으로 수치화할 수 있다는 장점이 있다[8].

2. 포토그래메트리 기술

포토그래메트리(사진 측량)란 사진으로부터 물체의 정보를 획득하는 기술로 최초 일식을 관찰했던 것으로부터 시작되었다고 보는 견해도 있지만, 카메라의 등장 이후 기술적인 발전이 이루어졌다고 볼 수 있다. 포토그래메트리는 항공/위성 측량과 거리 측량 두 가지 유형으로 나뉘는데, 항공/위성 측량은 그림 2[9]와 같이 공중에서 지표면을 촬영하여 지구 표면 정보를 생성하게 된다. 거리 측량의 경우 그림 3[10]과 같이 카메라를 이용하여 측정하고자 하는 물체의 정보를 근거리에서 촬영하여 생성하고, 추가 센서를 이용하여 좀 더 세밀한 정보를 획득하기도 한다. 본고에서는 근거리에서 촬영된 2D 평면 이미지들을 바탕으로 3D 입체 모델을 생성하는 방법으로 한정한다.

그림 2.

포토그래메트리에 사용되는 항공 측량 예제

출처 Reprinted from [9], CC BY-SA 4.0.

images_1/2022/v37n3/HJTODO_2022_v37n3_64f2.jpg
그림 3.

포토그래메트리에 사용되는 거리 측량 예제

출처 Reprinted from [10], CC BY-NC-ND.

images_1/2022/v37n3/HJTODO_2022_v37n3_64f3.jpg

포토그래메트리는 2D 이미지에서 3D 형상 정보를 생성하기 위해 주로 포인트 클라우드를 이용한다. 포인트 클라우드란 좌표계에서 물체를 구성하는 데이터의 집합을 의미하는데, 이 데이터는 LiDAR나 RGB-D 카메라로부터도 획득할 수 있다. 포인트 클라우드는 대부분 물체의 외형 정보를 직교좌표계(Cartesian Coordinates)의 x, y, z 좌표로 나타낼 수 있다.

이 포인트 클라우드를 얻기 위해서는 사진 촬영 방식이 중요한데 대부분 물체를 겹쳐 찍는 방식으로 이미지를 획득하게 된다. 이렇게 획득된 이미지의 정렬 및 정합 방법은 컴퓨터 비전 분야에서 꾸준히 연구되고 있는 주제로 목적에 맞게 알고리즘을 선택하여 사용하면 된다. 획득된 이미지를 기반으로 포인트 클라우드를 생성하는 방법은 여러 장의 이미지에서 특징을 추출하거나 스테레오 이미지 기반으로 추출하는 법 등 다양한 방법이 있으며, 이렇게 추출된 포인트 클라우드는 그림 4[11]와 같은 형태로 나타낼 수 있다. 최근에는 물체의 포인트 클라우드와 촬영 시점의 카메라 포즈 정보를 함께 추출할 수 있는 Visual SLAM(Simultaneous Localization and Mapping) 기법을 포토그래메트리에 적용하고 있다.

그림 4.

IVL-SYNTHSFM-v2 데이터셋 예제: (a) statue 이미지, (b) 추출된 포인트 클라우드

출처 Reproduced from [11], CC BY 4.0.

images_1/2022/v37n3/HJTODO_2022_v37n3_64f4.jpg

일반적으로 로봇공학 분야의 Visual SLAM 기술은 미지의 공간을 이동하며 주변 정보를 감지하여 지도를 작성하고, 이와 동시에 작성된 지도를 기반으로 현재 위치를 추정하는 기술이다[12]. Visual SLAM 기술도 다양한 연구가 이루어졌는데 카메라 영상에서 특징점(Feature)을 추출하여 이를 기반으로 SLAM을 수행하는 특징점 기반 SLAM과 이러한 특징점 추출 과정 없이 영상 전체 이미지를 직접 활용하는 Direct SLAM 방식으로 나눌 수 있다. Direct SLAM 기법[13-15]은 특징점 추출 과정 없이 전체 이미지를 직접 비교하기 때문에, 실시간 처리가 필요한 상황에서는 좀 더 실시간성이 확보되는 Feature 기반 SLAM 방식을 사용하게 되는데, Feature 기반 SLAM 방식의 결과는 그림 5로 나타낼 수 있다[16]. 이러한 방식으로 추출된 포인트 클라우드는 직접 사용하기는 어려우므로 3D 메쉬로 변환하여 사용된다.

그림 5.

(a) 영상기반 Feature 추출, (b) ORB-SLAM 결과

출처 Reprinted with permission from [16].

images_1/2022/v37n3/HJTODO_2022_v37n3_64f5.jpg

그림 6은 포토그래메트리 기반의 3D 데이터 생성 과정을 나타내며, 3D 정밀 메쉬를 생성하는 기하복원(Geometry Reconstruction) 단계와 텍스처를 생성하는 텍스처 복원(Texture Reconstruction) 단계로 구분된다.

그림 6.

3D 데이터 생성 과정

images_1/2022/v37n3/HJTODO_2022_v37n3_64f6.jpg

기하복원 단계에서는 다중시점 이미지에 SfM(Structure from Motion) 기술을 적용하여 3D 포인트 클라우드를 획득하고, 이로부터 3차원 곡면을 재건하기 위해 음함수(Implicit Function) 방식으로 널리 알려진 푸아송 표면 복원(Poisson Surface Reconstruction) 알고리즘을 사용하여 복셀 그리드(Voxel Grid)상의 음함수 곡면(Implicit Surface)으로 변환한다. 이후 마칭 큐브(Marching Cube) 알고리즘을 통해 3D 폴리곤 메쉬를 생성한다.

텍스처 복원 단계에서는 기하복원 단계에서 생성된 3D 메쉬와 초기 입력으로 사용한 다중시점 이미지, 카메라 파라미터를 이용하여, 2D 텍스처를 생성한다. Iso-chart 기술을 이용하여 입력 3D 메쉬에 대응하는 텍스처 아틀라스(Texture Atlas)를 생성하고, 텍스처 전환(Texture Transfer) 과정을 통해 메쉬와 다중시점 이미지 간의 기하학적 상관관계를 계산하여 텍스처 아틀라스상으로 다중시점 이미지 픽셀을 매핑한다. 이후 입력 메쉬의 정점별로 관측 가능한 다중시점 이미지의 컬러 값을 샘플링하고, 텍스처의 해당 위치 좌표마다 후보 컬러값을 블렌딩하여 최종 텍스처 값을 확정한다(그림 6의 텍스처 블렌딩(Texture Blending) 과정).

이후 생성된 3D 메쉬에 쉐이더를 이용하여 텍스처를 입히는 추가적인 단계는 플랫폼마다 다를 수 있으나, 포토그래메트리의 기본적인 진행 과정은 표 1과 같다.

표 1 포토그래메트리 진행 과정

단계 내용
1단계 사진 촬영 및 이미지 전송
2단계 이미지 정렬 및 정합
3단계 포인트 클라우드 생성
4단계 3D 메쉬 생성
5단계 텍스처 매핑

이러한 포토그래메트리 방법은 상용 카메라를 이용하기 때문에 이미지 획득이 용이하며, 면적이 넓은 대상이나 먼 거리에 있는 물체의 3D 객체 생성이 가능한 장점이 있다. 이런 장점 때문에 최근에는 드론이나 무인항공기를 활용하여 이미지를 획득한 후 포토그래메트리를 적용시켜 물체의 3D 정보를 얻는 방법도 활용되고 있다. 하지만 별도의 소프트웨어를 이용한 후처리가 필요하며, 이미지 분석 및 합성에 오랜 시간이 소요된다.

최근 급격한 하드웨어 발전이 이루어지고 있는 드론이나 무인항공기를 활용하여 이미지를 획득한 후 포토그래메트리 기법을 적용, 물체의 3D 정보를 얻는 방법에 관한 연구가 진행되고 있다. Phantom 4 드론을 활용한 연구[17]에서는 8m 크기의 석상을 촬영하여 이미지 126장을 획득한 후 이를 기반으로 3D 모델링 데이터를 생성하였다. 생성된 데이터는 3D MAX 소프트웨어를 이용하여 약 10초 길이의 애니메이션 결과로 나타낼 수 있었다. 이 연구에서는 애니메이션만이 아닌 다른 분야로의 활용 가능성도 제시하고 실제 드론 비행 방법이나 촬영 간격, 횟수, 드론과 물체와의 거리 등 자세한 방법을 서술하였다.

원거리에서 UAVs를 활용하여 실제 수목을 촬영하여 3D 정보를 얻고 이를 3D 스캐너로부터 획득된 정보와 비교한 다른 연구에서는, 크기를 비롯하여 텍스처, 음영구역 등 다른 특성에 대해서도 분석하였는데, 두 기법 모두 실제 수목과 충분히 일치함을 보였다. 이 연구에 사용된 UAVs에 장착된 사진기의 성능 차이로 인해 3D 스캐너가 재질 구현에서 좀 더 나은 성능을 보였지만, 가로수와 농장 단위의 조경수 등 대단위 수목에 대한 정보를 손쉽고 빠르게 획득하기 위해서는 포토그래메트리 방법이 적합할 것으로 주장하였다[18].

또한 포토그래메트리 기법으로부터 획득한 3D 모델링 소스와 텍스처 맵을 변형시켜 만든 디스플레이스먼트 맵을 활용하고, 3D 프린팅에 접목하여 일반적인 컴퓨터 그래픽이 제공하는 쉐이딩(Shading) 기술로 만들어진 질감보다 좀 더 사실적인 3D 프린팅 출력물을 획득할 수 있는 연구도 진행되고 있다[19].

표 2는 지금까지 설명한 3D 스캐닝 기술과 포토그래메트리 기술에 대해 비교한 내용이다.

표 2 3D 스캐닝과 포토그래메트리 기술 비교

구분 3D 스캐닝 (고정밀) 포토그래메트리
장비 (단위: 천만 원) • 고가의 특수 장비 필요 • 상용 카메라 사용
 - 3D 스캐너: 3~6  - 카메라: 0.1~0.9
 - 렌즈: 0~1
장비 유형 • 고정형 • 상용 카메라
• 핸드헬드형(유무선) • 유무선 조명
기술 숙련도 • 전문적인 촬영 기술이 필요 • 상용 카메라 촬영 방식 (음영구역 파악이 어려움)
특징 • 고정밀 3D 메쉬 제공 • 촬영공간 제약이 거의 없음
• 낮은 텍스처 해상도 • 후처리 SW 필요
• 높은 시간 복잡도 (이미지 분석/합성)
대표 이미지 images_1/2022/v37n3/HJTODO_2022_v37n3_64i1.jpg
Artec Spider
images_1/2022/v37n3/HJTODO_2022_v37n3_64i2.jpg
Canon EOS 5D

3D 스캐닝 기술은 물체를 측정하는 방식 및 사용하는 빛의 종류 등에 따라 물체의 크기, 측정 거리, 데이터 복원 정확도가 달라진다. 3D 스캐너 중 고정밀 3D 스캐너는 정밀한 3D 메쉬를 제공하지만, 대부분이 고가의 장비로 진입장벽이 높으며, 데이터를 취득하기 위해서는 전문적인 기술 숙련도가 요구된다. 또한 상대적으로 낮은 해상도의 컬러 텍스처 복원을 지원하고 있다.

반면 포토그래메트리 기술은 3D 스캐너에 비해 낮은 예산으로 휴대성이 높은 카메라를 통해 데이터를 취득하여 3D 데이터를 생성함으로써, 접근이 용이하고 고정밀성을 요구하지 않는 다양한 분야에서 활용되고 있다. 하지만 촬영 환경에 따라 재촬영이 어려운 분야(예: 문화재 발굴 현장 등)에서 이미지 정보가 부족한 음영구역을 최소화할 수 있는 영상을 취득하려면 높은 기술 숙련도가 요구된다.

Ⅲ. ETRI 고해상도 3D 데이터 생성 기술

ETRI에서는 앞서 설명한 두 기술이 갖는 장점을 제공하고 단점을 보완할 수 있는 기술에 초점을 두고 있다. 3D 스캐닝 기술이 제공하는 고정밀 3D 메쉬 생성과 포토그래메트리 기술이 제공하는 휴대성과 비용절감의 장점뿐만 아니라 고해상도의 텍스처 정합과 취득 가이드 기술을 통한 3D 데이터 생성의 정확도 향상을 목표로 연구 중이다.

이를 위해 자유시점의 카메라(DSLR) 영상 및 다수의 이종센서_위치센서(Pose Sensor), 깊이센서(Depth Sensor), LiDAR센서_데이터를 융합하고, 촬영 시 음영구역을 바로 확인하여 데이터를 취득함으로써 고해상도의 3D 데이터를 생성할 수 있는 기술을 개발하고 있다. 본 기술은 자유시점 기반의 3D 데이터 취득 기술과 데이터 생성 기술로 구성된다.

자유시점 3D 데이터 취득 기술은 카메라 및 이종센서를 통해 획득된 데이터를 기반으로 고해상도의 이미지와 스캐닝하고자 하는 대상의 포인트 클라우드, 촬영 시점의 카메라 포즈 정보를 생성하기 위한 기술이다. 이러한 정보를 획득/생성하기 위해 카메라와 이종센서를 기반으로 스캐닝 음영구역을 최소화하기 위한 데이터 취득 가이드 뷰어(Data Acquisition Guide Viewer)를 함께 결합한 H/W 기구물을 고안하였으며, 해당 장치들이 동기화하여 저장 및 동작할 수 있도록 고해상도 자유시점 3D 데이터 취득 시스템을 설계하였다.

자유시점 3D 데이터 취득 기구물은 고해상도 이미지 취득을 위해 Canon EOS R5를 사용하였으며, 스캐닝 대상과의 깊이 정보를 취득하기 위해 깊이 센서인 Intel社의 RealSense D435(i)를 적용하였고, LiDAR 센서 L515도 추가 적용 예정이다. 또한 위치 센서인 T265도 함께 연결하여 데이터를 동기화하여 활용하고 있으며, 추출된 카메라 포즈 정보의 검증 및 융합에 활용하였다.

그림 7은 자유시점 3D 데이터 취득 기구물의 프로토타입(a)이며, 해당 기구물을 동작시켰을 때의 화면 예시(b)이다. 자유시점 3D 데이터 취득 기구물은 기술 숙련도가 높지 않은 사용자라도 고해상도의 카메라 이미지와 센서 정보를 음영구역 없이 동기화하여 취득할 수 있도록 단순화된 GUI를 통해 조작 가능토록 고안하였다. 또한, 기존의 기가픽셀급 이미지 취득을 위해 고가의 장비(카메라, 렌즈, 로테이터)를 고정시킨 후 촬영하던 방식에서 탈피하여 자유시점으로 일반 카메라를 들고 촬영하듯 휴대성을 강화한 측면도 강점이다.

그림 7.

자유시점 3D 데이터 취득 예시: (a) 기구물, (b) 동작 화면

images_1/2022/v37n3/HJTODO_2022_v37n3_64f7.jpg

그림 8은 자유시점 3D 데이터 취득 기구물이 유기적으로 동작할 수 있도록 설계된 고해상도 자유 시점 3D 데이터 취득 시스템의 개념도를 나타낸다. 해당 시스템은 취득 기구물을 휴대형 PC나 노트북에 연결하여 사용할 수 있도록 개발하였다. 우선 카메라 및 이종센서 데이터를 동기화하여 취득할 수 있도록 카메라와 센서 개발사에서 제공하는 API를 통해 카메라 영상 촬영시점과 간격 등 관련 통제명령을 송신하고, 센서 데이터를 스트리밍 형태로 수신될 수 있도록 구현하였다. 해당 시스템은 카메라와 각 센서 간의 캘리브레이션 기능도 포함하고 있으며, 이 기능은 DSLR 카메라와 깊이센서, 위치센서에서 동시에 취득된 데이터라고 해도 물리적으로 떨어져 있는 간격과 촬영 각도 차이로 인해 발생할 수밖에 없는 오차를 줄이기 위한 것이다. 또한 취득된 카메라 영상 및 센서 정보를 토대로 스캐닝하고자 하는 대상의 취득 음영구역을 최소화하기 위해 Visual SLAM 기술을 적용하여 실시간으로 촬영 시점의 카메라 포즈 정보를 추출하고, 스캐닝 대상의 포인트 클라우드를 생성할 수 있도록 하였다. 카메라 포즈 정보와 포인트 클라우드는 기구물에 연결된 별도의 화면을 통해 스캐닝 대상의 취득 영역을 가시화함으로써 촬영자에게 취득 가이드 기능을 제공한다. 이때 사용된 Visual SLAM 기술은 카메라 영상에서 특징점을 추출하여 이를 기반으로 SLAM을 수행하는 Feature 기반 SLAM 방식이며, Oriented FAST and Rotated BRIEF(ORB)-SLAM2 알고리즘[20]을 적용하였다.

그림 8.

고해상도 자유시점 3D 데이터 취득 시스템 개념도

images_1/2022/v37n3/HJTODO_2022_v37n3_64f8.jpg

이렇게 취득된 다중시점 이미지와 카메라 파라미터는 3D 정밀 메쉬를 생성하고 이를 기반으로 한 텍스처를 생성하는 데 사용된다. 그림 6의 3D 데이터 생성 과정과 같이, 다중시점 이미지로부터 포인트 클라우드를 획득하기 위해 SfM 기술 중 Dense Reconstruction을 지원하는 COLMAP 알고리즘을 적용하여 3D 메쉬를 생성하고, 텍스처 복원 단계 중 텍스처 전환과 블렌딩 과정에 공간 가변적 시점 기반의 워핑(Perspective Warping) 알고리즘을 적용하여 고해상도의 텍스처를 생성한다.

일반적으로 다중시점 이미지로부터의 3D 메쉬 및 텍스처 복원 시 텍스처와 기하 사이의 오정렬 문제는 고질적인 문제로, 이를 해결하기 위해 옵티컬 플로우(Optical Flow) 또는 지역적 워핑(Local Warping) 기반의 알고리즘을 이용하는 기존의 연구들이 있다. 하지만 옵티컬 플로우는 보간이 필요한 영역에서는 정확도가 떨어지며, 지역적 워핑 알고리즘은 계산 복잡도가 높다. 더욱이, 고해상도 텍스처를 생성하기 위해서는 다중시점 이미지 간의 전역적 정렬(Global Alignment)과 지역적 정렬(Local Alignment)이 동시에 수행되어야 하며, 이는 많은 메모리 사용을 요구한다. 따라서 기존 알고리즘을 기가픽셀 단위의 고해상도 데이터에 적용하기는 어려움이 존재하기 때문에, ETRI 3D 데이터 생성 기술은 공간 가변적 시점 기반의 워핑 알고리즘을 이용하여 고해상도(기가픽셀급) 데이터를 효율적으로 정합하고자 하였다.

Ⅳ. 결론

지금까지 고해상도 3D 데이터 생성 기술 중 대표적인 3D 스캐닝 기술과 포토그래메트리 기술에 대해 분석하고 관련 연구 동향에 대해 살펴보았다. 또한 현재 연구 중인 ETRI의 고해상도 3D 데이터 생성 기술을 간략히 소개하였다.

3D 데이터 생성 기술은 오래전부터 꾸준히 연구되어 온 컴퓨터 비전 분야의 주요 기술로, 과거에는 주로 고가의 3D 스캐너에 의존하여 3D 데이터를 생성하였지만, 카메라의 성능과 데이터를 처리할 수 있는 컴퓨팅 성능의 향상으로 포토그래메트리 기술에 관한 연구가 급증하였다. 이로 인해 영상 및 제조 분야는 물론 지형 지도 제작, 건축, 엔지니어링, 품질 관리, 경찰 조사, 문화유산 복원 및 지질학, 게임, 엔터테인먼트 등 다양한 분야에서 폭넓게 사용되고 있다. 또한 일반인들도 여러 상용 제품을 통해 손쉽게 3D 데이터를 생성할 수 있고, 이를 활용하여 다양한 서비스를 경험할 수 있게 되었다.

하지만 이러한 기술들은 고정밀의 3D 메쉬와 고해상도의 텍스처를 지원하기에는 아직 미흡한 상태이다. 특히 원본과의 최소오차를 요구하는 분야(예: 문화유산 보존 및 복원)에서는 고정밀과 고해상도의 3D 데이터가 중요하다. 따라서 고해상도의 3D 데이터를 취득 및 생성할 수 있는 폭넓은 연구와 고해상도의 대용량 3D 데이터 처리 및 렌더링 성능을 향상시킬 수 있는 기술 개발이 필요하다.

용어해설

고해상도 3D 데이터 고정밀 3D 메쉬와 고해상도의 텍스처를 포함하는 3차원 데이터

텍스처 아틀라스 리소스 절약 및 처리시간 단축을 위해 메인 이미지 내에 여러 텍스처를 포함하는 이미지

SfM 로컬 모션 신호와 결합될 수 있는 2차원 이미지 시퀀스에서 3차원 구조를 추정하기 위한 사진 측량 범위 이미징 기술

SLAM 동시적 위치추정 및 지도작성. 로봇공학 등에서 사용하는 개념으로, 임의 공간에서 이동하면서 주변을 탐색할 수 있는 로봇에 대해 그 공간의 지도 및 현재 위치를 추정하는 기술

약어 정리

API

Application Programming Interface

AR

Augmented Reality

BRIEF

Binary Robust Independent Elementary Features

CCD

Charge-Coupled Device

DSLR

Digital Single-Lens Reflex camera

FAST

Features from Accelerated Segment Test

GUI

Graphical User Interface

LiDAR

Light Detection and Ranging

ORB

Oriented FAST and Rotated BRIEF

SfM

Structure from Motion

SLAM

Simultaneous Localization and Mapping

SNS

Social Network Service

ToF

Time of Flight

UAV

Unmanned Aerial Vehicle

VR

Virtual Reality

참고문헌

[1] 

추창우 외, "3차원 복원 기술 동향," 전자통신동향분석, 제22권 제4호, 2007, pp. 1-11.

[2] 

J.A. Beraldin et al., "Active 3D Sensing," National Research Council Canada, Ottawa, Canada, NRC Tech. Rep. 44159, 2000.

[3] 

문화재청 정보화담당관, "문화유산 3차원 스캔데이터 구축 가이드라인," 문화재청, 2019, pp. 12-15, Available from: https://www.cha.go.kr/cmm/fms/BoardFileDown.do?atchFileId=FILE_000000000036408&fileSn=0&dwldHistYn=N&bbsId=BBSMSTR_1045

[4] 

Historic England, 3D Laser Scanning for Heritage, Historic England, London, United Kingdom, 2018, pp. 7-14.

[6] 

X. Xu et al., "Intelligent 3D data extraction method for deformation analysis of composite structures," Compos. Struct., vol. 203, 2018, pp. 254-258.

[7] 

C. Suchocki and J. Katzer, "Terrestrial laser scanning harnessed for moisture detection in building materialsProblems and limitations," Autom. Constr., vol. 94, 2018, pp. 127-134.

[8] 

P. Trybała et al., "Damage detection based on 3d point cloud data processing from laser scanning of conveyor belt surface," Remote Sens., vol. 13, no. 1, 2021.

[10] 

오준영, 김충식, "홍성 신경리 마애여래입상의 3차원 기록화를 통한 포토그래메트리의 유용성 연구," 문화재학술지 제50권 제3호, 2017, pp. 30-43.

[11] 

D. Marelli, S. Bianco, and G. Ciocca, "IVL-SYNTHSFM-v2: A dataset for the evaluation of 3D reconstruction pipelines," Mendeley Data, 2020.

[12] 

송재복, 황서연, "SLAM 기술의 과거와 현재," 제어로봇시스템 학회논문지, 제20권 제3호, 2014.

[13] 

R.A. Newcombe, S.J. Lovegrove, and A.J. Davison, "DTAM: Dense tracking and mapping in real-time," in Proc. Int. Conf. Comput. Vis., (Barcelona, Spain), Nov. 2011.

[14] 

C. Forster, M. Pizzoli, and D. Scaramuzza, "SVO: Fast semi-direct monocular visual odometry," in Proc. Int. Conf. Robot. Autom. (ICRA), (Hong Kong, China), May 2014.

[15] 

J. Engel, V. Koltun, and D. Cremers, "Direct sparse odometry," IEEE Trans. Pattern Anal. Mach. Intell., vol. 40, no. 3, 2018, pp. 611-625.

[16] 

최중용, 김현주, 지형근, "디지털 문화유산 데이터 구축을 위한 자유 시점 3D 데이터 취득 가이드 시스템 개발," 한국멀티미디어학회 학술대회(추계), 2021, pp. 19-22.

[17] 

이준상, 이임건, "드론 촬영 기반 사진 스캐닝 기술을 활용한 3D 모델링데이터 생성방법에 관한 연구," 한국정보통신학회논문지, 제22권 제6호, 2018, pp. 874-880.

[18] 

박재민, "레이저스캐닝과 포토그래메트리 소프트웨어 기술을 이용한 조경 수목 3D모델링 재현 특성 비교," 한국정보통신학회논문지, 제24권 제2호, 2020, pp. 304-310.

[19] 

김진곤, "포토그래메트리를 이용한 3D 프린팅에서 디스플레이먼트 맵의 활용," 커뮤니케이션디자인학연구, 제75권, 2021, pp. 85-96.

[20] 

R. Mur-Artal and J.D. Tardos, "Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras," IEEE Trans. Robot., vol. 33, no. 5, 2017.

그림 1.

거리측정을 위한 레이저 삼각측량 센서의 원리

출처 Reprinted from [5], CC BY-SA 3.0.

images_1/2022/v37n3/HJTODO_2022_v37n3_64f1.jpg
그림 2.

포토그래메트리에 사용되는 항공 측량 예제

출처 Reprinted from [9], CC BY-SA 4.0.

images_1/2022/v37n3/HJTODO_2022_v37n3_64f2.jpg
그림 3.

포토그래메트리에 사용되는 거리 측량 예제

출처 Reprinted from [10], CC BY-NC-ND.

images_1/2022/v37n3/HJTODO_2022_v37n3_64f3.jpg
그림 4.

IVL-SYNTHSFM-v2 데이터셋 예제: (a) statue 이미지, (b) 추출된 포인트 클라우드

출처 Reproduced from [11], CC BY 4.0.

images_1/2022/v37n3/HJTODO_2022_v37n3_64f4.jpg
그림 5.

(a) 영상기반 Feature 추출, (b) ORB-SLAM 결과

출처 Reprinted with permission from [16].

images_1/2022/v37n3/HJTODO_2022_v37n3_64f5.jpg
그림 6.

3D 데이터 생성 과정

images_1/2022/v37n3/HJTODO_2022_v37n3_64f6.jpg
그림 7.

자유시점 3D 데이터 취득 예시: (a) 기구물, (b) 동작 화면

images_1/2022/v37n3/HJTODO_2022_v37n3_64f7.jpg
그림 8.

고해상도 자유시점 3D 데이터 취득 시스템 개념도

images_1/2022/v37n3/HJTODO_2022_v37n3_64f8.jpg

표 1 포토그래메트리 진행 과정

단계 내용
1단계 사진 촬영 및 이미지 전송
2단계 이미지 정렬 및 정합
3단계 포인트 클라우드 생성
4단계 3D 메쉬 생성
5단계 텍스처 매핑

표 2 3D 스캐닝과 포토그래메트리 기술 비교

구분 3D 스캐닝 (고정밀) 포토그래메트리
장비 (단위: 천만 원) • 고가의 특수 장비 필요 • 상용 카메라 사용
 - 3D 스캐너: 3~6  - 카메라: 0.1~0.9
 - 렌즈: 0~1
장비 유형 • 고정형 • 상용 카메라
• 핸드헬드형(유무선) • 유무선 조명
기술 숙련도 • 전문적인 촬영 기술이 필요 • 상용 카메라 촬영 방식 (음영구역 파악이 어려움)
특징 • 고정밀 3D 메쉬 제공 • 촬영공간 제약이 거의 없음
• 낮은 텍스처 해상도 • 후처리 SW 필요
• 높은 시간 복잡도 (이미지 분석/합성)
대표 이미지 images_1/2022/v37n3/HJTODO_2022_v37n3_64i1.jpg
Artec Spider
images_1/2022/v37n3/HJTODO_2022_v37n3_64i2.jpg
Canon EOS 5D
Sign Up
전자통신동향분석 이메일 전자저널 구독을 원하시는 경우 정확한 이메일 주소를 입력하시기 바랍니다.