3차원 가우시안 스플래팅 편집 기술 동향

3차원 분할은 3차원 공간 또는 객체 인지를 기반으로 하는 다양한 기술에서 선행적으로 수반되는 작업으로 3차원 가우시안 스플래팅 편집을 위해서도 필수적 과정이다. 최근 3차원 가우시안 스플래팅 분할 기술은 2차원 분할을 위해서 이미 우수한 성능을 보여온 파운데이션 모델(Foundation Model) (예를 들어, SAM(Segment Anything Model)[3] 등)을 이용하여 3차원 가우시안 분할에 활용하는 방식으로 다양한 연구가 진행되고 있다. 대표적으로 2차원 파운데이션 모델로부터 추출된 고차원 특징 정보로 3차원 특징을 증류(Distillation)하는 방식으로 예를 들어, SAM 모델의 특징 지도(Feature Map)를 3차원 가우시안 특징으로 증류하여 SAM 모델의 2차원 분할 결과를 사전에 학습된 3차원 가우시안 모델의 특징으로 결합하거나[4], 3차원 가우시안 생성에서부터 각각의 3차원 가우시안이 컬러와 시멘틱(Semantic) 특징을 함께 가지도록 학습하여 3차원 방사 필드뿐만 아니라 3차원 특징 필드를 동시에 표현하는[5,6] 등의 기술이 최근에 소개되었다.

특징 증류 방식과 달리 2차원 파운데이션 모델로부터 추출된 2차원 분할 마스크를 3차원으로 리프팅(Lifting)하는 방식으로 최근 참고문헌[7]에서는 SAM 모델로부터 추출된 2차원 분할 마스크의 ID를 이용하여 3차원 가우시안이 분할 가능한 군집 ID를 가질 수 있도록 학습하는 방법을 제안하였다. 유사하게 참고문헌[8]에서는 가우시안 군집 ID를 추가 학습할 때 3차원 인식 메모리 뱅크를 통해 2차원 분할 결과에 객체 ID가 연관되어 있지 않더라도 한 시점의 2차원 마스크를 3차원으로 역투영 후 다른 시점으로 투영하여 대응하는 ID를 할당하는 과정을 반복해 3차원상에 ID를 연관하는 방법을 제안하였다. 또한, 전역 특징 정보 기반 학습 방법을 추가하여 리프팅 방식의 한계인 시점에 따른 마스크 ID의 불일치로 인해 발생하는 문제를 해결하거나[9], 선형 프로그래밍(Linear Programming) 기법을 이용하여 리프팅 시 분할 할당을 최적화하여 추가적인 학습이나 후처리 없이도 즉각적인 분할이 가능하게 하는[10] 등 2차원 마스크 리프팅 방식의 성능 향상 기술도 최근 제안되었다.

이외 3차원 가우시안 분할 시 경계 부분에서 발생하는 분할 조도(Roughness)에 대응하기 위해서 경계 부분의 3차원 가우시안을 작은 단위로 분해하는 방법[11], 2차원 영상 분할 도구에서와 같은 인터랙티브한 편집 영역 선택 및 분할 정확도를 위해 Graph Cut 알고리즘을 적용하여 전 배경을 효과적으로 구분하는 방법[12], 그리고 언어 기반의 분할 성능 향상을 위해 파운데이션 모델인 CLIP(Contrastive Language-Image Pretraining)[13]과 DINOv2[14] 특징을 융합하여 가우시안 특징 학습에 이용하는 방법[15] 등 3차원 애셋 분할 정확성 및 편의성 향상을 고려한 기술도 함께 소개되고 있다.

애셋 삭제 기술은 3차원 공간에서 사용자가 원하는 객체를 지우는 기술이다. 객체를 삭제하는 경우 삭제된 영역이 시각적으로 주변과 일관성을 유지하면서 그럴듯하게 보이도록 인페인팅(Inpainting)을 수행한다.

3차원 가우시안 스플래팅 기반 객체 삭제 기술은 학습 영상 세트와 지우고자 하는 객체에 대한 마스크가 주어진 경우 객체가 삭제된 3차원 가우시안 스플래팅 학습을 통해 이루어진다. 최근 소개된 대표적인 기술로, GScream[16]은 한 시점의 영상을 기준 영상으로 정하고 객체 마스크에 대해 2차원 인페인팅을 수행한다. 그리고 인페인팅된 한 장의 영상과 그 외 마스킹된 입력 영상과 추출된 깊이(Depth) 영상을 이용하여 3차원 가우시안 스플래팅을 학습한다. 여기서 기준 시점에 렌더링한 컬러 및 깊이 영상 전체에 대해 손실 함수를 계산하고 그 외 시점 렌더링의 경우에는 지우지 않을 영역에 대해서만 손실 함수를 계산한다.

Infusion[17]은 영상의 마스크 이외 영역을 이용하여 객체를 제외한 3차원 가우시안 스플래팅을 먼저 학습한다. 객체를 제외하고 학습된 3차원 가우시안 스플래팅은 불완전한 3차원 정보로 인해 렌더링 시홀(Hole)이 발생하게 된다. 따라서 기준 시점으로 렌더링한 컬러 영상을 인페인팅한 후 기준 시점으로 렌더링한 깊이맵을 인페인팅된 컬러 영상을 참조하여 인페인팅을 수행한다. 이어 마스크 영역 내 인페인팅된 깊이값을 3차원 공간상에 역투영하여 초기 3차원 가우시안을 생성하고 인페인팅된 컬러 영상을 이용하여 인페인팅된 가우시안을 학습한다.

한편, 제한된 시점 범위 내에서 획득한 데이터 세트의 경우는 한 장의 인페인팅된 영상을 이용한 학습으로 텍스처의 일관성을 유지할 수 있지만, 360도 시점에 대해 획득한 데이터 세트와 같이 기준 시점 영상에 포함되지 않는 정보가 다른 시점에 나타나는 경우 한 장의 인페인팅 영상으로는 학습에 한계가 있다. 이를 해결하기 위해서 예를 들어, 참고문헌[7]에서는 우선 그룹화된 가우시안 중에 사용자가 선택한 객체의 ID를 갖는 가우시안을 제거한다. 그리고 제거 후 남은 가우시안을 모든 학습 영상 시점으로 렌더링한 영상에서 검게 표시된 홀을 검출하여 마스크를 생성한다. 이후 렌더링 영상에서 마스크 부분은 2차원 인페인팅을 한 후 모든 인페인팅 영상을 이용하여 삭제 영역에 대한 가우시안을 추가로 학습함으로써 보다 향상된 삭제 성능을 보였다.

애셋 변형 기술은 생성형 AI(Generative Artificial Intelligence), 디퓨전 모델(Diffusion Model), 거대 언어 모델(LLM: Large Language Model) 등의 기술과 결합하여 생성된 애셋의 장면을 다양하게 변형하는 기술이다. 3절에서는 변형 타입에 따라 다음과 같이 분류하여 살펴본다.

가. 물리 시뮬레이션 기반 변형 기술

물리 시뮬레이션 기반 변형 기술은 3차원 장면 내에서 물리적 특성을 반영한 동적인 변화를 모델링하고 물리적 변형과 상호작용을 실시간으로 처리하는 변형 기술을 말한다.

최근 소개된 대표적인 기술로, GASP[18]에서는 기존 메쉬화 기법을 사용하지 않고 평탄한 가우시안 분포로 물리적 특성을 모델링하는 기술을 제안하였다. 이 기술은 가우시안 구성요소를 삼각형 면으로 변환한 후, 물리 엔진을 통해 점군에서 3차원 모델의 물리적 궤적을 계산하고 이를 다시 가우시안으로 변환하여 변형한다. 또한, 기존 물리 엔진과 통합 가능하며 렌더링과 물리 시뮬레이션을 결합하는 데 효율적인 변형이 가능하다.

이와 달리 PhysGaussian[19]에서는 삼각형 메쉬화 없이 3차원 가우시안 커널(Kernel)을 사용해 물리적 변형과 기계적 응력(Stress)을 처리하고 MPM(Material Point Method)을 통해 연속체 역학 기반의 변형을 구현하는 기술을 소개하였다. 이 기술은 WS2(What you See is What you Simulate) 원칙을 적용해 물리적 시뮬레이션과 시각적 렌더링을 동일한 가우시안 커널로 처리함으로써 탄성(Elastic), 소성(Plastic), 비뉴턴 유체(Non-Newtonian Fluids) 등 다양한 물질의 고품질 변형과 움직임을 생성하여 물리적 정확도와 렌더링 품질을 동시에 강화할 수 있음을 보였다.

나. 텍스트 기반 변형 기술

텍스트 기반 변형 기술은 자연어 텍스트를 통해 3차원 객체나 장면을 수정하는 기술로, 특히 최근 거대 언어 모델과 디퓨전 모델 등 파운데이션 모델을 활용한 변형 기술이 활발히 소개되고 있다. 예를 들어, GaussianEditor[20,21]에서는 포인트 혹은 텍스트 입력으로 편집할 영역의 2차원 마스크를 구한 후, 이에 대응하는 3차원 가우시안 영역에 대해 편집 재학습을 한다. 그리고 재학습 과정에서 렌더링한 영상이 텍스트 프롬프트(Prompt)를 이용한 디퓨전 모델 생성 결과와 유사하도록 마스크 영역의 가우시안을 순차적으로 업데이트한다. GaussCtrl[22]에서는 미리 학습된 3차원 가우시안 스플래팅을 렌더링하여 영상 세트를 구한 후, 이 렌더링 영상을 텍스트 프롬프트 기반의 디퓨전 모델을 이용하여 편집한다. 이후 모든 편집된 영상을 이용하여 가우시안을 다시 학습한다. Feature Splatting[13]에서는 사용자 프롬프트로부터 구한 텍스트 임베딩(Embedding)과 3차원 가우시안 특징 벡터의 비교를 통해 객체에 해당하는 가우시안을 추출하며 미리 정한 객체의 물리적 특성을 반영한 시뮬레이션 기술을 포함한다.

다. 스타일 영상 기반 변형 기술

스타일 영상 기반 변형 기술은 사용자가 제공하는 이미지 스타일을 3차원 장면에 즉시 적용 및 변형하는 기술을 말한다. 최근 소개된 대표적인 기술로, StyleGaussian[23]은 3차원 장면에 실시간으로 스타일을 즉시 적용할 수 있도록 2차원 VGG 모델[24] 특성을 3차원 가우시안에 임베딩하고 스타일 이미지를 반영해 변환한 후, 이를 컬러 영상으로 디코딩함으로써 스타일화된 장면으로 변형하는 기술을 소개하였다.

라. 객체 제어 변형 기술

객체 제어 변형 기술은 3차원 객체를 실시간으로 제어하고 동적 장면에서 객체의 기하학적 특성과 외관을 수정하며, 복잡한 객체 움직임을 효율적으로 조정하는 기술을 말한다.

최근 소개된 대표적인 기술로, CoGS[25]는 동적 3차원 장면에서 객체를 실시간 제어할 수 있는 기술로, 동적 가우시안 스플래팅과 제어 가능한 스플래팅으로 구성되어 동적 장면의 객체를 실시간 제어하고 모델링이 가능한 기술을 제안하였다. 여기서 동적 가우시안 스플래팅은 가우시안의 중심, 공분산, 회전, 크기를 학습해 객체의 움직임을 모델링하고, 제어 가능한 스플래팅은 이를 바탕으로 속성 오프셋(Offset)을 계산하여 특정 제어 영역을 실시간으로 조작함으로써 동적 장면의 시각적 품질을 유지하면서 객체 제어가 가능하다.

SC-GS[26]는 성긴 제어점과 변형 MLP(Multi Layer Perceptron)를 사용해 3차원 가우시안 역학(Dynamics)을 제어하여 장면의 외관, 기하학, 그리고 동적 특성을 효과적으로 모델링하고 제어가 가능한 기술을 소개하였다. 이때, 변형 MLP는 제어점의 6 자유도(DOF: Degree Of Freedom) 변환을 예측해 학습 효율성과 일관성을 높이고, 3차원 가우시안과 제어점을 최적화함으로써 장면의 기하학적 특성과 정밀한 외관 재구성이 가능하다. 또한, 이 기술을 통해 제어점 밀도와 위치가 장면의 동적 특성에 맞게 자동으로 조정되므로, 복잡한 장면이나 빠르게 변화하는 객체를 처리할 때 더욱 유연하고 효율적인 대응이 가능하다.

최근 3차원 가우시안 스플래팅 편집 기술의 발전과 더불어 기존 애셋 편집 소프트웨어나 편집 도구(예를 들어, Unity, Unreal Engine, Blender 등)와 연계하여 3차원 가우시안을 렌더링하고 편집하기 위한 기술도 소개되고 있다.

가. 메쉬 생성 기술

3차원 가우시안 스플래팅을 기존 메쉬 기반 애셋으로 변환할 수 있다면, 기존 편집 소프트웨어나 편집 도구를 이용하여 애셋 삭제 및 변형뿐만 아니라 충돌, 가려짐, 조명, 그림자 등의 실감 나는 장면 구성이 용이하다. 하지만, 3차원 가우시안 스플래팅은 Ⅱ장에서 언급된 바와 같이 각각의 3차원 가우시안이 서로 독립적이지 않고 비방성 분포로 중첩 및 혼합되어 있다. 특히 3차원 장면에서 가우시안이 표면에 위치하지 않고 분포가 고르지 않아 기존의 메쉬 생성을 위한 Marching Cubes 알고리즘[27]이나 Poisson Surface Reconstruction 알고리즘[28] 등을 적용해 정확한 메쉬 추출이 어렵다. 이를 해결하기 위해서 최근 SuGaR[29]에서는 3차원 가우시안이 표면에 분산하여 분포되도록 훈련하여 보다 정확한 메쉬를 생성하는 기술을 제안하였다. 본 기술에서는 이를 통해 애셋 변형뿐만 아니라 다중 애셋 합성, 애니메이션 등의 다양한 편집 결과를 선보여 고품질의 실감 콘텐츠 생성을 위한 새로운 가능성을 보였다(그림 1).

그림 1

SuGaR를 이용한 3차원 가우시안 스플래팅 편집

출처 Reprinted from A. Guedon and V. Lepetit, “SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering,” in Proc. IEEE/CVF. Conf. Comput. Vis. Pattern Recognit., (Seattle, WA, USA), 2024, pp. 5354–5363.

한편, 3차원 가우시안 스플래팅으로부터 메쉬를 생성하는 기술은 상용 소프트웨어를 통해서도 빠르게 소개되고 있다. 대표적으로 3차원 스캐너 애플리케이션을 제공하는 KIRI Engine[30]에서는 객체를 촬영한 비디오를 입력으로 3차원 가우시안 스플래팅과 해당 메쉬 파일을 생성하는 기술을 소개하였고, 최근에는 3차원 스캐너에서 사용하는 정교한 노멀 벡터(Normal Vector) 예측과 반사 제거 기술을 적용한 개선된 버전도 출시하였다.

나. 뷰어

생성된 3차원 가우시안 스플래팅을 3차원 공간상에서 가시화하는 데는 3차원 가우시안 스플래팅 기술 원저자의 독립형 뷰어(Viewer) 외에 대표적으로 PlayCanvas사에서 제공하는 웹 기반 뷰어인 SuperSplat[31]를 사용할 수 있다. SuperSplat은 타입스크립트(TypeScript) 소스가 공개되어 있으며, PLY(Polygon File Format) 데이터로 3차원 가우시안 스플래팅을 직접 입력으로 받는다. 그리고 간단한 편집 기능으로서 이동, 회전 및 잘라내기(Crop)를 지원한다.

다. 플러그인

3차원 가우시안 스플래팅을 이용하여 3차원 공간에서 영상 합성 또는 인터랙티브 응용을 개발하기 위해서는 3차원 그래픽 소프트웨어 및 3차원 엔진에 3차원 가우시안 스플래팅 기능을 제공하는 플러그인(Plugin)이 필요하다. 최근 소개되고 있는 3차원 가우시안 스플래팅 플러그인은 대부분 렌더링 기능만 제공하며, 간단한 편집 기능으로서 잘라내기 기능을 지원하기도 한다.

Epic Games의 Unreal Engine용 3차원 가우시안 스플래팅 플러그인은 무료로 제공되는 Xverse 플러그인[32]과 유료로 판매되는 Akiya Research Institute의 플러그인[33]이 있으며, 국내에는 한국전자통신연구원(ETRI)에서 개발 중인 플러그인이 있다. 이 플러그인들은 3차원 가우시안 스플래팅의 렌더링 기능을 제공하며, 제한적으로 조명이 적용되나 노멀 벡터가 없으므로 방향 입력을 받는 조명 효과는 적용되지 않는다. 이 플러그인들은 잘라내기 이외의 편집은 지원하지 않으며, 현재는 그림자 생성 기능이 없다. 세 가지 플러그인 모두 PLY 데이터를 입력으로 받으며 Unreal Engine의 애셋 형태로 저장된다(그림 2).

그림 2

플러그인을 이용한 3차원 가우시안 스플래팅 렌더링 결과: (a) 입력영상, (b) Akiya 플러그인, (c) ETRI 플러그인, (d) Postshot 플러그인

범용 3차원 편집 기능을 갖춘 3차원 그래픽 소프트웨어 중에 3차원 가우시안 스플래팅 플러그인을 사용할 수 있는 소프트웨어는 공개소스 소프트웨어인 Blender가 있다. Blender의 3차원 가우시안 스플래팅 플러그인은 KIRI Engine을 개발한 KIRI Innovation에서 제공하며, Blender 내에서 실시간으로 3차원 가우시안 스플래팅을 렌더링하는 기능을 제공한다. 하지만, 아직 실시간 렌더링 시에는 연산 부하가 높고 렌더링 결과가 정확하지 않다.

특수효과 및 합성을 위해 사용하는 Adobe의 After Effects 소프트웨어에는 irrealix에서 판매하는 3차원 가우시안 스플래팅 플러그인[34]이 있다. 이 플러그인은 3차원 가우시안 스플래팅 데이터를 After Effects에서 렌더링하는 기능을 제공하며, 뷰잉 카메라를 편집하여 원하는 시점에서 렌더링하는 기능을 제공한다. After Effects는 3차원 객체를 지원하나, 해당 플러그인은 3차원 가우시안 스플래팅에 대해 깊이 정보를 지원하지 않아 공간상 가려짐은 처리되지 않는다.

Jawset에서 개발한 Postshot 소프트웨어[35]는 3차원 가우시안 스플래팅의 생성부터 렌더링, 잘라내기 그리고 이후 Unreal Engine과 After Effects에서 사용할 수 있는 플러그인을 제공한다. 2025년 1월 현재 베타버전으로 무료로 제공되나, 아직까지 표현되는 색상이 정확하지 않다(그림 2). 다른 플러그인과는 달리 PLY 데이터를 입력으로 받지 않고, 자사의 포맷인 PSHT 데이터를 입력으로 전달해야 한다. Postshot 플러그인 역시 깊이 정보를 지원하지 않아 깊이 기반의 영상 합성은 할 수 없다.

최근 파리공과대학에서는 3차원 가우시안 스플래팅에 메쉬를 연동하여 편집할 수 있는 방법인 Gaussian Frosting[36]을 제안하면서, 이를 Blender에서 이용할 수 있는 플러그인을 함께 소개하였다. 해당 플러그인은 3차원 가우시안 스플래팅에 연동된 메쉬를 Blender에서 편집하고 애니메이션을 추가하면 이를 반영하여 3차원 가우시안 스플래팅을 렌더링하는 기능을 스크립트(Script) 형태로 제공한다. 단, Blender 내에서 실시간으로 3차원 가우시안 스플래팅을 렌더링하는 기능은 제공하지 않는다.