MPEG의 3D Gaussian Splatting 압축 기술 표준화 동향

먼저 I-3DGS 트랙에서 압축 대상으로 선정된 I-3DGS 데이터 형식을 살펴본다. 본 형식은 일반적으로 수십만 개에 이르는 가우시안으로 장면을 구성하며, 각 가우시안은 대응 영역의 기하 구조와 색상 정보를 표현하기 위해 수식 (1)에 나타낸 바와 같이 위치, 크기, 방향 등 다양한 속성을 포함하는 총 59개의 파라미터로 정의된다.

구체적으로, 3차원 중심 좌표 벡터 (x, y, z)는 3차원 공간상에서 가우시안의 위치를 나타내고, 3차원 스케일링 회전 벡터 (s₁, s₂, s₃)와 회전 벡터 (r₁, r₂, r₃, r₄)는 가우시안의 크기와 방향성을 표현한다. 또한, 불투명도 는 해당 가우시안이 색상 기여도를 조절하는 파라미터로 작용하며, 구면 조화(Spherical Harmonics) 계수로 표현되는 색상 정보와 함께 누적되어 픽셀 단위의 최종 색상을 결정한다. SH 계수는 시선 방향에 따라 변화하는 조명 성분을 근사하기 위한 표현 방식으로, 3차까지 사용하는 I-3DGS 형식에서는 총 48개의 실수 계수 (sh₁,..., sh₄₈)를 통해 시선 방향과 조명 변화에 따른 색상 변화를 연속적으로 표현한다. 이러한 파라미터들은 32비트 부동 소수점 형식으로 저장되며, 그 결과 파일 크기가 매우 커지고 처리해야 할 데이터 양이 급격히 증가하는 구조적 한계가 함께 수반된다.

유즈케이스 및 요구사항은 표준이 지원하고자 하는 서비스 시나리오와 이를 구현하기 위한 기능적 및 성능적 요구사항을 정의함으로써, 표준의 적용 범위와 해결 대상 문제를 구체화하는 역할을 한다. 이는 표준화 초기 단계에서 설정되어 이후 표준화 과정 전반에 걸쳐 비교‧검토의 기준점으로 활용되며, 개발 중인 표준 기술이 초기 목표와 부합하는지를 판단하는 핵심 근거로 사용된다.

GSC 표준화에서는 실시간 원격 회의, 방송 및 스포츠 리플레이를 비롯하여 대규모 도심‧자연 공간을 대상으로 한 몰입형 체험 서비스, 의료‧제조‧군사 분야 가상훈련, 소셜 미디어 기반 3D 콘텐츠 공유, 디지털 트윈 등 다양한 응용 시나리오가 주요 유즈케이스로 고려되고 있다[16]. 이러한 유즈케이스는 장면의 정적‧동적 특성, 해상도, 콘텐츠 획득 방식, 장면 규모 등의 관점에서 분류되어, 요구사항 도출의 기초 자료로 활용된다.

이들 유즈케이스로부터 도출된 요구사항은 각 서비스 시나리오에서 공통으로 요구되는 기능과 성능을 정리한 것으로, GSC 표준 압축 기술이 충족해야 할 기준을 구체적으로 규정한다[17]. GSC 표준화 요구사항은 크게 압축 대상이 되는 GS 데이터의 구조적‧기능적 특성을 규정하는 표현 요구사항(Representation Requirements)과 표준 압축 기술이 만족해야 할 성능 및 기능을 규정하는 부호화 요구사항(Coding Requirements)으로 구분된다.

표현 요구사항에는 I-3DGS 데이터 형식에 대한 명확한 정의를 비롯하여, 동영상 확장을 위한 시간적 일관성이 보장된 프레임 단위 I-3DGS 표현 방식의 사용, 향후 A-3DGS 확장을 고려한 GS 데이터 표현 구조의 확장성, 그리고 방향 의존적 색상 및 조명 정보 지원 등이 포함된다. 한편, 부호화 요구사항에는 높은 압축 효율과 복원 품질 간의 균형, 다양한 비트레이트 및 해상도 환경에 대한 적응성, 실시간 또는 준실시간 렌더링 서비스를 고려한 처리 지연 제한, 그리고 부분 복호화 및 점진적 전송과 같은 서비스 친화적 기능 지원 등이 포함된다.

더불어, Lightweight 트랙에 대해서는 일반 GSC 요구사항과 구분되는 경량화 중심의 요구사항이 별도로 정의되어 있다[18]. 해당 요구사항은 단일 프레임 I-3DGS 데이터를 대상으로 모바일 기기나 HMD와 같은 저사양 환경에서도 실시간 또는 준실 시간 처리가 가능하게 하는 데 초점을 둔다. 이를 위해 기본적인 6자유도 렌더링 품질은 유지하되, 속성 정보의 컴팩트한 표현, 제한된 복호화 복잡도 및 메모리 사용량, 그리고 기존 비디오 복호화기 기반 하드웨어 가속 환경과의 호환성을 핵심 조건으로 설정하고 있다.

향후 다양한 기관에서 제안될 표준 기술을 상호 경쟁 환경에서 객관적으로 평가하기 위해서는 공통된 데이터셋을 기준으로 한 일관된 성능 비교 결과가 필수적이다. 이에 따라 GSC 표준화에서는 앞서 정의된 유즈케이스 및 요구사항을 반영하여 다양한 유형의 데이터셋을 수집하고 있으며, 2026년 2월 현재도 표준화 진행사항에 맞춰 데이터셋 확장 작업을 지속적으로 진행 중이다.

I-3DGS 트랙이 우선적으로 추진됨에 따라, 데이터셋 준비 역시 I-3DGS 형식 데이터셋 구축에 중점을 두고 이뤄지고 있다. 현재까지 확보된 테스트 콘텐츠는 세 가지 유형으로 구분된다(그림 3)[19]. 첫째, 정면을 바라보는 다시점 카메라로 중소형 장면의 동영상을 촬영한 전 방향 비디오 콘텐츠, 둘째, 다수의 수렴형 배치 카메라를 이용해 특정 객체를 촬영한 360도 비디오 콘텐츠, 셋째, 한두 대의 카메라를 이용해 넓은 공간의 정적 장면을 여러 시점에서 촬영한 대규모 정적 공간 콘텐츠이다. 이 중 첫째와 둘째 유형의 데이터셋은 비교적 충분히 확보된 반면, 셋째 유형은 촬영 난이도가 높아 상대적으로 확보가 제한된 상황이다.

그림 3

GSC 표준화 테스트 콘텐츠 예시

한편, MPEG에서는 향후 표준 기술의 상용화를 고려하여, 라이센스 제약이 없는 Gsplat을 활용해 I-3DGS 데이터 훈련을 진행하고 있다[20]. 동영상 확장을 고려한 프레임 단위 I-3DGS 데이터셋의 경우, 프레임별로 독립적 훈련을 수행하면 심각한 시간적 비일관성 문제가 발생할 수 있다. 이의 완화를 위해, Gsplat을 수정보완하여 전체 프레임 정보를 내재한 기준(Canonical) 3DGS 모델을 생성한 뒤, 이를 각 프레임에 맞게 미세 조정하는 훈련 전략이 제안되었다[21]. 다만, GS 기반 표현 방식은 훈련 기반 최적화 특성상 원본 정보의 완전한 복원이 어렵고, 실제로 2026년 1월 회의에서 일부 콘텐츠에 대한 품질 저하 문제 및 평가 제외 여부가 논의되었다[22].

표준은 특정 훈련 방식에 종속되지 않고 최대한 다양한 방식으로 훈련된 I-3DGS 모델에 적용 가능하도록 개발되어야 한다. 그러나 현재까지도 다시점 영상으로부터 I-3DGS 모델 훈련 기능을 제공하는 오픈소스 구현이 제한적인 상황으로, 표준의 범용성 측면에서 우려가 존재한다. 이에 따라, 서로 다른 훈련 전략을 통해 생성된 I-3DGS 데이터셋의 추가 확보가 필요하며, 다양한 훈련 방식을 포괄적으로 반영한 I-3DGS 데이터셋 구축을 위해 향후 보다 폭넓은 참여와 협력이 요구된다.

GSC 표준화 과정에서는 표준 기술 개발과 성능 평가를 지원하기 위한 다양한 툴이 병행하여 개발되고 있다(그림 4). MPEG GSC Renderer는 I-3DGS 데이터를 입력으로 받아 임의 시점의 영상을 실시간으로 렌더링하는 SW로, 사용자는 마우스를 통해 시점 위치를 자유롭게 조작할 수 있다[23]. 본 SW는 데이터셋 훈련 과정에서 I-3DGS 데이터의 복원 품질을 점검하거나, 부‧복호화 과정 이후 발생하는 화질 열화를 주관적으로 확인하는 데 활용된다. 또한, 단순한 렌더링 기능을 넘어 훈련 시점의 카메라 위치 정보, 가우시안의 공간적 분포, 포인트 클라우드에 대한 시각화 기능을 함께 제공한다.

그림 4

GSC 표준화용 툴 설명

한편, MPEG GSC Metrics는 객관적 품질 평가를 수행할 때 사용되는 툴로, 원본 I-3DGS 데이터와 부‧복호화 이후 복원된 I-3DGS 데이터, 그리고 평가 시점의 위치 및 방향 정보를 입력으로 받아 해당 시점에서의 영상을 생성‧비교함으로써 품질 지표를 산출한다[24]. PSNR, SSIM, IV-SSIM 등 다양한 지표를 지원하며, 객체 중심 콘텐츠의 경우에는 배경을 제외한 객체 영역에 한정하여 평가를 수행하도록 설계되어 있다.

CTC(Common Test Conditions)는 표준화 과정에서 제안 기술의 성능을 객관적으로 평가하고, 표준 반영 여부를 결정하기 위한 기준이다. GSC 표준화에서도 CTC 구체화 작업이 진행 중이며, 표준화 단계에 맞춰 적용 범위를 점진적으로 확장하는 방향으로 정의되고 있다[19]. 현재는 Lightweight 트랙을 중심으로 단일 프레임 I-3DGS 데이터 압축 기술의 평가 기준 수립에 초점을 두고 있으나, 장기적으로는 다중 프레임 I-3DGS를 넘어 A-3DGS 데이터까지 포괄할 수 있도록 설계되고 있다.

CTC에는 테스트 콘텐츠에 대한 정보가 포함된다. 콘텐츠는 필수와 선택으로 구분되며, 필수 콘텐츠는 성능 결과 보고가 의무이고 선택 콘텐츠는 기술 제안자가 보고 여부를 결정할 수 있다. 콘텐츠별로 사용 프레임, 해상도, 시점 수 등 평가 조건이 명시되며, 동일한 입력 데이터 사용을 보장하기 위해 공식 다운로드 경로와 콘텐츠 동일성 확인을 위한 MD5 정보가 함께 제공된다.

객관적 성능 평가는 앵커(Anchor) 대비 성능 비교를 기본 원칙으로 한다. 예를 들어 V-PCC 및 G-PCC Amendment 표준화의 경우, 이전 회의에서 채택된 기술이 반영된 표준 기술로 생성된 결과물이 앵커로 사용된다. 평가는 네 개의 압축 강도(RP: Rate Point)에 대해 앵커와 제안 기술 간 객관적 품질 대비 비트레이트 증감률을 나타내는 BD-rate(Bjøntegaard Delta Rate)를 기준으로 수행되며[25], 객관적 품질 지표로는 RGB-PSNR, YUV-PSNR, YUVSSIM이 활용된다. 지표 계산에는 MPEG GSC Metrics 툴이 사용되며, 평가 결과의 일관된 정리를 위해 전용 엑셀 양식이 제공되어, 비트레이트와 품질 지표 값을 입력하면 앵커 대비 성능 차이가 자동으로 산출되도록 구성되어 있다.

한편, 주관적 성능 평가 방법도 병행하여 논의되고 있다. 현재 Lightweight 트랙 표준화는 신속한 진행을 위해 객관적 성능 평가를 우선 적용하고 있으나, 보다 완성도 높은 표준화를 대비하여 2026년 1월 회의를 기점으로 주관적 성능 평가 절차가 점진적으로 구체화되고 있다[22]. 주관적 평가는 시간에 따라 사전 정의된 가상 카메라 시점 경로인 포즈트레이스(Posetrace)를 따라 생성된 영상을 사용하는 것을 목표로 하며, 각 테스트 콘텐츠에 대해 동일한 시점 경로와 렌더링 조건을 적용함으로써 앵커와 제안 기술 간의 시각적 품질 차이를 일관되게 비교할 수 있도록 설계되고 있다.

3D 포인트 클라우드 정보를 2D 영상으로 투영한 뒤 비디오 코덱으로 압축하는 V-PCC 표준은, I-3DGS 데이터 역시 포인트 클라우드 기반 표현 방식을 사용한다는 점에서 비교적 단순 확장 적용이 가능하다. 이러한 배경에서 2025년 10월 회의에서 표준화 추진이 결정된 V-PCC Amendment는 1년 이내 표준 완료를 목표로, 2026년 1월 회의까지 약 2주 간격의 화상회의를 통해 기술 기고와 채택 절차가 집중적으로 진행되었다[14]. 그 결과 CDAM이 발행되었으며, CDAM 단계에 진입함에 따라 2026년 4월 회의부터는 현저한 성능 개선이 수반되지 않는 한 대규모 신규 기술 채택은 지양하고, 세부 기술 조정 중심의 마무리 단계로 전환될 것으로 예상된다.

CDAM에 반영된 기술들은 그 성격에 따라 크게 속성 정보 양자화, 회전 정보 변환, 그리고 SH 계수 변환 세 범주로 구분할 수 있다. 먼저 속성 정보 양자화 기법으로는 값의 분포 특성을 고려하여, 분포가 밀집된 구간에는 더욱 세밀한 양자화를 적용하고, 분포가 희소한 구간에는 상대적으로 낮은 정밀도의 양자화를 적용하는 방식이 제안되어 채택되었다[26]. 회전 정보 변환의 경우에는 회전 벡터가 갖는 중복성을 줄이기 위해 네 개 성분 중 절대값이 가장 큰 성분을 제거하고, 나머지 세 성분만을 전송하는 방식이 적용되었다[27]. 또한, SH 계수 변환에서는 SH 계수 간 높은 상관성을 활용하여 PCA(Principal Component Analysis) 변환을 적용하고, 에너지가 집중된 소수의 주성분만을 효율적으로 부호화함으로써 압축 효율을 향상시키는 접근이 채택되었다[28].

V-PCC와 유사하게 I-3DGS 데이터가 갖는 다차원 속성 정보를 2D 영상으로 재구성한 뒤 비디오 코덱을 통해 압축하는 접근은 2025년 10월 회의를 기점으로 JVET에서도 본격적인 관심을 받기 시작하였다. 이는 HEVC, VVC 등 자체 표준인 기존 비디오 코덱을 그대로 활용하면서 적용 범위를 확장할 수 있는 방식으로, JVET 관점에서도 표준화를 검토할 가치가 있는 방향이다.

현재 JVET에서 검토 중인 방식은 비디오 코덱의 비트스트림 구조를 변경하지 않고 호환성을 유지한 채, 확장 정보 전달이 가능한 SEI를 통해 I-3DGS 복원에 필요한 메타데이터를 전달하는 방식이다. 즉, V-PCC가 메타데이터를 자체 표준구조로 전달하는 것과 달리, 해당 접근은 SEI를 활용한다는 점에서 차이를 갖는다. 2026년 1월 회의에서는 텐센트와 퀄컴이 SEI 기반으로 I-3DGS 모델의 부복호화 워크플로우를 구현한 SW인 TMCV(Test Model Candidate Video)를 제안하였으며, GSC CTC 환경에서 G-PCC 및 V-PCC Amendment와의 성능 비교 결과 경쟁력 있는 성능을 확인했다고 보고하였다[14]. 다만, 2026년 2월 현재, GSC 표준화 프로젝트에 WG5도 논의에 참여한다는 점 외에 구체적인 표준화 범위나 추진 방향은 아직 확정되지 않은 상태이다.