생체신호 분석 기술의 현황과 파운데이션 모델 기반 발전 방향

1. 응용 특화 모델

생체신호 분석 파이프라인은 데이터 획득, 전처리, 그리고 분석 알고리즘 수행의 세 단계로 구분될 수 있다. 분석 알고리즘은 데이터에서 유의미한 정보를 얻기 위한 특징 추출과 인공지능 모델 실행으로 세분화할 수 있다. 전처리 또는 특징 추출과 같은 중간 단계 일부를 생략할 수도 있고, 중간 단계 없이 획득 데이터를 바로 인공지능 모델의 입력으로 사용하는 등 다양한 구성이 가능하다. 그림 1에 이러한 분석 파이프라인의 구성과 변형 가능한 흐름이 도시되어 있다.

그림 1.

생체신호 분석 파이프라인

생체신호 분석 파이프라인에서 전처리 단계는 신호의 물리적 특성과 반복적으로 발생하는 아티팩트가 비교적 잘 규정되어 있어 상대적으로 정형화된 분석 루틴이 확립된 단계로 볼 수 있다. 반면, 특징 추출과 인공지능 모델 설계는 응용 목적과 데이터 특성에 따라 다양한 접근이 시도되고 있다. 특히 인공지능 모델은 기술의 변화가 빠르고, 정확도, 처리속도, 자원 소모 등을 고려하여 다양하게 설계될 수 있다. 이러한 특성으로 인해 기존의 생체신호 분석용 인공지능 기술은 주로 개별 응용 목적에 맞춰 설계된 응용 특화 모델의 형태로 발전되어 왔다.

생체신호 분석 연구는 EEG와 ECG를 주 대상으로 진행되어 왔고, EEG와 ECG 분석 알고리즘은 CNN 계열(ResNet[12], Inception1D[13], EEGNet[14] 등), CNN과 Transformer의 혼합 모델(EEGConformer[15], CNN-Transformer[16] 등), 그리고 순수 Transformer 기반 모델(ST-Transformer[17])로 크게 분류할 수 있다. 하지만, 다양한 EEG와 ECG 데이터셋에 대한 시험 결과를 제시하는 최신 논문[18,19]의 벤치마크 결과를 보면 응용 특화 모델의 최신성 또는 복잡도가 성능 향상으로 일관되게 이어지지 않고, 응용 과제 특성에 따라 우수한 모델이 달라지는 경향이 뚜렷하다.

이러한 벤치마크 결과는 생체신호 분석에서 단순히 모델 구조를 고도화하거나 복잡도를 증가시키는 것만으로는 다양한 응용 과제 전반에서 일관된 성능 향상을 달성하기 어렵다는 점을 시사한다. 특히 응용 과제와 데이터셋에 따라 최적의 모델 구조가 달라지는 현상은, 개별 응용에 최적화된 모델 설계만으로는 생체신호 분석 전반의 일반화 문제를 근본적으로 해결하기 어렵다는 한계를 드러낸다. 이러한 배경에서, 특정 응용이나 데이터셋에 국한되지 않고 대규모 생체신호 데이터에 대한 사전학습을 통해 공통적인 표현을 학습한 후 다양한 과제로 전이 가능한 파운데이션 모델 기반 접근이 새로운 분석 패러다임으로 주목받고 있다.

2. 파운데이션 모델

파운데이션 모델은 인공지능 기술의 중요한 진전 중 하나로, 대규모의 다양한 데이터셋을 기반으로 사전 학습된 범용 인공지능 모델을 의미한다[20]. 특정 응용 과제에 해당하는 데이터셋만을 이용하여 학습하는 응용 특화 모델과 달리 다양한 데이터셋을 이용한 사전학습을 통해 파운데이션 모델을 생성하고, 이를 목표 응용 과제의 데이터셋으로 파인 튜닝하게 된다. 파운데이션 모델은 특정 작업에 국한되지 않고 다양한 작업에 적용할 수 있는 강력한 기본 역량을 갖추고 있으며, 자연어 처리와 컴퓨터 비전 분야에서 그 효과가 입증되었다. 이러한 접근은 생체신호 분야에서도 확산되고 있으며, 다양한 생체신호 데이터셋을 이용한 파운데이션 모델 사전 학습 및 파인튜닝 구조는 그림 2에 도시되어 있다.

그림 2

파운데이션 모델 활용 구조

생체신호 파운데이션 모델의 사전학습은 다른 데이터 도메인에서 이미 정립된 방법론을 차용하되, 생체신호의 특성에 맞게 변형된 구조를 가진다. 생체신호는 다채널 시계열 데이터라는 공통적인 특성을 가지므로, 신호의 종류와 관계없이 유사한 사전 학습 방식을 공유하는 경향이 있다. 이러한 맥락에서, 파운데이션 모델 연구가 가장 오래 축적되었으며 다양한 데이터셋을 대상으로 한 시험 결과가 보고된 EEG 파운데이션 모델을 중심으로 사전학습 방법을 정리한다.

EEG 파운데이션 모델의 연구는 2023년을 전후로 본격적으로 시작되었으며, BIOT[21], LaBraM[22], CBraMod[18]가 대표적인 연구 결과로 보고되고 있다. 파운데이션 모델의 사전학습 전략은 대체로 마스크 복원 기반, 대조 학습 기반, 예측 기반 접근법으로 구분되며, EEG 파운데이션 모델들은 대부분 마스크 복원 기반 사전학습 전략을 택하고 있다.

마스크 복원 기반 사전학습은 그림 3에 도시된 바와 같이 입력 신호의 patch 단위 분할, 마스킹할 patch의 선택, 각 patch를 표현하는 Embedding Vector 생성, Positional Encoding의 적용 단계를 거쳐서 Transformer Encoder에 입력되는 구조를 가진다. Transformer Encoder의 출력은 마스킹된 patch의 복원을 위한 Reconstruction Head를 거쳐서 원래 신호를 복원하도록 학습되며, 이 과정에서 복원 손실을 최소화하는 방향으로 모델이 최적화된다. 다음에서는 이러한 사전학습 구조를 구성하는 각 요소를 단계별로 설명한다.

그림 3

EEG 데이터에 대한 마스크 복원 기반 사전학습 구조

EEG 신호는 보통 수십 개의 채널로 구성되며, 채널별로 미리 정한 시간 단위로 분할하여 patch를 구성한다. 기존 연구에서는 1초 단위로 분할하는 것이 일반적이며, patch 간에 부분 중첩을 허용하여 생성하기도 한다. 복원 과제를 위해 마스킹할 patch는 일반적으로 무작위로 선택되며, 언어나 컴퓨터 비전 분야에서 복원 난이도 조절을 위해 활용되는 지능적인 마스킹 전략은 EEG 파운데이션 모델에서는 아직 제한적으로만 적용되고 있다.

각 patch는 해당 시간 구간에 대응하는 샘플링 주파수(Sampling Rate)만큼의 샘플을 포함하며, 원래의 신호 값을 그대로 사용하는 대신 Embedding 과정을 거쳐 고정 차원의 표현으로 변환된다. 주로 1차원 합성곱(1D Convolution) 연산을 통해 시간 영역의 특징을 추출하며, 일부 연구에서는 주파수 영역 정보를 반영하기 위해 FFT(Fast Fourier Transform) 결과를 1차원 합성곱 기반 표현과 결합하는 방식을 사용한다.

위와 같이 생성한 Patch Embedding Vector에 Positional Embedding을 결합하는 방식은 Transformer 기반 모델에서 일반적으로 사용되는 구조를 따른다. 절대적 위치 임베딩, 상대적 위치 임베딩 등 다양한 Positional Embedding 방법이 적용 가능하고, EEG 파운데이션 모델 분야에서는 특정 방식이 표준으로 정립되지는 않고 있다.

Positional Embedding이 결합된 Patch Embedding Vector를 Transformer Encoder에 직접 입력하는 방식이 일반적이지만, EEG 신호는 낮은 신호대잡음비(SNR: Signal-to-Noise Ratio)로 인해 복원 정확도에 한계가 존재한다. 이를 완화하기 위해 일부 EEG 파운데이션 모델에서는 연속적인 Embedding Vector를 제한된 표현 공간을 갖는 codebook 기반의 이산적 표현으로 변환하여 Transformer Encoder에 입력하는 구조를 채택한다.

Transformer Encoder는 기본적으로 모든 patch 간에 self-attention을 수행하는 구조를 가지지만, 계산 복잡도를 완화하기 위해 self-attention의 범위를 동일한 채널 또는 동일한 시간 슬롯에 속하는 patch로 제한하는 방식도 제안되고 있다. Transformer Encoder에서 생성된 표현은 마스킹된 patch를 재구성하기 위한 Reconstruction Head로 전달되며, 모델은 원래 신호와의 차이를 최소화하도록 학습된다. Transformer Encoder에 codebook 기반 표현이 입력되는 경우에는 마스킹된 patch에 대응하는 codebook 항목을 예측하는 방식으로 학습이 이루어진다.

다양한 데이터셋으로 사전학습한 파운데이션 모델을 각 응용 분야에 파인튜닝하는 방식은 응용 특화 모델에 비해 전반적으로 안정적인 성능 향상을 보이지만, 그 향상 폭은 제한적이다. 이는 생체신호 파운데이션 모델의 사전학습 전략이 언어‧비전 분야의 방법론을 기반으로 생체신호 특성을 부분적으로만 반영하고, 생체신호의 고유한 복합적 특성을 충분히 고려하지 못했기 때문일 가능성이 있다. 따라서 생체신호의 특성을 보다 체계적으로 반영한 사전학습 전략과 모델 설계에 대한 논의가 필요하다.

1. 모델링 도전 요인으로서 생체신호

1.1 측정 환경의 이질성

생체신호는 전극 배치와 측정 장비에 따라 신호 특성이 크게 달라진다. 동일한 신호 유형이라도 활용 목적과 해부학적 관심 영역에 따라 전극 수와 공간 배치가 달라질 수 있으며, 예를 들어 scalp EEG의 10–20 표준 배치와 고밀도 EEG, 그리고 ECoG는 전극 밀도와 공간 해상도에서 큰 차이를 보인다. 또한 전극의 종류(습식/건식), 샘플링 주파수, 증폭기 특성 등 장비 요소 역시 노이즈와 데이터 분포에 영향을 미친다.

이러한 측정 환경의 이질성은 동일한 생체신호라도 서로 다른 통계적 특성을 갖게 함을 의미하며, 따라서 파운데이션 모델은 고정된 채널 구조나 특정 장비 설정에 의존하지 않는 구조적 불변성과 환경 강건성을 함께 확보해야 한다.

1.2 낮은 신호 품질과 아티팩트

생체신호는 전반적으로 낮은 SNR 특성이 있으며, 측정 방식에 따라 그 수준이 달라진다. 예를 들어, scalp EEG는 두개골과 피부를 통과하며 감쇠되어 낮은 SNR을 보이는 반면, iEEG는 신경 조직에 근접하여 비교적 높은 SNR을 가진다. 또한 눈 깜빡임, 근육 활동과 같은 생리적 아티팩트와 전극 움직임, 전원 잡음 등의 비생리적 요인이 신경 활동과 혼재되어 나타난다.

이러한 아티팩트는 단순한 무작위 잡음과 달리 필터링과 같은 전처리만으로 완전히 제거하기 어렵다. 따라서 모델이 의미 있는 생리 신호 대신 잡음 특성을 학습할 위험이 존재하며, 사전학습 단계에서부터 노이즈와 아티팩트에 강건한 표현을 학습하도록 설계하는 것이 중요한 과제로 제기된다.

1.3 시간 스케일 다양성

생체신호는 유의미한 정보를 추출하기 위해서 요구되는 시간 길이가 신호 종류 및 응용 목적에 따라 크게 달라진다. 예를 들어, spike 신호는 수 ms 단위의 초단기 정보를 다루는 반면, EEG의 주파수 기반 진동(Oscillation) 분석은 수백 ms에서 수 초 단위의 신호 길이를 요구한다. BCI에서는 빠른 의도 파악과 정확도 간의 Trade-Off가 존재하며, 이에 따라 입력 신호 길이가 가변적으로 설정된다. 반면 수면 단계와 같은 상태 추정은 수십 초에서 수 분 단위의 장기 신호를 필요로 한다.

이처럼 다양한 시간 스케일은 모델이 단일 고정 길이의 입력만으로는 모든 과제를 포괄하기 어렵다는 점을 의미한다. 따라서 다중 시간 해상도를 동시에 고려하거나, 유연한 입력 길이를 지원하는 구조 설계가 요구된다.

1.4 개인 간 변동성

동일한 종류의 생체신호라도 개인별로 파형과 주파수 특성, 반응 양상이 크게 다를 수 있다. 이러한 개인차는 해부학적 요인, 생리적 상태, 측정 조건 등 다양한 요인에 의해 발생한다. 예를 들어, EEG의 Individual Alpha Frequency는 개인마다 상이한 알파피크를 보이며, EMG 진폭이나 EDA의 피부 전도도 수준 역시 개인 특성에 따라 큰 차이를 나타낸다.

이러한 개인 간 변동성은 모델의 일반화를 어렵게 하고 특정 집단에 편향된 표현 학습으로 이어질 수 있다. 따라서 개인차를 고려한 사전학습 전략이나 개인 적응 메커니즘이 중요한 연구 과제로 제기된다.

2. 생체신호 파운데이션 모델 발전 방향

앞서 살펴본 생체신호의 특성은 기존의 언어‧비전 기반 파운데이션 모델 구조를 그대로 적용하는 데 한계를 드러낸다. 따라서 향후 생체신호 파운데이션 모델은 이러한 특성을 사전학습 구조에 명시적으로 반영하는 방향으로 발전할 필요가 있다. 이러한 발전 방향을 개념적 논의 수준에서 다루기보다는 관련 문제를 해결하고자 시도한 최신 연구 사례를 통해 그 가능성과 한계를 살펴보고자 한다.

2.1 전극 배치 이질성 대응 연구

측정 환경의 이질성과 관련하여, 측정 장비마다 전극 배치와 채널 수가 상이하고 이로 인해 기존 파운데이션 모델이 특정 배치나 데이터셋에 제한적으로만 작동하는 한계를 극복하려는 연구가 가장 활발히 진행되고 있다. 이와 관련한 최신 연구는 크게 두 가지 접근으로 구분된다. 첫째는 표준화된 두부 3차원 좌표계를 기반으로 Positional Embedding을 생성하여 서로 다른 전극 구성을 기하학적으로 정렬하는 방법이며[23,24], 둘째는 다양한 전극 구성을 고정 길이의 공통 잠재공간(Latent Space)으로 매핑하여 Topology에 무관한 표현을 학습하는 방법이다[25].

그러나 실제 임상 환경에서는 전극 부착 위치의 오차, 두부 크기 차이, 비표준 배치가 빈번하게 발생하며, 잠재공간으로의 압축 과정에서 공간 세부 정보가 손실될 가능성도 존재한다. 따라서 전극 배치와 채널 수의 이질성을 구조적으로 해결하는 문제는 여전히 중요한 과제로 남아 있다.

2.2 노이즈 및 아티팩트 강건 표현 학습 연구

낮은 신호 품질과 아티팩트 문제에 대해서는, 전처리만으로 완전 분리가 어렵다는 한계를 전제로 사전학습 단계에서 잡음/오염에 강건한 표현을 얻는 방향의 시도가 보고되고 있다. 고품질–저품질 신호 쌍에 대해 Teacher Encoder는 고품질 신호를 입력받아 신뢰도 높은 표현을 생성하고, Student Encoder는 저품질 신호를 입력받아 출력 표현의 확률 분포를 모방하도록 학습하는 방법이 참고문헌 [26]에서 제안되었다. 그리고, 참고문헌 [27]에서는 아티팩트 발생 구간을 마스킹하고 BERT와 유사한 양방향 Transformer 구조로 주변 문맥을 이용해 복원하는 방법을 제시하였다.

하지만, 이러한 방법들은 고품질–저품질 신호 쌍이 있거나, 아티팩트가 발생한 구간을 정확히 식별할 수 있는 등의 특정 조건에 의존한다는 한계를 가진다. 따라서, 다양한 신호 품질과 오염 조건을 포괄할 수 있는 일반화된 불변 표현 학습 전략 연구가 필요하다.

2.3 시간 스케일 일반화 연구

시간 스케일 다양성과 관련하여 최근 연구는 긴 시계열을 효율적으로 처리하기 위해 상태공간모델(State Space Model)에 기반한 Mamba 구조 활용 방향으로 전개되고 있다[28,29]. Mamba는 선형 시간 복잡도로 긴 시퀀스를 처리할 수 있으며, 재귀적 상태 업데이트를 통해 장기 종속성을 유지함으로써 단기 패턴과 장기 패턴의 동시 모델링에 유리한 특성을 가진다.

그러나 이는 장기 시퀀스 처리를 가능하게 하나, 시간 해상도 자체를 동적으로 조절하는 구조는 아니며, 다중 해상도 통합 설계와는 구분된다. 따라서 다중 해상도 표현이나 계층적 시간 모델링과의 결합이 향후 과제로 남아 있다.

2.4 효율적 개인화 메커니즘 연구

사전학습된 생체신호 파운데이션 모델에 대해, 로컬 데이터로부터 추출한 특징을 조건으로 LoRA(Low-Rank Adaptation) 어댑터를 생성하여 개인 특성을 반영하는 방법이 참고문헌 [30]에서 제안되었다. 이러한 접근은 개인별 데이터 분포 차이를 반영할 수 있다는 점에서 의미가 있으나, 개인 특성의 요약 표현에 의존한다는 한계가 있다. 향후에는 개인 특성을 보다 정교하게 모델링하고, 다양한 개인차를 안정적으로 반영할 수 있는 적응 메커니즘에 대한 연구가 필요하다.