브레인 디코딩 기술 동향

신경세포(Neuron)는 활성화되면 세포막을 통해 이온 전류를 만들어 세포 내부와 외부 사이에 전압 변화를 유발하며, 이때 미세한 신경전류를 생성하게 된다. 이러한 신경전류를 (그림 1)과 같이 신경세포 바로 위에 바늘 모양의 전극을 꽂아 측정할 수 있는데, 여러 개의 전극을 사용하여 수십에서 수백 개의 신경세포에서 발생하는 뇌의 전기신호를 정밀하게 관찰할 수 있으며, 측정뿐만 아니라 신경세포에 직접 전기적인 자극을 줄 수 있어, 달팽이관 임플란트, 심장 페이스 메이커 등에 활용이 되고 있다[3].

(그림 1)

미세 전극 어레이의 모습

[출처] Wikiwand, “Surface Chemistry of Neural implants,” CC BY-SA 4.0.

또한, 전극을 뇌에 꽂지 않고 뇌 위에 올려놓아서 측정하는 ECoG(Electrocorticography) 방식도 많이 활용되고 있다. 최근에 전기차 테슬라로 잘 알려진 일론 머스크가 뉴럴링크(Neurallink)라는 스타트업을 설립했다. 뉴럴링크는 인간의 뇌에 뉴럴 레이스(Neural lace)라는 칩을 이식하고, 이를 통해 인간의 뇌 신경과 컴퓨터를 연결하여 사람의 생각을 업로드 하거나 다운로드 하는 것을 사업 목적으로 하고 있다.

뇌파(EEG: Electroencephalography)는 뇌 신경세포 사이에 신호가 전달될 때 생기는 전기의 흐름을 측정하는 것으로, 뇌의 활동 상황을 측정하는 중요한 지표이다. (그림 2)와 같이 주로 두피에 부착한 전극을 통해 측정하는데, 매우 복잡한 패턴으로 진동하는 파형형태를 보인다. 인간의 뇌에서 나오는 뇌파의 파장은 주로 0~50Hz의 주파수가 나오며 주파수 영역에 따라 델타, 세타, 알파, 베타, 감마파로 <표 2>와 같이 편리상 임의로 분류한다.

(그림 2)

뇌파 측정 전극 부착 모습

[출처] C. Hope, “‘Volunteer Duty’ Psychology Testing,” CC BY 2.0. https://www.flickr.com/photos/tim_uk/8135755109

<표 2>

뇌파의 주파수별 구분 및 특징

근적외선 분광법(NIRS: Near Infrared Spectroscopy)은 전자기 스펙트럼의 근적외선 영역을 사용하는 분광학 방법이다. 근적외선은 산화 헤모글로빈 농도에 따라 인체 조직에서 투과 및 흡수도가 달라지는데 이러한 원리를 이용하여 혈액내 산소농도를 측정하는 데 사용된다. 뇌에서도 뇌의 특정 부분이 활성화되면 해당 영역에서 국소 혈액량이 빠르게 변화하게 되고, 산소소비량의 변화가 나타나게 된다. 이러한 변화를 근적외선을 이용한 광학 이미징을 통해 혈액 헤모글로빈 수준을 지속해서 모니터링함으로써 뇌의 특정 영역의 활동을 측정할 수 있다.

NIRS는 이와 같이 신경 활동과 관련된 혈액의 헤모글로빈 농도의 변화를 검출함으로써 뇌 기능의 비침습적 평가에 사용할 수 있으며, 같은 원리를 사용하는 기능 자기 공명 기술(fMRI: functional Magnetic Resonance Imaging) 보다 훨씬 휴대성이 뛰어나며 자유롭게 움직이는 피사체에서 조사가 가능하고 무선 계측도 가능한 장점을 가지고 있다. 그러나 NIRS는 대뇌 피질 조직을 스캔하는 데만 사용될 수 있기 때문에 내부 조직에 대한 이미징이 가능한 fMRI에 비해 한계를 가지고 있다. 이러한 한계를 극복하기 위해 최근에는 3차원 NIRS인 확산 광학 단층 촬영(DOT: Diffused Optical Tomography)이 활용되기도 한다[(그림 3) 참조].

(그림 3)

유방암 진단 DOT 촬영 개념도

[출처] M.R. Hajihashemi et al., PLoS One, vol. 7, no. 9, CC BY 2.5. DOI: 10.1371/journal.pone.0045714

fMRI는 혈류와 관련된 변화를 감지하여 뇌 활동을 (그림 4)의 예시와 같은 영상으로 측정하는 방법으로, 뇌 영역이 활성화되면 그 영역으로 혈류가 증가하게 되는데, 이와 같이 뇌 혈류와 신경세포의 활성화가 연계되어 있다는 사실에 기반을 두고 있는 방법이다. fMRI는 주로 BOLD(Blood-Oxygen-Level Dependent) 대비를 영상화하는데, BOLD는 뇌 세포의 에너지 사용과 관련된 혈류의 변화를 영상화하여 뇌의 활동을 지도화하는 데 사용되는 뇌 스캔 유형이다. 헤모글로빈이 산소화된 형태와 탈산소화된 형태가 서로 다른 자기적 성질을 가지고 있어, 이를 MRI로 검출하여 산소소모량에 대한 영상화를 한다. 뇌의 활성화는 특정 영역을 통한 활성화의 강도를 색상으로 코딩하여 영상으로 표시할 수 있으며, 뇌의 활동을 밀리미터 내의 해상도로 영상화할 수 있다. fMRI는 뇌파와 근적외선 등 다른 측정방법과 결합하여 사용될 수 있으며, BOLD 신호 이외에 바이오마커를 사용하여 공간 해상도와 시간 해상도를 개선하려는 시도가 이루어지고 있다.

(그림 4)

fMRI 영상의 예

[출처] Wikiwand, “Mecanismo,” CC BY-SA 4.0. http://www. wikiwand.com/pt/S%C3%ADndrome_de_Asperger

광유전학(Optogenetics)은 광학과 유전학을 결합한 기술로 빛으로 생체 조직의 세포들을 조절하는 것이다. 신경세포를 유전적으로 조작하여 빛에 반응하는 이온 채널을 발현시키고 빛을 이용해 신경 활동을 모니터링하고 조절한다[4]. 광유전학은 개별 신경 세포들의 활동을 조절 및 관찰하고 신경 활동의 조절이 어떠한 효과를 유발하는지 실시간으로 확인할 수 있는 기술이다[4]. 광유전학을 사용하면 유전학적으로 분류된 특정 신경 세포들의 신경 활동을 선택적으로 조절하거나 기록할 수 있으며, 빛을 사용하기 때문에 대상 위치와 시간을 정확히 조절할 수 있는 장점이 있다[4].

우리가 어떤 물체를 보거나 풍경을 볼 때 보는 대상에 따라 뇌의 활성 패턴이 다르게 나타난다. 이것을 거꾸로 이용하여 뇌의 활성 패턴 분석을 통해 무엇을 보고 있는지를 알아내려는 연구가 많이 이루어져 왔다.

2001년 사이언스지에 실린 Haxby 등의 논문에서는 다양한 형태의 시각적 객체가 뇌의 영역에서 신경세포들을 어떻게 활성화시키는지에 대하여 설명하고 있다[5]. 이 논문에서 Haxby 등은 피험자들에게 사람 얼굴, 집, 고양이, 플라스틱 병, 가위, 신발, 의자 등 인공물과 아무것으로도 인식되지 않는 그림 등을 보여주고 이때 나타나는 뇌 신경세포 활성 패턴을 fMRI로 촬영하여 시각적 대상에 따라 뇌 신경세포 활성패턴이 다르게 나타남을 보였으며, 뇌 활성 패턴이 복부 측두엽 피질(Ventral temporal cortex)에 넓게 분포하고 시각적 대상에 따라 완전히 배타적이지 않고 서로 겹치는 영역이 있다는 것을 보였다[5].

2003년 Cox와 Savoy는 NeuroImage에 발표한 논문에서 fMRI를 이용하여 뇌를 읽는 것이 가능함을 보였다[6]. Cox와 Savoy는 4명의 피험자들에게 바구니, 새, 나비, 의자, 소, 열대어, 정원 난쟁이, 말, 아프리카 가면, 주전자 등 10종류의 영상을 보여주고, 이때 발생하는 뇌 신경세포 활성패턴을 fMRI로 촬영하여 데이터를 획득하였다. 획득된 데이터를 Support vector machine (SVM) 방법으로 분석하여 분류기를 제작하였으며, 분류 정확도는 53%를 보였다[6]. 10종류의 영상에서 우연히 답을 맞힐 확률이 10%인 것과 비교하면 53%의 정확도는 낮지 않은 수치라고 생각할 수 있다.

이외에도 시각적 객체에 대한 인식을 뇌 신경세포의 활성 패턴 분석을 통해 알아보려는 시도는 꽤 많이 이루어져 왔다[7].

시각적 객체에 대한 인식뿐만 아니라 사람이 생각하고 있는 것을 그대로 읽어 내려는 시도도 이루어지고 있다. 2009년 Havard Medical School의 Lee 등이 Medical Image Analysis에 발표한 논문이 그러한 시도의 하나라고 볼 수 있다[8]. 이 논문에서 저자들은 5명의 피험자에게 아래와 같은 6가지의 정신적인 상상 업무(Mental imagery task)를 부여하고, 이때 뇌 신경세포 활성 패턴을 fMRI로 측정하였다.

• 오른 손을 쥐는 상상.

• 왼 손을 쥐는 상상.

• 오른 발 발가락을 움직이는 상상.

• 마음 속으로 숫자 세기.

• 마음 속으로 말하기.

• 특정 영상을 상상하기.

측정된 fMRI 데이터를 이용하여 SVM 방법으로 분류기를 제작하였다. 분류기 제작 전에 Region-of-Interest(ROI)를 선택하고, Feature vector를 추출하는 등 데이터 전처리가 이루어졌다. 이렇게 만들어진 분류기의 성능은 정확도가 70~80%로 나타났으며, 6가지 업무에 대해 우연히 맞출 확률이 16.7%인 것과 비교하면 꽤 높은 성능을 보였다고 할 수 있다.

이 논문에서 볼 수 있는 특이한 점은 5명의 피험자로부터 측정한 같은 업무에 대해 발생하는 뇌 신경세포 활성 패턴 fMRI 영상이 크게 다르다는 것이다 (참고문헌 [8]의 Figure 5 참조). 이것은 같은 업무에 대해 활성화되는 뇌의 영역이 사람 간에 차이가 있다는 것을 나타내고 있다고 할 수 있다. 또한, 같은 피험자에 대해서도 서로 다른 시기에 같은 업무에 대해 촬영된 뇌 신경세포 활성 패턴 fMRI 영상도 차이가 크게 나타나는 것을 확인할 수 있다 (참고문헌 [8]의 Figure 5 참조). 이러한 결과들은 브레인 디코딩이 실현되기 위해서는 아직 해결해야 될 부분이 많이 있다는 것을 의미한다고 할 수 있다.

시각적 객체 영상에 대한 브레인 디코딩을 넘어 동영상에 대한 브레인 디코딩도 시도가 되고 있다. 2011년 Nishimoto 등이 Current Biology에 발표한 논문이 대표적인 예라고 할 수 있다[9]. 이 논문에서 저자들은 3명의 피험자에게 9분짜리 동영상을 반복적으로 보여주고 이때 발생하는 뇌 신경세포 활성 패턴을 fMRI로 촬영하여 촬영된 데이터로부터 동영상을 재구성하는 연구를 수행하였다.

기존에 fMRI에서 많이 사용돼왔던 BOLD 스캔 방식은 측정이 매우 느려 동영상과 같이 실시간으로 변화하는 대상에 대한 뇌 신경세포 활성 패턴 측정에는 한계가 있다. Nishimoto 등은 논문에서 Motion-Energy Encoding Model을 제안하여 이러한 문제를 해결하였다.

저자들이 제공한 동영상을 살펴보면, 실제 시청한 동영상과는 차이가 있지만, 전체적인 움직임이라든가 사람의 모습 등에 있어서는 꽤 그럴싸한 동영상이 재구성된 것을 볼 수 있다. 피험자 3명에 대해 재구성 정확도는 약 30% 정도인 것으로 제시되고 있어 우연히 맞출 확률에 비해 10배 가까이 높다는 것을 알 수 있다.

얼굴 인식 기술은 카메라 등 다양한 영역에서 활용이 되고 있다. 뇌의 얼굴 인식은 (그림 5)에 표시된 Fusiform gyrus라는 뇌 영역에서 일어나는 것으로 알려져 있으며, 사람들의 얼굴을 구분하는 기능을 한다고 알려져 있다. Fusiform gyrus는 사람과 고릴라, 침팬지, 오랑우탄 등 일부 영장류에서만 발견된다.

(그림 5)

Fusiform gyrus의 위치

[출처] Wikimedia Commons, “Constudproc - Inferior View (Fusiform gyrus),” CC BY-SA 3.0.

2016년 Lee와 Kuhl이 ‘The Journal of Neuroscience’에 발표한 논문은 외측 두정 피질(Lateral parietal cortex)에서 뇌 신경세포 활성 패턴 분석을 통해 인지되고 회상된 얼굴 이미지를 재구성하는 것에 대하여 보고하고 있다[10]. Lee와 Kuhl은 12명의 피험자를 대상으로 1,012개의 얼굴 이미지를 가지고, 얼굴을 인지시키고 회상하는 정교하게 설계된 실험을 수행하고, 실험 과정에서 뇌 신경세포 활성 패턴을 fMRI로 촬영하여 데이터를 확보하고 확보된 데이터를 Principle component analysis 등의 방법으로 분석하여 얼굴 영상을 재구성하였다. 얼굴 영상 재구성 정확도는 50% 이상으로 보고되었다[10].

잠을 자는 동안 꾸는 꿈에 관한 연구도 많이 이루어져 왔다. 꿈의 기전에서부터 꿈의 해석까지 다양한 분야에서 꿈을 이해하기 위한 노력이 있었다. 하지만, 여전히 꿈은 미지의 세계라고 할 수 있다.

꿈은 잠자는 동안 경험하는 일련의 영상, 소리, 생각, 감정 등의 느낌이라고 말한다[11]. 우리는 꿈을 꾸며 꿈의 내용에 특별한 의미를 부여하기도 한다. 꿈을 기록하는 도구가 있으면 어떨까? 내가 잠자는 동안 꾼 꿈을 영화처럼 기록해서 잠에서 깨어난 후 꿈을 다시 볼 수 있다면 어떨까? 이런 꿈을 가지고 꿈을 기록하려는 시도가 이루어지고 있다.

Horikawa 등은 2013년에 Science에 꿈을 기록하는 연구에 대한 논문을 발표하였다[12]. 잠자는 동안 꿈속에서 인지한 영상을 뇌 신경세포 활성 패턴 분석을 통해 알아내는 연구이다. 이를 위해 Horikawa 등은 3명의 피험자에게 잠자는 동안 fMRI를 촬영하고 뇌파를 측정하면서, 뇌파로부터 꿈을 꾸고 있는지를 알아내고, 꿈을 꾸고 있는 경우 깨워서 꿈의 내용을 말하도록 만들었다. 그리고, 웹에 있는 다양한 영상을 보여주면서 그때 나타나는 뇌 신경세포 활성 패턴 fMRI 영상을 얻고, SVM을 통해 뇌 신경세포 활성 패턴 fMRI 영상으로부터 보고 있는 영상을 알아내는 디코더를 만들었다. 이렇게 만들어진 디코더를 꿈을 꾸고 있는 동안 촬영된 fMRI 영상에 적용하여 꿈속에서 무엇을 보았는지 알아내는 실험을 진행하였는데, 꿈속에서 본 영상들을 약 60%의 정확도로 알아낼 수 있다는 결과를 얻었다. 이러한 연구가 더 발전하면 꿈을 기록하는 장치가 만들어 질 수도 있을 것이다>[13].

BCI는 뇌와 컴퓨터, 또는 외부 단말을 직접 연결하는 것을 말한다. 뇌의 신경세포 활성 패턴을 미세 전극 어레이나 ECoG, 뇌파 등을 통해 측정하고 이를 분석하여 얻어진 정보를 컴퓨터나 외부 단말에 제공하여 제어하는 기술이다.

BCI는 여러 연구그룹에서 활발히 연구가 진행되고 있다. Brown University, MGH(Massachusetts General Hospital) 등이 참여하고 있는 BrainGate는 미세 전극 어레이를 뇌에 심어 사지 마비가 있는 환자들이 뇌 활성 패턴 조절을 통해 화면에 보이는 키패드의 글자를 선택하고, 로봇 팔을 움직여 음식을 섭취할 수 있도록 지원해주는 BCI 시스템이다. 실제, 환자에게 시술하여 시험을 진행하고 있다[(그림 6) 참조], [14].

(그림 6)

BrainGate System

[출처] Wikimedia Commons, “BrainGate,” Public Domain.

선천적으로 색맹인 영국의 닐 하비슨(Neil Harbisson)은 색을 인식하는 기능을 가진 마이크로칩을 뇌 속에 심었다. 이 칩은 더듬이처럼 생긴 안테나를 통해 색깔을 인지한 뒤 소리로 알려준다. 안테나 끝에 달린 센서가 색을 인식하면 뇌 속의 칩이 색깔 주파수를 소리 주파수로 바꿔서 알려주는 것이다. 360여 가지의 색깔을 정확히 구별하고, 적외선, 자외선까지 인식한다 하고 있다[(그림 7) 참조], [15].

(그림 7)

닐 하비슨의 모습

[출처] Flickr, “Neil Harbisson,” CC BY 2.0. https://www.flickr. com/photos/25958224@N02/8122856863