청각장애인을 위한 햅틱 기반 음악 실감 기술 동향

햅틱은 진동, 압력, 질감 등 촉각적 피드백을 통해 사용자가 촉각 정보를 느낄 수 있게 하는 기술이다. 햅틱 인터페이스는 햅틱을 이용하여 인간의 촉각과 소통하는 기술로써 시각적 화면 및 오디오 시스템과 같은 기존 인터페이스와 달리 인간의 접촉으로 인식되는 기계적 신호를 제공한다[5].

햅틱 인터페이스를 기반으로 하는 인간-컴퓨터 햅틱 인터페이스(HCHI: Human-Computer Haptic Interface)는 사람과 기술의 상호작용을 가능하게 하는 사용자 피드백을 제공하는 기술이다[6]. 이때 피드백은 사람의 피부와 접촉된 진동 액추에이터 등을 통해 생성될 수 있다. HCHI는 청각장애인이나 시각장애인에게 정보를 전달하기 위한 감각 대체 시스템에도 사용된다. 감각 대체, 즉 모달리티(Modality) 변환은 기존 모달리티의 주요 특징 정보를 인식하여, 정보 처리 또는 특징 매핑을 수행하고 마지막으로 대체 모달리티에 정보를 적절하게 전달하는 체계적인 프로세스를 따라야 한다. 햅틱 인터페이스가 진동을 통해 촉각 정보를 전달하는 것을 진동 촉각 인터페이스(Vibrotactile Interface), 진동 촉각 디스플레이(Vibrotactile Display) 또는 진동 촉각 감각 대체 시스템(Vibrotactile Sensory Substitution System)이라고도 한다[5]. 이와 같이 햅틱 인터페이스를 통해 사용자에게 촉각 정보가 전달되는 정보흐름을 일반적으로 햅틱 피드백이라고 한다.

햅틱 피드백을 위해서 사용되는 햅틱 장치는 피부(신체의 가장 큰 감각 기관), 근골격계 및 기타 조직과 함께 작동하며, 힘, 이동의 형태, 전기 또는 열 입력을 통해 사용자의 피부와 신체에 지각 신호를 보낸다. 햅틱 장치에서 사용자의 피부와 신체에 지각 신호를 보내기 위해 사용하는 촉각 상호작용을 분류하면 표 1 [7,8]과 같이 다양한 형태가 존재한다.

다양한 촉각 상호작용을 통해 햅틱 피드백을 구현하는 촉각 장치는 작은 피부 표면을 덮는 프로토 타입에서부터 손목에 착용하도록 설계된 팔찌, 손에 착용하거나 손에 쥐도록 설계된 장갑 및 모바일 장치, 가슴에서 복부까지 신체를 둘러싸도록 설계된 벨트 및 재킷, 전신슈트, 헤드폰형 디스플레이 등 다양한 형태로 존재한다. 이와 같은 촉각 장치는 일반적으로 3가지 관점에서 분류할 수 있다[7]. 첫째, 촉각 장치는 휴대할 수 있거나 환경에 고정될 수 있다. 둘째, 수동적이거나 능동적인 접촉이 포함될 수 있다. 수동 터치는 물체를 탐색하지 않고 접촉하는 물리적 특성을 말하며, 능동 터치는 터치를 통해 물체를 물리적으로 탐색하는 것을 의미한다. 능동 터치는 액추에이터와 이를 제어하는 소프트웨어를 사용하여 생성된다. 마지막으로, 햅틱 장치는 사용자와 항상 직접 접촉하거나 간접적으로 접촉할 수 있으며, 초음파를 이용한 장치는 사용자와의 간접 접촉의 예가 될 수 있다.

햅틱 장치를 통해 가상의 정보를 직접 만지고, 촉각을 통해 물리적인 반응을 느낄 수 있도록 하여 실제 세계와 같은 자연스러운 인터페이스를 제공하는 것을 햅틱 인터페이스라고 한다. 햅틱 렌더링은 가상 환경과 상호작용 시 일어나는 물리적인 접촉을 실감 나게 재현하는 과정이다.

진동 촉각 자극에 대한 오디오 렌더링은 청각장애인이 터치를 통해 음악을 느낄 수 있도록 햅틱 음악 플레이어(HMP: Haptic Music Player)를 생성하고 청각장애인 개인의 음악 청취 경험을 효과적으로 향상시킨다. 음악 특징을 진동, 촉각 자극으로 변환하는 것은 간단하거나 제한된 작업이 아니지만 고려 사항은 음악적 특징에 따라 그룹화할 수 있으며 가장 많이 탐구되는 것은 리듬, 피치, 멜로디, 음색 및 음량이다[6].

가. 리듬의 햅틱 렌더링

리듬은 시간에 따라 반복되는 청각적 또는 시각적 패턴으로, 시각, 청각, 촉각 등 다양한 감각 채널을 통해 인지될 수 있다[9]. 또한, 사용자에게 시각적 피드백이 제공되면 리듬 인식이 향상된다. 촉각은 리듬을 쉽게 인식할 수 있는 것으로 나타났으며, 진동 자극으로 표현된 음악의 리듬 패턴은 다른 음악적 특징에 비해 더 큰 비율로 사용자 경험에 기여한다. 음악 종류에 따라 리듬 패턴이 특정 주파수 대역에서 더 많이 나타날 수 있으므로 진동 촉각 리듬 정보를 향상시키는 한 가지 방법은 필터를 사용하는 것이다. 청각장애가 있는 개인을 위한 HMP를 고려할 때, 청각장애인이 인지하는 것과 다를 수 있으므로 사용자가 리듬을 어떻게 인지하는지 결정하는 것이 중요하다.

나. 피치 햅틱 렌더링

진동 촉각 자극으로 피치를 렌더링하는 것은 주파수 인식 제한이 있기 때문에 복잡한 작업이다. 피치와 소리의 크기를 진동 촉각 자극으로 변환하는 간단한 방법은 피치를 주파수로, 소리의 크기를 진동의 강도로 직접 변환하는 스피커나 증폭기를 사용하는 것이다[10]. 그러나 이러한 작동기의 주파수 응답값은 피부 인식 임계값을 초과하므로 고주파수 대역(예: 1,000Hz 이상)에 포함된 정보가 손실될 수 있다. 피치 식별은 일정하지 않으며 주파수에 따라 달라진다. 피치 간의 눈에 띄는 차이는 주파수가 변함에 따라 달라진다. 주파수가 증가하면 피치 사이의 JND(Just Noticeable Difference)도 증가한다. 따라서 설계 단계에서는 더 낮은 주파수 대역에는 감소된 피치 대역이 필요하며, 그 반대의 경우도 마찬가지라는 점을 고려하는 것이 중요하다. 또한, 피치를 촉각과 연관시키는 것은 촉각적 은유를 사용하는 것으로, 날카로움, 거칠기, 부드러움, 무게, 열, 젖음 등의 촉각적 은유와 피치, 소리의 크기, 음색 및 그 조합과 같은 음악적 특성 사이의 연관성이 실제로 가능하다는 것도 발견되었다[11]. 촉각 은유는 음악에 대한 경험이 없지만 처음부터 렌더링되거나 합성될 수 있는 질감에 대한 경험이 있기 때문에 청각장애인에게 특별한 가치가 있을 수 있다. 촉각 은유는 음악 정보를 진동 촉각 자극에 매핑하는 방법으로 아직 많이 연구되지 않은 분야로 향후 연구에 많은 기회가 있다.

다. 멜로디 햅틱 렌더링

멜로디는 시간이 지남에 따라 피치 변화의 적절한 조합으로 구성된다. 따라서 피치 변환에 대한 대부분의 제한 사항은 멜로디에도 적용된다. 시간에 따라 달라지는 신체의 여러 부분의 주파수 공간화는 멜로디를 실질적으로 표현하는 것으로 시공간적 촉각 구현을 포함할 수 있다[12]. 멜로디의 특정 특성을 탐색하여 진동 촉각 자극에 효과적으로 렌더링하는 것도 의미 있는 연구이다. 예를 들어 멜로디의 중요한 특징 중 하나는 음정, 오디오의 멜로디 콘텐츠를 추출하고 신호 처리를 수행하는 것이다. 음악의 멜로디 콘텐츠를 추출하고 이를 진동 촉각 자극으로 변환하기 위해 구현된 방법의 예는 다음과 같다. 오디오의 멜로디 특징(예: 음악 정보 검색)을 추출하고 이를 MIDI(Musical Instrument Digital Interface)표현으로 변환하여 실행하고, 오디오 파일을 필터링하여 최종적으로 Auris 팔찌라는 팔찌에 포함된 액추에이터로 전송하는 것으로 구성된다[13].

소리 정보를 진동 패턴으로 변환하여 다수의 진동 촉각 자극 장치가 부착된 디바이스를 통해 진동 패턴을 전달함으로써 청각장애인들이 청각 정보를 지각하고 인식할 수 있도록 하는 기술들이 있다. 그중에서 음악 정보를 수신하고 이를 진동 패턴으로 변환하여 사용자들이 촉각을 통해 음악 정보를 인식할 수 있도록 하는 기술들이 연구되고 있다.

선천적으로 청각장애가 있는 사람은 정상 청력을 가진 사람보다 촉각 감도가 더 높고 촉각 자극이 오디오와 통합된 입력에 더 큰 영향을 미치며 햅틱 자극이 소리 감지(Sound Detection)를 향상시킨다는 연구들이 있다[14]. 햅틱 시스템은 청각장애가 있는 사람에게 음악을 인식하는 데 더 효율적인 장치가 될 수 있다. 이러한 촉각 자극을 사용하여 음악 인식을 향상시키기 위한 다양한 시스템이 개발되었다.

ETRI에서는 소리의 주파수 정보를 촉각 패턴으로 변환하여 피부로 전달하는 촉각 피치 시스템을 제안하였다[15].

주위 소리와 본인 목소리의 피치를 분석해 촉각 패턴으로 변환하여 한 손에 3옥타브에 해당하는 36개의 음계를 촉각 패턴으로 표현하였다. 손 부위별 진동 위치에 따라 음의 높낮이 파악이 가능한 착용형 장치이다(그림 1 참고).

그림 1

촉각 피치 시스템

출처 Reproduced with permission from [15].

인공와우를 사용하는 청각장애인들의 라이브 음악 경험을 향상시키기 위해 진동 촉각 콘서트 가구의 설계, 구현 및 평가를 제안한 연구도 있다[16]. 인공와우 문제를 염두에 두고 설계된 다감각 콘서트를 제공함으로써 인공와우 사용자의 음악 감상 능력을 향상시키는 것을 목표로 제안된 연구이다. 오디오, 비디오 및 진동 촉각 자극을 포함한 다감각 콘서트 경험을 만들기 위해 사용자 중심 참여 디자인 방법을 적용한 콘서트에서는 드럼, 더블 베이스, 여성 보컬(메조소프라노)의 연주를 제공하였다. 진동 촉각 가구가 제공하는 유연성 때문에 다감각 콘서트 경험은 다양한 접촉점을 사용하여 콘서트를 즐길 수 있게 되어 높이 평가되었다. 하지만 다감각 처리 및 청각의 촉각적 혼합을 제공한 장치는 악기 분리를 강조하는 장치보다 덜 선호되는 것으로 나타나 감각 혼합 부분에 있어서는 효과적이지 못했다.

또한, 팔에 착용하는 Pump-and-Vibe는 팔뚝에 8개의 진동 모터가 장착되어 있고 팔 위쪽에는 압력을 조절(Squeeze)하는 공기 펌프가 있다[17]. 스퀴즈는 진동보다 감정적 반응을 더 효과적으로 이끌어 내는 것으로 나타났다. Pump-and-Vibe 시스템은 음악의 정서적 영향을 높이는 것을 목표로 베이스의 리듬은 스퀴즈 양의 변화에 매핑되었다. 사용된 스퀴즈 시스템은 빠른 리듬을 추적할 수 없었기 때문에, 이것들은 팔뚝 상단에 있는 3개의 진동 촉각 모터에, 멜로디 정보는 팔을 따라 자극의 위치에 피치를 매핑하여 나머지 5개의 모터와 매핑되었다. 이 시스템은 특정된 청각장애가 없는 젊은 참가자들을 대상으로 오디오 단독, 햅틱 단독, 햅틱과 오디오에 대해 음악의 분위기(Mood)를 평가하도록 하였다. 그 결과 Pump-and-Vibe 시스템이 분위기를 일어나게 하고 오디오가 분위기에 영향을 미칠 수 있음이 나타났다.

mosaicOne_B는 팔뚝의 위쪽과 아래쪽을 따라 배열된 6개의 햅틱 자극 세트 2개를 통해 소리의 기본 주파수(피치의 음향 상관관계)를 피부의 위치에 매핑한다[18]. 이 장치를 사용하여 참가자들은 단지 기본 주파수가 1.4%만 변화해도 구별할 수 있으며, 이는 대부분의 인공와우를 사용하는 청각장애인들이 달성할 수 있는 것보다 훨씬 더 나은 결과로 대부분의 서양 멜로디에서 발견되는 가장 작은 기본 주파수의 변화를 식별할 수 있는 수준이다. mosaicOne_B는 높은 수준의 배경 소음에서도 식별 성능을 유지하면서 매우 효과적인 것으로 나타났다. 음악적 경험은 이 장치를 사용하여 공식적으로 실험하지는 않았지만 정상 청인을 대상으로 한 비공식 실험에서 향상된 음악적 즐거움도 나타났다.

또한, 청각장애인들이 악기 사운드를 햅틱 피드백을 사용하여 피부로 느낄 수 있도록 하는 음악 감각 대체 시스템인 “MuSS(Music Sensory Substitution)-Bits”도 개발되었다[19]. 이는 무선으로 P2P 통신 이 가능한 소형 웨어러블 플러그 앤 플레이(Plug and Play)로 센서-디스플레이 쌍으로 구성되어 있다. MuSS-Bits는 다양한 오디오 소스에서 실제 소리를 캡처하고 리듬 정보를 추출한 후 이를 디스플레이 비트로 전송하여 리듬을 시각과 진동 촉각으로 표현한다. 진동 촉각 강도와 시각적 밝기는 사용자의 필요에 따라 조정될 수 있으며 감각 대체 시스템의 센서 부분에서 디스플레이를 분리하면 연주자가 디스플레이 비트를 자신의 신체 등에 공간적으로 배치할 수 있어 자유로운 몸의 움직임도 가능하다. 또한, 원하는 오디오 소스를 선택할 수 있으며 온보드 처리, nRF 통신 및 반응형 진동 모터를 통해 실시간 피드백 또한 가능하다.

가상 현실(VR: Virtual Reality) 기술은 하드웨어와 소프트웨어 측면에서 모두 상대적으로 저렴하고 사용자 친화적이다. 또한, VR을 사용하면 현실 세계에서는 불가능한 제어 수준을 유지하면서 현실 세계를 모방하는 시뮬레이션을 만들 수도 있다. 예측할 수 없는 변수가 많은 현실에서의 연구와 달리 VR 환경에서 수행되는 연구는 쉽게 재현될 수 있어 잠재적으로 다양한 실험환경에서 연구를 실행하고 결과를 비교할 수 있다. VR 환경은 쉽게 수정 가능하기 때문에 다양한 요인의 효과를 관찰하기도 쉽다.

최근에는 VR을 활용한 청각장애인 개인의 음악 훈련에 대한 연구 및 솔루션이 등장하고 있으며 이는 아직 초기 단계의 연구들이다.

VR 환경에서 입력되는 3D 사운드를 분석하여 사용자에게 가장 가까운 음원의 방향을 찾아주고 사용자의 귀에 장착된 두 개의 진동 모터를 사용하여 사용자에게 방향을 제공하는 ‘EarVR’이라는 새로운 프로토타입이 제안되었다[20]. 데스크탑이나 모바일 VR 헤드마운트디스플레이(HMD: Head-Mounted Display)에 장착할 수 있는 EarVR은 청각장애인 사용자들이 3D 오디오 및 배경 음악에 대한 음소거 옵션을 사용하여 모든 VR 애플리케이션에서 사운드 기반 VR 작업을 완료할 수 있도록 도와준다. EarVR을 사용한 결과, VR 작업 완료 시간은 청인 참가자와 매우 비슷하였으며, EarVR을 사용하면 복잡한 VR 작업을 완료할 수 있었지만, EarVR이 없으면 작업을 한 번도 완료할 수 없었다. 또한, 사용자들이 EarVR 사용을 선호하고 사운드 관련 VR 애플리케이션을 실행할 때 청각장애인 사용자의 경험을 향상시킬 뿐만 아니라 이전보다 VR 기술을 더 많이 사용하고 즐기도록 권장한다는 결과가 나타났다.

또한, 청각장애인에게 VR 환경에서 음악을 느끼고 볼 수 있는 방법을 제공하는 것을 목표로 음악을 훈련하기 위한 VR 기반 애플리케이션도 제안되었다[21]. 이 연구에서는 노래에서 캡처한 오디오 신호를 진동 모터를 통해 특정 강도의 진동으로 변환하여 전송하는 방법을 기반으로 (1) 사용자가 VR을 통해 음악을 체험하는 것, (2) 사용자가 진동을 통해 음악을 체험하는 것, (3) 사용자가 VR과 진동을 결합하여 음악을 체험하는 것, 총 세 가지 시나리오 적용, 평가하여 결과를 도출하였다. 예비 사용성 평가에 따르면 시각적 신호와 촉각 신호를 결합한 세 번째 시나리오가 음악 감상 시 사용성 및 사용자 경험 측면에서 높은 점수를 나타냈다.

VR을 이용한 청각장애아동의 음정 지각에 대한 연구에서는 인공와우, 보청기 또는 정상 청력을 가진 아동의 음정 인지 능력을 비교하고 임상 테스트를 위한 VR 도구를 개발하였다[22]. 연구 결과, 모든 참가자들(인공와우를 이식한 아동, 보청기를 착용한 아동, 정상 청력을 가진 아동)은 음정 순위를 평가하는 데 VR이 효과적이며, VR 기술을 체험하는 것에 흥미를 느꼈다. 일반적으로 VR은 청력 상태와 관계없이 아동들의 피치 순위를 평가하는 데 유용한 것으로 나타났으며, 이 연구는 VR이 청각 능력, 또는 음악 인식 훈련에 큰 잠재력을 가지고 있음을 증명하였다.

청각장애가 있는 사람들이 음악을 새로운 방식으로 경험할 수 있도록 하는 햅틱 기술을 도입한 공연 및 행사도 점차 많아지고 있다.

2022년 영국 런던 Brockwell 공원에서 20,000석 규모의 Mighty Hoopla 페스티벌이 개최되었다[23]. 이 페스티벌에서는 Music not Impossible과 제휴하여 Vodafone의 저지연 5G 기술과 결합한 슈트를 통해 음악을 즐길 수 있도록 하였다. 최신 햅틱 기술을 사용해 슈트를 입은 사람들은 손목, 발목, 몸통의 접촉점에 전달되는 진동을 통해 음악을 느낄 수 있도록 한 것이다. 슈트를 조정하여 군중의 분위기와 아티스트의 퍼포먼스를 전달하였으며, 5G 수신기를 사용하여 군중 소음을 포착하고 실시간으로 슈트를 통해 진동으로 피드백을 전달하였다.

Not Impossible Labs에서 개발한 Vibrotextile™ 웨어러블 기술은 조끼 디자인 내 24개의 진동 터치 포인트를 통해 라이브 또는 사전 녹음된 음악을 사용자가 느낄 수 있도록 해 준다[24]. 뮤직: 낫 임파서블(M:not Impossible)은 not Impossible Labs와 함께 영국, 미국, 브라질, 일본, 호주 전역에서 이 슈트와 관련된 콘서트를 열었다. 콘서트는 링컨 센터가 주최하는 야외 오케스트라 공연부터 로스앤젤레스 필하모닉의 비공개 세션까지 다양하다. 각 조끼에는 24개의 개별 터치 포인트가 포함되어 있는데, 이는 최대 24개의 악기를 모든 조끼에 전송할 수 있다는 것을 의미한다. 심지어 큰 오케스트라 악보도 청중의 피부에 직접 번역되도록 할 수 있다. 2021년부터 매년 미국 링컨 센터에서 열리는 몇 차례의 여름 행사에서 이 슈트를 사용하였으며, 2023년에는 Silent Disco Nights와 Mostly Mozart Festival Orchestra Concert에서 75개의 슈트가 제공되어 청각장애인들이 음악을 향유 할 수 있었다.

미국 시카고 Lyric Opera는 영국 런던의 CuteCircuit사가 개발한 웨어러블 셔츠 ‘Soundshirt’를 통해 실시간으로 몰입감 있는 라이브 음악에 대한 감각을 선사하는 세계 최초의 오페라 공연을 2023년 파일럿 프로그램으로 청각장애인을 대상으로 시행하였다[25]. 이 공연은 실시간으로 무선으로 소리를 수신하는 16개의 햅틱 마이크로 액츄에이터를 통해 청각장애인 관람객에게 볼륨에 대한 촉각적 접근을 제공함으로써 음악적 경험을 향상시키려는 시도이다. 오케스트라와 무대 위에 배치된 마이크를 통해 입력된 음악을 디지털 데이터로 변환하여 전달하고, 전달된 사운드를 실시간으로 분석하여 셔츠 주위에 있는 16개 모터를 작동시켜 어깨 앞쪽, 팔뚝, 허리 위쪽과 아래쪽에 진동을 생성한다. 음악과 목소리의 강도는 셔츠를 통해 전달되는 진동의 강도와 일치하므로 희미한 노래는 쇄골 근처를 가볍게 두드리는 반면, 베이스 드럼은 허리를 강하고 리드미컬하게 두드림으로써 생생한 느낌을 전달할 수 있다.