Trends on Non-contact Haptic Display Technology

1. 개요 및 특징

촉감 재현 기술은 크게 근육과 관절에 위치정보와 힘을 전달하는 역감 재현(Force feedback)과 피부에 물체의 미세한 표면구조(Texture)와 진동을 전달하는 진동촉감 재현(Vibrotactile feedback)으로 나눌 수 있다. 이러한 촉감의 재현을 위해서는 구동기에서 만들어지는 힘, 움직임, 진동 등의 기계적 자극이 사용자의 신체에 전달되어야 한다. 비접촉식 촉감 디스플레이는 구동기에서 만들어지는 자극을 사용자의 신체에 직접적인 접촉이나 기계적인 연결 없이 공기 중으로 신체에 전달한다. 따라서 구동기와 여기에 필요한 전원, 제어장치 및 연결구조를 신체에 부착할 필요가 없어 사용자의 움직임을 제한하지 않는 장점이 있다. 반면 피부와 구동기 사이의 직접적인 접촉과 연결이 없으므로 강한 촉감을 생성하기 어렵고 구동기에서 생성된 에너지가 공기 중으로 전달되는 과정에서 확산, 감쇄 등을 통해 손실이 일어나 소비되는 전력에 비해 촉감 생성 효율이 낮은 단점이 있다.

기구와 사용자의 직접적인 접촉 없이 촉감을 생성하기 위해 공기를 매질로 피부에 에너지를 전달하는 다양한 방법이 연구되어왔다. 지금까지 알려진 연구로는 공기 중으로 에너지를 전달하는 방법에 따른 초음파 초점 생성, 공기 분사, 레이저를 이용한 열 효과 또는 플라즈마 생성, 전자기력 등의 방식이 있다. 각 구분 내에서도 연구에 따라 촉감을 생성하는 방법에 상당한 차이가 있으며 피부에 직접 촉감을 생성하는 완전 비접촉식 촉감 생성 기법과 일부 비전력 장치 착용을 필요로 하는 방법이 존재한다. 본 Ⅱ장에서는 각각의 방식에 대해 차례로 상세하게 설명한다.

2. 초음파 초점식 디스플레이

가. 동작 원리

초음파 초점을 이용한 비접촉식 촉감 디스플레이는 공기를 통해 전달되는 초음파 대역(20kHz 이상)의 진동을 공중의 한 점에 집중시켜 사람이 느낄 수 있는 크기로 증폭시키는 방법을 사용한다.

초음파 촉감 디스플레이는 일반적으로 수십 개 이상의 초음파 스피커 배열로 구성된다. (그림 1)과 같이 각 초음파 스피커에서 생성하는 초음파 신호는 일정한 범위의 방사각 내에서 공기의 진동을 만들어 소리와 같은 속도로 퍼져 나가므로 각 초음파 스피커의 위치에 따라 신호의 위상과 진폭을 제어하면 공기 중의 원하는 위치에 여러 초음파 스피커에서 만들어낸 공기의 진동이 중첩되어 공기압 초점을 만들어낼 수 있다. 이 초음파 초점을 사용자의 피부에 생성시키면 만들어진 공기압이 사람이 느낄 수 있는 진동이나 압력의 인지 역치(Detection threshold)를 넘어설 때 초점 위치에서 작은 바람이 살랑이는 듯한 촉감을 느끼게 된다.

(그림 1)

초음파 초점식 촉감생성 원리

높은 주파수를 사용할수록 초점의 크기가 작아지고 정밀한 위치 제어가 가능하나 신호 생성 효율과 거리에 따른 감쇄가 급격하게 일어나는 단점이 있으므로 주로 40kHz 신호로 약 1cm 이내의 직경을 가지는 초점을 생성한다. 초음파 대역의 공기압 변화는 사람이 느낄 수 있는 진동 자극의 주파수 범위(약 1kHz 이내)를 넘어서므로 초음파 초점에서의 공기압은 진동이 아닌 연속적인 압력으로 느껴진다. 사람의 촉감 인지는 100~250Hz 대역에서 가장 민감하므로 초점에서의 공기압이 더 분명하게 느껴지게 하고 다양한 느낌을 생성하기 위해 인지 범위 이내에서 초음파 신호의 진폭변조(AM: Amplitude Modulation)가 활용된다.

나. 기술개발 현황

초음파 초점을 이용한 촉감 생성은 현재 가장 활발하게 연구되고 있는 비접촉식 촉감 기술로 의료분야에서 비침습적 체내 종양 및 담석 제거에 사용되는 High-Intensity Focused Ultrasound(HIFU)로부터 유래를 찾을 수 있다[2]. 이를 촉감 생성에 처음 적용한 것은 일본 동경대로, 2000년대 초반 HIFU와 유사한 형태의 초음파 스피커로 촉감 생성 연구를 진행하였다. 2008년도에는 MHz 대역의 주파수를 사용하는 HIFU 대신 촉감의 전달 거리와 신호 생성의 효율을 높이기 위해 40kHz의 초음파 스피커 배열을 이용한 촉감 디스플레이를 선보였다[3]. 또한, 최근에는 초음파 촉감 디스플레이를 여러 면에 배치하여 전체 스피커의 개수를 수천 개로 늘리고 다양한 방향에서 가상 물체의 촉감을 전달하는 연구[4]를 선보였으며 비접촉식 특성을 기반으로 홀로그래픽 디스플레이와의 연동을 연구하고 있다[5].

이와 독립적으로 영국의 브리스톨 대학에서는 초음파 신호를 1kHz 이하로 진폭변조시켜 진동 촉감을 생성하고 실제 사람이 느끼는 자극의 강도를 향상시켰다. 또한, 최대 32개의 초음파 초점으로 외곽선을 생성하여 가상 물체의 모양을 사용자에게 전달하는 기법을 선보였다[6]. 이를 바탕으로 Ultrahaptics라는 회사를 설립하여 자동차에 들어가는 운전자 정보 시스템, 엔터테인먼트, 시제품의 프로토타이핑 등의 분야에 제품 출시를 서두르고 있다.

국내에서는 2013년 전자부품연구원에서 관련 연구과제를 수행하여 하나의 초점을 생성하는 촉감 디스플레이 하드웨어를 만들어낸 바가 있으며 한국전자통신연구원에서는 건반의 촉감을 비접촉식으로 전달하여 다중 감각 피아노 연주가 가능한 AirPiano를 개발하고[7], [(그림 2) 참조] 인지적 시분할 스케쥴링에 기반한 다중초점 생성기법을 발표하였다[8]. 또한, 최근 울산과학기술원과 함께 얼굴에서의 촉감 생성이 가능함을 보였다 [9]. 현대자동차에서도 관심을 가지고 차량에서의 운전자 정보 디스플레이와 관련된 특허를 등록하고 있으나 해외의 선도연구기관과 비교할 때 아직 기초적인 기술 수준에 머물고 있다.

(그림 2)

ETRI의 AirPiano

다. 향후 전망

초음파 초점식 디스플레이는 Ultrahaptics사에서 주도하는 차량 내 운전자 정보 시스템에서의 3차원 인터페이스와 전시관 등에서의 VR/AR 엔터테인먼트 기기 등에 활용이 유력해 보인다. 촉감 생성의 공간적 범위 확장과 해상도 향상에 많은 개선 노력이 있을 것으로 보이나 촉감 생성에 활용되지 못하고 공기 중으로 방사되는 에너지가 많아 초음파 스피커의 개수를 약 4천 개까지 늘리더라도 0.2N 이상의 강한 힘을 생성하기 어려운 한계가 존재한다. 따라서 원거리 사용자를 대상으로 하는 몸 전체의 인터랙션보다는 상대적으로 민감한 촉감을 가진 손바닥 부위를 위주로 하는 한정된 작업공간에서의 인터랙션에 활용될 것으로 보인다.

3. 공기 분사식 디스플레이

가. 동작 원리

공기 분사를 이용한 촉감 생성은 좁은 노즐을 통해 압축된 공기를 분사하는 에어젯(Air Jet)이나 공기 와류(Air vortex)를 생성하여 쏘아내는 공기 대포(Air cannon)의 형태로 개발되어 왔다.

에어젯 방식은 공기 압축기(Air compressor)에서 압축한 공기를 좁은 노즐을 통해 분사하여 사용자의 피부를 자극하는 방식으로 근거리에서는 비교적 세밀한 촉감 표현이 가능하나 공기의 압축과 분사를 위해 크고 복잡한 장치 구성을 필요로 하는 단점이 있다.

공기 대포 방식은 큰 동작 변위를 가지는 우퍼 스피커의 순간적인 움직임으로 노즐을 통해 공기를 밀어낼 때 발생하는 도넛 형태의 공기 와류를 사용자의 신체방향으로 쏘아 촉감을 생성한다. 작고 간단한 장치로 수십 cm 이상의 거리에 있는 사용자에게 촉감 효과를 전달할 수 있는 장점이 있으나 다른 방식에 비해 촉감 자극이 전달되는 속도(~10m/s)와 위치 정밀도(수 cm 이상)가 떨어지고 연속적인 효과의 생성이 어려운 문제가 있다.

사용자는 두 방식 모두 분사된 공기가 신체에 닿았을 때 공기압을 촉감으로 느끼게 된다. 전달되는 촉감이 초음파 초점식 디스플레이와 유사하나 다수의 반복되는 파형 중첩으로 생성되는 한 점에서의 공기압이 아닌 분사 방향으로 압축된 공기가 지나간다는 차이가 있다. 분사된 공기는 한 방향의 좁은 면적에만 촉감을 전달하므로 촉감이 재현되는 위치를 이동시키기 위해서는 물리적으로 노즐의 위치나 방향을 구동기로 제어하거나 다수의 노즐을 배치하여 위치 별로 다른 노즐을 통해 공기를 분사하는 방법을 사용할 수 있다.

나. 기술개발 현황

에어젯 방식은 2005년 일본 NTT Research에서 처음으로 평면에 100개의 노즐이 밀집된 형태로 소개되었다[10]. 이 연구에서는 사용자가 위치 추적이 가능한 국자 모양의 Air receiver를 들고 노즐 배열 위를 움직일 때 수직한 위치의 노즐에서 분사된 공기의 압력이 Air receiver의 컵을 통해 손잡이를 쥔 손으로 전달되도록 하였다. 이후에는 장치 구성이 어려운 다수의 노즐 배열 대신 하나의 노즐과 2차원 또는 3차원상에서 움직이는 로봇 팔을 이용한 연구가 선보이고 있다[11], [12].

공기 대포 방식은 2013년 미국 디즈니와 마이크로소프트에서 독립적으로 개발[13], [14]되었으며, 최근 미국 MIT에서는 16개의 공기 대포를 배열 방식으로 디스플레이 주위에 배치하여 빠르게 원하는 위치에 촉감을 생성하는 연구를 선보였다[15].

다. 향후 전망

공기 분사식 디스플레이는 기구적 복잡도의 증가에 비해 만들어지는 효과의 정밀도를 증가시키기 어려운 특성이 있다. 따라서 적은 수의 노즐과 저가의 공기 대포 방식을 위주로 고정밀, 고성능을 요구하는 응용 분야보다는 간단한 엔터테인먼트 콘텐츠에서의 특수효과를 생성하는 응용이 주를 이룰 것으로 예상된다.

4. 레이저 조사식 디스플레이

가. 동작 원리

레이저를 이용한 촉감 생성은 크게 레이저를 피부나 박막에 조사했을 때 나타나는 열효과를 이용하는 방법과 공중에 플라스마를 생성하는 방법이 있다.

레이저를 피부에 직접 조사하는 방식은 피부 아래에 분포하는 미세 촉각수용체(Haptic mechanoreceptor)에 레이저 에너지를 직접 전달하는 방식으로 수 나노초 길이의 레이저 펄스에 1mJ 수준의 출력을 사용한다. 이 방법은 피부 상태와 조사 부위에 따라 자극 수용의 편차가 크게 발생하므로 레이저의 인체 노출 안전성 문제와 함께 자극의 강도를 조절하기 어려운 특성을 가지고 있다.

레이저를 박막에 조사하는 방법은 박막에 레이저 에너지가 열로 흡수되면서 발생하는 열탄성효과(Thermoelastic effect)를 이용한다. 레이저가 조사되는 부위는 빠르게 가열되면서 열이 확산되기 전 가열되지 않은 주변과 큰 온도차가 발생하게 되고 열에 의한 팽창과 함께 온도차 스트레스를 해소하기 위한 기계적 변형이 발생한다[16]. 이 과정에서 발생하는 기계적 변위는 크지 않으나, 매우 빠른 시간 내에 일어나므로 이를 반복시켜 사람이 느낄 수 있는 진동 자극을 생성할 수 있다. 사용자가 레이저에 직접 노출되지 않아 안전성이 높으나 열탄성효과를 발생시키기 위한 박막을 몸에 착용하고 있어야 한다는 단점이 있다.

플라스마 생성 방식은 10¹⁴W/cm² 이상의 높은 에너지 밀도를 가지는 수십-수백 펨토초(Femtosecond) 레이저 출력으로 공중의 초점에 푸른 빛을 띠는 플라스마를 생성한다. 사용자는 이 플라스마가 피부에 닿아 방전될 때 전기 자극을 통해 촉감을 느끼게 된다. 시각적인 재현과 함께 미세한 촉감을 전달할 수 있는 장점이 있으나 제어가 어려운 고가의 펨토초 레이저를 사용하고 넓은 범위에 촉감 효과를 전달하기 어려운 단점이 있다.

나. 기술개발 현황

나노초 레이저 조사 방식은 2015년 국내 건국대학교, 조선대학교, 포항공과대학교 연구진에 의해 최초로 개발되어 주도적으로 연구되고 있다. 초기 연구에서는 532nm 파장의 녹색 레이저를 피부에 직접 조사하였으나[17] 이후 안전성과 효과의 균일성을 위해 박막에 조사하는 방식이 개발되었다. 2017년에는 근적외선 대역의 레이저와 3축 회전 헤드를 이용하여 실시간으로 입력되는 궤적을 따라 사용자의 손바닥에 촉감을 재현하는 장치를 선보였다[18]. 사용된 레이저의 조사 범위는 수 mm 이내이나 박막을 거쳐 진동으로 전달되는 경우 실제 느껴지는 촉감의 공간적 해상도는 1cm 이상으로 측정되었다.

펨토초 레이저를 이용한 플라스마 방식은 일본 츠쿠바 대학에서 2016년에 소개하였으며 약 1mm 크기의 시촉각 홀로그램을 개발하였다[19]. 촉감 재현의 공간적 범위가 작은 단점을 보완하기 위해 초음파 초점식 디스플레이와 함께 적용한 연구도 소개되었다.

다. 향후 전망

레이저는 원거리에도 적은 손실로 에너지를 전달할 수 있으며 위치 및 시간 정밀도가 높은 장점이 있으나, 현재 순간적으로 고출력을 내는 펄스형 레이저를 사용하고 있어 비용 부담과 소형화에 어려움이 있다. 기술의 제품화를 위해서는 다이오드 레이저 광원의 사용과 촉감으로의 변환 효율 향상이 필요할 것으로 예상된다. 플라스마 생성 방식의 경우 촉감 재현의 공간적 범위를 확장시키기 위해 순차적 스캐닝 방식이 보다 확장되어 연구될 것으로 보인다.

5. 전자기력 디스플레이

가. 동작 원리

전자기력을 이용한 비접촉식 촉감 생성은 피부에 부착된 자석과 극성과 자력을 조절할 수 있는 전자석 사이의 인력과 척력을 거리에 따라 제어하여 마치 공중에 물체가 있는 것과 같은 반발력을 생성하는 방법이다. 일반적으로 2차원 평면에 다수의 전자석 배열을 구성하여 공중에서 평면 위를 움직일 때 위치에 따라 인력과 척력이 변화하도록 한다. 피부에도 자석을 착용해야 하므로 비접촉식 디스플레이가 가지는 자유로움이 반감되고 촉감 재현점의 수를 늘리기 어려운 단점이 있으나, 수 cm 이내의 근거리에서 다른 방식에 비해 강한 자극을 생성할 수 있는 장점이 있다.

나. 기술개발 현황

전자기력 디스플레이는 2011년 독일 아헨 대학에서 FingerFlux라는 이름으로 소개되었다[20]. FingerFlux는 19×12개의 약 2cm의 직경을 가지는 전자석으로 구성되어 35mm의 높이까지 자극을 생성하였다. 2016년 캐나다 오타와 대학에서는 전자기력 디스플레이로 3차원 모델을 표현하기 위한 하드웨어 디자인과 소프트웨어 알고리즘, 이를 이용한 시뮬레이션 결과를 발표하였다[21]. 시뮬레이션 결과 2.2cm의 직경을 갖는 15×15개의 전자석으로 2cm 높이에서 약 0.5N 의 힘을 생성할 수 있음을 알 수 있었다. 건국대에서는 일반적인 전자기력 디스플레이와는 달리 손에 자석을 착용하지 않고 자기장으로 직접 미세수용체를 자극하여 촉감을 생성하는 연구를 진행 중에 있다[22].

다. 향후 전망

전자기력 디스플레이는 전자석 배열로부터의 거리에 따라 촉감 효과의 출력 범위가 급격하게 감소하며 수 cm 이내로 사용 범위가 제한되므로 평면에서 돌출된 구조의 버튼 등 UI 요소나 얕은 굴곡을 표현하는 데에 적합하다. 촉감 효과를 향상시키기 위해 전자석 배열에서 인접한 전자석의 자력을 차폐시키고 집적 밀도를 높이는 연구가 이루어질 것으로 보인다.