실내 가상 경기를 위한 햅틱 AR 스포츠 기술

Haptic AR Sports Technologies for Indoor Virtual Matches

저자
김종성지능형지식콘텐츠연구실
장시환지능형지식콘텐츠연구실
양성일지능형지식콘텐츠연구실
윤민성VR/AR콘텐츠연구실
권호
36권 4호 (통권 191)
논문구분
일반논문
페이지
92-102
발행일자
2021.08.01
DOI
10.22648/ETRI.2021.J.360409
본 저작물은 공공누리 제4유형: 출처표시 + 상업적이용금지 + 변경금지 조건에 따라 이용할 수 있습니다.
초록
Outdoor sports activities have been restricted by serious air pollution, such as fine dust and yellow dust, and abnormal meteorological change, such as heatwave and heavy snow. These environmental problems have rapidly increased the demand for indoor sports activities. Virtual sports, such as virtual golf, virtual baseball, virtual soccer, etc., allow playing various sports games without going outdoors. Indoor sports industries and markets have seen rapid growth since the advent of virtual sports. Most virtual sports platforms use screen-based virtual reality techniques, which are why they are called screen sports. However, these platforms cannot support various sports games, especially virtual match games, such as squash, boxing, and so on, because existing screen-based virtual reality sports techniques use real balls and players. This article presents screen-based haptic-augmented reality technologies for a new virtual sports platform. The new platform does not use real balls and players to solve the limitations of previous platforms. Here, various technologies, including human motion tracking, human action recognition, haptic feedback, screenbased augmented-reality systems, and augmented-reality sports content, are unified for the new virtual sports platform. From these haptic-augmented reality technologies, the proposed platform supports sports games, including indoor virtual matches, that existing virtual sports platforms cannot support.
   245 Downloaded 346 Viewed
목록

Ⅰ. 서론

실외 스포츠 활동은 계절별 날씨에 따른 영향뿐만 아니라 심각한 환경문제로 부각되고 있는 미세먼지, 황사, 폭염, 폭설 등으로 인해서 많은 제약이 따르고 있다. 에어비주얼이 출간한 ‘2019 세계 대기질 보고서’[1]에 따르면, 한국은 경제협력개발기구(OECD) 회원국 중 초미세먼지 오염 농도 1위를 차지했다. 또한, 환경부의 발표에 따르면 기초 지방자치단체 229곳 대상 폭염 위험도 평가결과, 폭염 위험도가 ‘높음’ 이상인 지자체가 2001~2010년에는 평균 69곳에서, 2021~2030년 126곳으로 크게 증가할 것으로 보고되었다[2]. 이와 같은 이유로 실외 스포츠 활동 대신에 실내에서 안전하게 할 수 있는 실내 스포츠 활동에 대한 관심이 지속적으로 증가해왔다. 그러나 2020년에 발생한 코로나로 인해서 미세먼지, 황사, 폭염을 피해 실내에서 스포츠 활동을 하는 것도 큰 제약을 받고 있는 상황이다[3]. 이러한 환경문제와 보건문제 등으로 인해 기존 방식의 실내 스포츠 활동을 대신할 새로운 실내 스포츠 활동을 지원할 기술이 필요한 상황이다.

가상현실(VR) 기술은 오래전부터 실내 스포츠 활동에 사용되어 왔다. 이미 친숙한 스크린 골프, 스크린 야구 등과 같은 스크린 스포츠가 이러한 VR 기반 실내 스포츠 활동이라고 할 수 있다. 감각적 그리고 인지적 사실감을 구현할 수 있는 VR 기술의 장점이 고객가치로 인정을 받으면서 국내 스크린 골프 산업의 성공을 이끌었다[4]. 이러한 VR 기술의 성공은 스크린 골프뿐만 아니라 스크린 야구, 스크린 테니스, 스크린 승마, 스크린 사격, 스크린 양궁, 스크린 볼링 등으로 종목을 확장하여 크게 성공하게 되고, 국내 시장 규모가 2019년도에 이미 5조 원에 이르게 되었다[5].

실내 스포츠 분야에 적용된 VR 기술은 기술적으로 일반적 VR 기술과 한 가지 큰 차이점이 존재한다. 관광, 의료, 제조 등 타 분야에서 VR 기술은 HMD를 주로 사용하는 반면에, 스포츠 분야에서는 스크린을 HMD보다 많이 사용하는 점이다. 이것이 VR 스포츠가 스크린 스포츠라는 용어로 대중에게 널리 통용되는 이유이다. 이러한 현상의 주요 원인은 스포츠 활동의 역동성에 기인한다. 즉, 스포츠 활동에서는 사용자의 움직임이 매우 동적인데 현존하는 VR HMD 기술은 이러한 역동성을 따라가지 못하는 이유로 많이 사용되지 못하고 있다. 이러한 원인으로 스포츠 분야에서는 HMD보다 스크린을 많이 사용하게 되었고, 이로 인해 VR 스포츠로 표현할 수 있는 사실감에는 한계가 존재하고 있다.

기존 VR 스포츠가 가지는 사실감의 한계성은 증강현실(AR) 기술을 스포츠에 접목하여 해결할 수 있다. 이러한 이유는 VR과 AR이 가지는 기술적 차이 때문에 가능하다. 즉 VR 스포츠는 가상공간을 배경으로 스포츠 활동을 체험하지만, AR 스포츠는 실제공간을 배경으로 스포츠 활동이 진행되므로 사실감 문제를 해결할 수 있다. 또한, VR 스포츠는 기술적인 한계로 실제 사용자 간에 서로 대결하는 가상 경기를 구현하기 매우 어렵지만 AR 스포츠는 이를 어렵지 않게 구현할 수 있다. 이러한 장점으로 인해서 기존의 VR 스포츠 기술로 구현할 수 없는 실내 가상 경기에 AR 스포츠 기술들을 적용하는 연구가 진행되고 있다[6-8]. 또한, AR 스포츠 기술의 사실감을 극대화하기 위해 AR 스포츠 기술에 햅틱 기술을 융합한 햅틱 AR 스포츠 기술에 대한 관심도 높아지고 있다.

본고에서는 이러한 햅틱 AR 스포츠 기술의 핵심적 요소인 사용자 모션 추적, 사용자 동작 인식, 햅틱 피드백 재연 및 증강현실 시스템의 연구내용 및 기술동향을 소개하고자 한다.

Ⅱ. 햅틱 AR 스포츠 기술

1. 사용자 모션 추적

VR 스포츠 기술과는 달리 AR 스포츠 기술의 경우에는 스포츠 활동을 위해서 가상 캐릭터가 활동하는 것이 아니라 실제 사용자가 활동하는 것이기 때문에 실제 사용자와 증강된 공간 및 증강된 객체와 상호작용을 위해서는 3차원 공간상에서 사용자의 모션 추적(Motion Tracking) 기술이 반드시 필요하다.

스포츠 분야에서는 경기에 참여하는 사용자의 위치 이동과 동시에 관절 운동이 매우 동적으로 변하기 때문에 AR 스포츠를 구현하는 사용자의 모션 추적 기술은 사용자 위치 추적(Position Tracking)과 사용자 관절 추적(Joint Tracking)을 동시에 처리할 수 있어야만 한다. 뿐만 아니라 스포츠는 종목에 따라 경기에 참여하는 선수의 규모가 달라진다. 예를 들면 권투, 태권도, 레슬링과 같은 투기 종목의 경우에는 한 명의 사용자가 한 명의 상대방과 대결하는 개인 경기이지만, 스쿼시, 배드민턴, 테니스와 같은 구기 종목의 경우에는 두 명의 사용자가 두 명의 상대방과 대결하는 그룹 경기도 있다. 또한 피구, 농구, 배구의 경우에는 세 명 이상의 사용자가 세 명 이상의 상대방과 대결하는 단체 경기도 있다. 이러한 이유로 AR 스포츠 기술을 통해서 개인 종목뿐만 아니라 단체 종목까지 지원하고자 하는 경우에는 다중 사용자 모션 추적 기술이 필요하다. 또한, 다중 사용자의 스포츠 활동에는 넓은 공간이 필요한 관계로 AR 스포츠를 위한 사용자 모션 추적 기술을 통한 추적 범위는 기술적으로 확장 가능해야만 한다. 그리고 다중 사용자가 스포츠 활동을 하는 경우에는 사용자 간 가려짐(Occlusion) 문제도 발생하기 때문에 이를 기술적으로 해결할 수 있어야 한다.

AR 스포츠를 위한 모든 요구사항을 충족하는 사용자 모션 추적 기술을 위해서는 먼저 그림 1과 같은 다시점(Multi-view) RGB-D 카메라 기반 다중 사용자 모션 추적 시스템 개발이 필요하다. 이러한 시스템에서 RGB-D 카메라[7]를 사용하는 이유는 AR 스포츠에 필요한 영상(RGB) 데이터와 깊이(Depth) 데이터를 RGB-D 카메라로 획득함으로써, AR 스포츠 구현과 함께 3차원 사용자 위치 추적과 관절 추적을 동시에 처리할 수 있기 때문이다. 이때, 넓은 실내 공간에서 사용자 간 가려짐에 강인하게 다중 사용자를 추적하기 위해서는 다시점 RGB-D 카메라를 사용해야 한다. 그림 2는 이 시스템을 이용해서 AR 스쿼시를 경기하는 모습이다.

그림 1

다시점 RGB-D 카메라 기반 다중 사용자 모션 추적 시스템[6]

출처 김종성 외, “간접 센싱 기반 실시간 연동 AR 실내 스포츠 플랫폼 개발,” 1차년도 보고서, 2020. 11.

images_1/2021/v36n4/HJTODO_2021_v36n4_92f1.jpg
그림 2

다시점 RGB-D 카메라 기반 다중 사용자 모션 추적 기술을 통한 AR 스쿼시 경기

images_1/2021/v36n4/HJTODO_2021_v36n4_92f2.jpg

2. 스포츠 동작 인식

일반적으로 동작 인식(Activity Recognition) 기술은 사용자의 신체 부위의 관절 정보를 분석하여 특정 자세 또는 움직임을 판정함을 의미하는 것으로서, 부착형 센서나 마커, 음향 기술 등이 부가적으로 활용되기는 하지만, AR 스포츠에서와 같이 사용자의 편의성 향상을 위해서 부착형 센서를 사용하지 않고 RGB-D 카메라를 통해 획득된 깊이 또는 컬러 영상 정보를 기반으로 할 수도 있다. 또한, AR 스포츠의 경우에는 단일 또는 복수 사용자 신체 관절에 대한 인식을 기초로 하여 부가적인 오브젝트 동작에 기반한 상호작용을 지원하기 위해서 표 1과 같이 종목에 따라 실제와 가상의 도구를 포함한 환경을 함께 고려할 수도 있다. 참고로, AR 스포츠는 크게 공(볼)을 사용하는 구기 종목과 비구기 종목으로 나눌 수 있으며, 세부 종목에 따라 기본적으로 수행할 수 있는 단일/구분 동작을 대상으로 하여 표 1과 같이 분류할 수 있다.

표 1 AR 스포츠 종목에 따른 인식 환경 및 분류

종목 도구 및 환경 동작
테니스 라켓, 공(가상) 등, 네트(가상), 코트라인(가상) 준비, 포핸드, 백핸드, 스매싱, 서브, 발리 등
복싱 타격 대상(가상), 링(가상) 등 준비, 잽, 스트레이트, 훅, 어퍼컷, 클린치 등
골프 클럽, 공(가상) 등 준비, 백스윙, 백스윙탑, 다운스윙, 임펙트, 팔로우스윙, 피니쉬, 풀스윙, 하프스윙 등
태권도 타격/격파 대상(가상) 등 준비, 아래막기, 얼굴막기, 몸통막기, 몸통지르기, 손날치기, 앞차기, 옆차기 등

스포츠 동작 인식 기술에서는 준비 동작으로부터 이어지는 사용자 각각의 동작을 분석하여 의도에 맞는 분류 결과를 얻는 것이 핵심이다. 더 나아가서 연속되는 동작을 일련의 시퀀스로 패턴화할 수도 있다. 예를 들어 복싱의 원(잽), 투(스트레이트), 훅의 경우 자주 사용되는 연속 기술로 일정 시간 내 순차적으로 동작이 발현되면 콤비네이션 동작으로 인식하여 판정할 수도 있다.

최근 스포츠 동작 인식 기술 개발을 위해서 딥러닝 기법이 활발하게 적용되고 있다. 타 분야와 마찬가지로 데이터 학습 기반 딥러닝 기법을 스포츠 동작 인식 기술에 적용하기 위해서는 스포츠 동작인식 시스템을 위한 학습 데이터의 구축이 필수적이다. 이러한 학습 데이터는 고속 카메라로 획득되는 스포츠 동작 영상 데이터나 모션 센서로 측정되는 스포츠 동작 모션 데이터를 활용할 수도 있겠으나, RGB-D 카메라로 추적되는 사용자의 실제 관절 데이터가 가장 효율적인 학습 데이터이다. 또한, 이러한 관절 데이터는 개별 데이터를 직접 학습하는 것보다 사용자별 편차가 없도록 그림 3과 같이 정규화하고, 스포츠 동작을 구성하는 전체 관절 데이터 세트에서 일정한 방식으로 특이점을 검출해 학습에 사용하는 것이 보다 효과적이다.

그림 3

스포츠 동작 인식 시스템의 딥러닝 학습을 위한 특이점 검출[6]

출처 김종성 외, “간접 센싱 기반 실시간 연동 AR 실내 스포츠 플랫폼 개발,” 1차년도 보고서, 2020. 11.

images_1/2021/v36n4/HJTODO_2021_v36n4_92f3.jpg

3. 스포츠 햅틱 재연

사실적인 가상 경기를 위한 스포츠 햅틱 재연(Sports Haptic Rendering)에 필요한 핵심 요소 기술로는 타격 피드백(Impact Feedback) 기술 및 모션 인식 기술이 필요하고, 이를 통해 스포츠 경기를 위해서 그림 4와 같이 라켓과 같은 스포츠 도구와 유사한 형태로 가상 경기를 위한 스포츠 햅틱 도구가 필요하다.

그림 4

실내 가상 경기를 위한 타격 피드백 및 모션 인식이 가능한 스포츠 햅틱 도구[6]

출처 김종성 외, “간접 센싱 기반 실시간 연동 AR 실내 스포츠 플랫폼 개발,” 1차년도 보고서, 2020. 11.

images_1/2021/v36n4/HJTODO_2021_v36n4_92f4.jpg

최근 타격 피드백 효과를 쉽게 재연하기 위해 진동 촉감 액추에이터(Vibrotactile Actuator)를 이용하는 타격 피드백 재연 기술이 활발하게 연구되고 있다. 이러한 진동 촉감 액추에이터로 편심 회전자(Eccentric Rotating Mass)를 통해 액추에이터의 무게중심을 일방향으로 편심되게 구성하여 회전시킴으로써 회전 불균형에 의해 진동을 발생시키는 방식이 많이 사용되고 있다.

스포츠 햅틱 도구에서는 모션 인식 기술을 통해 도구의 모션을 인식해서 스포츠 햅틱 재연에 연동해야만 한다. 이를 위해 사용자 모션 추적을 위해 사용되는 RGB-D 카메라를 통해서 스포츠 도구를 쥐는 손의 모션을 인식하는 카메라 기반 모션인식 기술을 사용하거나, 가속도, 각속도 등을 측정할 수 있는 IMU 센서를 스포츠 햅틱 도구에 부착하는 센서 기반 모션 인식 기술을 사용할 수도 있다.

4. AR 스포츠 플랫폼

일반적으로 AR 플랫폼의 구성은 AR 글래스 위주의 실·가상 객체 혼합과 인터랙션을 통해 서비스 운용 시스템을 구축하는 경우가 많았다. 그러나 미세먼지, 황사, 폭염 등의 환경문제를 피해 실내스포츠로 변화하는 가상 체육환경의 조성은 추가적인 요구사항을 고려해야 한다. 즉, 생활체육 활동은 물론 초·중·고 학교체육용 정규 교육과정을 아우르는 공공/민간용 AR 스포츠실 구축을 위해서 비착용형 AR 스포츠 플랫폼의 필요성이 요구되고 있으며, 이를 위해서 그림 5와 같이 개인 사용자뿐만 아니라 다중 사용자가 그룹 또는 단체로 실내 가상 경기를 진행할 수 있도록 멀티스크린을 통해 스포츠 경기를 위한 가상 객체를 증강하는 멀티스크린 기반 실내 AR 스포츠 플랫폼의 개발이 필요하다. 이러한 플랫폼을 통해서 학교체육과 생활체육에서 많이 요구되는 스쿼시, 테니스, 배드민턴과 같은 구기 스포츠와 태권도, 복싱와 같은 투기 스포츠를 모두 지원하기 위해서는 다중 사용자 모션 추적, 스포츠 동작 인식 및 스포츠 햅틱 재연 기술과 함께 시각적·청각적 요소들이 AR 스크린을 통해 사실적으로 공간에 증강되어야 한다.

그림 5

실내 가상 경기를 위한 멀티스크린 기반 AR 스포츠 플랫폼[6]

출처 김종성 외, “간접 센싱 기반 실시간 연동 AR 실내 스포츠 플랫폼 개발,” 1차년도 보고서, 2020. 11.

images_1/2021/v36n4/HJTODO_2021_v36n4_92f5.jpg

Ⅲ. 기술별 동향

1. 사용자 모션 추적

3차원 공간상에서 사용자의 위치와 관절을 추적하는 모션 추적 기술은 컴퓨터 그래픽스와 컴퓨터 비전 분야에서 매우 오래 전부터 연구된 원천 기술로써 게임, 영화, 방송과 같은 콘텐츠 산업에서는 모션 캡처(Motion Capture) 기술로 불리기도 한다[8,9]. 이러한 모션 추적 기술은 크게 IMU를 이용하는 센서 기반 모션 추적 기술[10]과 카메라를 이용하는 비전 기반 모션 추적 기술[11]로 분류된다. 그리고 비전 기반 모션 추적 기술은 사용되는 비전 기술에 따라서 직접 센싱(Direct Sensing)방식과 간접 센싱(Indirect Sensing) 방식으로 분류된다.

센서 기반 모션 추적 기술은 사용자가 모션 추적용 슈트를 착용한 후 추적하고자 하는 관절 부위에 IMU를 부착하는 착용형 방식이다. 이러한 착용형 방식의 센서 기반 모션 추적 시스템으로 가장 많이 사용되는 것은 Xsens[12]이다. 참고로, 이러한 센서기술을 통해 사용자 모션 추적 시스템을 개발하기 위해서는 IMU뿐만 아니라 VRU, AHRS, INS 등을 함께 사용해야 절대적 좌표 공간에서 사용자에 대한 3차원 모션 추적이 가능하다[12]. 이는 IMU를 통해서는 가속도, 각속도와 같은 상대적 모션만 측정 가능하기 때문이다. 또한 센서 기반 모션 추적을 위해서는 사용자가 전용 슈트를 착용해야 하는 관계로, 영화배우, 스포츠 선수와 같이 슈트 착용에 익숙한 특수 사용자에게는 큰 문제가 없으나, 그렇지 않은 일반 사용자는 이러한 슈트 착용이 어려울 수 있어, 이와 같은 센서를 부착해야 하는 착용형 방식은 주로 영화의 특수 효과나 스포츠 선수의 퍼포먼스 분석 등 특수한 용도에 주로 사용되고 있는 상황이다.

비전 기반 모션 추적 기술에는 IR 카메라를 통해 마커를 인식하여 모션을 추적하는 직접 센싱 방식이 있다. 이러한 직접 센싱 방식의 모션 추적 시스템에는 Vicon[13], PhaseSpace[14], OptiTrack[15] 등이 있다. 그림 6은 이 중에서 다시점 IR 카메라를 이용하는 PhaseSpace 시스템을 사용하여 사용자의 모션을 추적하는 예이다[16]. 그러나 이러한 직접방식은 센서 방식과 마찬가지로 전용 슈트 착용이 필요하다. 이러한 단점을 해결한 방식이 RGB-D 카메라를 통해 사용자의 관절을 마커 없이 인식하며 모션을 추적하는 간접 센싱 방식이다. RGB-D 카메라는 ToF 센서[17]를 통해 정밀한 깊이 측정기술이 개발되면서 다양한 분야에 사용되고 있고, 대표적으로 Azure Kinect[18], RealSense[19], Xtion Pro Live[20] 등이 있다. 그림 7은 다시점 RGB-D 카메라 기반 관절 인식을 통한 사용자 모션 추적예이다.

그림 6

AR 캐릭터 증강을 위한 다시점 카메라 기반 마커 인식을 통한 사용자 모션 추적

images_1/2021/v36n4/HJTODO_2021_v36n4_92f6.jpg
그림 7

AR 스포츠 경기를 위한 다시점 RGB-D 카메라 기반 관절 인식을 통한 사용자 모션 추적

images_1/2021/v36n4/HJTODO_2021_v36n4_92f7.jpg

2. 스포츠 동작 인식

최근 동작 인식 기술은 스포츠 분야를 비롯해 게임, 방송, 의료, 산업, 교육 등 많은 분야에서 활발하게 연구되고 있다[21]. 특히 미세먼지, 황사 등 환경문제로 실외 활동이 제한되면서 실내에서 운동할 수 있는 VR/AR 스포츠에 대한 관심이 높아지면서 이와 관련되어 스포츠 관련 사용자 동작 인식기술에 대한 관심도 높아지고 있다[22]. 과거에는 스포츠 동작 인식 기술이 스포츠 과학적 연구 목적이나 실내 스포츠 분석 위주로 연구가 되었다면, 최근에는 실제 스포츠 현장에서도 동작 인식 기술을 적용하고자 하는 수요가 커지면서 엘리트·프로선수 등의 경기력 향상을 위한 전문적인 코칭 등으로 적용분야가 확대되고 있다. 최근에 동작 인식기술을 위해 분야에 상관없이 딥러닝 기술이 활발하게 연구되고 있는 것이 중요한 특징이다[23].

초기의 스포츠 동작 인식 기술 관련 연구의 대부분은 실제 스포츠 경기 영상에서 선수들의 동작을 인식하는 것을 주로 연구하였다. 그래서 이를 쉽게 해결하기 위해서 문제를 동작 추출(Localization)과 동작 인식(Recognition)으로 분리한 후 특이점 추출, 사전 학습(Dictionary Learning), 영상 분류(Classification)를 통해서 스포츠 동작을 인식하였다[23]. 이러한 기술을 통해서 영상에서 팀 동작을 인식하는 것도 가능하지만, 기술 자체의 한계로 인해 인식할 수 있는 동작의 종류에는 많이 제약이 발생한다[24]. 이와 같은 제약은 딥러닝 기술의 강력한 학습 능력을 통해서 해결이 가능하다.

딥러닝 기반 스포츠 동작 인식 기술은 스포츠 영상 데이터를 통해서 스포츠 동작을 인식하는 영상 학습 기반 기술과 사용자 관절 데이터를 통해서 인식하는 관절 학습 기반 방식으로 분류할 수 있다. 영상 학습 방식은 영상 분류에 사용되는 CNN기반 영상 특징 추출 딥러닝 모델인 AlexNet[25], GoogleLet[26], VGG-Net[27], ResNet[28] 등을 활용하는 방식이다. 이러한 CNN 모델을 기반으로 하는 영상 학습 기반의 스포츠 동작 인식 기술을 탁구[29], 하키[30] 종목에 적용하는 연구도 진행되었다. 그러나 이러한 영상 학습 기반의 기술은 대부분 2차원 동작 인식이기 때문에 스포츠 영상 분석을 통한 코칭 등에 주로 활용되고, 3차원 동작인식을 필요로 하는 실내 가상 경기에는 적합하지 않다.

딥러닝을 이용한 영상 학습 기반 동작 인식 기술의 한계를 극복하기 위해서 그림 8과 같이 깊이 학습 기반 동작 인식 기술과 관절 학습 기반 동작 인식 기술이 연구되고 있다[31]. 이러한 기술들은 입력 데이터가 분할되어 처리되는지 아니면 연속하게 처리되는지에 따라서 CNN 기반의 딥러닝 모델 또는 RNN 기반의 딥러닝 모델을 각각 적용할 수 있다. 이 중에서 관절 학습 기반 동작 인식 기술이 처리속도와 정확도 측면에서 가장 우수하다. 최근 관절 학습 기반 기술을 위해서 GCN 모델도 연구가 활발히 진행되고 있다[32,33].

그림 8

러닝 기반 동작 인식 기술 분류

images_1/2021/v36n4/HJTODO_2021_v36n4_92f8.jpg

3. 스포츠 햅틱 재연

진동 햅틱 액추에이터를 활용한 가상 스포츠 관련 햅틱 피드백에 대한 최신 기술을 살펴보면 다음과 같다.

포항공과대학에서는 진동과 사용자 간 상호작용 원리를 기반으로 충돌 효과를 재연하기 위해 진동 액추에이터와 충격 액추에이터를 결합한 진동 충격 햅틱 피드백 기술을 개발하였다[34]. 또한, 진동 액추에이터를 사용하여 손가락에서 진동을 매개한 물체 인식 시스템인 VibEye 기술도 개발하였다[35]. 그리고 장갑형 다중 액추에이터 모듈을 이용해 사용자의 몸에 침투하는 감각을 체험하는 침투 팬텀 인지(Penetration Phantom Sensation) 촉각 경험 기술도 개발하였다[36]. 이러한 기술들은 각종 가상 스포츠를 위한 운동기구에서 손가락으로 접촉을 통한 상호작용 시 표면의 재질에 따른 미세한 촉감 차이를 표현할 수 있는 햅틱 AR 분야에 활용이 가능할 것으로 예상된다.

ETRI는 초음파 기반 공중 진동 크기 피드백 기술과 광신호 기반의 촉감 생성 기술을 통한 진동촉감 피드백을 사실적으로 재현하는 기술 개발하였다. 이 기술은 초음파 위상 배열 기술을 통해 공중의 특정 지점에서 사용자 손에 원하는 지각 출력을 정확하게 통제할 수 있다[37]. 이 기술에서 사용된 UltraHaptics[38]의 촉감 디스플레이 및 진동 촉감 피드백 기술을 응용하면, 실내 공간 내에서 햅틱 기반 AR 스포츠 경기에 적용될 수 있을 것으로 기대된다.

미국 햅틱 기술 전문 기업 Immersion[39]에서 개발한 진동 기반 터치 햅틱 피드백 기술인 Touch-Sense는 전 세계 30억 이상 엔터테인먼트 및 모바일 디바이스에서 사용되고 있다. 특히, 최근에 웨어러블 기기의 화면에 디스플레이되는 광고 영상과 각종 패턴을 보여주는 진동 기반의 촉각 피드백을 결합함으로써 VR/AR 기기 또는 웨어러블 디바이스의 사용자에게 직감적인 촉각 효과 피드백을 제공하여 몰입도를 증대시켜주는 기술 관련 다량의 핵심 특허들을 보유하고 있다. 또한, Immersion에서는 최근 사람과 컴퓨터 간 상호작용에 대한 햅틱 기술을 발표했다. 발표된 기술은 사람의 뇌 또는 척추 등에 연결된 센서로부터 전기 신호를 검출해 주는 햅틱 효과 유발 인터페이스를 통해 전기 신호 처리 프로세서로 수신된 신호에 기초해 가상 환경의 가상 물체와 상호작용 및 햅틱 효과를 결정해 주는 것을 특징으로 한다.

미국 Microsoft에서는 강체 또는 유연체들을 손으로 접촉하거나 쥐었을 때에 느껴지는 물리적 햅틱 피드백을 VR 환경에서 재현하기 위해 기계적 메커니즘 방식 및 전동모터를 사용하는 역감 햅틱 피드백 핸들 도구인 CapstanCrunch 기술을 개발하였다[40]. 개발된 기술은 전력 소모가 큰 고가의 액추에이터 없이 내장형 소형 모터로 제어되는 마찰력 기반 캡스턴 가변 저항 메커니즘을 사용한다. 개발된 기술에서 제시된 Capstan 액추에이터 모듈을 더욱더 경량화하고 소형화하게 되면, 가상공간에서 손을 사용하여 유연한 재질의 공을 쥐었다가 놓는 과정을 재연할 수 있기 때문에 구기 종목 관련 스포츠 콘텐츠 기술과 효과적으로 결합하여 활용될 수 있다.

뉴질랜드 Auckland 대학 증강 휴먼 연구실은 크리켓 배트에 힘을 감지하는 센서를 장착하여 선수의 그립력(쥐는 힘)을 감지한 후 힘 조절을 코칭할 수 있는, 역감 피드백 기반 스포츠 코칭 도구인 Cricket Coach를 개발하였다[41]. 이 기술은 진동 모터가 내장된 두 개의 손목 밴드를 통해 사용자가 공을 타격하는 동안 각 손이 가하는 상대적 힘을 느낄 수 있도록 피드백을 제공할 수 있기 때문에 AR 스포츠 기반 가상 경기에 활용될 수 있다.

4. AR 스포츠 플랫폼

실내 가상 스포츠 플랫폼 관련하여 KT에서 혼합 현실(MR) 기반 어린이용 실내 운동 플랫폼 ‘K-live X’를 개발하였다[42]. 개발된 플랫폼은 터치 인식, AR 프로젝션 기술 등을 통하여 실내 체험관 등에서 어린이들이 다양한 신체활동을 체험할 수 있도록 구축하여 사실감 있는 스포츠 체험 공간을 제공하고 있다.

피디케이리미티드[43]에서는 클라이밍 장비에 가상 암벽과 가이드를 AR 기술로 투영함으로써 사용자에게 AR 암벽 체험을 제공하는 AR 클라이밍 플랫폼을 개발하였고, 이를 통해 어린이를 대상으로 체감형 스포츠 게임 요소에 관한 연구[44]를 진행하기도 했다.

ETRI는 가상 스포츠 기업인 에어패스[45]와 공동으로 카메라를 통한 모션 및 터치 인식 시스템을 개발했고, 이를 통해 실내에서 축구, 야구, 농구, 볼링, 양궁 등 다양한 스포츠 경기와 체육 활동을 체험할 수 있는 청소년용 가상 스포츠 체험 플랫폼을 그림 9와 같이 개발하였다. 개발된 가상 스포츠 플랫폼은 문화체육관광부와 국민체육진흥공단이 주관하는 ‘가상현실 스포츠실 보급사업’을 통해 전국 초등학교 150여 곳에 보급하였다.

그림 9

카메라 기반 청소년용 가상 스포츠 플랫폼

images_1/2021/v36n4/HJTODO_2021_v36n4_92f9.jpg

캐나다 Lu[46]에서는 터치 인식 기술을 통해 실내 체육관 등에서 다양한 신체활동을 할 수 있는 인터랙티브 실내 운동 플랫폼을 개발했고, VisualSports[47]는 실내에서 스크린을 통해서 골프, 야구, 축구, 럭비, 하키 등 다양한 종목의 스포츠를 가상으로 체험할 수 있는 스크린 VR 기반 Multi-Sports 플랫폼을 개발하였다.

Ⅳ. 결론

살펴본 바와 같이 국내외에서 실내 가상 경기를 위한 사용자 모션 추적, 스포츠 동작 인식, 스포츠 햅틱 재연 및 AR 스포츠 플랫폼 관련 연구개발이 활발히 진행되고 있음을 알 수 있다. 향후 AR 스포츠 기술은 VR 기술과 기술적으로 융합되면서 XR 스포츠 메타버스로 발전시키기 위한 연구개발이 필요할 것으로 보인다.

약어 정리

AHRS

Attitude-Heading Reference Systems

AR

Augmented Reality

CNN

Convolutional Neural Networks

GCN

Graph Convolutional Networks

HMD

Head-Mounted Display

IMU

Inertial Measurements Units

INS

Inertial Navigation Systems

MR

Mixed Reality

RGB-D

Red, Green, Blue, and Depth

RNN

Recurrent Neural Networks

ToF

Time-of-Flight

VRU

Vertical Reference Units

VR

Virtual Reality

XR

Extended Reality

참고문헌

[1] 

AirVisual, "2019 world air quality report," 2020.

[2] 

환경부, "향후 10년 우리나라 폭염 위험도 더욱 높아진다," 대한민국 정책브리핑, 2019. 8. 1.

[3] 

한겨레, "코로나냐 황사냐… 봄철 실내 환기, 그것이 문제로다," 2021. 3. 16.

[4] 

장경로 외, "가상현실 스포츠에서 감각적 리얼리티와 인지적 리얼리티가 즐거움과 유용성 및 고객가치에 미치는 영향: 스크린 골프를 대상으로," 한국체육학회, 제58권, 제2호, 2019, pp. 287-306.

[5] 

한국경제, "스크린 스포츠에 빠진 대한민국, 골프·야구·볼링… ‘5兆’시장 됐다," 2019. 2. 15.

[6] 

김종성 외, "간접 센싱 기반 실시간 연동 AR 실내 스포츠 플랫폼 개발," 한국전자통신연구원, 1년차 보고서, 2020. 11.

[7] 

P. L. Rosin et al., "RGB-D image analysis and processing," in Advances in Computer Vision and Pattern Recognition, Springer, Cham, Switzerland, 2019.

[8] 

G. Welch and E. Foxlin, "Motion tracking: No silver bullet, but a respectable arsenal," IEEE Comput. Graphics Appl., vol. 22, no. 6, 2002, pp. 24-38.

[9] 

C. Bregler, "Motion capture technology for entertainment," IEEE Signal Process. Mag., vol. 24, no. 6, 2007, pp. 160-168.

[10] 

A. Filippeschi et al., "Survey of motion tracking methods based on inertial sensors: A focus on upper limb human motion," MDPI Sensors, vol. 17, no. 6, 2017.

[11] 

N. Sarafianos et al., "3D human pose estimation: A review of the literature and analysis of covariates," Comput. Vis. Image Underst., vol. 152, 2016, pp. 1-20.

[12] 

[13] 

[14] 

[15] 

[16] 

J. S. Kim and J. H. Kim, "Digital special makeup by onset motion capture," in Proc. Int. Conf. Advanc. Comm. Tech., Feb. 2011, pp. 782-785.

[17] 

M. Ye et al., "A survey on human motion analysis from depth data," in Time-of-Flight and Depth Imaging, vol. 8200, Springer, Berlin, Germany, 2013. pp. 149-187.

[18] 

[20] 

Xtion Pro Live, https://xtionprolive.com

[21] 

D. R. Beddiar et al,, "Vision-based human activity recognition: A survey," Multimed. Tools. Appl. vol. 79, 2020, pp. 30509-30555.

[22] 

K. Soomro and A. R. Zamir, "Action recognition in realistic sports videos," in Computer Vision in Sports, Springer, Cham, Switzerland, 2015, pp. 181-208.

[23] 

E. Sansano et al., "A study of deep neural networks for human activity recognition," Comput. Intell. vol. 36, no. 3, 2020, pp. 1113-1139.

[24] 

C. Direkoglu and N. E. O’Connor, "Team activity recognition in sports," in Proc. European Conf. Comput. Vis., Florence, Italy, Oct. 2012, pp. 69-83.

[25] 

A. Krizhevsky et al., "Imagenet classification with deep convolutional neural networks," in Proc. Neural Inf. Process. Syst. NV, USA, 2012, pp. 1106-1114.

[26] 

C. Szegedy et al., "Going deeper with convolutions," in Proc. IEEE Comput. Soc. Conf. Compt. Vis. Pattern Recognit., Boston, MA, USA, June 2015, pp. 1-9.

[27] 

K. Simonyan and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," arXiv, CoRR, 2014, arXiv:1409.1556.

[28] 

K. He et al., "Deep residual learning for image recognition," arXiv, CoRR, 2015, arXiv:1512.03385.

[29] 

P. E. Martin et al., "Sports action recognition with Siamese spatio-temporal CNNs: Application to table tennis," in Proc. Int. Conf. Content-Based Multimed. Indexing, La Rochelle, France, Sept. 2018.

[30] 

K. Rangasamy et al., "Hockey activity recognition using pretrained deep learning," ICT Express, vol. 6, no. 3, 2020, pp. 170-174.

[31] 

P. Wang et al., "RGB-D-based human motion recognition with deep learning: A survey," arXiv, CoRR, 2018, arXiv:1711.08362.

[32] 

S. Yan et al., "Spatial temporal graph convolutional networks for skeleton-based action recognition," in Proc. AAAI Conf. Artif. Intell., New Orleans, LA, USA, Feb. 2018.

[33] 

L. Shi et al., "Skeleton-based action recognition with multistream adaptive graph convolutional networks," arXiv, CoRR, 2019, arXiv:1912.06971.

[34] 

C. Park et al., "Realistic haptic rendering of collision effects using multimodal vibrotactile and impact feedback," in Proc. IEEE World Haptics Conf., Tokyo, Japan, July 2019, pp. 449-454.

[35] 

S. Oh et al., "VibEye: Vibration-mediated object recognition for tangible interactive applications," in Proc. CHI Conf. Human Fact. Comput. Syst., Glasgow, Scotland, May 2019, pp. 1-12.

[36] 

J. Kim et al., "Body-penetrating tangible phantom sensations," in Proc. CHI Conf. Human Fact. Comput. Syst., Honolulu, HI, USA, Apr. 2020, pp. 1-13.

[37] 

A. Raza et al., "Perceptually correct haptic rendering in mid-air using ultrasound phased array," IEEE Trans. Indust. Elect., vol. 67, no. 1, 2020, pp. 1-13.

[38] 

T. Carter et al., "UltraHaptics: Multi-point mid-air haptic feedback for touch surfaces," in Proc. ACM Symp. User Interface Softw. Tech., St. Andrews Scotland, UK, Oct. 2013, pp. 505-514.

[39] 

[40] 

M. Sinclair et al., "CapstantCrunch: A haptic VR controller with user-supplied force feedback," in Proc. ACM Symp. User Interface Softw. Tech., New Orleans, LA, USA, Oct. 2019, pp. 815-829.

[41] 

S. Muthukumarana et al., "CricketCoach: Towards creating a better awareness of gripping forces for crickets," in Proc. Augmented Human Int. Conf., Reims, France, Mar. 2019, pp. 1-2.

[42] 

[43] 

피디케이리미티드, https://pdklimited.com

[44] 

백희원 외, "어린이를 위한 체감형 스포츠 게임 요소 제안," 한국컴퓨터정보학회 하계학술대회 논문집, 2018, pp. 491-494.

[45] 

[47] 

그림 1

다시점 RGB-D 카메라 기반 다중 사용자 모션 추적 시스템[6]

출처 김종성 외, “간접 센싱 기반 실시간 연동 AR 실내 스포츠 플랫폼 개발,” 1차년도 보고서, 2020. 11.

images_1/2021/v36n4/HJTODO_2021_v36n4_92f1.jpg
그림 2

다시점 RGB-D 카메라 기반 다중 사용자 모션 추적 기술을 통한 AR 스쿼시 경기

images_1/2021/v36n4/HJTODO_2021_v36n4_92f2.jpg
그림 3

스포츠 동작 인식 시스템의 딥러닝 학습을 위한 특이점 검출[6]

출처 김종성 외, “간접 센싱 기반 실시간 연동 AR 실내 스포츠 플랫폼 개발,” 1차년도 보고서, 2020. 11.

images_1/2021/v36n4/HJTODO_2021_v36n4_92f3.jpg
그림 4

실내 가상 경기를 위한 타격 피드백 및 모션 인식이 가능한 스포츠 햅틱 도구[6]

출처 김종성 외, “간접 센싱 기반 실시간 연동 AR 실내 스포츠 플랫폼 개발,” 1차년도 보고서, 2020. 11.

images_1/2021/v36n4/HJTODO_2021_v36n4_92f4.jpg
그림 5

실내 가상 경기를 위한 멀티스크린 기반 AR 스포츠 플랫폼[6]

출처 김종성 외, “간접 센싱 기반 실시간 연동 AR 실내 스포츠 플랫폼 개발,” 1차년도 보고서, 2020. 11.

images_1/2021/v36n4/HJTODO_2021_v36n4_92f5.jpg
그림 6

AR 캐릭터 증강을 위한 다시점 카메라 기반 마커 인식을 통한 사용자 모션 추적

images_1/2021/v36n4/HJTODO_2021_v36n4_92f6.jpg
그림 7

AR 스포츠 경기를 위한 다시점 RGB-D 카메라 기반 관절 인식을 통한 사용자 모션 추적

images_1/2021/v36n4/HJTODO_2021_v36n4_92f7.jpg
그림 8

러닝 기반 동작 인식 기술 분류

images_1/2021/v36n4/HJTODO_2021_v36n4_92f8.jpg
그림 9

카메라 기반 청소년용 가상 스포츠 플랫폼

images_1/2021/v36n4/HJTODO_2021_v36n4_92f9.jpg

표 1 AR 스포츠 종목에 따른 인식 환경 및 분류

종목 도구 및 환경 동작
테니스 라켓, 공(가상) 등, 네트(가상), 코트라인(가상) 준비, 포핸드, 백핸드, 스매싱, 서브, 발리 등
복싱 타격 대상(가상), 링(가상) 등 준비, 잽, 스트레이트, 훅, 어퍼컷, 클린치 등
골프 클럽, 공(가상) 등 준비, 백스윙, 백스윙탑, 다운스윙, 임펙트, 팔로우스윙, 피니쉬, 풀스윙, 하프스윙 등
태권도 타격/격파 대상(가상) 등 준비, 아래막기, 얼굴막기, 몸통막기, 몸통지르기, 손날치기, 앞차기, 옆차기 등
Sign Up
전자통신동향분석 이메일 전자저널 구독을 원하시는 경우 정확한 이메일 주소를 입력하시기 바랍니다.