이러닝 신기술 동향

SK텔레콤은 미국 내 최대 교육사업자이자 전세계 120여개국에 교육 콘텐츠를 제공하는 호튼미플린하코드(HMH)사와 스마트러닝 사업 협력 제휴를 시작으로 시장에 참여하고 있을 뿐만 아니라, 인도네시아 최대 통신사업자인 텔콤(Telkom)과 함께 영어 교육용 스마트러닝 서비스인 ‘잉글리시 빈’을 출시하였다. 하지만 카메라를 통한 영상인식 기반 3D 증강현실이 아닌 센서 인식을 통한 링크형 증강현실이며, 해외교육 솔루션 제공에 앞서 현지 교육시스템에 대한 이해를 바탕으로 시장 접근이 이루어지지 못하였다.

구글의 게임 스튜디오 니안틱랩스(Niantic Labs)는 베타테스트 중인 증강현실 게임 Ingress를 출시하였으며 이 기술은 게이머가 실제 현실에서 참여하는 이벤트와 게임이 연결되는 점이 특징이다[1].

Sony는 증강 현실을 활용한 비디오 게임 ‘the Eye of Judgement’를 출시했으며, 이는 (그림 1)과 같다.

(그림 1)

Sony의 증강현실을 활용한 비디오게임‘the Eye of Judgement’

Total Immersion사는 본격적인 시장 진출을 위해 모바일 증강현실 게임 개발사인 Int13과 파트너십을 맺고 AR(Augmented Reality) 게임을 개발하였다. 닌텐도는 마커트랙킹을 기반으로 한 3D 증강현실 게임을 위해 무안경 3D 디스플레이를 탑재한 모바일 게임기를 발표하였다.

출판 업체인 McGraw-Hill은 수학, 과학 정규 교육과정 콘텐츠를 클라우드 기반으로 다양한 단말기에서 사용 가능한 형태로 제공하고 있다.

하지만 이들 대부분은 게임용 콘텐츠를 위한 증강현실 기술이며, 디바이스에 종속된 기술들이다. 대부분의 증강현실 서비스는 무료로 제공되며, 게임 등 일부 장르의 애플리케이션에서만 유료화가 성공을 거두고 있다. 또한 3D 공간인식 기술은 현재 스마트폰의 처리능력으로는 실현이 불가능한 상황이다.

실감형 이러닝 학습시스템은 증강현실 기술을 기반으로 고품질의 3D 학습 콘텐츠를 책이나 마커와 같은 인쇄물에 증강시켜 학생들로 하여금 몰입감을 느끼면서 학습할 수 있는 환경을 제공하는 스마트러닝 시스템이다.

실감형 학습시스템 저작도구는 증강현실 기반의 학습환경에서 사용할 콘텐츠를 비 전문가도 손쉽게 저작할 수 있게 하는 저작도구이다((그림 2) 참조). 본 저작도구는 학습교재의 이미지나 기하마커와 학습 콘텐츠와의 연관성을 설정하고, 사용자 반응에 따른 인터랙션 요소를 정의하는 기능을 제공한다. 또한 저작과 동시에 콘텐츠와 인터랙션 실행결과를 확인 가능하도록 실시간 시뮬레이션 기능을 제공한다.

(그림 2)

실감형 학습 시스템 저작도구

실감형 학습시스템 뷰어는 (그림 3)과 같다. 이 뷰어는 인식기를 통해 전달받은 정보를 이용하여 책의 실사 영상 위에 고품질의 가상 학습 콘텐츠를 합성하여 학습자에게 제공한다. 실감형 학습시스템 뷰어는 2D/3D 콘텐츠 뿐만 아니라 동영상, 오디오 등의 복합 콘텐츠를 표현할 수 있으며, 터치, 기울이기와 같은 학습자의 다양한 행위에 콘텐츠가 반응하는 인터랙션 역시 제공한다.

(그림 3)

실감형 학습시스템 뷰어

EBS는 ‘생방송 톡톡 보니하니’ 방송 프로그램에서 사람의 몸에 대해 이해하기 쉽도록 증강현실을 적용한 방송 시험에 성공하였다((그림 4) 참조). 그리고 시청자들을 대상으로 인터뷰를 한 결과 대체적으로 증강현실을 이용한 인체 내부에 관한 방송에 긍정적으로 생각함을 알 수 있었다. 그 중 한 시청자는 “시청하고 있던 TV가 3D TV가 아님에도 불구하고 시청하고 있는 화면에 인체에 관한 3D 화면이 같이 나오고 있어 신기하다”고 응답하였다[2]. 이와 같이 증강현실을 이용한 방송은 시청자의 방송프로그램에 대한 흥미를 높이고, 생생한 정보 전달력을 통해 시청자에게 전달하고자 하는 정보를 효과적으로 전달할 수 있음을 확인할 수 있다[3].

(그림 4)

EBS ‘생방송 톡톡 보니하니’에서 방영된 ‘증강현실을 이용한 인체 내부 보기’

가. 학습 콘텐츠와 학습자 간 인터랙션 기술

대형 3D 스크린 앞 관객의 몸동작을 인식하여 문화 콘텐츠와 인터랙션 할 수 있는 디스트릭트의 NUI(Natural User Interface) 기술은 사용자에게 밀림 탐험, 악기 연주와 같은 높은 수준의 UX를 제공한다.

대형 전면 스크린 환경에서 사용자의 안면과 손을 인식하여 정보탐색, 가상투어를 할 수 있는 삼성전자의 3D 인터페이스 기술은 콘텐츠와의 상호작용이 배제된, 기존 마우스의 역할을 사용자 손, 얼굴로 대체하는 컨트롤러 기능만을 제공한다.

나. 실사 기반 가상공간 비게이션 기술

한울 네오텍사는 Hair ART라는 증강현실 헤어 스타일링 시뮬레이션 제품을 개발하였다. 이는 사용자의 머리 영역을 실시간으로 추적하여 새로운 스타일의 머리를 합성하여 보여주는 애플리케이션이지만, 사용자의 초기 얼굴형을 잡아주어야 하고 사용자가 화면에 크게 보이는 환경에서 동작하는 한계가 있다.

가. 다중 정보 기반 학습자 추출 기술

마이크로소프트의 XBox용 모션 컨트롤러인 ‘키넥트’는 깊이 카메라를 이용해 사용자와 사물을 구별하고, 사용자를 추출한다. 그러나 깊이 정보에 기반 하여 사용자를 추출하기 때문에 추출 결과가 매끄럽지 못한 단점이 있다.

또한 미국의 CNN은 44대 대통령 대선 방송에서 원격지 스튜디오의 리포터를 40대의 카메라와 20대의 컴퓨터로 촬영하여 구성하여 실시간 방송에 합성하여 보여주었다. 이 기술은 기존의 크로마키 방식의 단순 합성과는 차별화되나, 40대의 카메라와 20대의 컴퓨터를 포함한 특수 스튜디오가 필요한 제약점이 있다.

그리고 미국의 Kentucky 대학의 MIA 연구실에서는 웹캠과 적외선 카메라로부터 입력되는 가시광 이미지와 열 이미지 정보를 융합하여 배경을 제거하는 알고리즘을 연구하였다. 이는 두 개의 이미지 정보를 융합하므로 속도에 한계가 있다. 그리고 배경을 제거하여 사용자를 추출하기 때문에 겹쳐있는 사용자나 가려져 있는 사용자를 추출할 경우 배경 제거의 모호성으로 인해 추출 결과가 매끄럽지 못한 단점이 있다.

나. 학습자 합성 및 동기화와 기술

EON reality사의 EON Cube 및 Univ. Illinois의 CAVE 등에서 학습자를 합성하는 기술을 보유하고 있으며 이는 (그림 5)와 같다. 이 기술은 실사와 사용자를 단지 합성하는데 그쳐 현실감이 떨어지는 단점이 있다. Microsoft XBox, Playstation3는 엔터테인먼트 목적으로 카메라로부터 사용자를 입력 받아 실시간으로 합성하는 기술을 가지고 있다. 하지만 고성능의 카메라를 이용함에도 불구하고 자연스럽게 합성되지 않고, 콘텐츠에 정의된 위치 이외에는 합성되지 않는 단점이 있다.

(그림 5)

가상현실의 학습자 합성 및 동기화 기술

다. 실시간 혼합 현실 렌더링 및 투영 기술

Vienna Univ. of Tech은 광각 카메라로 광원의 위치를 마커를 이용하여 확인하여 이를 증강된 물체에 적용하는 방법에 대한 연구를 진행하였다. 하지만 광원의 위치를 마커를 이용해 실시간에 추적해야 하는 부담이 있다. 도쿄대학교는 실외환경에서 스테레오 이미지를 사용해 거리를 측정하고 빛을 인식해 이를 기반으로 가상 그림자를 그리는 방법에 대한 연구를 진행하였다. 하지만 1,024 해상도에 대해 초당 2 프레임으로 실시간성이 보장되지 않는다. 독일 베를린의 블링켄라이트(Blinkenlights)의 사람들이 휴대폰으로 번호를 누르면 건물 전체가 거대한 퐁(Pong: 2명이 작은 막대기로 공을 쳐서 공이 밖으로 나가지 않게 하는 게임) 게임장으로 변모하는 미디어 파사드 기술을 개발하였다.

라. 실환경 공간 인식 및 3D 공간 동기화 기술

CMU는 IR 센싱 기술을 이용해 다양한 평면, 우산, 부채, 신문 등의 표면을 동적으로 인식하고, 해당 면에 정합된 영상을 동적으로 디스플레이해 공간적 증강현실 서비스를 제공하는 foldable display 기술을 개발하였다. 그러나 증강 SW에서 미리 지정한 투영 대상 물체 표면의 특정 위치에 IR 반사 테이프를 부착해야 해당 모양이 인식 가능하다는 제약이 있다. MIT Media Lab의 Fluid Interfaces Group은 Sixth sense라는 기술을 통해 사용자 현실공간 및 오브젝트에 해당 오브젝트와 관련된 정보를 직접 투영하고, 사용자가 실시간으로 인터랙션할 수 있는 기술을 개발하였다. 그러나 사용자 인터랙션 인식을 위해 골무형 색상 마커를 착용해야 하고, 현실 오브젝트에도 이러한 마커 패턴을 부착해야 하는 제약이 있다. Primesense사는 Primesensor라는 사용자 공간 인식용 비전 센서 기술을 개발했다. 해당 기술은 IR을 활용해 Lightcoding 방식으로 사용자 인터랙션 및 공간을 동적으로 인식하고, NITE 미들웨어를 통해, 손쉽게 활용할 수 있도록 한다. 하지만 이를 활용한 3D 공간 정합 기반 증강현실 서비스 제공 애플리케이션은 개발자가 직접 개발해야 하며, 별도의 콘텐츠 저작도구도 지원하지 않는 단점이 있다.

입체몰입형 학습기술은 입체 3D 학습 콘텐츠 개발과 관련있으며 혼합현실(Mixed Reality) 기술을 접목하여 가상환경 속의 자신의 모습을 보며 입체 3D 가상환경에서의 학습기능을 제공한다. 입체 몰입형 학습기술은 크게 학습자와 콘텐츠 간 인터랙션 기술, 몰입형 학습자 콘텐츠 참여기술, 몰입형 콘텐츠 저작 기술로 구성되며 그 외 원격지 학습자 간 협력 학습을 위한 서비스 플랫폼으로 구성된다. 콘텐츠 저작기술을 이용하여 개발된 콘텐츠는 (그림 6)과 같다.

(그림 6)

입체 몰입형 학습 콘텐츠

학습자와 콘텐츠 간 인터랙션 기술은 학습에 필요한 3D 가상 환경 및 객체와 사용자 간의 인터페이스를 제공하는 기술이며 다음과 같은 핵심 기능을 제공한다. 주요 기능으로는 3D 객체 터치/클릭/이동/회전, 사용자 모션 기반 가상 객체와 사용자 간 물리 연동, 사용자 의사전달 및 상태제어 제스처 인지, 인터랙션 가이드 및 피드백이 있다.

몰입형 학습자 콘텐츠 참여기술은 가상 3D 환경에 사용자가 참여하여 높은 몰입감을 느낄수 있도록 하는 혼합현실 기반 기술이며 핵심 기능 4가지 다수 학습자 식별 및 추적, 다수 학습자 영상 추출 및 온/오프라인 합성/동기화, 학습자 인지 기반 뷰 변환 및 네비게이션, 실시간 혼합현실 랜더링을 제공한다.

몰입형 콘텐츠 저작 기술은 학습에 필요한 입체 3D 콘텐츠를 저비용/고효율로 저작하기 위한 기술이며 높은 범용성을 가지며 핵심 기능으로 액션존 기반 실사용자-가상 환경 매칭 및 시뮬레이션, 템플린 기반 사용자 인터랙션 저작 지원, 타임라인 기반 씬 구성 및 이벤트 동기화를 제공한다.

국내 E-Book 관련 스마트러닝 시장을 살펴 보면 다음과 같다.

교과부는 2012년도부터 전자책 표준인 EPUB을 기반으로 한 디지털교과서 뷰어 및 콘텐츠 개발사업을 추진하고 있다. 디지털교과서는 기존 교과내용(서책형 교과서)에 용어사전, 멀티미디어 자료, 평가문항, 보충심화 학습 내용 등 풍부한 학습자료와 학습지원 및 관리기능이 부가되고 교육용 콘텐츠 오픈마켓 등 외부자료와의 연계가 가능한 학습용 교재로 개발되고 있다.

하지만, 범용성이 확보된 표준규격의 민간 보급을 통해 디지털교과서 개발에 따른 혼란을 방지하고, 다양한 부가 콘텐츠 생산을 촉진하여 시장 활성화에 기여하는 것이 필요하다. 또한 현재 고려되고 있지 않은 디지털 교과서 저작도구에 대한 신기술 개발과 더불어 기존 저작도구 및 뷰어의 연계를 통한 안정적인 디지털교과서 콘텐츠 개발 및 서비스 환경 구축이 필요한 상황이다.

나모인터랙티브는 최근 EPUB 기반 전자책 편집을 지원하는 펍트리 솔루션을 개발하였다. 펍트리 솔루션을 활용하면 기존의 전자책 소비자로만 머물던 일반인도 전문가의 도움 없이 쉽게 저작활동을 할 수 있다. 펍트리 에디터는 기존 저작도구와 달리 EPUB3/EPUB2 국제 표준 포맷을 지원하며, HTML5 기반의 수식, 도형, 차트 삽입이 가능하다. 또한 비디오/오디오 파일 삽입 및 CSS3로 표현하는 화려한 텍스트와 애니메이션 효과 등의 멀티미디어 기능이 강화됐다.

SK텔레콤은 태블릿PC 기반 교육 플랫폼 사업을 추진중이다. SK텔레콤이 통신과 쌍방향 교육 플랫폼을, 제휴 콘텐츠 업체가 이 플랫폼 위에서 다양한 학습 콘텐츠를 제공하는 형태다. 단순 동영상 강의 신청뿐만 아니라 쌍방향 공유가 가능한 전자책까지 구현했다. 안드로이드태블릿 서비스를 먼저하고 향후 아이패드 서비스도 할 예정이다[5].

인터파크는 한글과컴퓨터와 e-book 제작 변환 솔루션을 개발하여 제휴 출판사에 무료로 배포하였다. 이는 기존 종이책으로 제작된 쿼크익스프레스(Quark Xpress)파일을 전자책 표준인 ePub 파일로 손쉽게 변환하고 편집할 수 있는 장점이 있다.

모글루는 일반 사용자도 마우스만을 이용해 손쉽게 동영상, 애니메이션, 소리 등을 넣어 인터랙티브 전자책을 쉽게 만들 수 있게 지원하는 전자책 플랫폼 모션에이드를 개발하였다. 그리고 모글루는 모션에이드를 이용해 인터랙티브 전자책 ‘카페러너’를 한국, 미국, 일본에 동시 출시하였다.

전자책 및 디지털교과서 전문기업 아이포트폴리오는 자체 전자책 변환 및 뷰어를 지원하는 ‘스핀들 북스(Spindle Books)’를 개발하였다. 스핀들 북스는 인쇄 본판을 e-Book으로 변환할 수 있으며, 여기에 각종 멀티미디어 자료와 기능을 결합한 전자책 서비스 제공이 가능하다.

ePub은 IDPF(International Digital Publication Form)에서 표준화를 지속적으로 추진 중인 단체 표준이며 텍스트 재정렬이 가능한 콘텐츠의 전송과 생성, 그리고 서로 다른 ePub 호환 리딩 디바이스와 애플리케이션 사이에 상호운용이 될 수 있도록 한다. 현재 MS Word, Adobe, Open Office, Sigil, Jutoh, LaTex, yWriter 등 e-book을 위한 저작도구가 많이 존재하지만, 대부분 텍스트, 그림, 소리, 영상을 이용해 e-book을 만들 수 있는 에디터로써의 기능만 할 뿐, 콘텐츠-사용자 간의 인터랙션을 통한 다양한 경험을 제공은 못하는 실정이다.

어도비는 어도비 플래시를 기반으로 인터랙티브적인 요소를 추가할 수 있는 전자책 제작도구 ‘어도비 디지털 퍼블리싱’을 통해 아이패드용 전자책앱 제작을 위한 전문적인 제작환경을 제공한다. 하지만, ePub표준이 아닌 어도비 독자적인 형식을 갖고 있는 한계가 있다.

미국 최대 교과서 제작업체인 Pearson사, Miffin Harcourt, McGraw-Hill사는 아이패드용 전자교과서 공급 예정으로 아이튠즈 U, 전자교과서를 시도하고 있다.

미국의 Apple은 EPUB3 뷰어인 iBook((그림 7) 참조)과 자체 e-book 저작도구인 iBook Author((그림 8) 참조)를 출시하였다. iBook은 현재 EPUB3 포맷을 가장 잘 지원하는 태플릿용 뷰어로, Collada 포맷을 이용한 전용 엔진을 탑재하여 3D 콘텐츠를 제공할 수 있지만 확대/축소, 회전 인터랙션 등 간단한 보기 기능만 지원하고, 문항의 경우에도 퀴즈 형태의 객관식 1가지 유형만 지원하고 있다. iBook Author를 통해 제작하는 e-book은 애플의 iBook store를 통해 바로 출판 및 판매가 가능하도록 연계가 매우 잘 되어 있는 점이 큰 강점으로, 일반 사용자도 본인이 창작한 콘텐츠를 쉽게 배포하고 판매하는 것이 가능하다. 하지만, iBook은 사용환경이 애플사의 PC, 태블릿, 휴대폰 등으로 한정된다는 점과 수익의 일정 부분을 반드시 애플사와 공유해야 한다는 단점이 있다.

(그림 7)

Apple의 iPad용 ibook

(그림 8)

Apple의 e-book 저작도구 iBook Author

Amazon은 온라인 서점 시장의 선구자로, 책 판매부터 시작하여 책 추천, 전반적인 전자상거래 등으로 사업 확장을 하였으며, 일찍부터 e-book의 가능성을 확인하고 독자적인 e-book포멧과 e-ink기반의 전자책 리더(Kindle)를 개발하고 보급하였다. 특히 Kindle에 CDMA기반의 통신 기능을 추가하여 독자들이 쉽게 전자책에 접근할 수 있도록 개발하였다.

e-Book 저작을 위해서 다양한 형식의 콘텐츠가 사용된다. 그러나 기존의 저작도구는 다양한 콘텐츠를 저작도구로 직접 가져와서 편집하는데 한계가 있었다. 또한 인터랙티브한 콘텐츠 제작을 위한 다양한 인터랙션 스크립트 편집과 함께 교육 콘텐츠 제작을 위한 문항 편집 등과 같은 기능이 제공되지 않거나 극히 일부만 지원되었다. 더욱이 저작이 완료된 e-Book을 멀티 플랫폼 환경으로 배포하는 것 역시 많은 문제점을 가지고 있었다.

현재 한국전자통신연구원에서는 이러한 한계를 극복하기 위해 콘텐츠 편집 플러그인 기반 협업 인터랙티브e-Book(CI-Book: Collaborative Interactive e-Book) 저작도구를 개발하고 있다.

개발 중인 인터랙티브 e-Book 저작도구는 저작도구가 직접 편집할 수 없는 외부의 콘텐츠들, 예를 들어 3D, 이미지, 오디오, 비디오 등의 콘텐츠들을 직접 편집하고, 편집된 내용을 저작도구로 가져와서 저작 중인 e-Book에 삽입할 수 있는 외부 콘텐츠 편집기와 함께 사용자 상호 작용 스크립트 라이브러리 편집기, 문항과 같은 교육관련 템플릿 편집기 등을 플러그인 형태로 제공하고 있다.

현재 개발되고 있는 저작도구는 크게 e-Book 관리자, 페이지 디자이너, 플러그인 관리자, 스크립트 편집기, e-Book 변환기로 구성된다.

e-Book 관리자(e-Book Manager)는 현재 작업 중인 e-Book의 페이지, 블록, 스크립트, 콘텐츠어셋(asset), 제작 정보를 관리하는 기능을 제공한다. 페이지 디자이너(Page Designer)는 저작도구의 최소 콘텐츠 편집 단위인 블록을 기준으로 고정(fixed) 또는 유연한(flexible) 페이지 레이아웃 편집을 지원한다. 플러그인 관리자(Plug-in Manager)는 저작도구와 연결된 다양한 콘텐츠 편집 플러그인 및 인터랙티브한 콘텐츠를 제작하기 위한 인터랙션 스크립트 API 라이브러리의 삽입 컨트롤과 교육서비스를 제공하기 위한 문항 탬플릿 편집 컨트롤을 제공한다. 스크립트 편집기(Scirpt Editor)는 자동 스크립트 생성 및 사용자와 콘텐츠 간의 상호작용 이벤트를 정의 및 제작할 수 있는 액션 스크립트 편집기를 제공한다. e-Book 변환기(e-Book Exporter)는 제작된 e-Book 콘텐츠를 ePUB3 또는 HTML5 등의 e-Book 형식으로 출력하기 위해 XML 기반으로 제작된 작업 파일을 사용자가 선택한 포맷으로 변환하여 출력할 수 있는 기능을 제공한다. 마지막으로 e-Book 미리보기(e-Book Previewer)는 현재 편집 중인 e-Book의 내용을 미리 확인하고, e-Book의 콘텐츠에 설정된 인터랙티브 이벤트들을 정의하는 액션 스크립트들이 정상 동작하는지 시뮬레이션할 수 있다. 기존의 저작도구와 달리, CI-Book 저작도구는 다음과 같은 차이점이 있다. 먼저 위지윅(WYISIWYG) 기반 플러그인 편집기 인터페이스를 기반으로 다양한 멀티미디어 콘텐츠 편집기를 제공한다. 따라서 기존 PDF나 HWP 등의 기존 내용도 바로 저작도구로 불러들여 e-Book 저작에 사용할 수 있다. 또한 텍스트, 2D/3D, 비디오, 오디오와 같은 멀티미디어 콘텐츠를 포함하는 블록들을 고정 또는 동적 페이지 레이아웃에 따라 자유롭게 페이지에 배치할 수 있고, 이를 다양한 단말기에서 출력할 수 있다. 또한 사용자와 콘텐츠 간의 상호작용 이벤트를 정의하는 다양한 액션 스크립트를 편집 할 수 있다. 사용자는 미리 정의된 스크립트 템플릿을 사용하여 마우스 클릭으로 인터랙션 이벤트를 바로 생성할 수 있다.

또한 복잡한 이벤트는 자바 스크립트를 사용하여 직접 편집할 수 있다. 마지막으로 디지털교과서와 같은 교육용 콘텐츠 저작에 필요한 문항 편집과 수식 편집을 플러그인 기반 편집기로 제공하고 있다. (그림 9)와 같이, 현재 디지털교과서를 포함하여 브로셔, 학습지와 같은 다양한 e-Book 콘텐츠가 저작도구를 통해 저작되고 있으며, 향후 고품질 디지털 제품 브로셔, 쌍방향 학습이 가능한 e-Book 학습지, 그리고 3D 시뮬레이션 등 다양한 콘텐츠를 포함하는 디지털교과서 저작에 활용될 전망이다.

(그림 9)

CI-Book 저작도구 e-Book 콘텐츠 샘플