시각장애 학습자를 위한 그래프 전달기술 기술동향 및 전망

Audio Graphing Calculator(AGC)는 일반 계산기를 사용하기 불편한 시각장애 학생들이 간단한 계산을 손쉽게 할 수 있고, 수식의 작성 및 변경, 작성한 수식을 바탕으로 그래프를 생성하고 음성으로 인식할 수 있도록 도와주는 계산기이다. 위 소프트웨어는 메뉴, 데이터, 함수, 텍스트 등 모든 문자 정보를 음성으로 말해주고, 별도의 스크린리더 없이도 소프트웨어가 제공하는 모든 기능에 접근할 수 있도록 설계되었다. 생성된 결과물은 시각장애를 가진 학습자를 위해서 직관적인 음성피드백으로 준다[(그림 1) 참조]. 구체적으로 그래프 형태를 소리 높낮이로 표시하거나, 메뉴를 음성으로 설명하거나, 키보드 네비게이션, 결과물 표현 옵션, 그래프 교차점 안내 등의 기능이 있다.

(그림 1)

Audio Graphing Calculator 프로그램 화면

<출처>: https://viewplus.com/product/audio-graphing-calculator/

NASA에서 개발한 Math Trax는 앞서 설명한 AGC와 비슷한 성격의 소프트웨어다. 중·고등학교 학생들 수준의 수식을 입력하면 그 정보를 바탕으로 그래프를 나타내어 주고, 그 그래프의 형태를 음성으로 설명 및 소리로 나타내어 준다[(그림 2) 참조].

(그림 2)

Math Trax 프로그램 화면

<출처>: http://prime.jsc.nasa.gov/mathtrax/

기존의 정안인 학습자용 교재에 있는 그래프들을 시각장애 학습자도 학습 가능한 굴곡이 있는 형태로 변경하기 위해서는 고도의 훈련된 점자변환 전문가가 그래프 하나하나를 직접 변환하여 출력해야 하므로 제작비용이 많이 들고 제작 시간도 오래 걸린다[(그림 4) 참조].

(그림 4)

시각장애 학습자를 위해 변환된 촉지그래프

<출처>: http://www.vbsmn.org/transcription.html

미국 워싱턴대학교에서는 위와 같은 번거로운 과정들을 자동화하여 시각장애 학습자용 그래프를 제작해 주는 기술(Tactile Graphics Assistant: TGA)을 개발하였다[8]. 본 기술은 그래프를 시각장애 학습자들을 위해 입체감 있는 외곽선으로 만들어 주는 것뿐만 아니라 그래프에 포함된 글자들도 점자로 고쳐주는 기능을 가지고 있다. (그림 5)는 전체적인 변환 순서를 나타낸다. 먼저 그래프 이미지를 인식하여 그림요소와 텍스트요소를 구별한다. 글자들은 점자로 변환하고, 그림은 요소별로 간단히 하는 프로세스(외곽선 등 추출)를 거친 후 굴곡을 통해서 나타낸다. 위의 기술을 이용하여 수학 교과에 나오는 수많은 그래프뿐만 아니라 도형 및 그림 등 다양한 시각적 자료들을 시각장애를 가진 학습자들이 쉽고 간단히 접근할 수 있는 자료로 변환할 수 있다는 장점이 있다.

(그림 5)

TGA 제작 순서[8]

하지만 이와 같은 자료를 제작하기 위해서는 해당 소프트웨어를 자유자재로 사용할 수 있는 기술을 가진 전문가가 제작해야 한다는 한계점이 있고, 값비싼 점자프린터 설치비용, 시각장애 학생마다 변환된 보충자료를 받아들이는 방식이 상이하기 때문에 점자 자료를 제작하는 방식도 개별적으로 차이가 난다는 점이 문제점으로 꼽힌다. 또한, 오랫동안 사용함에 따라 제작한 양각 점자가 닳아서 들어가 버리는 문제점도 가지고 있다.

앞서 설명한 점자프린트를 이용한 그래프 제작의 번거로움을 없애기 위해, 미국 The George Washington University, University of Maryland에서는 수식정보를 입력하면 3D 프린트를 통해 시각장애를 가진 학습자들도 학습할 수 있는 그래프를 제작해 주는 소프트웨어를 공동개발하였다[9]. (그림 6)은 위 연구진이 개발한 3D 프린트기반 그래프 제작용 프로그램과 실제 제작된 그래프 학습자료이다. 프로그램에는 그래프 제목, 그래프 크기, 함수식 등을 입력하는 항목이 구성되어 있다. 여기서 특이한 점은 시각장애를 가진 학습자의 점자 학습 여부에 따라 x축 y축의 데이터들을 점자로 나타낼지 숫자로 나타낼지 선택할 수 있다는 점이다. 위와 같은 소프트웨어를 통하여 특수한 기술을 가진 점자프린트 제작자 없이 일반 수학교사들도 손쉽게 시각장애 학습자가 접근 가능한 그래프를 제작하여 수업시간에 활용할 수 있다. 또한, 점자프린트를 이용하여 제작한 학습자료보다 내구성이 좋아 더 오랫동안 사용할 수 있다.

(그림 6)

3D 프린터를 이용한 시각장애 학습자용 그래프 학습 도구[9]

하지만 3D 프린터를 쉽게 구할 수 없다는 점, 그래프를 제작하는 데 시간이 오래 걸린다는 점이 한계점으로 나타난다. 또한, 아직 3D 프린트의 기술적 한계로 인하여 큰 크기의 그래프 제작 불가, 그래프의 세세한 크기 조절 불가, 그래프의 선, 그리드, 숫자들에 대한 높이 설정이 불가능하여 학습자마다 인식의 차이를 불러일으킬 수 있다. 해당 연구팀에서는 앞으로 시각장애 학습자들도 소프트웨어에 접근할 수 있도록 하여 스스로 그래프를 제작하고 학습할 수 있는 것이 향후 과제로 여겨진다.

앞서 설명한 두 가지의 촉각 종류 중 점자로 대표되는 질감을 활용한 그래프 전달기술 분야가 아닌, 근육 수용기로 느끼는 역감을 활용한 그래프 전달기술도 다수 개발되었다. 구체적으로 햅틱 장치 (그림 7)을 이용하여 시각장애 학습자들이 그래프 형태를 이해할 수 있도록 하는 시스템이 여기에 해당한다. 하지만 기존의 역감 기반 햅틱 장치를 이용한 그래프 전달은 그래프 형태를 양각으로 제작하여 시각장애 학습자들이 쉽게 형태를 따라가지 못하고 그래프 선에서 이탈해 버리는 문제점이 있다. 이를 해결하기 위해 추가적인 힘을 작용시키는 등 다양한 연구가 진행되었다[10][11]. 그중 영국 Glasgow 대학에서는 그래프 선 주변을 V 형태의 음각으로 표현하여 시각장애 학습자들이 그래프 형태를 안정적으로 인지할 수 있도록 하였다[(그림 8) 참조][11].

(그림 7)

Sensable사가 개발한 햅틱 장치 Phantom Omni.

<출처>: http://www.vrlab.ctw.utwente.nl/eq/PhantomOmni.html

(그림 8)

V자 홈을 이용한 그래프 모델링 기술[12]

그래프 형태를 인지하는 것뿐만 아니라, 복수의 그래프 선들을 구별하여 이해하며, 각각의 그래프들의 형태 및 특징을 비교할 수도 있어야 한다. 복수의 그래프를 한 좌표 내에 구현하기 위해서 다양한 연구가 진행되었다. 그중 대표적인 방법이 각각의 그래프 선들을 다른 표면 마찰력으로 표현하는 방식이다[11][13]. 그래프 선 구별뿐만 아니라 복수의 그래프를 구현하면 문제가 되는 것이 각 선의 접점이 존재한다는 것이다. 앞으로 접점에서 이해하고자 하는 선과 다른 선들을 구별하는 방법에 대한 연구가 필요하다.

그래프의 특정 위치에서 정확한 x 및 y 좌표값을 알기 위해서 그래프 배경에 눈금선을 추가하는 경우도 있다. 하지만 이 경우 시각장애 학습자가 눈금선 하나하나를 세고 기억하며 그래프를 이해해야 하며, 그래프 선과 눈금선을 쉽게 구별할 수 없으므로 문제점으로 인하여 쉽게 혼돈할 수 있어, 효과적인 그래프 전달방법이 아니라는 문제점이 지적되었다[13]. 위와 같은 문제점을 해결하기 위하여 촉감을 기반으로 한 눈금선이 아닌 촉각과 음성을 동시에 활용한 복합 그래프 전달방법이 고안되었다.

미국 Vanderbilt University에서 오디오, 햅틱 신호를 활용한 터치스크린 기반 그래프 및 도형 학습 도구를 개발하였다[14]. 학습자가 화면을 터치하면 터치스크린 단말기에 내장된 센서를 통해 학습자가 어느 부분을 터치하였는지 인식하게 되고 그 정보를 컴퓨터에 전달한다. 컴퓨터 프로그램을 통해 입력 정보를 처리하여 촉각 및 소리피드백 신호를 보낸다. 터치스크린 단말기에 내장된 엑츄에이터를 통해 진동신호를 보내고 스피커를 통해서 음성신호를 보낸다. 학습자는 이러한 진동신호와 음성신호를 통해 그래프의 위치, 기울기를 확인하고 좌표평면의 점의 위치를 확인하고, 도형의 형태를 학습할 수 있다. 특별한 도구를 개발할 필요 없이 현재 많이 보급된 터치스크린 단말기를 이용하여 시각장애 학습자도 그래프, 도형 학습이 가능하다는 이점을 가지고 있다. 이를 통해 교사가 시각장애 학습자를 위한 특별한 학습자료를 제작할 필요 없이 손쉽게 시각장애 학습자를 교육할 수 있을 뿐만 아니라 동시에 많은 학생을 지도할 수 있게 되었다. 실제로 테스트를 통하여 학습자가 좌표 위의 특정 점의 위치를 손쉽게 파악할 수 있었으며, 각 그래프 선들의 형태나 기울기 구별도 가능하였다. 하지만 본 연구에서 촉각과 시각의 최적화된 조합을 찾아내야 한다는 과제를 가지고 있다. 앞으로 정안인 및 시각장애 학습자들이 동시에 학습할 수 있는 교육콘텐츠를 제작할 예정이다.

(그림 9)

터치스크린 기반 학습도구[14]

햅틱 장치 PHANTOM과 소리를 융합시킨 그래프 전달 도구도 개발되었다[15][(그림 10) 참조]. 햅틱 장치로 그래프의 선을 나타내고 마찰의 차이를 통해 그래프 안의 각각의 다른 선들을 구별할 수 있도록 구현되었다. 또한, 소리를 통해 그래프 형태를 전달하기 위해 여러 가지 방법이 융합되었다. 첫 번째로 그래프의 y 좌표값을 음의 높낮이를 통해 전달하는 방법, 두 번째로 그래프 상의 각기 다른 선들을 서로 다른 소리로 표현하는 방법이다. 다음으로 x값이 원점에서 멀어질수록 소리의 크기는 점점 줄어들게 함으로써 x 좌표값의 변화를 직감적으로 알 수 있게 하였다[(그림 11) 참조]. 또한, 음성을 통해 정확한 값을 말해주며 그래프의 전체적인 형태를 알려준다.

(그림 10)

복합 정보전달 기기를 이용하여 그래프 학습을 하는 모습[15]

(그림 11)

그래프의 포커스 위치에 따라 소리의 변화 개념도[15]

연구를 통해 청각, 촉각의 단일한 방식의 그래프 전달보다 청각과 촉각을 합친 복합전달 기술이 학습자에게 효과적인 학습이 될 수 있다는 것을 밝혔다. 하지만 사람의 귀가 미세한 음의 높낮이를 판단할 수 있을 정도로 음에 대한 정확한 감각이 부족한 경우가 많고, 복합 전달기술을 구현하기 위해서 다양한 디바이스들이 필요하고 장소의 한계도 크다는 단점이 있다.