자율주행차량 운전자 모니터링에 대한 동향 및 시사점

Trends and Implications for Driver Status Monitoring in Autonomous Vehicles

저자
장미모빌리티UX연구실
강도욱모빌리티UX연구실
장은혜모빌리티UX연구실
김우진모빌리티UX연구실
윤대섭모빌리티UX연구실
최정단모빌리티로봇연구본부
권호
38권 6호 (통권 205)
논문구분
사람 중심 인공지능과 미래 반도체 기술
페이지
31-40
발행일자
2023.12.01
DOI
10.22648/ETRI.2023.J.380604
본 저작물은 공공누리 제4유형: 출처표시 + 상업적이용금지 + 변경금지 조건에 따라 이용할 수 있습니다.
초록
Given recent accidents involving autonomous vehicles, driver monitoring technology related to the transition of control in autonomous vehicles is gaining prominence. Driver status monitoring systems recognize the driver’s level of alertness and identify possible impairments in the driving ability owing to conditions including drowsiness and distraction. In autonomous vehicles, predictive factors for the transition to manual driving should also be included. During traditional human driving, monitoring the driver’s status is relatively straightforward owing to the consistency of crucial cues, such as the driver’s location, head orientation, gaze direction, and hand placement. However, monitoring becomes more challenging during autonomous driving because of the absence of direct manual control and the driver’s engagement in other activities, which may obscure the accurate assessment of the driver’s readiness to intervene. Hence, safety-ensuring technology must be balanced with user experience in autonomous driving. We explore relevant global and domestic regulations, the new car assessment program, and related standards to extract requirements for driver status monitoring. This kind of monitoring can both enhance the autonomous driving performance and contribute to the overall safety of autonomous vehicles on the road.
   859 Downloaded 844 Viewed
목록

Ⅰ. 서론

자율주행 기술은 운전자의 주행 안전을 보장하기 위해 차량이 스스로 주행하는 능력을 가진 기술을 의미한다. SAE(Society of Automotive Engineers)에서는 자율주행의 기술을 다섯 가지 레벨로 분류하고 있으며, 완전한 자율주행이 되기 전까지는 특정 상황에서 운전자의 개입이 요구된다. 여기서, 운전자가 한시적으로 주행 환경에 의해 다시 운전 권한을 넘겨주고, 넘겨받는 과정을 제어권 전환이라고 정의한다[1]. 안전한 제어권 전환 과정을 위해 운전자 모니터링은 중요한 요소이며, 운전자의 준비와 가용도 분석은 자율주행 기술의 안전성과 신뢰성을 보장한다.

NTSB(National Transportation Safety Board)는 2018년도에 발생한 테슬라 자율주행 사고를 시작으로 부분 자율주행에 대한 7개 안전 관련 이슈와 9개의 권고안을 발표하였다[2,3]. NTSB의 권고안은 대부분 자율주행을 이용하는 운전자에 대한 것으로, 운전자의 주의 분산 운전과 주행 중 휴대기기 사용에 대해서 기술적, 정책적으로 대책이 필요함을 강조하였다. 또한, 기술적으로는 운전자의 오사용, 시스템의 작동제한 등을 평가하는 SOTIF(Safety Of The Intended Functionality) 표준(ISO21448)과 관련된 부분과 운전자 모니터링 시스템에 대한 표준(ISO5283, ISO21959)의 필요성을 언급하고 있으며, 주의 분산 운전을 차단하기 위한 휴대용 전자 기기 관련 애플리케이션 개발이 필요함을 강조하고 있다. 정책적으로는 자율주행을 이용하는 운전자의 주의 분산을 막기 위한 제도적 장치(UNECE WP.29)의 중요성을 언급하고 있다.

따라서 본고에서는 자율주행 제어권 관련 안전기준(국토교통부, UNECE), EuroNCAP, 그리고 ISO 표준을 통해 현재 자율주행차량 운전자 모니터링에 대한 동향과 시사점에 대해 서술하고자 한다.

Ⅱ. 자율주행 제어권 관련 안전기준

1. 자율주행 안전기준 및 지침

국토교통부는 레벨 3 이상 자율주행차량의 상용화를 위한 제도적 기반이 완비되기 이전에 중요한 안전 관련 항목들에 대한 지침을 정의하였다. 또한, 발표된 “부분 자율주행 자동차(레벨 3) 안전기준(시행 2023. 1. 1. 기준)”과 “조건부 완전자율주행 시스템(레벨 4) 안전 가이드라인(2020. 12. 15. 기준)”은 운전자 인터랙션 및 모니터링 시스템에 관한 요구 성능 기준 등의 운전자와 관련된 기능을 정의한 문서이다[4,5].

첫 번째, 부분 자율주행 시스템의 성능 기준은 부분 자율주행 시스템의 작동 및 해제 등에 대한 기준, 운전 전환 요구에 대한 기준, 운전자와 자동차 간 상호작용(HMI: Human Machine Interface)에 대한 기준을 포함하고 있다. 두 번째, 운전자 모니터링 시스템의 성능 기준은 일반기준, 운전자 착석 여부 등에 대한 경고 및 작동 기준, 그리고 운전자의 운전조작 가능 여부 감지 기준을 포함한다. 이는 운전자의 안전띠 착용 감지뿐만 아니라 운전자의 움직임과 운전조작 가능 여부를 감지하여 운전조작이 불가능하다고 판단되는 경우 즉시 운전 전환 요구를 시작하도록 정의하고 있다.

2. UNECE 안전기준

UNECE(United Nations Economic Commission for Europe)의 그룹인 WP.29는 교통수단 분야 중 차량 규정(Vehicle Regulation)을 담당하고 있다. 그중에서도 No. 157은 차량이 가지는 자동 차선 유지 시스템(ALKS: Automated Lane Keeping Systems)1)의 기술적 요건을 규정하고 있으며, 2020년 6월 채택해 2021년 1월부터 고속도로 60km/h 미만의 속도에서 시행 중으로 이미 승용차 및 승합차에 적용되었다[6]. 현재는 130km/h 이내의 속도, 트럭, 버스, 장거리 버스 등 대형차량에서의 사용 등으로 범위가 확대되고 있다. No. 157는 크게 시스템 안전과 Fail-Safe 대응, 휴먼-머신 인터페이스 및 운전자 정보, 사물/사건 탐지 및 대응, 자율주행 데이터 저장 시스템, 사이버 보안 및 소프트웨어 업데이트 부분으로 나누어 기술적 요건을 규정하고 있다.

특히, 휴먼-머신 인터페이스란 인간과 기계가 상호작용하기 위한 하드웨어 및 소프트웨어 등 모든 관련 구성 요소를 뜻한다. 휴먼-머신 인터페이스 및 운전자 정보에 있어서 UNR 157 규정은 1) 운전자가 현재 운전 행위를 수행할 수 있는 상태인지를 감지하는 운전자 가용도 인식 시스템(Driver Availability Recognition System)에 대한 요구사항, 2) ALKS 시스템의 활성화 및 비활성화 절차에 대한 내용, 3) 운전자에 의해 시스템의 올바른 중단이 가능하도록 하는 시스템 오버라이드(System Override) 요구사항, 4) 시스템이 운전자에게 제공해야 하는 각종 정보에 대한 내용이 적시되어 있다. 운전자 가용도 인식 시스템은 그림 1과 같이 30초 이내에 적어도 두 가지 가용 기준을 충족해야 한다. 예를 들어, 운전자 전용 차량 제어 입력, 눈 깜빡임, 의식적인 머리 움직임과 같은 기준 중에 최소한 두 가지 기준이 개별적으로 확인되지 않으면, 운전자는 현재 운전 가용도 미달로 판단된다.

그림 1

운전자 가용도 평가 기준

출처 Reprinted from [6].

images_1/2023/v38n6/HJTODO_2023_v38n6_31f1.jpg

Ⅲ. EuroNCAP

EuroNCAP(European New Car Assessment Programme)은 유럽의 신차 평가 제도로 자동차의 안전에 관한 정보를 제공하며, 실험이나 시뮬레이션을 통해 안정성을 검증한다[7]. 2009년부터 현재까지의 포괄적인 안전도 평가 기준은 다음의 네 가지 주요 영역에 근거한다[8].

1. 운전자와 승객을 위한 성인 탑승자 보호(Adult Occupant Protection)

2. 어린이 탑승자 보호(Child Occupant Protection)

3. 보행자 보호(Pedestrian Protection): 취약한 도로 사용자(VRU: Vulnerable Road User) 보호와 자전거 이용자 확장 포함

4. 안전 지원(Safety Assist): 운전자 지원 및 충돌 방지 기술 평가

최근 발표한 EuroNCAP Roadmap 2030에 따르면 2026년부터는 안전 운전(Safety Driving), 충돌 회피(Crash Avoidance), 충돌 보호(Crash Protection), 충돌 후 안전도(Post Crash Safety) 등의 항목이 더해질 예정이다[9].

또한, EuroNCAP은 운전자 모니터링 시스템(DMS: Driver Monitoring System)을 안전 지원 및 운전자 대응에 대한 평가항목에 반영하였고, 2024년까지 모든 신차에 운전자 졸음 및 주의 경고 시스템을 장착하도록 의무화하였다[10]. 운전자의 주의 분산(Driver Distraction)과 졸음(Drowsiness)은 도로에서의 사망 및 심각한 부상의 주요 원인으로, 현재까지 지속되는 안전 전략의 문제로[11], 이를 해결하기 위해 유럽위원회(EU)에서는 운전자의 졸음 및 주의 경고 시스템과 관련된 자동차의 형식 승인을 위한 특정 시험 절차와 기술적 요건에 관한 세부 규정을 정하였다[9].

EuroNCAP의 안전 지원에 관한 평가 프로토콜은 차량의 운전지원에 대한 평가항목인 속도 보조 시스템(Speed Assist System)과 운전자 대응에 대한 평가 항목인 탑승자 상태 모니터링(OSM: Occupant Status Monitoring)으로 나뉘는데, DMS는 OSM에 포함된다[12].

EuroNCAP에서는 DSM를 간접 모니터링(Indirect Monitoring)과 직접 모니터링(Direct Monitoring)으로 분류하여 평가한다. 간접 모니터링은 이동 시간, 운전자 입력 또는 차량 제어(차선 위치의 일관성) 등과 같은 차량 조작 정보를 관찰하여 운전 제어 정확도 감소를 식별한 후 상태를 피드백한다. 제어의 부족한 특성을 관찰하여 약물 남용 또는 시간 경과에 따라 발생하는 피로 등의 주의 저하는 관찰할 수 있으나, 주의 분산이나 질병을 감지하는 데는 한계가 있다. 직접 모니터링은 적외선 카메라 기술을 통해 운전자의 얼굴 방향, 시선 동작 및 눈꺼풀 크기 등을 관찰하기 때문에, 실시간 주의력 판단이 가능하고 순간적인 주의 분산 또는 질병 관련 안전 문제에 대응이 가능하다. 다만, 운전자의 다양성이나 가려짐 등이 정확도에 영향을 미칠 수 있다[13].

EuroNCAP의 안전 지원 평가 프로토콜에서는 DMS 평가를 위한 기술 요구사항을 다음과 같이 제시한다.

센싱은 센싱 시스템이 다양한 운전자를 감지할 수 있고 광범위한 환경에서 작동할 수 있다는 근거를 제공해야 한다. 다음의 운전자 변수를 포함하여 안정성을 입증할 때 높은 평가 점수를 획득할 수 있다(표 1 참고).

표 1 DMS 평가를 위한 운전자 변수

운전자 변수 세부요소의 범위
다양성 연령: 청소년(16~18세) ~ 노인(80세 이상)
성별: 남녀 모두
신체: AF05~AM95(THUMS 2))
피부색: Fitzpatrick Skin Type(1~6)
눈꺼풀 조리개: 6.0~14.0mm
가려짐 조명, 밝기
: 주간 100,000lux
: 야간 1lux(AEB VRU 시스템 테스트 프로토콜에 명시된 방법을 이용하여 차량 외부에서 측정할 때)
안경: 투과율 >70% (두꺼운 테를 포함한 투명 안경 및 선글라스)
수염: 짧은 수염, 길이 <20mm
행동 취식, 말하기, 웃기, 노래, 흡연/전자담배, 눈 긁기/비비기, 재채기
[i]

출처 Reproduced from [12], Ⓒ Euro NCAP.

운전자 상태 감지를 위해 주의 분산(Distraction), 피로(Fatigue) 및 무반응 운전자(Unresponsive Driver)의 요소가 시스템에서 식별 가능한지 검증해야 한다. 이때 운전자 상태는 각 요소별로 다음과 같이 분류되고 시선의 움직임을 측정하여 이를 식별하도록 한다(표 2 참고).2)

표 2 DMS 평가를 위한 운전자 상태 감지 요건

운전자 상태 세부요소 범위
주의 분산(Distraction) 긴 주의 분산(Long Distraction) • 전방이 아닌 다른 위치를 3초 이상 일관되게 바라보는 경우(+1초 가능)
짧은 다중 주의 분산(Short Multiple Distractions) • 시선이 전방이 아닌 다른 곳으로 반복해서 향하는 경우(시선의 누적)
예: 운전자가 30초 동안 누적하여 전방에서 10초 이상 시선을 떼었을 때(시선이 2초 이상 전방으로 돌아오는 경우 시간 재설정)
휴대전화 사용(Phone Usage) • 휴대전화 사용을 위해 설정한 응시 위치와 함께 VATS에 설정된 요구사항과 동일
피로 (Fatigue) 졸음(Drowsiness) • KSS(Karolinska Sleepiness Scale)3) level >7 또는 동등한 기준에 도달했을 때
미세수면(Microsleep) • 3초 미만의 눈 감음이 발생할 때
수면(Sleep) • 지속해서 3초 이상의 눈 감음이 나타날 때
무반응 운전자(Unresponsive Driver) • 주시 경고가 발생한 후 3초 이내에 전방을 주시하지 않은 경우
• 전방에서 시선을 떼거나 6초 이상 눈을 감고 있는 경우
[i]

출처 Reproduced from [12], ⓒ Euro NCAP.

주의 분산은 차량 운전/조작의 주요 과업에 대한 주의력을 감소시키는 모든 것을 의미한다. 주의 분산의 세부요소를 식별하기 위해 운전자 시선의 움직임 정보를 제안한다. 주의 분산에서 시선의 움직임은 시선과 머리가 함께 움직이는 경우(Owl Type Movement)와 머리는 고정하되 시선만 움직이는 경우(Lizard Type Movement)의 두 유형으로 정의된다. 또한, 시선의 위치는 기존 연구들을 기반으로 공통된 위치가 식별되는데, 운전과 관련된 위치와 관련되지 않은 위치에 따라 구분하여 설정된다(그림 2 참고). 긴 주의 분산은 전방을 주시하지 않고 다른 시선 위치를 일관되게 3초 이상 바라보는 것으로 간주한다(강력한 근거가 있을 때는 +1초도 가능하다).3) 짧은 다중 주의 분산은 시선이 전방이 아닌 한 위치를 반복해서 향하거나 여러 다른 위치로 반복되게 향하는 것으로, 전방이 아닌 시선이 다수 축적된 것이다. 예를 들면 운전자가 30초 동안 누적 10초 동안 전방 시야각에서 벗어난 경우이며, 이때 운전자의 시선이 전방으로 2초 이상 돌아오면 재설정된다. 휴대전화 사용은 운전자의 시선이 반복적으로 휴대전화로 향하는 특정 유형의 짧은 주의 분산(또는 시각적 주의 시간 공유, VATS: Visual Attention Time Sharing) 이벤트로 간주한다. 휴대전화 사용의 감지 요구사항은 짧은 주의 분산과 동일하며 시선의 위치는 휴대전화 사용에 대한 설정 위치를 따른다.

그림 2

시선 응시 위치의 예

출처 Reprinted from [16], ⓒ Euro NCAP

images_1/2023/v38n6/HJTODO_2023_v38n6_31f2.jpg

피로는 운전자가 주행 과업을 수행할 만큼 충분히 깨어 있지 않은 상태를 의미하며, 눈 감음 정보를 활용하여 평가된다. 피로는 3초를 기준으로 미세수면과 수면으로 분류되는데, 미세수면은 3초 미만의 눈 감음으로 평가하나 눈 감음 없이 발생하는 이벤트도 가능하다. 수면은 지속적인 눈 감음을 3초 이상 보일 때 수면 상태로 간주한다. 졸음의 경우는 수면 및 졸음 수준을 측정하는 도구인 카롤린스카 졸음 척도(KSS: Karolinska Sleepiness Scale) 수준을 활용한다.

무반응 운전자(Unresponsive Driver)는 운전 중에 운전자가 갑작스러운 질병의 발병으로 인해 반응하지 않는 경우를 의미한다. 무반응 운전자의 평가 기준은 전방 주시 경고가 발생한 후 3초 이내에 전방으로 시선을 돌리지 않는 경우와 전방 시야에서 시선을 떼거나 6초 이상 눈을 감은 경우이다. 확실하지는 않지만, 무반응 운전자는 초기에 주의 분산 또는 수면 상태로 판단될 가능성이 있다.

차량 반응에 대한 요구사항은 DSM 시스템이 운전자 상태의 특정 요소를 감지할 경우, 차량은 경고(알림) 또는 개입과 관련된 반응이 필요하다는 것이다. 차량이 20km/h 이상의 속도로 주행 중 운전자 상태의 각 세부요소가 감지되는 직후 차량은 즉시 해당하는 시각 및 청각 또는 촉각 경고 알림(예: 전방 추돌 경고(FCW: Forward Collision Warning) 또는 차선 이탈 경고(LDW: Lane Departure Warning))을 발생하거나 낮은 수준 제동 개입을 해야 한다. 이를 위해 차량은 전방 추돌 경고와 차선 이탈 경고 시스템은 주행 동안 고감도 설정을 유지해야 한다. 다만, DMS가 계속해서 운전자의 상태를 측정하고 운전자의 주의가 회복되었다고 판단하는 경우와 운전자가 시스템을 무시하고 FCW/LDW 시스템을 감도가 낮은 수준으로 되돌리는 경우는 예외로 한다.

Ⅳ. ISO 표준 동향

ISO21959와 ISO5283은 운전자 및 탑승자 중심 안전한 제어권 전환을 위한 위험상태나 상황 대응에 대한 표준으로, 모빌리티 서비스가 발전하기 위한 기초가 될 수 있다. 본고에서는 운전자 모니터링에 대한 두 개의 표준에 대한 심도 있는 내용을 다루고자 한다.

ISO21959는 주행 자동화시스템(SAE 수준1~5)이 개발되고 배치될 때 정보와 지식의 공유를 용이하게 하기 위해 주행 자동화시스템의 연구자와 개발자에게 인간 수행과 상태에 대한 공통 기본 개념을 제공하고 있다[17,18]. 인간(운전자)의 참여 또는 대비책 준비, 제어권 전환을 필요로 하는 자율주행의 모든 수준에 적용 가능하며 운전자가 차량의 수동 제어를 해야 하는 수준에서도 적용될 수 있다. 크게 파트 1과 파트 2로 나뉘며, 파트 1에서는 전체적인 개념에 대한 내용을 흐름의 정의를 통해 제공하고 있다. 파트 2에서는 해당 내용을 기반으로 실험을 진행할 때 고려해야 할 사항에 대해 언급하고 있다.

파트 1에서 제공하는 자율주행 상태에서의 운전자 수동 제어권 전환 과정에서는 자율주행 상태에서 운전자 수동 제어로 넘어갈 때 필수적으로 고려되어야 하는 시간의 개념을 보여주고 있다. “Decision time”은 시스템 실패 감지와 자동화 기능 해제 사이의 시간 간격을 말하며, “Intervention time”은 운전자가 제어권 전환을 진행하기 위해 적절한 수동 주행을 수행하는 데 필요한 시간 간격이다. “Total time budget”은 RtI(Request to Intervene)와 시스템 한계 사이의 시간 간격을 총 시간 예산으로 정의한 것으로, 운전자 수동 제어의 성공적인 재개를 위한 최대 시간을 언급하고 있다.

또한, 운전자 준비 및 가용도가 낮을 때 후속 개입 성능이 낮아져 가장 높은 값에 도달하고 필요한 개입을 수행하는 데 더 많은 시간이 소요된다. OEDR(Object and Event Detection and Response) 작업을 수행하는 경우 레벨 2 시스템이 운전자의 준비 및 가용도가 레벨 3 시스템보다 높다[17]. 운전자의 준비 및 가용도는 동적 및 정적 요소로 구성될 수 있다. 동적 요소는 자율주행 중 계속 변화하는 운전자의 상태를 말하며, 정적 요소는 운전자의 특성으로 시스템 기능에 대한 지식 등이 포함된다.

파트 2에서는 운전자의 개입에 영향을 미치는 인간적 요인에 대해 언급하고 있다. 이는 운전자의 속성, 운전자 준비 및 가용도로 크게 나뉜다. 운전자 속성은 지식, 경험 그리고 신뢰, 나이나 성별과 같은 인구통계학적 정보가 포함된다. 운전자 준비 및 가용도는 물리적 상태와 인지적 상태로 크게 나뉘어 고려될 수 있다. 물리적 상태는 앉는 자세, 운전과 관련되지 않은 행위 수행 등을 언급하고 있다. 인지적 상태는 졸음, 상황 판단력 등과 같이 운전자의 상태뿐만 아니라 인지 프로세스에 대한 상태 요인을 언급하고 있다. 더 나아가, 해당 표준에서 언급하고 있는 테스트 시나리오를 토대로 특정 상황에서 운전자의 수행능력을 평가할 수 있다. 운전자의 수행능력 평가 체계는 제어권 전환단계분석, 평가의 범위, 데이터 고려사항, 그리고 제어권 전환 타입의 적절성으로 크게 4가지로 나뉜다.

ISO5283은 운전자 준비 및 가용도 개념을 기반으로 하는 운전자 모니터링 및 제어권 전환에 대한 개념 및 가이드라인에 대해 규정한다. 자율주행 레벨 2, 3 수준과 관련하여 안전한 제어권 전환을 위한 운전자 모니터링 및 자율주행 시스템 개입에 중점을 두고 있다. 또한, 운전자 준비 및 가용도의 인체공학적 측면, 모니터링 가능한 측정 기준, 임계값 결정 및 효과적인 자율주행 시스템 개입에 대한 정보를 제공한다[19,20].

표 3에서 보이는 바와 같이, ISO21959와 ISO5283는 제어권 전환에 관한 내용이라는 공통점을 가지고 있다. ISO21959는 운전자의 주행 환경에 관한 내용을 포함하고 있으며, ISO5283은 운전자 모니터링에 더 집중하여 상태 측정 방법 등에 대해 언급하고자 한다[21].

표 3 ISO21959와 ISO5283의 비교표

표준 공통점
ISO21959/ISO5283 제어권 전환
표준 차이점
ISO21959 • 고속도로용 레벨3 자율주행 표준
• 차선 유지 자율주행, 자동 차선변경 등 자율주행차량이 고속도로 안에 들어와서 주행하는 내용을 포함
ISO5283 • 운전자 상태 모니터링 여부
• 운전자 상태 측정 방법
• 시스템 개입 활성화 타이밍
• 시스템 개입 방법 등을 포함
[i]

출처 Reproduced from [21].

이와 같이, 운전자 제어권 전환 시 고려되어야 할 정보에 관하여 ISO21959가 발간되었고, 자율주행 레벨 2, 3에서 운전자 모니터링과 제어권 전환 시 용어, 측정 기준에 대해 ISO5283이 발간 예정 중에 있다. 개발자가 안전한 제어권 전환을 위한 운전자 모니터링 시스템을 설계하는 데 도움이 되도록 운전자 모니터링 및 제어권 전환 시 인체공학적 측면에 대한 권장사항을 제공한다는 점에서 매우 중요하다. ISO21959를 시작으로 ISO5283의 제어권 전환 시 운전자 모니터링에 대한 구체적인 내용을 확장시키고 있다.

Ⅴ. 결론

NTSB의 자율주행 사고 조사 결과에서도 알 수 있듯이 자율주행차량에 있어 운전자에 대한 안전 관련 이슈는 매우 중요한 이슈로 부각되고 있다[22]. 운전자 주의 분산, 운전자 모니터링 등 운전자와 관련된 부분이 자율주행차량의 안전한 사용과 밀접한 관계가 있으며, 이를 해결하기 위하여 기술적, 정책적 대책이 필요함을 강조하였다.

본고에서는 운전자 모니터링과 관련하여 지금까지 제정된 국내외 안전기준 및 신차평가프로토콜, 표준 등을 분석하였다.

국제안전기준의 경우 UNECE의 워킹그룹 WP.29에서 본 문제를 다루고 있다. No. 157 문서에서 운전자 “가용도”에 대한 정의를 확인할 수 있다. 운전자 가용도를 결정하는 것은 서로 다른 두 가지 가용 기준을 만족하는지를 판별하는 것이며, 운전자 전용 차량 제어입력, 눈 깜빡임, 머리 또는 몸의 움직임이 여기에 해당한다. 이와 같은 맥락으로 국내안전기준의 경우에는 “운전조작 가능 여부”를 판별하는 기준을 제시하고 있는데 운전자 전용 자동차 제어장치 조작, 머리 또는 몸의 움직임, 눈 깜빡임 등 세 가지 기준 중 어느 하나에 해당하는 활동을 하는 경우 운전조작이 가능한 것으로 간주한다. 국내외 안전기준으로부터 운전자 가용도(운전조작 가능 여부)를 판별하기 위해서는 운전자 상태 모니터링 시스템이 운전자의 눈 감김 혹은 깜빡임 검출, 운전자 전용 자동차 제어장치 조작 신호 수신, 머리 또는 몸의 움직임 검출 등의 기능을 포함하고 있어야 함을 분석할 수 있었다.

EuroNCAP은 유럽의 신차 안전 평가 프로그램으로 운전자 모니터링 시스템에 대한 평가항목을 빠르게 도입하였다. EuroNCAP에서는 운전자 모니터링을 직접, 간접 모니터링으로 분류하고 간접 모니터링은 차량 조작 정보를 이용, 직접 모니터링은 주의 분산, 피로, 무반응 상태 등으로 분류하여 측정한다. 주의 분산은 운전자의 시선각 정보를 이용하고 피로의 경우 눈 감김 정보 사용을 제시하고 있으며, 특히 피로 중 졸음에 해당하는 부분은 KSS 레벨을 따른다고만 명시되어 있고 자세한 평가방법을 생략하였다. EuroNCAP에서 추가적으로 주목해야 하는 부분은 모니터링 변수의 설정이다. EuroNCAP에서 높은 점수를 획득하기 위해서는 운전자의 성별, 연령, 피부색 등 다양성 변수와 조명의 밝기, 안경, 마스크 등 가려짐 변수를 포괄적으로 고려해야 한다. 이러한 사항으로부터, 운전자 모니터링 시스템의 강건성 확보 범위를 지정할 수 있다.

ISO21959 표준에서는 운전자 모니터링 시스템에서 측정해야 할 운전자 수행능력 및 상태를 정의하고 운전자 “준비도”라고 명명한다. 표준에서 정의하는 운전자 준비도는 운전자 자세, 비운전 행동, 졸음, 정신의 방황(Mind Wandering), 상황 인지 등이 있으며, 영상 처리 및 시선각 등의 정보를 통해 측정할 수 있다. 표준에서도 졸음과 관련된 측정 방법은 KSS 레벨을 따른다고만 명시되어 있다.

이와 같이 동향분석 결과를 바탕으로 운전자 상태 모니터링 시스템의 기능적 요구사항을 도출할 수 있다. 운전자 가용도와 준비도를 측정하기 위해서는 운전자 차량 제어입력 정보를 수집해야 하며, 영상 등의 정보를 처리하여 운전자의 머리, 손, 팔, 몸통 등의 움직임을 측정할 수 있어야 한다. 또한, 가장 중요한 측정치는 운전자의 눈 감김, 시선각 등 아이트래킹 정보로 다양한 운전자 및 주행 환경에서 일관된 성능을 낼 수 있어야 한다. 한편 운전자 상태 중 중요한 것 중 하나가 졸음으로, KSS 지표를 사용한다는 것 이외에 직접 측정이 가능한 방법이 제시되어 있지 않아 추가적인 연구가 필요한 상황이다.

또한, 요구사항에 맞는 운전자 상태 모니터링 시스템이 개발되었을 경우 필요한 검증 시나리오도 도출할 수 있다. 검증 시나리오는 운전자 가용도 및 준비도를 예측하는 시스템의 성능을 올바르게 검증하기 위한 것으로, 크게 1) 주행 환경과 2) 운전자에 관하여 나누어 생각해 볼 수 있다. 주행 환경의 경우는 도로 환경, 날씨, 교통 상황 등으로 결정할 수 있으며 운전자의 경우에는 EuroNCAP의 모니터링 변수를 차용하여 운전자 특징(연령, 성별, 키, 피부색 등)과 조건(조명 밝기, 안경, 수염, 마스크 등), 그리고 행동(취식, 말하기, 흡연, 스마트폰 사용 등)으로 결정할 수 있다.

본고에서는 미래에 새로운 시장 창출이 예상되는 운전자 모니터링 시스템의 요구사항을 파악하고자 안전기준, NCAP, 표준 등의 내용을 분석하고 요약하였다. 향후에는 본고에서 도출한 요구사항과 검증 시나리오를 구체화하여 운전자 모니터링 시스템을 개발하여 상용화하는 연구를 지속해서 수행할 계획이다.

용어해설

Direct Monitoring 운전자 상태 결정은 운전자를 직접 관찰하는 센서에 의해 지원됨

Distraction 차량운전/제어라는 기본 과업에 대한 운전자의 집중력을 감소시키는 모든 것

Driver State Monitoring 운전자 상태를 (간)직접적으로 판단 할 수 있는 운전자 상태 모니터링 시스템

Drowsiness 피로가 운전 집중력에 악영향을 미치는 운전자의 상태

Fatigue 운전자가 운전 과업을 충분히 수행할 만큼 깨어 있지 않은 상태

Forward Collision Warning 차량 앞부분의 충돌 가능성이 감지되면 차량이 자동으로 운전자에게 제공하는 시청각 경고

Indirect Monitoring 센서가 운전자를 직접 관찰하는 것보다 다른 수단을 통해 간접적으로 운전자 상태를 결정하는 것

Lane Departure Warning 현재 주행 차선의 지정된 가장자리선을 넘어 이동하려는 차량에 대한 차량의 반응으로 자동 제공되는 경고

Lizard Type Movement 운전자가 머리/얼굴을 앞쪽을 향한 자세로 유지하면서 주로 시선을 도로에서 멀어지게 움직여 과업에 집중하는 움직임

Long Distraction 운전자의 시선을 전방 시야에서 멀어지게 하여 단일한 곳을 장시간 주시하는 긴 주의 산만

Microsleep 최대 몇 초 동안 지속될 수 있는 일시적인 수면 에피소드

Owl Type Movement 머리와 눈이 동시에 움직여 시각적 주의가 도로에서 멀어졌다가 다시 앞쪽 위치로 이동하는 움직임

Phone Use 휴대전화에 운전자의 주의가 공유되는 짧은 주의 분산의 하위 유형

Short Distraction 짧은 시간 동안 반복적으로 전방 시야에서 시선을 떼는 경우, 운전자의 운전 상황에 대한 인식이 누적하여 감소하는 현상

Sleep 운전자가 몇 초 이상 피로로 인해 의식을 잃은 상태

Unresponsive Driver 운전 중 갑작스러운 질병이나 극심한 피로로 인해 반응이 없는 운전자

약어 정리

ALKS

Automated Lane Keeping Systems

DSM

Driver State Monitoring System

FCW

Forward Collision Warning

HMI

Human Machine Interface

ISO

International Organization for Standardization

KSS

Karolinska Sleepiness Scale

LDW

Lane Departure Warning

NCAP

New Car Assessment Programme

NTSB

National Transportation Safety Board

OEDR

Object and Event Detection and Response

OSM

Occupant Status Monitoring

RTI

Request to Intervene

SAE

Society of Automotive Engineers

SOTIF

Safety Of The Intended Functionality

THUMS

Total Human Model for Safety

UNECE

United Nations Economic Commission for Europe

VATS

Visual Attention Time Sharing

VRU

Vulnerable Road User

각주

1)

ALKS: 운전자가 작동하는 시스템으로, 운전자의 추가적 입력없이 장시간 동안 차량의 종방향 및 횡방향으로의 이동을 제어함으로써 차량을 일정한 차선 내에 유지하도록 하는 시스템

1)

THUMS(Total HUman Model for Safety): 토요타에서 개발한 인체 시뮬레이션 모델로, 차량 충돌 관련 부상 분석을 위해 사용된다. 실제 다양한 신체 부위와 조직을 모사 하여 인체의 생리학적 특성을 고려한 충돌 테스트 및 안전 평가에 활용되며, 인체의 손상 및 부상을 예측하는 데 유용하다[14].

1)

KSS(Karolinska Sleepiness Scale): 특정 시간의 상황에 따른 주관적인 졸음 수준을 측정하는 도구로, 운전자의 경감 상태를 평가하는 데 활용된다. 졸음 수준이 높을수록 주의력이 저하될 수 있으므로 운전자나 작업 수행자의 안전성을 평가할 수 있다. 1~9점까지의 척도로 구성되며, 1은 확실히 깨어 있음, 9는 극도로 졸림으로 평가된다[15].

참고문헌

[1] 

김나은 외, "자율주행 자동차의 제어권 전환 상황에서 요구되는 정보 유형에 관한 연구," 디지털콘텐츠학회논문지, 2018.

[2] 

NTSB(National Transportation Safety Board). Multivehicle Crash Near Mt. Pleasant Township, Pennsylvania, Jan. 5, 2020. NTSB/HIR-22/01. Washington, DC: NTSB. 2022.

[3] 

Collision Between a Sport Utility Vehicle Operating with Partial Driving Automation and a Crash Attenuator, Mountain View, California, Mar. 23, 2018. NTSB/HAR-20/01. Washington, DC: NTSB.

[4] 

부분 자율주행 자동차(레벨3) 안전기준(제111조의3) 시행, 2023. 1. 1. 기준, https://easylaw.go.kr/CSP/CnpClsMain.laf?popMenu=ov&csmSeq=1593&ccfNo=2&cciNo=1&cnpClsNo=1&search_put=

[5] 

국토교통부, 레벨4 자율주행 자동차 제작·안전 가이드라인, 2020.

[6] 

UN Regulation No. 157 Uniform provisions concerning the approval of vehicles with regard to Automated Lane Keeping Systems, 2022, (https://unece.org/sites/default/files/2022-05/ECE-TRANS-WP.29-2022-59r1e.pdf), ECE/TRANS/WP.29/2022/59

[7] 

EuroNCAP, "Euro NCAP Roadmap 2025-Now and then," 2022.

[9] 

EuroNCAP, "Euro NCAP Roadmap 2030," 2022.

[10] 

서재형 외, "자율주행 휴먼 머신 인터페이스(HMI) 기술 동향," 한국산업기술평가관리원, 2022.

[11] 

R, Fredriksson et al., "European NCAP Program Developments to Address Driver Distraction, Drowsiness and Sudden Sickness," Front. Neuroergonomics, vol. 2, 2021. https://doi.org/10.3389/fnrgo.2021.786674

[12] 

EuroNCAP, "Euro NCAP Assessment Protocol-SA-Safe Driving v10.2," 2023. https://cdn.euroncap.com/media/77301/euro-ncap-assessment-protocol-sa-safe-driving-v102.pdf

[13] 

C. Grover et al., "Development of A Direct Driver Status Monitoring Assessment Scheme," ESV2023, 2023.

[15] 

T. Akerstedt et al., "Subjective and Objective Sleepiness in the Active Individual," Int J Neurosci. vol. 52, 1990.

[16] 

Euro NCAP, Driver Status Monitoring - Testing Guidance, 2022.

[17] 

ISO-21959-1 Road vehicles-human performance and state in the context of automated driving part1, ISO, 2020.

[18] 

ISO-21959-2 Road vehicles-human performance and state in the context of automated driving part2, ISO, 2020.

[19] 

ISO/AWI TR 5283-1 Road vehicles-Driver readiness and intervention management-Part 1: Partial automation(Level 2) [Under development]

[20] 

SIP-adus Workshop 2020, ISO/TC 22/SC 39/WG 8 TS 5283 발표자료

[21] 

한국표준협회, 자율주행 표준화 메가트렌드-차량융합신기술분야, 2022.

[22] 

한국전자통신연구원, 안전한 자율주행 자동차 도입을 위한 제어권 전환 인적요인 가이드라인, 2021.

그림 1

운전자 가용도 평가 기준

출처 Reprinted from [6].

images_1/2023/v38n6/HJTODO_2023_v38n6_31f1.jpg
그림 2

시선 응시 위치의 예

출처 Reprinted from [16], ⓒ Euro NCAP

images_1/2023/v38n6/HJTODO_2023_v38n6_31f2.jpg

표 1 DMS 평가를 위한 운전자 변수

운전자 변수 세부요소의 범위
다양성 연령: 청소년(16~18세) ~ 노인(80세 이상)
성별: 남녀 모두
신체: AF05~AM95(THUMS 2))
피부색: Fitzpatrick Skin Type(1~6)
눈꺼풀 조리개: 6.0~14.0mm
가려짐 조명, 밝기
: 주간 100,000lux
: 야간 1lux(AEB VRU 시스템 테스트 프로토콜에 명시된 방법을 이용하여 차량 외부에서 측정할 때)
안경: 투과율 >70% (두꺼운 테를 포함한 투명 안경 및 선글라스)
수염: 짧은 수염, 길이 <20mm
행동 취식, 말하기, 웃기, 노래, 흡연/전자담배, 눈 긁기/비비기, 재채기

출처 Reproduced from [12], Ⓒ Euro NCAP.

표 2 DMS 평가를 위한 운전자 상태 감지 요건

운전자 상태 세부요소 범위
주의 분산(Distraction) 긴 주의 분산(Long Distraction) • 전방이 아닌 다른 위치를 3초 이상 일관되게 바라보는 경우(+1초 가능)
짧은 다중 주의 분산(Short Multiple Distractions) • 시선이 전방이 아닌 다른 곳으로 반복해서 향하는 경우(시선의 누적)
예: 운전자가 30초 동안 누적하여 전방에서 10초 이상 시선을 떼었을 때(시선이 2초 이상 전방으로 돌아오는 경우 시간 재설정)
휴대전화 사용(Phone Usage) • 휴대전화 사용을 위해 설정한 응시 위치와 함께 VATS에 설정된 요구사항과 동일
피로 (Fatigue) 졸음(Drowsiness) • KSS(Karolinska Sleepiness Scale)3) level >7 또는 동등한 기준에 도달했을 때
미세수면(Microsleep) • 3초 미만의 눈 감음이 발생할 때
수면(Sleep) • 지속해서 3초 이상의 눈 감음이 나타날 때
무반응 운전자(Unresponsive Driver) • 주시 경고가 발생한 후 3초 이내에 전방을 주시하지 않은 경우
• 전방에서 시선을 떼거나 6초 이상 눈을 감고 있는 경우

출처 Reproduced from [12], ⓒ Euro NCAP.

표 3 ISO21959와 ISO5283의 비교표

표준 공통점
ISO21959/ISO5283 제어권 전환
표준 차이점
ISO21959 • 고속도로용 레벨3 자율주행 표준
• 차선 유지 자율주행, 자동 차선변경 등 자율주행차량이 고속도로 안에 들어와서 주행하는 내용을 포함
ISO5283 • 운전자 상태 모니터링 여부
• 운전자 상태 측정 방법
• 시스템 개입 활성화 타이밍
• 시스템 개입 방법 등을 포함

출처 Reproduced from [21].

Sign Up
전자통신동향분석 이메일 전자저널 구독을 원하시는 경우 정확한 이메일 주소를 입력하시기 바랍니다.