스마트제조 분야 거대언어모델 기반 안전성 평가 기술 동향

「산업안전보건법」 및 「중대재해 처벌 등에 관한 법률」 시행 등 정부의 제도적 산업재해 대응 강화를 통해 제조산업 환경에서 안전사고 발생 가능성을 사전에 진단하기 위한 위험성 평가 기술 중요성이 강조되고 있다[5]. 위험성 평가는 산업현장에서의 위험요인 식별을 통해 상해 및 질병의 발생 가능성 및 강도를 추정하는 것으로, 위험요인별 피해를 줄이기 위한 조치를 결정하는 과정을 의미한다. 2009년에 국내 도입된 위험성 평가는 연 1회 각 사업장 단위로 실시하여 그 평가체계 및 과정 등을 기록해야 하고, 산업재해 예방을 위한 핵심수단으로 활용되어, 2023년 이후로 대기업부터 소규모 사업장까지 단계적으로 의무화될 계획이다.

이를 위해 정부는 2023년 5월 위험성 평가 고시 개정을 통해 위험성 평가 방법 및 절차를 대폭 개선하였다. 기존 시행해오던 위험성 평가 방법이 법제도의 불완전 정비, 복잡하고 어렵다는 인식 등으로 인하여 현장에서 제대로 작동하지 않는 한계 때문이다. 표 1과 같은 기존의 빈도‧강도 계량적 산출 방법에 더해 중소기업에서 손쉽게 위험성 평가를 진행할 수 있도록 하기 위하여 체크리스트법, OPS(One Point Sheet), 위험수준 3단계(저‧중‧고) 판단법 등 간편한 방법도 함께 제시하면서 평가방법을 다양화하였다. 평가시기도 기존 최초‧수시‧정기평가 체계에 더해 상시평가도 신설하고, 근로자 참여도 확대함과 동시에 평가결과의 공유를 통한 확산 노력 규정도 신설하였다[6].

다만, 개정된 위험성 평가 기술은 실효성 있는 위험성 평가를 어떻게 실행할 것인가에 대한 연구에 집중되어 있는 형편으로써 AI 기술 등을 활용하여 산업군별 실태 진단을 통한 자동화된 계량 분석 결과 도출 등의 문제 접근은 여전히 더딘 상태이다. 위험성 평가를 위한 사업장 작업표준, 작업절차 정보, 기계‧기구, 설비 등의 사양서, 물질안전보건자료(MSDS) 등의 유해‧위험요인에 관한 정보, 위험성의 수준과 그 수준을 판단하는 기준, 허용 가능한 위험성의 수준, 기계‧기구, 설비 등의 공정 흐름과 작업 주변의 환경에 관한 정보, 작업환경 측정결과, 근로자 건강진단결과에 관한 정보 등의 지표를 개량하기 위해서는 전문가적인 식견이 필요하나, 모든 사업장에서 위험성 평가 전문가를 고용하여 관련 기준을 정하기는 현실적으로 어렵다. 이에 최근 널리 활용되고 있는 AI, LLM 기술 등을 적극적으로 활용하여 사업장 내 위험성 평가를 자동화, 간소화하는 방안이 필요하다.

유럽 산업안전보건청(EU-OSHA)은 2021년 ‘AI가 산업안전보건에 미치는 영향’에 대한 정책보고서를 발표한 바 있다[7,8]. 이 보고서에는 AI가 산업제조 현장에 직접적으로 적용되면서 대규모 센싱데이터 취득을 통한 빅데이터 분석을 통해 기존의 제조공정 방식을 획기적으로 변화시키는 잠재력을 갖게 되었다고 진단하고 있다. 협동로봇, 스마트보호구, 챗봇, 인사관리 등 다방면에 걸쳐 AI가 활용되면서 점점 더 복잡해지는 작업공정 및 의사결정을 자동화 혹은 반자동화하는 방식으로 다양한 형태의 작업보조에 활용될 수 있다는 점을 강조하고 있다. 특히, AI가 작업자 안전보건 개선에 기여하면서 직장 내 위험요소 감소, 건강 이상징후 판독, 피로 조기경보 등 과학적인 사업장 위험성 평가 및 안전보건 점검 등의 활동에 확대 적용될 측면을 논하고 있다. 또한, 영국의 산업안전보건협회는 올바른 위험성 평가 실시를 위한 12가지 방법을 발표한 바 있다[9]. 이 12가지 방법은 위험성 평가자의 자격수준, 폭넓은 평가자료 활용, 객관적인 용어사용, 평가결과 인덱싱, 그리고 무엇보다 위험 주요 요소에 대한 모니터링 및 개선방안 마련 등을 말한다. 본고의 Ⅲ장에서는 이러한 기준을 적용하는 데 있어 스마트제조에서의 LLM 기반 위험성 평가 기술 활용 가능성에 대해 고찰하고자 한다.

최근 국내외적으로도 산업재해 예방을 위한 위험성 평가에 있어서 인공지능을 적극 활용하는 사례가 늘고 있다. 영국 보건안전청은 감독대상 사업장에서의 다양한 정보를 병합‧추론할 수 있는 위험성 기반 도구인 ‘Find-IT’을 통해 유사업종 및 사업장에서 일어난 안전보건 관련 이슈정보에 대한 전문가 피드백 및 평가 관점을 더욱 정교화하여 자기 규율 예방체계를 확립 중에 있다[10]. 유럽 산업안전보건네트워크(EUROSHNET)는 2022년 AI와 직장 내 안전보건 컨퍼런스를 개최하여, AI 솔루션 도입이 작업자 건강과 안전에 미치는 영향을 세밀히 분석하고, 관련 표준화 및 인증 문제 등을 다룬바 있다. 우리나라는 2024년 4월 개최된 ‘AI 안전보건 컨퍼런스’에서 자기규율적 예방체계를 강조하면서 중대재해 예방을 위해 각 사업자가 스스로 위해‧위험요인을 파악하고 개선대책을 수립하여, 작업자 위해요인을 사전에 예방하도록 하기 위한 정책적 지원을 강조한 바 있다.

산업 분야에서는 대표적으로 롯데건설이 작업자 경험에 의존함으로써 평가 위험요인 누락 등의 한계를 갖는 기존 위험성 평가를 보다 효율적으로 체계화하고, 건설 현장에서의 안전사고를 선제적으로 대응하고자 모든 건설현장에서의 AI기반 위험성 평가 분석을 진행하는 솔루션을 제시하였다[11]. 이 솔루션은 위험성 평가 지원 및 작업 표준 매뉴얼 분석을 통한 작업별 맞춤 위험성 평가를 추천하고 오류 및 적정성 검토를 지원하는 등의 기능을 제공하고 있다. SK C&C는 제조특화 AI 산업안전 플랫폼 ‘아이팩츠 SHE(Safety‧Health‧Environment)’를 출시하였다[12]. 이 플랫폼은 재해사고 및 아차사고를 대비한 사고관리, 중대산업사고 예방을 위한 공정안전관리, 화학물질 배출 목록 자료 및 규제 정보 사전검토를 위한 화학물질관리, 대기‧수질 및 폐기물 등을 관리하는 환경관리, 작업환경 측정을 통한 보건관리, 법규 및 안전정보관리 등으로 구성된다. 작업자는 ‘아이팩츠 SHE’를 통해 현장 위험성 평가 및 작업안전 평가서 작성 등에 대한 정보를 제공받을 수 있으며, AI 기술을 활용하여 비정형 데이터 분석을 통해 사업자 내 발생 가능한 사고를 사전 경고해주는 ‘통합방재’ 기능도 함께 제공한다.

제조업에서의 지식공유 지원 시스템에 관한 본 연구[13]는 LLM 모델을 활용한 제조 지원 시스템 설계와 성능평가를 다루고 있다. 공장운영자가 문서와 전문가의 지식을 효율적으로 활용할 수 있도록 설계된 이 시스템은 정보 검색 및 문제 해결을 신속하게 지원한다. 최근 논의되고 있는 인더스트리얼 5.0은 인간 중심의 제조를 강조하며, 인간의 창의성과 문제 해결 능력을 기계와 결합하여 생산성을 향상시키는 것을 목표로 한다. 다만, 제조 환경에서 생성되는 방대한 지식을 효과적으로 관리하고 활용하는 것은 여전히 어려운 과제이기 때문에 LLM을 도구로 하여 복잡한 정보를 해석‧요약 및 검색하는 데 활용한다. 이 연구에서는 매뉴얼, 안전 프로토콜, 품질 보증 등이 포함된 공장 문서와 작업자들이 작성한 문제 분석 보고서를 활용하여 운영자의 질문에 답변하는 LLM 기반 시스템을 개발하였다. LLM 모델의 정확성, 완전성, 환각 발생 여부를 기준으로 시스템을 평가하였으며, GPT-4를 기준으로 사실성에서 97.5점, 완전성에서 95점, 환각 발생률은 0으로 평가되었다.

LlavaGuard[14]은 시각 데이터의 안전성을 평가하기 위한 비전 언어 모델(VLM: Vision-Language Models) 기반의 프레임워크이다. 그림 1에서 보이는 바와 같이, 이 모델은 고품질의 시각 데이터세트를 수집하고 주석처리하여, VLM을 튜닝, 다양한 안전 카테고리에 대한 포괄적인 평가를 제공하며, 안전 위험을 문맥 인식적으로 평가한다. 이 모델은 LLaVA[15] 모델을 베이스로 구성되었으며, 응답을 통해 시각 데이터의 안전 등급, 위반된 안전 카테고리, 관련한 상세 설명이 제공된다. LLaVA 모델은 고성능 비전-언어 모델로, 텍스트와 이미지 간 복잡한 상호작용을 학습하여, 이미지 기반 질의응답, 이미지 캡션 생성, 텍스트 기반 이미지 생성 등 다양한 멀티모달 작업을 수행하기 위한 것이다. LlavaGuard 모델은 LLaVA 모델을 정교히 튜닝하여 다양한 시나리오에서의 문맥 인식 안전성 평가를 수행하기 위한 프레임워크로써 안전성 평가 시험을 위해 다양한 실험이 수행되었으며, 대표적으로 ImageNet 데이터세트에 대한 검증을 진행하였다. ImageNet의 1.3백만개 이미지 중 16,640개(약 1.29%)가 안전 기준을 위반한 것으로 평가하였고, StableDiffusion-v1.5 모델을 사용한 생성 모델 평가에서도 탁월한 성능을 보이면서, 다양한 안전성 평가 시나리오에서 높은 정확도와 신뢰성을 제공함을 보여주었다.

그림 1

LlavaGuard: VLM 기반 안전성 평가 기술 예시

출처 Reproduced from S. K. Freire et al., “Knowledge sharing in manufacturing using LLM-powered tools: user study and model benchmarking,” Frontiers Artif. Intell., vol. 7, 2024. CC BY.

AutoRepo[16]는 무인 차량과 멀티모달 LLM 모델을 기반으로 건설현장에서의 일반적 위험과 상태에 대한 진단보고서를 자동생성해주는 프레임워크이다. 무인 차량은 건설 현장의 구조물, 장비 상태, 작업 진행 상황 등을 검사하며, 멀티모달 LLM은 이를 분석하여 상세한 검사 보고서를 작성한다. 무인 차량이 건설현장 내의 구조물 상태, 장비 상태 및 배치, 작업진행 상황 등의 정보를 수집하면, 레이저스캐닝 및 이미지 기반 기술을 통해 현장의 3D 모델을 생성한다. A* 알고리즘을 사용하여 최적 검사 경로를 계획한 후, 취득된 건설 특화데이터를 기반으로 LLM 모델을 튜닝한다. 최종적으로 튜닝된 LLM을 사용하여 진단보고서를 자동으로 생성한다. 멀티모달 LLM 모델은 건설 현장의 구조물 이미지를 분석하여 균열, 침하, 변형 등 손상 여부를 식별하고, 건설 현장에 배치된 장비의 위치와 상태를 모니터링하며, 작업현장의 이미지를 분석하여 공사의 진척도를 확인하고, 작업자들의 안전 장비 착용 여부와 안전 규정 준수 여부를 평가한다. 이를 통해 AutoRepo 프레임워크는 작업현장에서의 각종 진단 모니터링 속도를 향상시키고, 인력 및 자원 낭비를 최소화하는 등의 성과를 보였다.

제조산업의 디지털 전환으로 인한 작업 환경, 도구 및 조건의 변화가 작업자에게 미치는 영향을 분석하고, 안전한 디지털 변환을 위해 고려해야 할 주요 위험요소 분석하는 연구[17]도 진행 중이다. 제조산업의 디지털화로 인해 초래될 새로운 위험요소를 적층 제조 시의 화학적 위험, 자동유도차량(AGV: Automated Guided Vehicle)의 기계적 불안전성, 전자기 간섭, 열위험, 충돌위험, AR/VR 사용 시 작업자의 근육‧시각적 피로 증가, 외골격 장치 사용 시의 전기적‧생물학적 위험 등 8가지로 분류하고, 안전한 디지털 전환을 위해 이러한 위험요소를 적절히 식별하고 관리하는 것이 중요하다고 보았다. 각 분류상의 위험요소는 시스템 오류 및 기계 오작동으로 인한 위험, 네트워크 장애 및 해킹 위험, AI/LLM 모델 오류 및 오작동 위험, 장비 사용 중 혼란 및 부주의로 인한 물리적 위험, 개인정보 및 보안위험 등이 존재한다. 또한, 식별된 위험요소를 바탕으로 제조 조직이 효과적으로 위험을 평가하고 관리할 수 있도록 돕는 종합적인 위험관리 매트릭스를 제시하고 있다.

노르웨이 University of Science and Technology의 DiSCo 프로젝트[18]는 AI에 기반한 건설현장에서의 안전성 향상 방식을 제안하고 있다. 이 연구는 작업안전분석(JSA: Job Safety Analysis) 결과에 대한 품질 평가 방법, 잠재적 위험요소에 대한 식별 방법, 식별된 위험요소에 대한 예방 조치 제안 등을 제시하면서 LSTM과 T5[19] 모델 등을 활용하였다. T5와 같은 생성적 AI 모델이 기본적인 예방 조치를 제안하는 데 어느 정도의 유용성을 보였으나, 인간 전문가의 제안보다는 구체성이 부족하다고 설명하고 있다.

한편으로, 한국전자통신연구원은 전력설비 유지보수 작업자의 작업안전성 평가를 위한 멀티모달 LLM 기반 위험성 평가 프레임워크를 선보인 바 있다(그림 2 참고)[20]. 이 도구는 한국산업안전보건공단의 위험성 평가 시스템을 통한 주요 설비별 유해‧위험요인 체크리스트와 위험 상황별로 추론된 생성 이미지를 서로 간 매칭시킴으로써 생성형 LLM 모델을 통해 작업 당사자의 현재 상황을 유추하고, 유해‧위험요인을 진단하는 등의 기법으로 위험성 평가를 진행한다. 이때, 생성형 LLM 모델은 주어진 작업현장 영상을 분석하여 주요 객체에 대한 식별, 객체 주변 상황 분석, 체크리스트와의 비교를 통한 위험수준 종합진단, G-val 기법 기반 진단 품질평가 등의 다양한 기능을 담당한다. 한국전자통신연구원은 그림 3의 본 작업안전성 평가시험 도구를 확대 적용하여, 다양한 산업분야에 걸친 위험성 평가 진단도구로 활용할 전망이다.

그림 2

멀티모달 LLM기반 위험성 평가 프레임워크

그림 3

LLM 기반 작업안전성 평가시험 도구