특허로 살펴본 얼굴인식 기술개발 동향

Face Recognition Technology Trends Through Patent Analysis

저자
정선화산업전략연구그룹
최병철산업전략연구그룹
권호
34권 2호 (통권 176)
논문구분
일반논문
페이지
29-39
발행일자
2019.04.01
DOI
10.22648/ETRI.2019.J.340204
본 저작물은 공공누리 제4유형: 출처표시 + 상업적이용금지 + 변경금지 조건에 따라 이용할 수 있습니다.
초록
The interest in facial recognition technology has been growing with the advancement of AI technology. With a confirmed accuracy of over 99%, the areas of application of the technology have expanded, including smartphone unlocking, online payment authorization, building access management, and criminal apprehension. This indicates that the technology has effectively transitioned from laboratory to field applications. This study performs patent analysis to determine recent innovations and diffusion trends in facial recognition technology. Specifically, R&D activities involving facial recognition technology are investigated at both the country level and company level. Significant patents are also considered. This study contributes to R&D management teams by proposing useful plans and strategies.
   443 Downloaded 458 Viewed
목록

Ⅰ. 서론

얼굴인식기술에 대한 사회적 관심이 증가하고 있다. 얼굴인식 또는 다른 표현으로 안면인식, 그리고 이들의 하부기술인 감정인식 키워드로 뉴스 기사를 검색해 보면 1995년 첫 기사를 시작으로 2000년까지 한 자리 초반의 뉴스가 보도되다가 2010년 전후로 큰 폭으로 뉴스 건수가 증가함을 볼 수 있다. 이는 다시 최근 2년의 급격한 상승으로 이어지고 있다. (그림 1)은 연도별 뉴스 기사 건수의 증가 추세를 보여준다. 뉴스 기사는 한국언론진흥재단이 운영하는 뉴스 빅데이터분석사이트 빅카인즈[1]에서 기사제목에 얼굴인식, 안면인식, 감정인식 또는 표정인식 키워드가 등장하는지 여부로 검색하여 수집하였으며, 총 1,300여 건의 기사가 검색되었다.

(그림 1)

얼굴인식 관련 키워드로 검색된 뉴스 건수

images_1/2019/v34n2/HJTODO_2019_v34n2_29f1.jpg

1995년 첫 기사의 제목은 ‘얼굴인식 SW 개발 실용화 초읽기’였다. 전년도 대비 급격한 상승을 보인 해의 뉴스 기사를 살펴보면, 2001년에는 911테러 이후 공항 등에서 출입통제를 위한 보안기술로 얼굴인식이 각광을 받고 있다는 내용이 주를 이루고 있었으며, 2011년은 애플, 구글, 페이스북, 마이크로소프트 등 글로벌 IT 기업들의 얼굴인식기술 공개, 특허출원, 기업인수합병, 기술의 발전과 함께 우려되는 사생활침해 논란과 관련된 기사가 있었다. 한편 최근 2년 기사를 살펴보면 2017년에는 아이폰X의 잠금장치에 도입된 얼굴인식기술, 중국 정부 주도의 전 국민 대상 얼굴 DB 구축 추진, 중국의 무단횡단 적발을 위한 얼굴인식시스템 도입, 중국의 1억 개에 달하는 얼굴인식 감시카메라 설치 등에 관한 기사가 많이 보도되면서 얼굴인식기술이 실험실 연구개발 수준에서 벗어나 시장으로 성큼 들어왔음을 알 수 있었다. 또한, 2018년 뉴스 기사에서는 2017년에 이어 범죄자 적발, 대학교 및 공항 등에서의 출입관리, 온라인결재에서의 보안수단 등 얼굴인식기술의 활용범위가 점차 넓어지고 있음을 알 수 있었다.

얼굴인식기술이 실생활에서 활용될 수 있었던 이유는 인공지능기술 발전에 힘입어 오류율이 감소하고 정확도가 향상된 덕분이었다. 2015년 구글은 99.96%의 얼굴인식기술을 발표하였다[2]. 이는 2007년에 동분야 연구에 박차를 가하고 성능향상에 기여하기 위하여 발표된 LFW(Labeled Face in the Wild) DB[3]를 사용하여 테스트한 결과였다. 그러나 정지영상인 사진 DB로 구축된 LFW DB와 달리 조명이나 얼굴각도가 다양한 유튜브 동영상에서 구축한 얼굴DB에서 테스트한 결과는 95.12%로 정확도가 하락하였다[2]. 애플은 페이스 ID 기술을 발표하였다. 1,000분의 1초 이내로 고속으로 인식이 이루어지고 오류율은 100만분의 1 수준이라고 발표하였으나[4], 아이폰X에 도입된 페이스 ID 기술은 쌍둥이 얼굴인식 오류, 조명이 어두울 때 실패 등 인식오류 및 실패 사례가 종종 보도되기도 하였다. 중국기업 알리바바는 온라인 결제수단 알리페이에 보안인증 수단으로 얼굴인식기술을 도입하였다[5].

중국에서는 알리바바 외에도 정부의 적극적 지원에 힘입어 2010년 초중반에 창업한 얼굴인식 전문기업들이 급성장하고 있다. 이들 기업은 2018년 미국국가표준기술연구소(NIST)가 주관한 얼굴인식대회 FRVT(Face Recognition Vendor Test)에서 1천만 명 대상 인식 기준 99.9% 이상의 정확도를 보이며 상위권을 휩쓸었다[6]. 이에 따라 이제 얼굴인식 분야에서 중국이 미국보다 앞서가고 있는 것으로 평가되고 있다. 하지만 여전히 실제 적용되는 환경에서 100% 정확도를 달성하기 위해서는 극복해야 할 여러 장애요소가 있다. 밝기, 명암, 기울기, 회전 등 얼굴영상 획득과정에서 환경이 미치는 영향과 모자, 선글라스, 화장 등 사람들의 외모 치장에 따른 변형, 그리고 무엇보다도 일란성 쌍둥이 얼굴 오류율 극복 등 해결해야 할 문제들이 여전히 남아 있다.

사회적 관심의 증가와 얼굴인식기술의 성숙으로 주요기관에서도 최근 2년 다수의 동향 보고서들을 발표하였다. 먼저 한국저작권위원회는 불법유통 동영상 및 이미지 검출에 활용될 수 있는 얼굴인식 솔루션 및 채택된 기술을 분석하였다[7]. 정보통신산업진흥원(NIPA)은 생체인식기술의 세부기술로 안면인식기술을 소개하고, 시장동향, 주요 서비스 현황, 글로벌 기업의 M&A 현황을 분석하였다[8]. 한국인터넷진흥원(KISA)은 미국, 중국, 일본의 안면인식 관련 법규 및 가이드라인, 기술활용 현황을 분석하였다[9]. 한국과학기술정보연구원(KISTI)은 국내외 얼굴인식 시장동향을 분석하였다[10]. 한국전자통신연구원(ETRI)은 응용 및 시장 동향을 벗어나 얼굴인식에 활용되는 기술 동향을 분석하였다[11]. 얼굴인식기술의 세부기술인 감정인식 기술에 대한 분석도 있었다. 송병철 등은 감정인식을 위한 여러 접근 방법으로 영상인식, 음성인식, 생체정보인식 등을 제시하면서, 얼굴영상기술을 설명하였으며[12], 이윤희는 감정인식기술의 응용 분야 및 국내외 시장을 분석하였다[13].

이들 기존 보고서에서는 기술의 제품 및 서비스 현황과 시장동향을 주로 분석하고 있었다. 본 고에서는 특허분석을 수행하여 얼굴인식기술 동향을 살펴보고자 하였다. 특허는 기술혁신 정도를 나타내는 대표적 척도로 인식되고 기술변화 및 기업성과 분석에서도 많이 활용되고 있다[14]. 유사연구로는 IBM과 구글의 2018년 출원특허를 집중 분석한 보고서가 있지만[15], 본 고에서는 얼굴인식 분야 전체특허를 분석하여 차별성을 확보하고, 특허분석을 통해 기술 변화, 주요 국가 및 기업 현황, 세부기술 발전방향을 살펴보고자 하였다.

Ⅱ. 얼굴인식 특허분석 방법

1. 특허데이터 수집

특허데이터는 얼굴인식과 관련된 CPC(Cooperative Patent Code)를 기반으로 검색식을 작성하였고, 특허검색사이트인 위즈도메인에서 수집하였다. 우리나라에서 선진특허분류라고 불리는 CPC는 미국과 유럽 특허청이 2년여간 공동으로 개발한 특허분류체계로 62개국 회원국이 공동으로 사용하고 있던 IPC(International Patent Classification) 코드체계를 확장하여 개발되었다. IPC에 비해 4배 이상 그 수가 증가하고 최신기술을 반영할 수 있는 섹션을 추가함으로써 기술분류의 효율성 및 매칭 적합성을 향상시킨 코드이다.

총 26만여 개의 CPC 중 얼굴인식과 관련된 코드는 <표 1>과 같다. 요약설명은 CPC 정의서[16]에서 발췌하여 요약하였다. G06K는 데이터 인식 및 표현과 관련된 기술코드이고 그 하위코드인 G06K9는 인쇄 또는 필기 문자 또는 패턴을 인식하는 방법 및 장치와 관련된 기술코드이다. G06K9의 하위코드 중 얼굴인식기술 코드는 G06K9/00221와 그 하위코드이다. 상기 코드는 얼굴인식의 일반적인 과정과 대응되는 코드와 얼굴인식의 세부분야인 감정인식기술과 관련된 코드로 구성되어 있다. 얼굴인식은 얼굴영역검출에서 시작하여 눈, 코, 입, 눈썹, 턱 등 얼굴특징이 변화하는 각 부위 60여 곳을 분석하여 특징을 추출하고 얼굴 DB와 매칭하는 절차로 구성된다. G06K9/00228와 이하 하위코드는 얼굴검출(Detection), G06K9/00268와 이하 하위코드는 특징추출(Feature), G06K9/00288와 이하 하위코드는 얼굴분류(Classification)와 관련된 코드이다. 나머지 코드는 감정인식(Expression) 코드이다.

<표 1>

얼굴인식 관련 선진특허분류(CPC)코드

CPC 계위 요약설명
G06K9/00221 1 Face or Expression Recognition
G06K9/00228 2 Detection
G06K9/00234 3 Using Segmentation
G06K9/00241 3 Using Holistic Features
G06K9/00248 3 Using Facial Parts and Geometric Relationships
G06K9/00255 3 Using Acquisition Arrangements
G06K9/00261 3 Using Comparisons
G06K9/00268 2 Feature Extraction & Representation
G06K9/00275 3 Holistic Features and Representations
G06K9/00281 3 Local Features and Components
G06K9/00288 2 Classification
G06K9/00295 3 Of Unknown Faces
G06K9/00302 2 Facial Expression Recognition
G06K9/00308 3 Static Expression
G06K9/00315 3 Dynamic Expression

특허에는 다수의 CPC코드가 부여되어 있는데 기술을 가장 잘 설명하는 코드를 첫 코드로 부여한다. 따라서 본 고에서는 첫 코드가 <표 1>에 제시한 코드인 특허를 수집하였으며, 2018년 12월 31일까지 미국특허청(USPTO)에 등록된 특허를 수집한 결과 총 1,908건이 수집되었다.

2. 분석절차 및 내용

분석목적에 따라 특허 DB에서 필요한 속성정보 수집이 필요하다. 본 고에서는 출원일, 등록번호, 명칭, 출원인, 출원인 국가, CPC, 피인용수, 피인용특허리스트, 인용특허수, 인용특허리스트, 권리 상태 속성정보를 수집하였다. 특허 속성정보는 비교적 정형화된 데이터이기 때문에 데이터정제 과정이 거의 필요 없어 손쉽게 분석에 사용되기도 한다. 그러나 출원인 분석을 위해서는 경우에 따라 노동집약적인 데이터정제 과정이 필요하다. 본 고에서는 출원인 데이터에 대하여 대소문자 통일, 기업명과 자주 등장하는 구두점 제거 등 사소한 데이터정제 작업을 실시하였고, 동일한 기업을 지칭하는 다양한 표기를 대표명칭으로 변경하는 작업을 수행하였다. 후자의 작업은 분석대상 특허 건수에 따라 복잡도가 증가하고 시간이 많이 소요되며 모회사, 자회사, 지사, 인수합병 등의 관련 정보도 함께 필요한 작업이다.

(그림 2)는 얼굴인식 특허분석 내용을 보여주고 있다. 기술동향 분석에서는 연도별 특허건수 증가 추세, 세부기술 비중 변화, 특허포기율 변화, 그리고 주요 CPC 분석에서 얼굴인식 분야와 타 기술과의 연관성을 살펴보았다. 기술동향 분석에서는 지금까지 등록된 전체 특허를 분석하여 기술의 변화를 파악하고자 하였다. 그러나 주요 출원국 및 출원인 분석, 주요 특허분석의 경우, 권리 포기된 특허보유는 의미가 없고 주요 특허일 수 없으므로 유효 특허만을 선별하여 분석하였다.

(그림 2)

얼굴인식 특허분석 절차 및 구성

images_1/2019/v34n2/HJTODO_2019_v34n2_29f2.jpg

주요 출원국 및 출원인 분석에서는 양적 측면에서 특허수 기준의 주요 출원국 및 출원인을 살펴보았으며, 질적 측면에서는 출원인 간 인용 네트워크 분석을 통해 영향력 있는 출원인을 분석하였다. 미국 특허청은 출원인과 심사관에게 선행기술의 출처를 명시하도록 지침서에 제시하고 있기 때문에 인용관계는 기술의 연결관계를 파악할 수 있는 중요한 정보로 활용될 수 있다. 인용관계 네트워크에서 출원인의 구조적 위치는 출원인의 영향력을 나타낸다[17]. 네트워크분석에서 노드의 파워를 측정하는 지표로는 중심성 지표가 있다. 본 연구에서는 출원인 인용관계 네트워크에서 연결중심성, 아이겐벡터중심성, 매개중심성 지표를 측정하여 주요 출원인을 분석하였다. 연결중심성은 노드에 직접 연결된 링크 수로 산출되며, 이때 링크는 인용관계를 나타내고 링크가 많다는 것은 인용을 많이 받고 있음을 의미하므로 영향력 있는 출원인으로 볼 수 있다. 아이겐벡터중심성은 연결된 링크 수뿐만 아니라 연결된 노드의 중요도도 함께 고려한다. 여기서 노드의 중요도는 인접한 노드와 연결된 링크 수로 측정되며 역시 인용 정도를 나타낸다. 즉, 인용을 많이 받는 출원인과 인용관계를 갖는 출원인은 인용을 적게 받는 출원인과 인용관계를 갖는 출원인에 비해서 더 영향력이 있다는 해석이다. 매개중심성은 네트워크 상의 임의 두 노드 간 최단 경로에 위치하는 횟수로 산출되고 정보흐름에 대한 통제력을 나타내는 지표이다. 여기서는 기술 흐름 및 연결을 통제하는 지표로 해석할 수 있으며, 제어 및 통제력이 높은 출원인은 연결중심성과 아이겐벡터중심성에서 도출된 출원인과는 다른 관점에서 영향력 있는 출원인으로 볼 수 있다. 박준형 등은 중심성 지표가 기업의 성과와 통계적으로 유의미한 상관을 가짐을 분석하기도 하였다[14].

마지막으로 주요 특허분석에서도 출원인 인용관계 네트워크 분석과 유사한 분석을 수행함으로써 주요 특허를 살펴보았다. 이때 노드가 특허라는 점이 다를 뿐이다. 특허 인용관계 네트워크는 이론상 가능한 인용관계에 비해 실제 인용관계가 매우 적은, 네트워크 분석 용어로 표현하면 밀도가 매우 낮은 네트워크이다. 이런 경우 아이겐벡터중심성을 계산하기 위해서 필요한 인접행렬의 역행렬이 존재하지 않는다. 인접행렬은 노드 간 연결유무를 표현하고 있는 행렬이다. 따라서 특허 인용관계 네트워크에서도 인접행렬의 역행렬이 존재하지 않아 주요 특허분석에서 아이겐벡터중심성 지표는 제외하였다.

Ⅲ. 얼굴인식 특허분석 결과

1. 얼굴인식기술 동향

(그림 3)은 출원기준 연도별 특허 건수를 보여주고 있다. 얼굴인식 분야 첫 특허는 1986년에 출원되었으며, 그 후 10년 동안 한 자리 숫자의 특허가 출원되는 기술의 태동기에 있었다. 본격적인 특허출원은 1990년대 중 후반부터 시작되어 2010년 초까지 꾸준히 증가하여 성장기에 있었다. 1996년부터 2012년까지 연평균증가율은 약 18%로 전체 특허 증가율 3.8%에 비해서 가파르게 상승하였다. 2012년 이후부터는 특허활동이 증가하지 않고 정체기에 있으며 기술의 성숙단계에 진입한 것으로 보인다.

(그림 3)은 세부기술 비중도 보여주고 있다. 얼굴분류분야 특허는 2010년 이후 증가한 반면 얼굴 검출 분야 특허는 감소하였다. 감정인식 분야 특허는 2010년 이후 시작되어 점차적으로 증가하고 있음을 볼 수 있다. 특허는 출원 후 심사를 거쳐 등록 승인되고 그 결과가 특허 DB에 반영되기까지 통상 2~3년이 소요된다고 알려져 있다. 따라서 최근 3년(2016~2018년) 기술성과 변화를 살펴보기 위해서 등록되지 않은 출원특허까지 고려하여 살펴보았다. <표 2> 역시 (그림 3)과 동일하게 최근으로 올수록 얼굴분류와 감정인식 분야 특허활동이 증가하고 있음을 보여주고 있다.

<표 2>

세부기술 비중 변화

세부분야 전체 ~2010년 2011년~ 최근 3년
기타 7% 6% 8% 3%
얼굴검출 41% 55% 27% 24%
특징추출 20% 18% 19% 16%
얼굴분류 28% 20% 36% 45%
감정인식 5% 2% 9% 13%
(그림 3)

연도 및 세부기술별 미국 등록특허 동향

images_1/2019/v34n2/HJTODO_2019_v34n2_29f3.jpg

1999년 이전 특허는 특허 존속기간 20년이 지나 권리가 만료되었다. 그 이후에도 권리를 포기한 특허를 제외하면 총 유효특허 건수는 1,631건이었다. (그림 4)는 얼굴인식 특허의 연도별 포기 비율을 보여주고 있다. 특허 포기율은 전체 특허 건수 대비 포기된 특허 건수의 비율로 계산되었다. 2003년까지 40%대 후반으로 높다가 점차 감소하여 2011년 이후에는 2% 이하로 급격하게 떨어졌다. 특허유지 비용발생에도 불구하고 포기율이 극적으로 낮아진 것은 얼굴인식기술의 중요성이 증가하고 있음을 간접적으로 시사한다.

(그림 4)

특허포기 비율

images_1/2019/v34n2/HJTODO_2019_v34n2_29f4.jpg

특허는 검색 및 관리 편리를 위하여 CPC와 같은 분류체계를 사용하는데, 하나의 특허에는 다수의 CPC 코드가 부여되어 있다. 얼굴인식 분야 특허에도 1,219개의 코드가 평균 4.5개씩 할당되어 있었다. 얼굴인식 기술 CPC로 분류된 <표 1>에 제시한 코드들을 제외하고 상위 빈도의 CPC를 분석하였다[(그림 5) 참조]. 최빈도에 해당되는 195개의 특허에 부여된 ‘G06G2207/30210’은 영상분석 및 영상향상 기술 코드의 하위 코드로 영상 품질조사 기술에 해당되는 코드이다. 50개 이상의 특허에서 포함된 다른 코드 역시 대부분 영상분석, 영상인식, 영상전처리, 영상생성 등과 관련된 기술코드로 얼굴인식 과정에서 필요한 영상처리기술들이다. 이외에 얼굴인식 활용분야로 해석되는 컴퓨터보안, 진단영상 및 방송카메라 기술과 관련된 코드들이 있었다.

(그림 5)

부 CPC 빈도

images_1/2019/v34n2/HJTODO_2019_v34n2_29f5.jpg

2. 주요 출원국 및 출원인 현황

전체 특허 기준 상위 5개 출원국은 미국, 일본, 한국, 대만, 중국 순이었다[<표 3> 참조]. 2010년까지 누적특허로는 일본이 1위였지만 2011년 이후 기준 미국이 1위로 변경되었으며, 중국과 대만의 순위도 뒤바뀌었다. 최근 3년 출원특허를 살펴보면 중국이 3위까지 올라와 이 분야에서 중국의 기술력이 커가고 있음을 알 수 있었다.

<표 3>

특허 건수 기준 Top 5 출원국

순위 1위 2위 3위 4위 5위
전체 미국 일본 한국 대만 중국
~2010년 일본 미국 한국 대만 아일랜드
2011년~ 미국 일본 한국 중국 대만
최근3년출원 미국 일본 중국 한국 캐나다

(그림 6)은 전체 누적특허에서 상위 5개 출원국의 연도별 특허 건수를 보여주고 있다. 미국은 연도별 특허활동이 지속적으로 상승 추세에 있으며, 일본은 2010년대에 들어와서 정체기에 머무는 것으로 보인다. 한국은 2013년에 전년대비 특허활동이 2배 증가한 후 그 상태를 유지하고 있다. 중국의 경우 2014년과 2016년 갑작스런 특허활동 증가가 있었다. 세부기술로 살펴보면 얼굴검출과 특징추출 분야에서는 일본이 1위이지만 2위인 미국과 큰 차이가 없다. 얼굴분류와 감정인식 분야에서는 미국이 2위와 2배 이상의 차이로 압도적 1위를 차지하고 있으며 얼굴분류 분야에서 2위는 일본이고, 감정인식 분야에서 2위는 한국이다.

(그림 6)

특허 건수 기준 Top 5 출원국 특허 동향

images_1/2019/v34n2/HJTODO_2019_v34n2_29f6.jpg

<표 4>와 (그림 7)은 양적 측면에서 주요 출원인 동향을 보여준다. 전체 특허 수 기준 5위 이내에 일본기업 3개가 포함되어 있다. 카메라 등 광학기기 제품을 출시했던 캐논, 후지, 삼성이 1위부터 3위를 차지하고 있으며, 이들 기업들은 영상검출 및 특징추출과 같은 영상처리기술 특허를 비교적 많이 보유하고 있었다. 최근에는 삼성과 IBM의 순위가 상승한 것을 볼 수 있으며, 최근 3년 출원특허 기준 중국기업인 텐센트가 처음으로 5위 이내에 포함되었다.

<표 4>

특허 건수 기준 Top 5 출원인

순위 1위 2위 3위 4위 5위
전체 캐논 후지 삼성 MS 소니
~2010년 후지 MS 캐논 소니 삼성
2011년~ 캐논 구글 삼성 IBM 소니
최근3년출원 삼성 IBM 캐논 텐센트 NEC
(그림 7)

특허 건수 기준 Top 10 출원인 특허 동향

images_1/2019/v34n2/HJTODO_2019_v34n2_29f7.jpg

세부기술별 상위 출원인은 <표 5>와 같다. 얼굴검출 분야에서는 후지에서 캐논으로 1위가 변경되었으며, 특징추출 분야에서는 최근 삼성의 약진이 눈에 띈다. 상기 두 분야에서 최근 3년 출원특허에서 2위가 텐센트였으며, 이외에 구글, 아마존, 페이스북 등 글로벌 IT 기업들도 활발하게 특허를 출원하고 있었다. 얼굴분류 분야에서는 1위가 캐논이며, 최근 3년 출원특허에서 1위는 삼성이다. 감정인식분야는 특허수가 작아서 경쟁우위를 판단하기 어렵고 현재 글로벌 기업과 전문기업들이 경쟁하면서 입지를 다지고 있는 분야로 보인다.

<표 5>

세부기술별 특허 건수 기준 Top 5 출원인

(a) 얼굴검출 분야

순위 1위 2위 3위 4위 5위
전체 후지 캐논 MS 삼성 소니
~2010년 후지 MS 캐논 소니 삼성
2011년~ 캐논 구글 삼성 아마존 MS
최근3년출원 캐논 텐센트 NEC 페이스북 MS

(b) 특징추출 분야

순위 1위 2위 3위 4위 5위
전체 삼성 태논 후지 MS NEC
~2010년 후지 삼성 캐논 NEC 소니
2011년~ 삼성 캐논 MS 구글 NEC
최근3년출원 삼성 텐센트 IBM 페이스북 NEC

(c) 얼굴분류 분야

순위 1위 2위 3위 4위 5위
전체 캐논 구글 소니 IBM 도시바
~2010년 도시바 MS 소니 3VR 캐논
2011년~ 캐논 구글 IBM 소니 인텔
최근3년출원 삼성 IBM AWARE 캐논 NEC

(d) 감정인식 분야

순위 1위 2위 3위 4위 5위
전체 IBM EMOTENT 삼성 EMPIRE 구글
~2010년 캐논 카시오 디지털 NEC 소니
옵틱스 HP IBM MS 구글 NEC
2011년~ EMOTENT IBM 삼성 EMPIRE 구글
최근3년출원 IBM 어펙티카 삼성 EMOTENT 소니

(그림 8)은 출원인 인용관계 네트워크를 일부 시각화 결과이다. 전체 네트워크에서 연결 가중치가 높은 링크만을 유지하였다. 여기서 노드는 출원인이고 링크는 출원인 간 인용관계이다. 노드 크기는 전체 네트워크에서 직접 연결된 링크 수와 비례하며 링크 굵기로 표현된 가중치는 인용하는 횟수이다. 화살표 방향은 인용방향이다. 인용관계 네트워크에서 영향력 있는 출원인을 도출하면 <표 6>과 같다. 직접적 인용관계만 고려하는 연결중심성 관점과 인용을 많이 받는 출원인이 인용하는 경우 더 영향력 있다고 판단하는 아이겐벡터중심성 관점으로 보든 영향력 있는 출원인의 상위 순위는 큰 변화 없이 1위는 마이크로소프트였으며, 그 다음 삼성, 캐논 순이었다. 마이크로소프트는 전체 특허수 기준 4위였지만 영향력은 1위로 상승하였다. 삼성과 캐논은 양적 및 질적 측면 모두에서 상위에 위치하고 있었다. 매개중심성 지표로 측정된 영향력에서는 구글이 3위로 단순 인용이 많이 되는 특허보다는 상대적으로 중재 기술을 많이 보유하고 있음을 알 수 있었다.

(그림 8)

출원인 인용관계 네트워크

images_1/2019/v34n2/HJTODO_2019_v34n2_29f8.jpg
<표 6>

인용관계 네트워크에서 주요 출원인

순위 연결중심성 아이겐벡터중심성 매개중심성
1 MS MS MS
2 삼성 삼성 삼성
3 캐논 캐논 구글
4 후지 후지 후지
5 구글 도시바 캐논

3. 주요 특허분석

<표 7>은 연결중심성 관점에서 영향력 있는 특허 상위 10개를 보여주고 있다. 1위는 IBM이 출원한 특허로 디지털 이미지에서 중립 감정을 갖는 얼굴을 자동 검출하는 방법에 관한 특허이다. (그림 9)는 1위 특허를 직접적으로 인용한 특허와의 관계를 시각화한 결과이다. 주로 얼굴분류와 감정인식 분야 특허에서 많이 인용하고 있었다. 상위 10개의 영향력 있는 특허 중 얼굴분류 분야 특허가 가장 많이 포함되어 있었다.

<표 7>

연결중심성 관점에서의 영향력 있는 특허

순위 등록번호 연도 출원인 세부분야
1 US6879709 2002 IBM 감정인식
2 US7123754 2002 MATSUSHITA 얼굴검출
3 US7421097 2003 허니웰 얼굴분류
4 US7551755 2004 FOTONATION 얼굴분류
5 US7127087 2004 MS 얼굴검출
6 US8515136 2006 캐논 특징추출
7 US7783085 2006 AOL 얼굴분류
8 US8553949 2009 디지털옵틱스 얼굴분류
9 US8687078 2009 디지털옵틱스 얼굴분류
10 US8488023 2010 디지털옵틱스 감정인식
(그림 9)

특허 인용관계 네트워크(연결중심성 Top 1)

images_1/2019/v34n2/HJTODO_2019_v34n2_29f9.jpg

<표 8>은 매개중심성 관점에서 영향력 있는 특허 상위 10개를 보여주고 있다. 1위는 허니웰 특허로 3D 모델링 기반 얼굴신원 확인에 관한 특허이다. (그림 10)은 1위 특허가 다른 특허 사이를 중재하는 모습을 보여주고 있다. 얼굴분류 분야에 속한 특허를 중간에 두고 특징추출 및 감정인식 분야 특허가 서로 연결되어 있으며, 얼굴검출 분야 특허는 특징추출 분야의 특허를 거쳐 얼굴분류 분야 특허와 이어지고 있다. 이는 얼굴인식의 일반적 과정과 크게 다르지 않다. 매개중심성 관점에서의 영향력 있는 특허도 얼굴분류 분야의 특허가 다수 포함되어 있어 얼굴인식 분야의 중심 기술이 얼굴분류 기술임을 알 수 있었다.

<표 8>

매개중심성 관점에서의 영향력 있는 특허

순위 등록번호 연도 출원인 세부분야
1 US7421097 2003 허니웰 얼굴분류
2 US7551755 2004 FOTONATION 얼굴분류
3 US7881494 2007 후지 얼굴검출
4 US8750574 2008 APPLIED RECOGNITION 얼굴분류
5 US8553949 2009 디지털옵틱스 얼굴분류
6 US8488023 2010 디지털옵틱스 감정인식
7 US8503739 2010 아도비 특징추출
8 US8254647 2012 구글 얼굴검출
9 US8781179 2012 AT&T 얼굴분류
10 US8873813 2013 Z ADVANCED COMPUTING 얼굴분류
(그림 10)

특허 인용관계 네트워크(매개중심성 Top 1)

images_1/2019/v34n2/HJTODO_2019_v34n2_29f10.jpg

마지막으로 연결중심성과 매개중심성 모두에서 영향력 있는 10위 이내 특허로 선정된 특허를 조사해 보니 총 4개 특허가 존재하였다. 허니웰과 Fotonation의 얼굴분류 분야 특허와 디지털옵틱스의 얼굴분류와 감정인식 분야 특허였다.

Ⅳ. 종합의견

특허분석 결과 얼굴인식 분야는 2000년대 성장기를 지나 현재는 정체기로 진입한 기술로 판단된다. 이는 얼굴탐색 분야에서의 특허 감소가 주원인이다. 그럼에도 불구하고 세부기술로 살펴보면 (그림 11)이 보여주듯이 얼굴분류 분야는 특허가 계속 증가하고 있고 최근 가장 많은 특허가 출원되고 있는 분야이기도 하다. 특허 인용관계 네트워크 분석에서도 영향력 있는 상위 특허 리스트에 얼굴분류 분야에 속한 특허가 다수 포진하고 있어 얼굴인식 분야에서 중심 역할을 하고 있는 분야임을 재확인할 수 있었다.

(그림 11)

세부기술의 연도별 특허건수

images_1/2019/v34n2/HJTODO_2019_v34n2_29f11.jpg

세부기술 중 감정인식기술은 태동기에 있는 기술로 보인다. 아직은 특허 건수도 매우 적으며 상위 출원인도 글로벌 기업과 인공지능 또는 얼굴인식 전문기업이 경쟁하면서 입지를 다지고 있는 분야로 확인되고 있다. 감정인식은 얼굴영상에서 인식하는 방법도 있지만 음성 및 생체정보로부터 인식하는 방법도 존재하고 이들을 결합하여 인식성능을 높이고자 하는 방법도 있다[12]. 하지만 멀티센싱이나 차별화되는 특징을 입력으로 받아 결합하여 처리하는 딥러닝기술의 발전도 필요하여 해결해야 할 과제가 많은 분야이다. 얼굴인식기 훈련용 DB에 다양한 인종 및 연령을 포괄하는 영상이 부족하여 전체 인식성능도 떨어지지만, 특정 인종의 인식성능 하락이 문제가 되듯이 감정인식기술을 개발하기 위한 포괄적인 얼굴 DB 구축도 선결해야 할 과제 중 하나이다.

얼굴인식 분야에서 중국의 성장이 두드러진다. 중국에서 얼굴인식 기술은 2015년 알리바바가 온라인결제에 얼굴인식기술을 도입하면서 대중에게 알려지기 시작하였다[18]. 중국에서 대표적인 얼굴인식 기업은 우리에게도 잘 알려진 바이두, 알리바바, 텐센트가 있으며, 이 외에 이투, 센스타임, 메그비 등 얼굴인식 전문기업이 있다. 2018 얼굴인식대회 FVRT에서 이투가 제출한 알고리즘이 1위와 2위를 하였으며, 센스타임 알고리즘이 3위와 4위, 그리고 메그비가 제출한 알고리즘이 8위를 하여 중국이 러시아와 미국을 제치고 얼굴인식 분야의 강자임을 과시하였다. 참고로 5위는 중국과학원 SIAT가 제출한 알고리즘이 차지하였으며 6위와 7위는 러시아기업 NtechLab에서 제출한 2개의 알고리즘이 차지하였고, 9위 역시 러시아 보안기업 보코드 알고리즘이 차지하였다. 10위는 미국기업 Ever AI가 차지하였다.

Ⅴ. 결론

본 고에서는 얼굴인식 분야 특허 전체를 분석함으로써 R&D 기획 및 방향설정을 위한 시사점을 도출하고자 하였다. 얼굴인식 분야는 전체적으로는 정체기에 들어선 것으로 판단되지만 세부기술 중 얼굴분류 분야는 성장기에 있으며 감정인식 분야는 기술의 태동기에 있는 것으로 판단되었다. 응용기술 개발 관점에서는 얼굴분류 분야가 적합할 수 있지만 기초기술 개발을 위해서는 감정인식 분야에 관심을 추천한다.

최근 뉴스에서 중국의 얼굴인식시스템 도입 현황 및 관련 이슈 보도가 증가하고 미국국가표준기술연구소에서 주관한 얼굴인식대회에서 중국기업 및 연구기관이 제출한 알고리즘이 상위 5위를 석권했음에도 불구하고 주요 출원인 분석에서 파악되지 못함은 본 연구의 부족함으로 남는다. 이는 미국특허청 특허로 제한하여 분석한 한계로 향후 보완할 필요가 있다.

참고문헌

[1] 

http://www.bigkinds.or.kr

[2] 

전자신문, “구글, 얼굴인식률 99.96% SW… 어디에 쓸까?” 2015.3.23.

[3] 

E. Learned-Miller et al., “Labeled Faces in the Wild: A Survey,” in Advances in Face Detection and Facial Image Analysis , Springer, 2016, pp. 189–248.

[4] 

박준걸, “안면인식 기술, 이해와 응용,” 2017, http://privacy.jiransoft.co.kr/안면인식-기술-이해와-응용/.

[5] 

IT뉴스, “알리바바, 알리페이에 얼굴인식 결제 도입,” 2015.3.17.

[6] 

NIST, “Face Recognition Vendor Test(FRVT) Ongoing,” 2019, https://www.nist.gov/programs-projects/face-recognition-vendor-test-frvt-ongoing.

[7] 

㈜얼엔제이테트, “영상 저작권, 인공지능과 비디오 내안면인식 기술,” 저작권 기술 뉴스레터, 14호, 2018.

[8] 

양우진, “지능정보시대, 안면인식 기술에 주목하라,” 제 4차 산업혁명과 소프트파워 이슈리포트 2017-20호, 정보통신산업진흥원, 2017.

[9] 

한국인터넷진흥원, “해외 주요국의 안면인식 기술 활용동향–미국, 중국, 일본,” 최신동향보고서, 2018.8.

[10] 

한국과학기술정보연구원, “얼굴인식, 보안 및 범죄 수사 분야로 응용분야 확대,” KISTI 마켓리포트, 2017.6.

[11] 

김형일, 문진영, 박종열, “딥러닝 기반 고성능 얼굴인식 기술 동향,” 전자통신동향분석 제33권 제4호, 2018.8, pp. 43-53.

[12] 

송병철 외, “감정인식 기술 동향,” 주간기술동향, 2018.10, pp. 18-29.

[13] 

이윤희, “얼굴 표정인식 및 학습 소프트웨어 – 감정 ICT 융합산업과 더불어 성장 기대,” KISTI 마켓리포트, 2015.3.

[14] 

박준형, 곽기영, “특허 인용 관계가 기업 성과에 미치는 영향: 소셜네트워크분석 관점,” 지능정보연구, 제19권 제3호, 2013, pp. 127-139.

[15] 

㈜얼엔제이테트, “IBM과 구글의 안면인식 기술 특허,” 저작권 기술 뉴스레터, 14호, 2018.

[16] 

USPTO, https://www.uspto.gov/web/patents/classification/cpc.html, 2019.1.

[17] 

S. Christian, A. Barkowshki, and R. Schramm, “Visualizing Patent Statistics by Means of Social Network Analysis Tools,” World Patent Inform ., vol. 30, 2008, pp. 115-131.

[18] 

문은혜, “중국 얼굴인식기술 급부상: 일상 속으로 성큼,” Kotra 해외시장뉴스, 2017.9.

(그림 1)

얼굴인식 관련 키워드로 검색된 뉴스 건수

images_1/2019/v34n2/HJTODO_2019_v34n2_29f1.jpg
(그림 2)

얼굴인식 특허분석 절차 및 구성

images_1/2019/v34n2/HJTODO_2019_v34n2_29f2.jpg
(그림 3)

연도 및 세부기술별 미국 등록특허 동향

images_1/2019/v34n2/HJTODO_2019_v34n2_29f3.jpg
(그림 4)

특허포기 비율

images_1/2019/v34n2/HJTODO_2019_v34n2_29f4.jpg
(그림 5)

부 CPC 빈도

images_1/2019/v34n2/HJTODO_2019_v34n2_29f5.jpg
(그림 6)

특허 건수 기준 Top 5 출원국 특허 동향

images_1/2019/v34n2/HJTODO_2019_v34n2_29f6.jpg
(그림 7)

특허 건수 기준 Top 10 출원인 특허 동향

images_1/2019/v34n2/HJTODO_2019_v34n2_29f7.jpg
(그림 8)

출원인 인용관계 네트워크

images_1/2019/v34n2/HJTODO_2019_v34n2_29f8.jpg
(그림 9)

특허 인용관계 네트워크(연결중심성 Top 1)

images_1/2019/v34n2/HJTODO_2019_v34n2_29f9.jpg
(그림 10)

특허 인용관계 네트워크(매개중심성 Top 1)

images_1/2019/v34n2/HJTODO_2019_v34n2_29f10.jpg
(그림 11)

세부기술의 연도별 특허건수

images_1/2019/v34n2/HJTODO_2019_v34n2_29f11.jpg
<표 1>

얼굴인식 관련 선진특허분류(CPC)코드

CPC 계위 요약설명
G06K9/00221 1 Face or Expression Recognition
G06K9/00228 2 Detection
G06K9/00234 3 Using Segmentation
G06K9/00241 3 Using Holistic Features
G06K9/00248 3 Using Facial Parts and Geometric Relationships
G06K9/00255 3 Using Acquisition Arrangements
G06K9/00261 3 Using Comparisons
G06K9/00268 2 Feature Extraction & Representation
G06K9/00275 3 Holistic Features and Representations
G06K9/00281 3 Local Features and Components
G06K9/00288 2 Classification
G06K9/00295 3 Of Unknown Faces
G06K9/00302 2 Facial Expression Recognition
G06K9/00308 3 Static Expression
G06K9/00315 3 Dynamic Expression
<표 2>

세부기술 비중 변화

세부분야 전체 ~2010년 2011년~ 최근 3년
기타 7% 6% 8% 3%
얼굴검출 41% 55% 27% 24%
특징추출 20% 18% 19% 16%
얼굴분류 28% 20% 36% 45%
감정인식 5% 2% 9% 13%
<표 3>

특허 건수 기준 Top 5 출원국

순위 1위 2위 3위 4위 5위
전체 미국 일본 한국 대만 중국
~2010년 일본 미국 한국 대만 아일랜드
2011년~ 미국 일본 한국 중국 대만
최근3년출원 미국 일본 중국 한국 캐나다
<표 4>

특허 건수 기준 Top 5 출원인

순위 1위 2위 3위 4위 5위
전체 캐논 후지 삼성 MS 소니
~2010년 후지 MS 캐논 소니 삼성
2011년~ 캐논 구글 삼성 IBM 소니
최근3년출원 삼성 IBM 캐논 텐센트 NEC

(a) 얼굴검출 분야

순위 1위 2위 3위 4위 5위
전체 후지 캐논 MS 삼성 소니
~2010년 후지 MS 캐논 소니 삼성
2011년~ 캐논 구글 삼성 아마존 MS
최근3년출원 캐논 텐센트 NEC 페이스북 MS

(b) 특징추출 분야

순위 1위 2위 3위 4위 5위
전체 삼성 태논 후지 MS NEC
~2010년 후지 삼성 캐논 NEC 소니
2011년~ 삼성 캐논 MS 구글 NEC
최근3년출원 삼성 텐센트 IBM 페이스북 NEC

(c) 얼굴분류 분야

순위 1위 2위 3위 4위 5위
전체 캐논 구글 소니 IBM 도시바
~2010년 도시바 MS 소니 3VR 캐논
2011년~ 캐논 구글 IBM 소니 인텔
최근3년출원 삼성 IBM AWARE 캐논 NEC

(d) 감정인식 분야

순위 1위 2위 3위 4위 5위
전체 IBM EMOTENT 삼성 EMPIRE 구글
~2010년 캐논 카시오 디지털 NEC 소니
옵틱스 HP IBM MS 구글 NEC
2011년~ EMOTENT IBM 삼성 EMPIRE 구글
최근3년출원 IBM 어펙티카 삼성 EMOTENT 소니
<표 6>

인용관계 네트워크에서 주요 출원인

순위 연결중심성 아이겐벡터중심성 매개중심성
1 MS MS MS
2 삼성 삼성 삼성
3 캐논 캐논 구글
4 후지 후지 후지
5 구글 도시바 캐논
<표 7>

연결중심성 관점에서의 영향력 있는 특허

순위 등록번호 연도 출원인 세부분야
1 US6879709 2002 IBM 감정인식
2 US7123754 2002 MATSUSHITA 얼굴검출
3 US7421097 2003 허니웰 얼굴분류
4 US7551755 2004 FOTONATION 얼굴분류
5 US7127087 2004 MS 얼굴검출
6 US8515136 2006 캐논 특징추출
7 US7783085 2006 AOL 얼굴분류
8 US8553949 2009 디지털옵틱스 얼굴분류
9 US8687078 2009 디지털옵틱스 얼굴분류
10 US8488023 2010 디지털옵틱스 감정인식
<표 8>

매개중심성 관점에서의 영향력 있는 특허

순위 등록번호 연도 출원인 세부분야
1 US7421097 2003 허니웰 얼굴분류
2 US7551755 2004 FOTONATION 얼굴분류
3 US7881494 2007 후지 얼굴검출
4 US8750574 2008 APPLIED RECOGNITION 얼굴분류
5 US8553949 2009 디지털옵틱스 얼굴분류
6 US8488023 2010 디지털옵틱스 감정인식
7 US8503739 2010 아도비 특징추출
8 US8254647 2012 구글 얼굴검출
9 US8781179 2012 AT&T 얼굴분류
10 US8873813 2013 Z ADVANCED COMPUTING 얼굴분류
Sign Up