선박 안전운항용 대구경 렌즈 적외선 스테레오비전 시스템의 거리 측정 기법

A long Distance Measurement Scheme witha Large Aperture Lens Based on Infrared Stereo Vision System for Ship Navigation Safety

저자
오문균, 허영순, 강현서, 김영선, 김시경 / 지역산업기술개발실
권호
28권 6호 (통권 144)
논문구분
스마트 유무선 네트워크 특집
페이지
127-0
발행일자
2013.12.15
DOI
10.22648/ETRI.2013.J.280612
초록
본 논문에서는 야간 및 해무 상태에서 선박의 안전 운항을 지원할 수 있는 해상 적외선 스테레오비전 대구경 감시 시스템용 거리 측정 기법을 제안하였다. 선박의 안전 운항을 위한 감시 시스템에는 스테레오비전 정보를 이용하여 거리를 측정하는 알고리즘이 필요하며 물체의 이미지 및 물체까지의 거리정보를 디스플레이 하는 기능을 구현하였다. 원거리 측정 및 야간 측정 기능을 구현하기 위해 적외선 스테레오비전 및 대구경 렌즈를 이용하였으며, 해상에서 파고에 의한 흔들림으로 이미지의 연속적인 처리가 어려운 측면이 있어 물체의 비전 정보를 이용하여 거리를 계산하는 알고리즘 및 계산된 거리 정보를 디스플레이하는 프로그램을 개발하였다. 이러한 실험 결과가 선박 안전운항을 위한 유용한 시스템이 될 것으로 예상하고 있다.
   2717 Downloaded 4916 Viewed
목록

I. 서론

해양을 운항하는 선박은 안전운항을 위하여 각종 전자장비(자동 항해 시스템, Radar, AIS: Automatic Identification System, ECDIS: Electronic Chart Display and Information System 등)를 탑재하고 있다. 그러나 이러한 안전항해를 위한 전자장비들의 일부는 대형선박에만 의무적으로 탑재하도록 IMO(International Maritime Organization, 국제해사기구)에서 규정하고 있으며, 중소형 선박에는 강제사항이 아닌 권고사항으로 되어 있어 안전운항을 위한 전자 장비의 탑재가 미약한 실정이다. 중소선박의 경우 안전운항을 위한 전자장비의 고비용 및 선박의 위치노출 등의 이유로 안전운항을 위한 전자장비의 탑재를 꺼려하므로 이를 보완하기 위하여 적외선 스테레오비전 시스템을 이용하여 해상의 물체까지 거리를 측정할 수 있는 저렴한 가격의 시스템을 개발하는 것이 필요하다.

스테레오비전에 대한 기본적인 이론은 많은 연구들 [1][2][3]에 자세하게 설명되고 있고 기본적인 원리는 3차원 물체를 두 개의 카메라로 본 이미지쌍의 차이를 이용 하는 것이다. 그러므로 삼각법으로 두 개의 카메라 이미지를 이용하여 물체의 실제 위치를 계산할 수 있다.

본 연구에서는 야간 및 해무 상태에서 선박의 안전 운항을 지원할 수 있는 해상 적외선 스테레오비전 대구경 감시 시스템용 거리 측정 기법을 제안하였다. 다양한 해상 조건에서도 안정적으로 선박과 선박 사이의 거리를 측정하기 위하여 Global Cut 알고리즘과 Dynamic Programming 알고리즘을 통하여 스테레오 영상의 Disparity를 구하였으며, Reprojection Method를 통하여 거리 정보를 디스플레이하는 기능을 구현하였다.

II. 양안식 측정 원리

(그림 1)에 보여진 바[4]와 같이 전형적인 양안식 스테레오비전 시스템은 목표 물체의 3차원 정보를 얻기 위하여 삼각법에 기본을 둔 양안식 측정 방법을 이용한다. 목표 물체와 동일한 레벨에 있는 두 개의 카메라는 목표 물체와 삼각형을 형성하며, 두 카메라의 이미지 차이로부터 목표 물체의 특징에 대한 3차원 정보를 계산한다.

(그림 1)

전형적인 양안식 스테레오비전

images/2013/v28n6/ETRI_J003_2013_v28n6_127_F001.jpg

(그림 1)에 보여진 바와 같이 P는 목표점이며, OL과 OR은 동일한 초점거리 카메라의 시축 센터이고, PL과 PR은 각각 목표물을 바라보는 왼쪽과 오른쪽의 투시점, xL과 xR은 카메라 이미지의 PL과 PR에 대응하는 왼쪽과 오른쪽의 수평 좌표이다.

<표 1>

CCD chip size

images/2013/v28n6/ETRI_J003_2013_v28n6_127_T001.jpg

양안식 스테레오비전 측정 방법[5][6]의 원리에 따르면 OL, OR, PL, PR은 이미지 좌표를 설명하며, B는 두 카메라의 이격 거리, f는 카메라의 초점 거리, xL-xR은 disparity(d)로 정의된 시차오차, D를 카메라와 목표물 (P)까지의 거리를 나타내고 다음의 식으로 표현된다.

images/2013/v28n6/ETRI_J003_2013_v28n6_127_FM001.jpg

images/2013/v28n6/ETRI_J003_2013_v28n6_127_FM002.jpg

(1)과 (2)에서f는 렌즈의 초점거리(mm), w는 CCD (Charge-Coupled Device)에 의한 목표물 이미지의 폭 (mm), W는 CCD에 의하여 표시될 수 있는 목표물의 크기를 의미한다. 따라서 (1), (2)를 이용하여 카메라로부터 목표물까지의 거리를 계산할 수 있다. <표 1>에 의하여 CCD chip 크기로 부터 W를 알 수 있다.

III. 시스템 구성

본 연구에서 개발한 적외선 스테레오비전 대구경 감시 시스템의 개략적인 시스템 구조는 (그림 2)와 같다. 여기서 적외선 스테레오비전 대구경 감시 시스템은 야간 및 해무 상태에서도 측정 관련 다양한 시나리오를 충실히 수행할 수 있고 유연한 유지보수 특징을 구비하여야 하므로 다음과 같은 기능을 가지도록 설계하였다.

• 제어부: 다양한 디바이스의 초기화 및 제어

• 각종 정보 출력부

- 적외선 감시 카메라와 초기화 접속 및 연결 해제 기능

- 시스템의 FSM(Finite State Machine) 상태 출력

- 카메라와 통신 정보를 포함한 통계자료 출력 및 카메라의 상태 정보

• History 관리부

- 통신 history 및 각종 통계정보 관리

- 메모리 DB(Data Base) 관리

• 영상처리 전처리부

- 카메라로부터 입력된 영상정보 전처리

- 카메라로부터 입력된 영상정보의 에러 보완 처리

• 거리 정보 추출부: 적외선 스테레오 영상 정보로부터 3D(3-Dimension) 정보 추출 및 거리정보 계산

(그림 2)

적외선 스테레오비전 감시 시스템 거리 측정 기능도

images/2013/v28n6/ETRI_J003_2013_v28n6_127_F002.jpg

IV. 적외선 스테레오비전 거리 측정 알고리즘

1. 스테레오비전 주요 파라미터

2장으로부터 해상의 상대 선박에 대한 스테레오 영상을 이용하여 스테레오 영상 내부 좌표에 대응하는 3차원 공간 내 좌표를 구하기 위하여서는 상대 선박과 카메라와의 거리(depth: D), 스테레오 좌·우 영상 차이 (disparity:d), 렌즈의 초점거리(focal length: f)와 좌우 카메라 중심 사이의 길이가(base line: B) 주어지면 물체 좌표를 구할 수 있으며, 이들간의 관계식은 다음과 같다[5][6][7].

images/2013/v28n6/ETRI_J003_2013_v28n6_127_FM003.jpg

스테레오비전 주요 파라미터인 적외선 대구경 렌즈와 적외선 스테레오비전의 거리측정 관련 주요 파라미터인 Base line을 결정하기 위해서 스테레오비전 측정 거리 에러(resolution)에 대한 식을 이용하였다[8][9].

images/2013/v28n6/ETRI_J003_2013_v28n6_127_FM004.jpg

여기서

dD = 측정 거리 에러(resolution, depth error)

dd = disparity error(accuracy)

본 연구에서는 대구경 렌즈의 초점거리 f=600(mm), 측정거리(depth) D=5,000(m), 측정오차가 측정거리의 5(%)인 조건에서 dD= 5(%)×D=250(m) 이다. 사용한 적외선 카메라는 1/4" CCD(3.2mm×2.4mm)이고 픽셀 사이즈가 320×240(pixel)이다.

2. 거리 검출 스테레오 비전 알고리즘

가. 스테레오 비전의전처리

먼저 카메라 영상의 좌표계 산 단계에서 정제된 카메라 영상과 3D 영상의 메트릭스 파라미터를 얻으며, 이는 후에 back-projection 단계에서 사용한다.

나. ROI(Region of Interest) 추출 단계

해상 선박 동체는 연료와 에너지를 이용하여 항해하기 때문에 수면의 온도에 비하여 동체 온도가 상승하여 적외선이 많이 방출되는 특징을 가진다. 해상 암초의 경우 수면 아래에 위치해 있으며, 수온과 온도 차가 크지 않은 관계로 본 연구의 고찰 대상에서 제외되었다. 해상 선박 피사체에서 많이 방출하는 적외선은 중파장에서 장파장 대역을 가지므로 적외선 영상을 취득 후 영상에서 온도 분포가 다른 고밀도 영역에 대한 ROI를 추출한다.

다. 거리측정을 위한 경계 박스(bounding boxes) 설정

전처리 과정 스테레오비전의 우측 영상 ROI에 대하여 열(thermal) 방향 히스토그램 분석을 통하여 피사체의 거리를 측정하기 위한 경계 박스(bounding boxes)를 설정한다.

라. 스테레오 영상 정합

스테레오 영상 Disparity를 추출하기 위한 스테레오 영상 정합은 정합 요소에 따라 크게 특징 기반(feature based) 기법과 영역 기반(area based) 기법으로 나눌 수 있다. 본 연구의 영역 기반 기법에서의 정합 요소는 적외선 영상 밝기 정보의 변화, 경계박스 영역의 모양, 평균 밝기 및 면적 등을 이용하였으며, 영상 정합의 블록 매칭(Basic Block Matching) 처리를 하였다. 블록 매칭은 오른쪽 이미지의 모든 픽셀에 대하여 행(row) 단위의 7×7 픽셀 블록으로 왼쪽 이미지와 가장 잘 정합하는 블록을 찾는다. 본 연구에서는 하나의 픽셀 주위의 영역으로 +/−15픽셀에 대한 SAD(Sum of Difference)를 이용하여 열(column) 단위로 찾는다. 이는 전처리 단계에서 영상을 정제했으므로 행(row) 단위로는 찾지 않는다.

마. 동적 프로그래밍을 사용한 disparity map 의 최적화

영상 정합 후에 disparity에 노이즈가 생성되며 이는 최종 단계에서 오류를 발생하므로 이를 완화(smoothness)할 필요가 있다. 최적의 disparity를 찾는 문제는 행(row)의 픽셀들을 예측하는 것으로 이미지의 한쪽에서 다른 측면으로 최적의 path를 찾는 문제이다. 최적의 path를 찾기 위해서는 블록 매칭 매트릭스를 비용함수 (cost function)와 픽셀 간의 변화량에 제약을 두는 점을 사용하며, 이러한 방법이 동적 프로그래밍 기법을 사용하여 최적의 disparity를 찾는 문제를 효과적으로 해결할 수 있다[10][11].

바. Back projectio

스테레오 영상 정합이 끝난 단계에서 Disparity 데이터를 3차원 점군 데이터(3D point cloud data)로 표현하기 위하여 back projection을 하였고, 이를 이용하여 피사체 객체까지 거리와 움직임을 포착하였다. (그림 3)은 본 연구에서 제시한 알고리즘에 맞춰 기존 측정한 영상에 대해 거리를 측정한 결과를 보이고 있다. (그3(a)) [12]는 원영상이고, (그림 3(b))는 Disparity 데이터, (그림 3(c))는 3차원 점군 데이터(3D point cloud data)와 원영상을 비교하여 나타낸다. 카메라가 위치한 원점에서 피사체까지 근접거리는(Zmin) 4.17[m]이고 원거리 (Zmax)까지는 8.08[m]이였다.

(그림 3)
images/2013/v28n6/ETRI_J003_2013_v28n6_127_F003.jpg

V. 결론

본 연구에서는 야간 및 해무 상태에서 선박의 안전 운항을 지원할 수 있도록 해상 적외선 스테레오비전 대구경 감시 시스템용 거리 측정 기법을 개발하였다. 본 연구에서 제안한 전체 시스템은 현재 개발 중에 있으며 현재까지 스테레오비전 영상 거리 측정 알고리즘까지 확인된 상황이며, 전체 하드웨어 시스템은 보완 제작상태에 있다. Global Cut 알고리즘과 다이나믹 프로그래밍을 통하여 스테레오 영상의 Disparity를 구하였으며 Reprojection Method를 통하여 측정한 영상에 대한 거리를 확인할 수 있었다.

약어정리

3D     3-Dimension

AIS    Automatic Identification System

CCD    Charge Coupled Device

DB     Data Base

ECDIS  Electronic Chart Display and Information System

FSM    Finite State Machine

IMO    International Maritime Organization

ROI    Region of Interest

SAD    Sum of Difference

[1] 

O. Faugeras, “Three-Dimensional Computer Vision,” The MIT Press,1993.

[2] 

E. Trucco and A. Verri, “Introductory Techniques for 3-D Computer Vision,” Prentice Hall Publishing,1998.

[3] 

R. Hartley andA. Zisserman, “Multiple View Geometry in Computer Vision,” Cambridge University Press, 2003.

[4] 

A. Kaehler and G. Bradski, “Learning Open CV,” O’ Reilly, USA, 2008, pp.415-460.

[5] 

J. Shi, C. Tomasi, “Good features to track,” IEEEComput. Soc. Conf., Computer Vision and Pattern Recognition, 1994, pp. 593-600.

[6] 

H. Sunyoto, Wannes, and D. M Gavrila. “A Comparative Study of Fast Dense Stereo Vision Algorithms,” IEEE Intelligent Vehicles Symposium, London, 2004, pp. 319–24.

[7] 

C. F. Olson et al., “Wide-Baseline Stereo Vision for Mars Rovers,” Proc. IEEE/RSJ International Conf. Intelligent Robots and Syst., 2003,pp.1302-1307.

[8] 

D. G. Lowe, “Object recognition from local scaleinvariant features,” Proc. International Conf. Comput. Vision, Kerkyra Greece, vol.2, 1999, pp.1150-1157.

[9] 

K. Mikolajczyk and C. Schmid, “A performance evaluation of local descriptors,” IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 17, no. 10, 2005, pp. 1615-1630.

[10] 

O. Veksler, “Stereo Correspondence by Dynamic Programming on a Tree,” Comput.Vision and Pattern Recognition, vol. 2, 2005, pp.384-390.

[11] 

C. S. Park and H. W. Park, “A robust stereo disparity estimation using adaptive window search and dynamic Programming search,” Pattern Recognition, 2000, pp. 2573-2576.

[12] 

Computer Vision System Toolbox, http://www.mathworks.co.kr/kr/help/vision/ug/stereo-vision.html, Math Works 2013a, 2013.

(그림 1)

전형적인 양안식 스테레오비전

images/2013/v28n6/ETRI_J003_2013_v28n6_127_F001.jpg
(그림 2)

적외선 스테레오비전 감시 시스템 거리 측정 기능도

images/2013/v28n6/ETRI_J003_2013_v28n6_127_F002.jpg
(그림 3)
images/2013/v28n6/ETRI_J003_2013_v28n6_127_F003.jpg
<표 1>

CCD chip size

images/2013/v28n6/ETRI_J003_2013_v28n6_127_T001.jpg
Sign Up
전자통신동향분석 이메일 전자저널 구독을 원하시는 경우 정확한 이메일 주소를 입력하시기 바랍니다.