Q-mark 모델의 R&D 품질 영향 분석

(그림 1) 은 R&D 품질과 연구 결과물 완성도 향상을 위한 개발된 Q-mark 모델이다.

(그림 1)

Q-mark 모델[5]

Q-mark 모델은 프로세스 기반 인증 모델로 R&D 사업을 착수하여 사용자 및 시스템 요구사항을 개발하는 시스템 개발 시작 과정을 포함하는 요구사항정의단계, 요구사항에 대해 시스템을 구현하고 이를 검증하는 시스템 개발 마지막 단계인 시험단계, WBS 생성과 이슈 관리를 포함해 R&D 사업 관리를 어떻게 수행할 것인지를 정의하는 과제수행관리단계, R&D 결과물을 어떻게 식별하고 문서화하며, 어떻게 변경 관리하고 추적하는지를 정의하는 형상관리단계, 그리고 요구사항정의부터 구현 및 시험에 이르기까지 요구사항을 추적하고 연구 결과물 완성도 향상을 위해 진행하는 동료검토를 포함하는 품질관리단계 등 5개 주요 프로세스를 포함하고 있다. Q-mark 모델은 R&D 품질관리를 위해 5개 기본 프로세스로 정의되고 있지만, 과제 특성에 따라 표준프로세스 적용 범위를 확대할 수 있다. 또 Q-mark 모델은 R&D 연구 결과물에 대한 검증 차원에서 결함관리와 요구사항 검증, OSS 검증, 그리고 R&D 사업 특성에 따라 부분적으로 적용하는 정적 시험과 시험 커버리지 달성 여부 확인을 통해 연구 결과물을 검증하는 제품 혹은 연구 결과물 검증 모델이기도 하다.

본 절에서는 Q-mark 모델의 기본적인 특징을 기술한다. Q-mark 모델은 기존의 TDX와 CDMA와 같은 대형 사업관리를 위한 개발된 시스템 개발 관리 체계와 이를 근간으로 수립된 조직의 연구개발 표준 프로세스 체계 그리고 국제적인 인증 모델인 CMMI(Capability Ma-turity Model Integration)나 SPICE(Software Process Improvement and Capability dEtermination)[6]를 근간하여 개발된 R&D 품질관리를 위한 lightweight한 R&D 연구개발 표준 프로세스 인증 모델이다. 다음은 Q-mark 모델의 대표적인 특징이다.

R&D 사업의 품질을 위해 개발된 Q-mark 모델은 기본적으로 사업에 대한 인증과 개발 기술에 대한 인증으로 나눈다. 즉, 사업 수행 전체 과정에 대해 프로세스 수립 및 이행 여부, 그리고 연구 수행 각 단계별 요구사항 관리와 변경 관리 및 추적 그리고 요구사항 구현과 시험 수준을 확인하여 사업 시작 시점부터 사업 완료 시점까지 연구개발 전 과정을 확인하여 사업 종료 시점에 해당 사업에 대한 인증을 부여하는 사업 Q-mark 인증이 있다. 또한 사업 수행 과정 중 개발 완료 및 검증된 기술에 대해 기술 이전과 사업화 유도를 위해 필요에 따라 사업 수행 중 수시로 진행하는 기술 Q-mark 인증이 있다. (그림 2)는 사업 Q-mark 인증과 기술 Q-mark 인증 과정에 대해 세부적으로 진행하는 내용과 절차이다. 즉, 사업 Q-mark와 기술 Q-mark의 큰 차이는 사업 Q-mark가 사업 종료 시점에 사업 프로세스 수립 및 이행 여부와 요구사항 구현 및 시험 완료 여부를 확인하여 인증을 부여하는 반면 기술 Q-mark는 사업 진행 중 개발 기술에 대해 시험 및 검증과 OSS 검증 완료 여부를 확인하여 필요에 따라 수시로 진행하는 인증이다.

(그림 2)

사업 및 기술 Q-mark 인증 절차[6]

(그림 3)은 Q-mark 인증 모델 운영이 연구 개발과제 참여원 간의 의사소통 및 이슈 그리고 위험관리 등 사업 수행 관리에 직·간접적으로 영향을 주었다고 응답한 내용이다. Q-mark 인증 모델 운영이 프로젝트 수행 관리에 50% 이상 영향(많이)을 주었다고 응답한 사람이 50%였고, 40%(중간) 영향을 주었다고 응답한 사람이 18%를 보였으며 30%(많이) 영향을 주었다고 응답한 사람이 23%이다.

(그림 3)

프로젝트 관리 영향[7]-[10]

(그림 4)는 Q-mark 인증 모델 운영이 연구 개발과제 참여원 간의 의사소통 및 이슈 그리고 위험관리 등 사업 수행 관리에 직·간접적으로 영향을 주었다고 응답한 내용이다. Q-mark 인증 모델 운영이 프로젝트 수행 관리에 50% 이상 영향(많이)을 주었다고 응답한 사람이 50%였고, 40%(중간) 영향을 주었다고 응답한 사람이 18%를 보였으며 30%(많이) 영향을 주었다고 응답한 사람이 23%이다.

(그림 4)

결함 및 결과물 완성도 영향[7]-[10]

또 응답자의 60% 정도가 Q-mark 인증 모델 운영이 R&D 연구 결과물 완성도 향상에 50% 이상 영향을 주었다고 응답하였고, 응답자의 14%가 40%, 응답자의 14%가 30% 영향을 주었다고 각각 응답하였다.

(그림 5)는 Q-mark 인증 모델 운영이 연구개발한 기술에 대해 기술 이전과 사업화 영향에 직간접적으로 영향을 주었다고 응답한 내용이다. Q-mark 인증 모델 운영이 개발 및 검증 완료한 기술의 기술 이전과 사업화에 50% 이상 영향을 주었다고 응답한 사람이 41%였고, 40% 영향을 주었다고 응답한 사람이 14%, 그리고 30% 영향을 주었다고 응답한 사람이 27%이다.

(그림 5)

기술 이전 및 사업화 영향[7]-[10]

(그림 6)은 Q­mark 인증 모델 운영이 대내외 신뢰도 향상과 이에 따른 간접적인 사업 수주 영향에 대한 응답 내용이다. 응답자의 14% 정도가 R&D 사업 품질관리를 위해 개발된 Q-mark 인증 모델의 운영으로 대내외 신뢰도 향상과 이에 따른 간접적인 사업 수주 영향에 50% 이상 주었다고 답하였고, 응답자의 10%는 40%, 응답자의 29%는 30% 영향을 주었다고 각각 응답하였다.

(그림 6)

대외 신뢰도 향상 및 사업 수주 영향[7]-[10]

Q-mark 모델이 가장 시급히 검토 및 개선되어야 하는 부분은 Q-mark 모델이 포함하고 있는 적용 프로세스 범주이다. 즉, Q-mark가 R&D 품질 및 완성도 향상은 물론 대내외적으로 보다 객관적인 인증 모델로 발전하기 위해서는 현재 포함된 5개 메인 프로세스에 대한 조정 및 개선이 필요하다는 견해가 30%를 차지한다. 필자의 견해로는 시험 프로세스를 시스템 시험 외 단위 시험과 통합 시험을 고려할 필요가 있고, 과제수행관리프로세스에 포함된 위험관리프로세스의 경우도 보다 구체적이고 명확한 테일러 기준과 방법을 보완하여 각 프로세스 수행에 대한 일관성을 유지할 필요가 있다. 그 외 SPICE나 PMBoK, 그리고 SP에서는 프로세스 범주로 찾아 볼 수 없는 동료검토의 경우 Q-mark 모델의 메인 프로세스로 포함하기 보다는 하나의 수행 방법이나 도구 개념으로 검토될 필요가 있다. 즉, 동료검토는 기술검토 혹은 워크스루, 리뷰 혹은 전문가회의, 검사나 조사, 자체 검토, 그리고 정적 검토 등 과제 수행 각 단계에서 결과물을 검토하는 하나의 방법이나 툴로 고려하는 것은 가능하나 이를 Q-mark 모델의 주요 프로세스 범주로 포함하는 것은 검토될 필요가 있다.

사업 수행을 통해 준비하고 생성하는 각종 문서 및 연구 결과물 형식은 기본적으로 각 프로세스에서 발생하는 내용을 담고 있다. Q-mark 인증 모델 운영을 위해 제공되는 각종 연구문서 및 결과물 그리고 프로세스 양식과 내용에 대해 R&D 현장에서 실제 적용하고 관리하는 데 있어서 편리성과 일관성 그리고 추적성이 감안한 틀로 보완되기를 기대하는 응답자가 37%를 보였다. 필자의 견해로는 R&D 과제 수행에서 현재 적용하고 있는 형상관리의 경우 단순화 및 간편화한다는 취지하에 대부분 형상관리 대장으로 대체하는데, 이렇다 보니 R&D 과제 수행에서 발생할 수 있는 형상 식별 범위와 형상관리 기준 및 그리고 형상 체계 및 네이밍 룰과 같은 세부적인 내용이 빠져 있고, 또한 연구과제마다 형상관리 체계에 대한 일관성 유지도 미흡한 상태이다. 또 위험관리도 단순히 위험 목록을 준비할 수 있는 양식이 아니라 R&D 수행에서 발생할 수 있는 실질적인 위험 요인들을 관리하고 대응할 수 있는 형식으로 양식이 보완될 필요가 있다. 특별히 동료 검토 양식에서 income-plete, inconsistency, missing, wrong, minor, major 등과 같은 구분은 사람에 따라 주관적 해석이 가능하고 연구현장에서의 활용에 혼선을 초래할 염려가 있어 보완될 필요가 있다.

Q-mark 인증 모델 운영은 R&D 사업 수행 시작 시점에서 사업 프로세스 수립과 이행 그리고 요구사항 작성을 점검하는 초기 점검 그리고 사업 종료시 R&D 사업 수행 결과물 검증과 프로세스 이행 준수 여부를 점검하는 종료 점검이 있다. 이에 대해 설문 응답자의 12%가 Q-mark 모델의 현재 점검 방법과 평가 기준에 대한 개선 기대를 보였다. 필자의 견해로는 Q-mark 모델에 포함된 각 프로세스 평가를 프로세스 별 점검 목록을 근거하여 진행하나 프로세스 별 세부 활동 점검 내용과 기준에 있어 객관성이 다소 미흡하고 부과되는 등급 또한 QA 요원의 시스템 개발 경험과 수준에 따라 다소 차이를 가져오는 경향이 있어 이에 대한 보완이 필요한 것으로 보였다. 또 연구 결과물에 대한 점검 및 평가 또한 요구사항 구현과 시험 완료로 판단하는데 이 또한 보다 실질적인 관리 및 정적 시험 그리고 시험 커버리지 등과 같은 요소를 포함하는 것도 추가적으로 검토될 필요가 있는 것으로 보였다.

R&D 사업 수행에서의 프로세스 이행 점검과 지원 그리고 연구 결과물 검증 및 지원을 수행하는 QA 요원의 서비스 지원과 전문성 수준도 R&D 사업 수행 조직의 프로세스 성숙도 향상과 연구 결과 품질 향상에 크게 영향을 준다. 설문 응답자의 12%가 QA 요원의 서비스 지원과 전문성 측면에서 개선을 기대하고 있는 것으로 나타나고 있다.

그 밖에 개선 사항으로 R&D 연구 품질을 위해 개발되어 운영하는 Q-mark 모델보다는 SPICE나 CMMI 등 국제적인 인증 모델의 도입과 적용을 기대하는 응답자도 3%를 보였고, R&D 사업 프로세스 이행과 QA 활동을 지원할 수 있는 전담 QA 요원의 지원 체계 도입 기대도 3% 응답을 보였다. 또 Q-mark 인증 모델의 운영 방법과 적용 기준에서 있어서 개선 및 보완되어야 한다고 응답한 비율도 3%를 보였다.

기타 설문 조사 외 연구 현장에서 추가적으로 나온 의견으로 Q-mark 모델과 SPICE의 동시 운영에 따른 혼선 개선, 그리고 두 인증 모델 간 프로세스 정의에 대한 차이와 프로세스 매핑에 따른 구체적이고 명확한 테일러 기준 보완, 연구원 표준 프로세스와 연구소 표준 프로세스 그리고 사업별 프로세스 수립에 따른 프로세스 일관성 유지와 테일러링 기준에 대한 보완을 기대하고 있다.

(그림 8)은 설문 응답자의 나이 및 전공에 대한 구성 내용이다. 설문 응답자의 55%가 40대이고 27%가 50대, 그리고 18%가 30대이다. 또 응답자 중 약 60%가 컴퓨터 및 전산 관련 전공자이고 36%가 전자 및 통신 전공자이다.

(그림 8)

설문 응답자 연령 및 전공 분포

(그림 9)는 설문 응답자 중 R&D 사업 수행하면서 시스템 설계 및 코딩 그리고 시험에 대한 경험 정도이다. 설문 응답자의 약 80%가 5년 이상 시스템 설계 경험을 하였고, 응답자의 90% 이상이 5년 이상 코딩 경험이 있으며 약 80%가 5년 이상 시험 경험을 하였다.

(그림 9)

설문 응답자 개발 경험 분포

위 분석 결과는 22명의 설문 응답자와 43개 연구 사업의 사업 Q-mark 점검을 통한 인터뷰, 10개의 연구 사업에 대한 초기 점검(요구사항 및 프로세스 수행 점검)을 통한 인터뷰, 그리고 4개의 기술 Q-mark 검토를 통한 인터뷰를 근간하여 조사한 내용이다.