서 론
방위사업을 효율적으로 추진하기 위해 필요한 절차 등을 규정한 방위사업청의 방위사업관리규정에는 국방 무기체계 연구개발 사업 추진 시 체계공학(Systems Engineering)에 관한 절차를 적용할 것을 규정하고 있다[1].
이에 따라 국방과학연구소에서 수행하는 무기체계 시험프로젝트 및 기본 시험 관련 업무에 대하여, 체계공학 적용 수준의 척도를 가늠할 수 있는 CMMI (Capability Maturity Model Integration) 모델을 바탕으로 체계공학 절차를 시험업무에 적용하고자 노력하고 있으며, 지속적으로 시험업무 프로세스의 개선 및 인증 활동을 수행하였다[2-4]. 국방과학연구소의 시험조직은 2006년부터 시험업무에 CMMI 모델을 적용하여, 2008년 CMMI 성숙도(Maturity Level) 2단계 인증을 시작으로 2010년과 2013년 성숙도 3단계 인증 및 재인증, 2016년 성숙도 4단계 인증과 2019년 최고 역량 성숙도인 5단계를 인증받으며, 조직 차원의 지속적인 시험업무 프로세스 개선을 추진해 왔다. CMMI 모델은 조직의 개선을 위한 접근법 중의 하나로, 소프트웨어 공학, 체계공학, 인적자원 관리 및 소프트웨어 획득 등 특별한 원칙들에 대한 산업계의 모범 사례들을 모아 놓은 것이다[5]. 이러한 사항을 고려할 때 CMMI 인증 및 프로세스 개선 활동을 통한 체계공학 절차의 시험업무 적용은 조직 개선, 시험품질 향상, 프로젝트 관리 역량 향상, 업무 생산성 및 대외신뢰도 향상 등 조직성과의 개선과 지속적인 향상을 위한 방법론으로 유용하지만, 시험업무의 특성을 반영한 시험업무 아키텍처 모델을 제시하기에는 한계가 있다[6-10].
지난 2021년 6월 국방과학연구소는 연구소의 주변 환경의 변화에 대응하기 위해 국가 T&E 역량 고도화와 시험 인프라의 국가적 활용성 강화를 목표로 국방과학연구소의 각 시험장을 통합하여 국방시험연구원(이하 시험원)을 설립하였다. Fig. 1은 시험원의 각 시험장을 나타낸다. 시험원으로 확대 개편하기 이전의 시험조직(종합시험장, 특수화력시험장)은 유도무기, 총포/탄약, 특수화력 무기체계 시험 분야를 주로 수행하고, 신규 편입된 시험장(해양연구센터, 항공시험장, 창원시험장)은 해양, 항공, 기동 무기체계 시험 분야를 주로 수행한다. 앞서 설명한 바와 같이 기존 시험조직에서는 CMMI 모델을 통하여 체계공학 절차를 시험업무에 적용하고 있었으나, 신규 편입된 시험장은 시험업무에 대한 표준 프로세스가 정립되어 있지 않고, 사업/과제별로 개별 관리가 이루어지고 있었다. 이에 따라 표준화된 시험서비스 제공이 불가능했다. 또한, 신규 편입된 시험장들은 시험업무의 전체 수명주기 동안 시험업무 프로세스의 반영 및 적용 가능한 전산지원도구의 활용 없이 개별적으로 산출물을 관리함에 따라 체계적인 산출물 관리가 이루어지지 않고, 조직의 프로세스 자산으로써 산출물의 공유와 재사용이 어려웠다.
이러한 관점에서 본 논문은 국방 T&E에서 복잡하고 다양한 시험요구에 대해 신속하게 대응하고, 시험장 통합에 따른 새로운 시험조직의 효율적인 운영과 표준화된 시험서비스 제공을 가능하게 하며, 신규 편입된 시험장의 시험업무 역량 향상을 위한 시험업무 아키텍처 모델 개발에 관한 내용을 다룬다.
본 논문의 구성은 다음과 같다. 서론에서는 연구의 목적과 필요성을 제시하였고, 2장에서는 본 연구의 적용 대상인 시험업무에 대한 체계공학 Vee모델 적용, 시험업무 표준 프로세스, 시험업무 규정 및 규정 사이의 상호관계와 시험업무 수명주기에 따른 산출물을 정의하고, 표준 프로세스의 이행을 지원하는 전산지원도구의 구축 및 활용에 대한 사항을 제시한다. 3장에서는 무기체계 시험업무 아키텍처 모델을 통한 개선사항을 정의하고, 아키텍처 모델의 요구사항에 대한 충족 여부를 확인하여 모델의 효과성을 제시하고자 한다. 4장에서는 본 논문의 결과를 정리 및 요약하였다.
시험업무 아키텍처 모델
2.1 시험업무 아키텍처 모델의 삼각축(Triad)
시험원은 Fig. 2와 같이 프로세스, 사람, 기술요소의 삼각축을 기반으로 시험업무 아키텍처를 구축하여 업무 효율성과 조직성과를 향상시키고자 한다[11]. 시험업무 아키텍처 모델의 삼각축은 조직 내에서 상호 유기적으로 통합, 협업, 관리되어야 한다. 삼각축 중 첫 번째 프로세스는 절차 및 방법으로 시험원의 방침, 지침, 절차로 구현되고, 두 번째 사람은 인원 및 역량으로 조직원의 실무, 경험, 교육 등으로 구성된다. 세 번째 기술요소는 장비 및 도구로 전산지원도구인 종합시험정보체계(Integrated Test Information System)를 통하여 지원된다. 시험업무 아키텍처 모델은 삼각축의 각 요소를 반영하여 구축하여야 한다.
2.2 SE Vee모델 적용
시험원에서 수행하는 대부분의 시험업무는 사업/과제의 형태로 수행하고 있다. 하나의 사업/과제는 한 건 이상의 단위시험으로 구성된다. 시험원 설립 이후 조직 규모의 확장에 따라 관리하여야 하는 사업/과제 및 단위시험은 대폭 증가하였다. 체계적인 사업/과제 관리와 효율적인 시험업무 수행을 위하여 체계공학 Vee모델을 시험업무에 적용하고자 한다.
Fig. 3은 체계공학 Vee를 나타낸다. Vee모델은 계층구조(Hierarchy)와 수명주기(Life Cycle) 관점에서 정의할 수 있다. Vee에서 시간(수명주기)은 왼쪽에서 오른쪽으로 진행된다. 상단에서 하단으로의 세로축은 계층구조를 나타낸다.
Vee의 왼쪽 측면은 체계공학의 분해 및 정의(Decomposition & Definition) 활동을 나타낸다. 프로세스의 처음은 Vee의 왼쪽 상단에서 이해관계자(Stakeholders)의 요구사항(Needs)에서부터 시작한다. 분해 활동은 시스템의 구성요소를 계층구조에 따라 하향식으로 쪼개는 과정이다. 시스템을 분해하여 상위 수준 구성요소로 만들고, 다시 상위 수준 구성요소를 하위 수준 구성요소로 만드는 과정을 거쳐 말단의 형상항목 수준까지 시스템 구성요소를 분해한다. 시스템 계층구조에 따른 분해 활동의 결과물은 각 계층별 요구사항(또는 사양)으로 정의한다.
Vee의 오른쪽 측면은 체계공학의 통합 및 검증(Integration & Verification) 활동을 나타낸다. 통합 활동은 말단의 형상항목을 조립하여 구성요소로 만들고, 하위 수준 구성요소를 조립하여 상위 수준 구성요소로 만들며, 상위 수준 구성요소를 조립하여 시스템을 만드는 것과 같이 시스템 계층구조에 따라 상향식으로수행한다. 시스템 계층구조에 따른 통합 활동의 결과물인 각 계층별로 통합된 구성요소는 테스트와 같은 검증방법을 통해 해당 구성요소가 규정된 요구사항(또는 사양)을 충족시키는지를 검증한다. 최상위 시스템 또한 시스템 요구사항을 충족시키는지를 검증해야 하며, 검증된 시스템이 이해관계자 요구사항을 충족시키는지도 확인해야 한다. 확인된 시스템에 대해 이해관계자는 최종적인 사용 여부를 결정한다.
앞서 체계공학 Vee에서 살펴본 바와 같이 Vee 오른쪽 측면은 통합 및 검증 단계이다. 통합 및 검증 단계는 무기체계의 수명주기 관점에서 볼 때, 대부분 시험평가에 대한 내용이다. 체계공학 Vee의 오른쪽 측면은 시험원에서 수행하는 시험업무의 주요 활동으로 볼 수 있다.
2.2.1 사업/과제 관리 체계
본 연구에서는 무기체계의 수명주기 관점이 아닌, 시험업무의 수명주기 관점에서 살펴보고자 한다. Vee 의 재귀적, 순환적 특성을 반영하여 시험원의 시험업무에 적용하고자 한다. Fig. 4는 체계공학 Vee를 시험업무에 적용하여 나타낸 「사업/과제 시험업무 Vee」 이다. 사업/과제는 시험의뢰자의 사업/과제 요구사항으로부터 사업/과제 계획(사업/과제 계획서)을 수립하고, 한 건 이상의 단위시험을 수행하여, 그 결과(결과보고서)를 검토한 후 의뢰자에게 제공하는 것으로 사업/과제는 종료한다.
사업/과제의 업무 절차를 고려할 때 시험업무의 수명주기는 「요구-계획-수행-결과」로 정의할 수 있다. 사업/과제 시험업무 Vee에는 요구사항을 검증하는 확인(Validation)과 사업/과제 계획을 반영한 수행 여부를 검토하는 검증(Verification) 활동을 포함한다.
사업/과제 측면에서 수명주기에 따른 단계별 세부 수행내용은 Fig. 5와 같이 정의한다.
2.2.2 단위시험 시험업무 관리 체계
Fig. 6은 「단위시험 시험업무 Vee」를 나타낸다. 사업/과제의 시험업무와 마찬가지로 단위시험 시험업무 Vee의 수명주기는 「요구-계획-수행-결과」 이다.
하나의 단위시험은, 단위시험을 수행할 때마다 프로젝트관리자(시험주관)와 여러 기능부서(계측/지원)가 조직되어 수행하는 매트릭스 조직의 형태로 구성된다. 단위시험 시험업무 Vee는 매트릭스 조직의 프로젝트 관리부서(시험주관)와 여러 기능부서(계측/지원)에서 수행하는 시험업무의 수명주기와 계층구조를 나타낸다(Fig. 6의 좌측 Vee: 시험주관 영역, 우측 Vee: 계측/지원 영역).
단위시험 관리 체계의 프로세스는 시험주관 영역에서 사업/과제 계획서(①, 요구)를 바탕으로 단위시험계획(②, 계획)을 수립하는 것으로부터 시작하고, 계측/지원 영역에서는 단위시험계획서(③, 요구)를 바탕으로 계측/지원계획(④, 계획)을 수립한다. 이후 단위시험계획과 계측/지원계획에 따라 시험을 수행(⑤, 수행)한다. 하나의 단위시험이 종료되면 계측/지원영역에서는 계측/지원계획에 따라 단위시험을 수행하였는지 검토(⑥, 결과)하고, 단위시험계획에 따른 계측/지원 요구사항을 모두 수행하였는지 확인하여 계측/지원 결과서를 발행(⑦, 결과)한다. 이러한 다수의 계측/지원 결과서는 종합되어, 시험주관 영역에서 단위시험 결과를 검토(⑧, 결과)하고 분석하여 단위시험 결과보고서를 작성/발행(⑨, 결과)한다.
시험주관 및 계측/지원 영역에서는 요구사항을 검증하는 확인(Validation)과 계획을 반영하여 수행되었는지 검토하는 검증(Verification) 활동을 포함한다.
단위시험 측면에서 수명주기에 따른 단계별 세부 수행내용은 Fig. 7과 같이 정의한다.
2.3 시험업무 표준 프로세스 흐름 정의
본 절에서는 2.2절에서 언급한 사업/과제 시험업무 관리 체계 및 단위시험 시험업무 관리 체계에 따라 표준 프로세스를 정의하고자 한다. SE 전산지원도구인 Vitech 社의 GENESYS 2021 R2를 활용하여 시험업무 수명주기에 따른 사업/과제의 공통프로세스를 Fig. 8, 9와 같이 강화기능흐름도(Enhanced Functional Flow Block Diagram)와 N2차트(Chart)로 표현하였다. EFFBD 는 기능들 사이의 관계(순차적, 병렬적, 또는 부수적인)를 블록의 형태로 표현한 다이어그램으로 기능 간 주고받는 인터페이스 아이템에 대한 표현까지 포함하여 프로세스를 이해하기에 적합하다. EFFBD에서 사각형과 타원형은 각각 활동 및 입·출력물을 나타낸다. N2차트는 기능적, 물리적 인터페이스를 분석하기 위한 시스템적인 접근방법으로 시스템통합이 효과적으로 진행되도록 기능 사이에 생길 수 있는 상충영역을 검토하기에 효과적이다. N2차트의 큰 사각형은 활동을, 작은 사격형은 입·출력물을 나타낸다.
Fig. 10, 11, 12, 13은 사업/과제의 수명주기인 사업/과제 요구, 사업/과제 계획, 사업/과제 수행, 사업/과제 결과에 따른 업무 흐름을 EFFBD로 구현하였으며, 단위시험에 대한 EFFBD는 본 논문에서는 생략하였다.
2.2.1절에서 논의한 바와 같이 사업/과제 시험업무 Vee와 단위시험 시험업무 Vee는 요구사항을 검증하는 확인과 사업/과제 계획을 반영하여 수행되었는지 검토하는 검증 활동을 포함하고 있다. 사업/과제에 대한 검증 및 확인(Verification & Validation)은 시험원 동료검토 절차서에 명시한 방법을 적용하여 구현하고자 한다. Fig. 14는 사업/과제에 대한 검증 및 확인 활동을 EFFBD로 나타낸 것으로 검증 및 확인 활동의 최종산출물은 동료검토 결과보고서로 정의할 수 있다.
2.2.2절에서 논의한 단위시험 시험업무 Vee에서 검증 및 확인 활동은 사업/과제 수준의 검증 및 확인과는 다소 차이가 있다. Fig. 15는 단위시험에 대한 검증 및 확인 활동을 EFFBD로 나타낸 것으로 동료검토 절차에 명시된 동료검토 결과 보고서가 산출물로 정의되는 공식적인 동료검토 절차가 아니라 상위 관리자의 검토와 결재 형식으로 검증 및 확인 활동을 단순화하여 적용하고 있다.
2.4 시험업무 규정
2.1절에서 논의한 바와 같이 시험원 시험업무 아키텍처 모델 삼각축 중 한축을 담당하는 것이 절차/방법이다. 표준 프로세스를 모델화하고 조직의 규정으로 정의하여 조직원 모두가 업무 수행 시 참조하는 절차와 방법으로 활용토록 하였다.
2.4.1 시험업무 규정 계층구조
시험업무 관련 규정은 Table 1과 같이 방침, 지침, 절차의 계층구조를 나타낸다. 최상위 규정으로 시험원 운영방침이 있다. 운영방침의 하위 규정으로 시험업무관리지침과 시험업무수행지침이 있으며, 시험업무관리지침의 하위 규정으로 시험통제원 임명절차, 내부심사절차 등으로 구성되고, 시험업무수행지침의 하위 규정으로 동료검토 절차 등으로 구성되어 있다.
시험원 운영방침은 시험원의 조직 목표와 비전에 대한 선언적인 내용을 명시하고 있다. 지침은 시험업무수행과 시험업무관리에 대한 방법론을 제시한다. 절차는 지침에 세부적으로 담지 못한 사항을 별도로 정의하고 있으며, 지속적으로 추가/보완될 것이다.
2.4.2 지침과 시험업무의 상호관계
Fig. 16은 시험업무관리지침 및 시험업무수행지침과 시험업무와의 상호관계를 나타낸다.
시험업무관리지침은 사업/과제의 관리를 위한 지침으로 시험업무관리계획서로 구체화 된다. 시험업무관리계획서는 시험원 조직 중 시험과 관련된 운영단위부서에서 부서별 특성을 반영하여 작성하며 시험업무 관리, 시험지원 관리, 기타 관리의 영역으로 구분된다. 시험업무관리계획서의 세부 내용을 살펴보면 시험업무관리는 사업/과제의 관리전략, 위험 및 기회관리, 이해당사자 참여관리, 정량적 관리, 진척관리, 구매관리, 품질보증에 관한 방법론을 정의한다. 시험지원관리는 사업/과제의 형상관리, 문제해결, 자료관리, 자원관리, 교육관리에 관한 방법론을 정의한다. 기타관리는 시험일정 계획과 프로세스 개선에 대한 방법론을 정의한다.
시험업무수행지침은 사업/과제 수행을 위한 방법론으로 시험업무의 수명주기에 따른 업무 흐름별 수행업무를 정의한다. 시험업무수행지침의 내용은 사업/과제 요구 단계 수행업무 절차, 사업/과제 계획 단계 수행업무 절차, 사업/과제 수행 단계 수행업무 절차, 사업/과제 결과 단계 수행업무 절차로 구분된다. 시험업무수행지침은 시험업무 수명주기에 따라 의뢰서, 계획서, 시험일지, 결과보고서 등의 산출물로 구체화 된다.
2.5 시험업무 산출물
본 절에서는 시험업무 수명주기에 따른 시험업무 산출물을 정의하고자 한다. 산출물은 「사업/과제 시험업무 Vee」와 「단위시험 시험업무 Vee」의 전과정에서 검증 및 확인의 대상이므로 각 단계별 정의가 필수적이다. 시험업무 산출물은 사업/과제와 단위시험으로 구분하여 정의하고, 단위시험은 시험주관 영역과 계측/지원 영역으로 세분화하여 정의한다. Table 2는 수명주기에 따른 사업/과제 산출물과 단위시험 산출물을 나타낸다.
Table 2.
수명주기 | 사업/과제산출물 | 단위시험 산출물 | |
---|---|---|---|
시험주관 | 계측/지원 | ||
요구단계 | 사업/과제의뢰서 | 사업/과제계획서 | 단위시험계획서 |
계획단계 | 사업/과제계획서 | 단위시험계획서 | 계측/지원계획서 |
수행단계 | 시험일지 | 시험일지 | 시험일지 |
결과단계 | 사업/과제결과보고서 | 단위시험결과보고서 | 계측/지원결과서 |
2.5.1 요구단계
요구단계는 시험업무 수명주기의 첫 번째 단계로 시험의뢰자로부터 시작된다. 사업/과제 수준의 산출물은 시험의뢰자의 기본적인 요구사항이 반영된 사업/과제의뢰서이다. 단위시험 수준에서의 산출물은 시험주관 측면에서는 사업/과제 계획서이고, 계측/지원 측면에서는 단위시험 계획서로 정의한다.
2.5.2 계획단계
계획단계는 의뢰자의 요구사항을 기반으로 계획을 수립하는 단계이다. 사업/과제 수준의 산출물은 사업/과제 계획서이다. 단위시험 수준에서의 산출물은 시험주관 측면에서는 단위시험계획서이고, 계측/지원 측면에서는 계측/지원계획서로 정의한다.
2.6 전산지원도구 개선 및 적용
시험원은 연간 수백 건의 사업/과제와 수천 건의 단위시험을 수행하고 있다. 이와 같이 수많은 사업/과제와 단위시험에 대한 산출물을 별도의 전산지원도구 없이 수작업으로 관리하는 것은 매우 어렵다.
시험원 설립 이후, 기존 조직에서 활용하던 전산지원도구인 종합시험정보체계는 무기체계 시험업무 아키텍처 모델의 구조를 반영한 기능 개선으로 해양, 항공, 기동 등 신규 편입된 시험장에 대한 지원 확대를 추진하였다.
종합시험정보체계는 각종 무기체계의 시험에 대한 정보 및 자료관리, 조회 등을 지원하기 위해 시험업무표준 프로세스를 기반으로 시험요구, 시험계획, 시험수행, 시험결과를 체계적으로 정리하여 시험업무의 적시성과 통합성을 제공한다[13]. 또한, 장비 및 탄약관리, 시험지원, 결재 및 공지, 시험서식 관리 등의 시험관리 및 지원영역을 통하여 효율적인 시험업무 프로세스 적용을 가능하게 한다. Fig. 17은 기능 개선된 종합시험정보체계의 구성을 나타낸 것으로 시험분야와 시험업무 프로세스 수명주기에 따른 시험정보 및 실적, 시험관리 및 지원을 수행하며, 대내·외 시험관련 부서 및 기관과 시험업무의 추적성(Traceability)을 확보할 수 있도록 시험 관련 산출물 생성, 관리 및 발송 업무를 지원한다.
개발 아키텍처 모델 개선사항
무기체계 시험업무 아키텍처 모델을 통한 개선사항을 정의하고, 아키텍처 모델이 요구사항을 충족하는지 확인하여 제시한 아키텍처 모델의 효과성을 확인하고자 한다. 우선 아키텍처 모델의 요구사항은 서론에 언급한 바와 같이 3가지로 정의할 수 있다. 첫째, 기존 조직과 신규 편입된 조직에 공통으로 적용 가능한 체계적인 방법론 필요, 둘째, 각기 다른 시험장의 시험분야에 적용 가능한 표준 프로세스 정립, 셋째, 이러한 요구사항이 적용 가능한 전산지원도구의 구축과 활용이다.
Table 3은 시험업무에 대한 아키텍처 모델의 요구사항을 아키텍처 모델 삼각축의 기술요소와 프로세스 관점에서 정의하고, 각 요구사항에 대한 개발 아키텍처 모델의 세부적인 적용 사항을 나타낸다. 개발 아키텍처 모델은 요구사항을 모두 만족한 것으로 판단된다.
Table 3.
시험업무 아키텍처 모델의 적용을 통해 신규 편입된 조직의 시험장들은 표준 프로세스의 정립 없이 개별적으로 수행하는 업무 방식에서, 체계공학 기반 시험업무 표준 프로세스를 규정화한 시험업무 방침 및 지침에 따라 시험업무를 수행하는 방식으로 변화하였으며, 지속적인 프로세스 개선을 통해 효율적인 조직 운영의 기반을 마련하였다. 또한, 시험업무 수명주기에 따른 산출물을 정의하여 공통 시험산출물을 생산하게 되었으며, 전산지원도구의 활용을 통해 시험산출물을 조직의 프로세스 자산으로 저장, 공유, 재활용이 가능하게 하여 시험산출물 생산에 투입되는 시간과 자원을 절감하고, 생산된 시험산출물의 결함수를 감소시켜 시험업무의 효율성과 효과성을 향상할 수 있는 기반을 마련하였다.
향후 연구과제로는 시험업무 아키텍처 모델의 이행에 따른 조직 문화 정착과 내재화(Institutionalization)와 함께, 적정한 측정지표 선정과 지표수집 활동을 통한 정량적 관리를 수행함으로써, 통계적 수치 기반의 프로세스 관리 및 개선 결과에 대한 효과성 검증이 필요하다.
결 론
시험원 설립에 따라 조직의 효율적인 운영과 표준화된 시험서비스 제공을 위해 시험업무 아키텍처 모델 개발이 필요하였다.
이러한 관점에서 본 연구는 체계공학 Vee를 시험업무에 적용하여, 사업/과제 시험업무 Vee와 단위시험 시험업무 Vee를 정의하였다. 또한 새롭게 정의한 시험업무 Vee모델에 따른 표준 프로세스의 세부 내용을 전산지원도구인 종합시험정보체계를 통해 구현하였다. 표준 프로세스의 이행력(Implementation)을 확보하기 위해 표준 프로세스를 시험원의 방침, 지침, 절차로 반영하여 규정화하고, 각 규정의 상호관계와 규정과 시험업무와의 연관성에 대하여 설명하였다. 또한 시험업무의 수명주기에 따른 산출물을 정의하여 표준 프로세스의 추적성을 확보할 수 있게 하였으며, 시험업무의 체계적이고 효율적인 수행과 관리를 위해 시험원에서는 종합시험정보체계를 통해 지원하고 있다.
본 연구를 통해 정의한 시험업무 아키텍처는 복잡하고 다양한 무기체계의 시험요구에 신속하게 대응하고 다수의 사업/과제 및 단위시험을 효율적으로 관리하며, 각기 다른 시험분야별 표준화된 시험서비스를 제공하는 기반을 마련하였다. 추후 연구에서는 시험업무 아키텍처 모델의 내재화와 측정지표의 정량적 관리를 통해 세부 프로세스에 대한 정량적 수치 기반의 관리 및 개선 결과를 제시하는 연구가 필요할 것이다.