증거 이론을 활용한 무기체계 RAM 목표값 설정근거 정량화에 관한 연구

A Study on the Data Quantification of Weapon System RAM Objective Setting Using Evidence Theory

Article information

J. KIMS Technol. 2022;25(1):96-107
Publication date (electronic) : 2022 February 05
doi : https://doi.org/10.9766/KIMST.2022.25.1.096
1) Defense Reliability Research Center, Defense Agency for Technology and Quality, Korea
나일용,1)
1) 국방기술품질원 국방신뢰성연구센터
Corresponding author, E-mail: mongguri@dtaq.re.kr
Received 2021 August 19; Revised 2021 November 15; Accepted 2021 December 13.

Abstract

Abstracts

When setting the RAM objectives, various data such as expert opinions and the historical data of similar types of equipment are used. However, many times subjectivity is involved in the process of merging and utilizing data, and there are many cases where some information is omitted or an ambiguous method is used. Most of the previous work focused only on the process or method of calculating values using well-organized data rather than manipulating raw data. But if the data manipulation process is not objective, it is difficult to guarantee the accuracy of the results even if the calculation logic and method are accurate. This study proposes a systematic data merging process used to set the RAM objectives using the evidence theory. The proposed method can be used to avoid information loss and merge the data objectively. Moreover, contribute to improving the accuracy of setting the RAM objectives in the future.

기호 설 명

mi: ith 주요 요소에 할당 된 BPA

Fi: 가산집합 Fith 주요 요소

BPA: Basic Probability Assignment

CBF: Cumulative Belief Function

CPF: Cumulative Plausibility Function

1. 서 론

무기체계 RAM 업무는 고장이 적고 정비가 수월해서 쓰고 싶을 때 쉽게 쓸 수 있는 무기체계를 만들고 유지하기 위한 업무이다. 장비 운용 중에 발생할 수 있는 고장, 정비와 연관된다는 점에서 총수명주기관리, 전투준비태세 유지와 밀접히 연관되며, 획득은 물론 운영유지에 이르기까지 광범위한 기관과 업체가 연관되는 장기 지속 업무이다. 이러한 무기체계 RAM 업무는 RAM 목표값의 설정으로 부터 시작된다. 국내 무기체계 획득 RAM 업무의 기준이 되는 방위사업청의 “무기체계 RAM 업무지침[1]”은 RAM 목표값을 “무기체계 획득단계에 달성하고 충족해야할 RAM 기준값”으로 정의하고 있다. 미 육군의 관련 가이드북[2]에서도 우리나라의 RAM 목표값과 같은 개념을 “RAM requirement”로 정의하고 있는 등, 쉽게 말하자면 성능의 지속성에 대한 요구사항이라 할 수 있다. RAM 목표값이 다른 성능 요구조건과 다른 점은 시간을 고려한다는 점이다. 속도, 탐지거리, 살상능력 등 다른 요구조건들이 특정 시점에서 즉시 확인 가능한 것과 달리, RAM 목표값은 고장의 발생 주기, 특정 고장을 수리하기 위해 소요되는 시간 등과 같이 반드시 시간을 통해 확인해야 하는 지표들이다. 이 때문에 신속하게 무기체계를 개발하고 획득하는 것이 일상화된 국내에서, 단기간에 확인도 어렵고, 제대로 확인하지 않더라도 전력화시점에서는 확인될 수 없는 요소이기 때문에 관리를 등한시하기도 했다. 하지만 무기체계의 첨단화, 복잡화로 운영유지비용이 급격히 증가되면서, RAM 업무는 이를 관리할 수 있는 요소로 다시 주목받게 되었다. 특히 2000년대 초, 미국이 획득 무기체계의 RAM 목표값 달성이 현저히 저조해 지고 있음을 해소하기 위해 무기체계 획득 개선 법안(weapon system acquisition reform act)을 제정하고 RAM 업무를 강화한 것은 국내 무기체계 획득업무에서도 RAM 업무를 체계화 하는 계기가 되었다[3]. 이의 일환으로 합참은 2017년부터 중기전력소요서에 RAM 목표값 반영을 의무화 하였고, 2018년 방위사업청은 RAM 목표값 설정과 관리를 획득사업의 필수 관리요소로 제도화하였다. 이런 이유로 현재 국내에서 수행되는 모든 획득사업은 RAM 목표값을 설정하고 있으며, 목표값 설정을 위해 다양한 방법들을 사용하고 있다.

RAM 업무 체계화 이전부터 RAM 목표값 설정을 위한 다양한 연구는 꾸준히 수행되어 왔다. 하지만, 현재까지도 여전히 위 업무는 어렵고 난해한 것으로 간주되고 있다. 이는 비록 RAM 목표값 설정 방법은 몇 가지로 정해져 있으나, 획득사업마다 제각각인 상황을 고려하기 위해 유사하지만 약간씩 다른 방법을 사용해야하기 때문이다. 대표적인 RAM 목표값 설정 기준서인 OMS/MP(Operational Mode Summary/Mission Profile, 운용형태요약 및 임무유형) 가 표준화될 수 없는 문서이기 때문이기도 하고[2], 목표값 설정에 사용되는 각종 근거자료로 다양한 자료를 사용해야 하는데, 이 과정에서 전문가의 주관적 판단이 많이 개입되기 때문이기도 하다. 이러한 상황을 “RAM 분석과 관련된 용어의 정의나 RAM 분석 절차가 서로 상이하여 표준화된 방법이 존재한다고 보기 어렵다” 고 지적하기도 했다[4]. 전자의 경우 사업의 특성이 상이하더라도 개념에 근거하여 산출식을 조정하여 대부분 극복이 가능하다. 하지만 후자의 경우 정보의 병합과 사용 방법이 올바르지 않을 때에는 정보 손실이 발생하거나 왜곡된 정보가 사용될 수 있기 때문에, 비록 분석방법이 정확하다고 하더라도 신뢰성 있는 결과를 얻기 힘들다. 그럼에도 불구하고, 현재 확인할 수 있는 대부분의 RAM 목표값 설정과 관련된 연구들은 전자에 집중하고 있으며, 다양한 출처의 자료를 신뢰성 있게 가공하는 방법에 대한 연구는 거의 찾아보기 힘들다. 본 연구는 이러한 문제의식에서 출발하여 RAM 목표값 설정에 필요한 다양한 정보의 통합 방안으로 증거 이론(evidence theory)의 사용을 제안한다. 증거이론은 전통적인 확률이론과 유사하나 확률분포를 가정하지 않는다는 점에서 자료의 형태가 유사하지 않은 자료의 통합에도 유연하게 적용할 수 있어, 정보 손실을 최소화 하는 장점이 있다. RAM 목표값 설정과정에서는 다양한 출처에서 다양한 형태의 자료가 사용되기 때문에, 이의 통합이 어려우며, 때로는 통합과정에서 정보의 왜곡이 발생할 가능성도 있다. 본 연구에서 적용을 제안하는 증거이론은 이 같은 문제점을 해결할 수 있는 대안으로 사용될 수 있다.

논문의 구성은 다음과 같다. 2장은 증거 이론의 기본개념을 다루며, 3장은 대표적인 RAM 목표값 설정 방법을 소개하고 증거 이론이 적용될 수 있는 단위 절차를 식별한다. 4장은 3장에서 식별한 단위절차에 증거 이론을 적용하는 방안을 제안하고, 간단한 예제를 통해 기존결과와 비교하여 제안한 방법의 타당성을 입증한다.

2. 증거 이론

전통적인 확률 이론 외에 불확실성을 표현하거나 불확실한 정보에 근거한 의사결정 방법에는 베이지안(bayesian) 방법, 퍼지 집합이론(fuzzy set theory) 등 여러 가지가 있다. 이 중, 증거 이론은 Arthur P. Dempster 가 최초로 제안하고 Glenn Shafer가 일반화한 이론이며, 확신(belief)과 타당성(plausibility) 두 개의 함수로 정보를 조합하는 방법이다. Dempster-Shafer theory로 불리기도 한다. 증거이론의 기본 개념은 다음과 같다[5].

2.1 증거 공간

증거 이론은 확률 이론과 매우 유사하다. 확률 이론이 확률 공간을 근간으로 하는 것과 같이 증거 이론 역시 증거 공간(evidence space) 을 기반으로 한다. 변수 X의 증거 공간은 전체집합, Θ, 이의 부분집합인 가산집합, F, 그리고 F의 요소들 간의 함수인 m이 포함된, (Θ, F, m)으로 정의된다. 위 공간은 아래와 같은 특징을 갖는다.

m(A) = 0 for AΘ and AF

• 0 < m(A) ≤ 1 for AF

AFm(A)=1

증거 이론의 명명 방법에 따라 Θ를 인식의 틀(the frame of discernment), m(A) > 0인 임의의 부분집합 또는 인자 A를 주요 요소(focal element)라 하며, 주요 요소 전체는 가산집합 F를 구성하게 된다. 변수 X가 가질 수 있는 Θ의 부분집합, 즉, 주요 요소와 비교 대상이 되는 집합 A를 명제(proposition)라 한다. m(A)는 기본 확률 배정의 단위, BPA(Basic Probability Assignment)로서 명제 A와 관계된 신용(credibility)의 크기, 즉 명제 A에 할당된 확률을 의미한다. 이항 공간에서 발생하는 사건을 예로 든다면 다음과 같다. 베르누이 시행의 성공확률을 P라 할 때, 증거 공간 Θ = {P|0 ≤ P ≤ 1} = [0,1]이고, 신용의 크기가 모두 동일한 임의의 가산집합 FP = {P1, P2, P3}이 P1 = [0, 0.5], P2 = [0.3, 0.8], P3 = [0.6, 1.0]라면, BPAm(P1) = m(P2) = m(P3) = 1/3이 된다. 만약, P가 [0.3, 0.7]이 맞는지 확인이 필요하다면 P = [0.3, 0.7]이 확인이 필요한 명제가 된다. 물론 각 가산집합의 신용은 서로 상이하게 할당할 수도 있다.

2.2 확신과 타당성

할당된 BPA는 확신(belief)과 타당성(plausibility)으로 표현되는 Θ의 부분집합에 관한 두 개의 측정지표 구성에 사용된다. 확신, Bel(⋅)은 식 (1)로, 타당성, Pl(⋅)은 식 (2)로 정의된다.

(1)Bel(B)=ABm(A)
(2)Pl(B)=ABm(A)

단순 계산의 관점에서 보면, Bel(B)는 부분 집합 B에 포함된 모든 주요 요소의 BPA 합이며, Pl(B)는 부분 집합 B와 교집합이 존재하는 주요 요소들에 할당된 BPA의 합이다. 즉, Pl(⋅) ≥ Bel(⋅)인 관계가 성립되며, 두 값이 같은 경우는 확률 이론과 동일한 개념이 된다. 좀 더 다르게 표현한다면, Bel(B) 와 Pl(B)는 주어진 가산집합이 명제 B와 연관성을 나타내는 최솟값, 최댓값이 된다. 또한, 두 지표는 BPA보다 좀 더 나은 정보를 제공한다고 할 수 있다. 왜냐하면 BPA는 가산집합 중 하나의 주요 요소에 대한 정보만을 제공할 수 있지만, 위 지표들은 관심이 있는 명제와 가산집합과의 연관성에 관한 정보를 제공하기 때문이다. 이상의 내용을 앞서 제시한 베르누이 시행에 대한 예제로 설명하기 위해 PG = [0.2, 0.9]인 명제를 전제로, 확신과 타당성의 크기를 구해본다면 다음과 같다. 주요 요소 중 PG에 포함되는 주요 요소는 P2뿐이지만, 교집합이 존재하는 주요 요소는 P1, P2, P3 모두 이기 때문에, Bel(B)=m(P2)=1/3,Pl(B)=ABϕm(A)=m(P1)+m(P2)+m(P3)=1이 된다.

앞서 정의된 확신과 타당성은 확률 이론과 마찬가지로, 다시 누적된 형태인, 누적 확신 함수(cumulative belief function), CBF(⋅)와 누적 타당성 함수(cumulative plausibility function), CBF(⋅)로 표현할 수 있다. ux={x~|x~Θ and x~x} 일 때, 각 지표의 정의는 식 (3), 식 (4)와 같으며, 각각은계단형태의 연속된 증가함수 형태로 나타난다.

(3)CBF={[x, Bel(ux)] | xΘ}
(4)CPF={[x,Pl(ux)]|xΘ}

2.3 뎀스터 법칙

뎀스터 법칙(Dempster's rule)은 증거 이론의 가장 핵심이 되는 개념으로, 다수의 증거를 병합하는 기법이다. n개로 이루어진 주요 요소에 대해 BPAm1, ..., mn라면, 뎀스터 법칙에 따른 병합된 BPA, m(A)는 식 (5)로 정의된다.

(5)m(A)=Ai=Ai=1nmi(Ai)1Ks.t.K=Ai= i=1nmi(Ai),A

가령, 동일 사안에 대해 서로 다른 두 개의 증거, 즉 두 개의 가산집합이 존재하고 각각의 주요 요소와 이에 대응하는 BPATable 1과 같을 때, K = m(ϕ) = m[0.6, 1.0] ∩ m[0.0, 0.5] = 1/4×1/3 = 1/12이고, 두 가산집합을 통합한 주요 요소와 교집합별 BPATable 2와 같아진다.

Information about P

Aggregated evidence

Fig. 1Fig. 2는 뎀스터 법칙에 따라 Table 1Table 2의 가산집합 통합 전·후의 CBFCPF를 나타낸 도표로, 각 도표의 CBF, CPF는 앞서 설명한 바와 같이 임의의 명제, P가 주요 요소와 연관될 누적확률의 최소, 최댓값이 됨을 알 수 있다.

Fig. 1.

Individual CBF and CPF of Table 1

Fig. 2.

Aggregated CBF and CPF

3. RAM 목표값 설정방법

기존 연구에서 다루어지는 RAM 목표값 설정방법은 크게 1) 전투준비태세 유지확률 활용법, 2) OMS/MP에 근거한 방법, 3) 유사장비 실적에 근거한 방법, 4) 시뮬레이션을 이용하는 방법으로 구분된다[4,6]. 경우에 따라 위 방법들을 부분적으로 조합하기도 하나, 대부분은 위 방법을 크게 벗어나지 않는다. Table 3은 RAM 목표값 설정방법의 종류와 각 방법의 장·단점을 제시한 것이다.

RAM objectives setting methods

전투준비태세 유지확률 활용법은 과거 국산헬기, 항공기 등의 초기 목표값 설정에 많이 사용된 방법이지만, 현재 단독으로 사용되는 경우는 거의 없는 것으로 확인된다. 현재 가장 많이 사용되고, 다양한 연구가 진행된 것은 OMS/MP에 근거한 방법이다. Wang et al.[6]은 OMS/MP를 사용한 함정 RAM 목표값 설정 Framework을 제시하였고, Lee et al.[7]은 OMS/MP 기반의 RAM 목표값 설정 표준 템플릿을 제안하였으며, Hwang and Hur[8]는 OMS/MP 작성 정책의 개선방향과 기법 측면에서 의사결정계보 기법을 행정 및 군수지연시간 산출 분야에 적용 필요함을 주장하였다. Park et al.[9]은 군위성통신의 운용 특성을 고려하여 기존 가동(uptime) 시간요소 중 하나인 대기시간(standby time)을 불가동(downtime) 시간요소로 구분하는 새로운 방법을 제안하기도 하였다. 다음으로 유사장비 실적에 근거한 방법 역시 꾸준한 연구와 실적이 확인되는 기법이다. Chung et al.[10]은 철도차량 경험 자료를 직접적으로 이용한 목표값 설정 방법을, Baek et al.[11,12]은 설문조사 결과로 산출된 보정계수로 유사장비 실적을 일부 보정하는 방법을 제안하였다. Kim and Jung[13]은 설문조사 기반의 보정계수를 산출하는 방법으로 구조방정식을 사용하였으며, Han and Paik[14]은 AHP 기법을 이용하여 보정계수의 우선순위를 산출하기도 하였다. 시뮬레이션을 활용한 방법으로는 Han et al.[4] 정도가 확인되고 있다. 위 연구는 대상 장비의 운용시간과 거리 산출에 육군의 화력운용분석모델을 사용하였고, 정비도는 유사장비(K-000)의 정비실적 중 수리부속 교환실적을 이용하여 보정 없이 설정하였으며, 행정 및 군수지연시간 산출에는 야전부대 설문조사 결과를 사용한 것으로 확인된다. 그 외, 앞서 제시된 방법을 일부 조합하거나 이를 응용하여 다른 의사결정에 활용하는 연구도 일부 확인된다. Kim and Bae[15]는 운용가용도는 전투준비태세 유지확률을 활용한 방법으로 결정한 후 OMS/MP의 시간요소를 최적화 하여 신뢰도와 정비도 목표를 설정하였고, Kim et al.[16]은 OMS/MP에 근거한 RAM 목표값을 설정하였으나, 시간요소와 지표를 야전운용값과 설문조사결과로 일부 보정하는 방법을 채택하였다. Cha et al.[17]은 설정된 RAM 목표값으로 추가도입이 필요한 KTX의 소요편성 최적수량을 산출하기도 하였다. 위 연구들이 모두 직접적으로 전문가 판단이나 경험 자료를 사용하고 정보를 조합하는 것은 아니나, RAM 목표값 설정이 미래의 목표 수준을 추정하여 결정하는 행위이니만큼 정도의 차이는 있으나 정보의 조합과 통합은 어느 방법을 이용하더라도 약간 씩 사용된 것이 사실이다. 다만, 대부분의 연구에서 정보의 병합에 관한 방법을 다루기보다는 다양한 정보로부터 RAM 목표값을 산출하는 기법 위주로 연구가 수행되고 있음을 알 수 있었다. 정보의 통합에는 전문가 판단 결과를 단순히 산술평균하여 반영하는 방법에서 부터, AHP 기법, 델파이 등을 사용하는 경우도 있으나 자료의 가공 방법을 명확히 제시하지 않는 경우가 대부분인 것으로 확인된다. 이를 보완하기 위한 방안으로 앞서 제시된 방법 중 현재 가장 많이 사용 중인 2) 번과 3) 번 방법의 세부절차 중 증거 이론이 사용될 수 있는 부분을 다음과 같이 모색해 보았다. 두 방법 모두 전문가 의견을 통합하는 부분과 유사장비 실적을 조합하는 부분에 사용이 가능할 것으로 판단되었다.

OMS/MP란 “군사 작전의 과업과 수행조건, 기준값 등을 시간단위의 작전계획으로 표현한 것(a time phased representation of planned operations at the tasks, conditions and standards level across the range of military operations)”으로 정의된다[2]. 즉, OMS/MP 작성 대상이 운용 중에 겪게 되는 외부환경, 과업의 지속시간과 스트레스 수준 등을 문서화 한 표준 시나리오이다. OMS/MP는 통상 존재하지 않는 무기체계의 운용방법과 형태에 관한 것으로, 현재의 유사장비 경험값과 관련 전문가의 의견을 종합하여 각종 기준값들을 정량화하게 된다. OMS/MP가 특정시점의 성능이 아닌 성능의 지속시간과 수준을 정의한다는 점에 서 성능의 지속능력을 표현하는 RAM 목표값과 밀접한 관련이 있다. OMS/MP에서 식별해야 할 대표적 시간요소들은 Table 4와 같으며, 각 시간요소들은 표의 하단에 제시된 몇 가지 산식들에 의해 RAM 목표값으로 변환된다.

Quantified parameters by OMS/MP[8]

Table 4의 OT, TCM 등 시간요소들은 전문가 의견 또는 유사장비 분석결과로부터 추정된다. 전문가 의견의 조사는 설문을 통해 수행되는 것이 일반적이다. 물론 제반 지식이 전혀 없는 상태에서 조사하는 경우는 거의 없으며, 현재를 기준으로 미래의 상대적 변화량을 조사하는 것이 일반적이다. 통상 설문조사를 통해 다수 전문가의 의견을 수집하게 되며, 이의 종합 과정에 정보의 유실이 없는 자료의 가공이 필요하다. Fig. 3 은 OMS/MP에 근거한 방법을 적용하는 절차를 개략적으로 제시한 것이며, 증거 이론이 사용될 수 있는단계는 음영으로 표시되어 있다.

Fig. 3.

RAM objective analysis procedure using OMS/MP

유사장비 실적에 근거한 방법은 유사장비로 간주되는 장비 또는 구성품의 기존 운용·정비실적을 그대로 사용하거나, 전문가 의견을 반영하여 일부 조정하여 목표값을 산출한다. 예를 들어, 유사장비 실적이 AA이고 전문가 의견을 반영한 보정계수가 BB라면, 조정된 값인 AA×BB 를 사용하는 방식이다. Fig. 4는 유사장비 실적에 근거한 방법을 적용하는 절차를 제시한 것으로, 역시 증거 이론이 사용될 수 있는 단계를 음영으로 표시하고 있다.

Fig. 4.

RAM objective analysis procedure using historical data

4. 정보의 통합 모형 제안

4.1 전문가 의견

전문가 의견의 조사는 설문조사를 활용한다. 설문조사의 문항과 방법은 연구별로 상이하나, 설문 결과의 처리방법에 따라 설문의 방법이 정해진다. Table 5는 조사결과의 평균을 취하여 해당 요소의 보정계수를 구하는 방법[12]이다. Han and Paik[14]과 같이 AHP를 이용하는 방법 역시 보정계수는 Table 5와 동일한 방법으로 수집하며, AHP의 사용을 위해 대상항목의 상대적 중요도를 조사하기 위한 작업이 추가될 뿐이다. 즉, 보정계수는 대부분 Table 5와 같이 수집한 후 결과의 산술평균, 기하병균 등의 기초적인 통계량을 사용하고 있다. 통상 전문가 설문은 가능한 간단한 형태로 수행되고, 설문의 응답은 상호 배타적인 선택지 중에 선택해야 한다. 상호 배타적인 선택지의 사용은 사후 통계량 산출에 반드시 필요한 작업이지만 만약 전문가가 주장하고자 하는 의견이 상호 배타적이지 못할 경우 의견을 충분히 반영할 수 없는 단점이 있다.

Adj. factor(MTTR change with maintenance / diagnosis technology advance, %)[12]

예를 들어 Baek et al.[12]에서 사용된 보정계수 관련 설문 방법인 “00장비의 정비시 예상되는 정비/진단기술의 발전에 따른 MTTR의 변화 비율은 얼마나 될 것으로 예상하십니까?” 라는 질문에 대한 의견 조사는 현재는 Table 5에 따라 5 ~ 10 % 간격으로 사전에 책정된 비율을 선택해야 한다. 이는 대상 전문가가 쉽게 응답을 할 수 있는 장점이 있지만, 그가 다양한 의견을 가지고 있을 경우에는 의견제시 방법이 제한된다. 예를 들어, 어떤 이는 “현재 대비 30 % 이하로 향상될 것이고 최소 10 % 이상은 향상될 것으로 예상한다.” 라는 의견을 표현하고 싶을 경우 현재의 설문구조와 취합방법으로는 반영이 불가능하다. Table 5의 방법을 사용한다면 이 전문가는 가장 확신하는 −10 % ~ −5 % 구간을 선택하게 될 가능성이 가장 크고, “30 % 이하로 향상될 것” 이라는 의견은 취합할 수 없게 된다. 그러나 이를 2장에서 제시한 증거이론을 이용한다면, 정보를 누락 없이 수집할 수 있게 된다. 즉, 전문가는 주요 요소로 [-30, 0], [-10, 0]을 간단히 선택한 후 BPA를 대략 0.3, 0.7 정도 할당하면 위 질문에 대한 답을 수치로 표현할 수 있게 되는 것이다. 만약 Table 5의 설문지를 증거 이론에 부합하도록 재구성한다면, Table 6의 형태가 된다.

Proposed form of questionnaire for increase or decrease of factor(MTTR)

4.2 유사장비 실적

유사장비 실적은 전문가 의견과는 다른 관점에서 정보의 통합이 필요하다. 일반적으로 유사장비 경험 자료를 사용할 때, 하나의 장비를 대상으로 하곤 한다. 그러나 필요에 따라 유사한 여러 개의 장비 또는 구성품의 실적자료를 통합하여 사용하려 할 수 있다. 이는 유사장비를 선택할 때 동일한 제품인 경우도 있으나, 대부분 기능과 성능의 유사성을 근거로 하기 때문이며 동일한 제품을 선택하더라도 사용 방법과 노출 환경이 다른 경우가 많아 이를 고려해야 하기 때문이다.

현재는 여러 개의 유사 장비 실적의 평균을 선택하거나 전문가 의견에 따라 그 중 하나만을 택일하여 경험 자료로 사용하곤 한다. 그러나 증거 이론을 사용한다면 이를 간단히 해결할 수 있다. 경험 자료는 사용하고자하는 분야에 따라 다르지만, 크게 분류하자면 원천자료와 가공된 지표로 구분할 수 있다. 증거 이론 적용에는 원천자료를 사용하는 경우가 더 적합할 수 있다. 우선 원천자료를 사용해야 하는 경우를 고려하는 방법을 아래와 같이 제안한다. 원천자료별 산포를 주요 요소로 선택하고 이의 BPA는 해당 자료가 얼마나 긴 기간 동안 사용된 자료인지 혹은 얼마나 많은 자료에서 얻은 자료인지를 상대비율로 산출하여 적용하면 된다. 주로 Table 4OT, TPM, TALDT 등이 이에 해당된다. k개의 유사장비 집단에서 각각 ni (i = 1, ..., k)개씩 수집된 정보, Ai = {xijj = 1, ..., ni}에 대해, 각 장비의 주요 요소, Fi = [ai, bi]는 식 (6), 식 (7)로 표현된다.

(6)xijFi, s.t ai = min(xij), bi=max(xij) j
(7)BPAi=|Fi|i=1k|Fi|

만약 가공된 자료인 경우, 수집된 정보량이 원천자료와 달리 제한적일 것이고, 이 경우 임의의 지점을 경계값으로 하여 주요 요소를 결정하여야 한다. 따라서 위 식을 사용하되 주요 요소의 경계값 ai, biFi에 속하는 값을 고려하여 결정하면 된다.

4.3 병합된 증거의 사후처리

병합된 정보는 결국 Fig. 1과 같이 CBFCPF로 나타내어지고, 각각은 병합된 증거 공간에 명제가 포함될 최소, 최대 확률의 경계값이 된다. 이는 일종의 분포함수이므로 관심대상 정보는 필요에 따라 분포함수로, 때로는 분포함수의 대푯값을 사용할 수도 있다. CBF 또는 CPFith구간이 [ai, bi]이고, 해당 구간의 누적 BPAmi,라 할 때, 계단형태의 분포함수의 일반적인 기댓값과 분산 산출방법에서, CBFCPF의 평균과 분산은 식 (8) ~ 식 (11)로 주어진다.

(8)E(Bel)=i=1nmibi
(9)E(Pl)=i=1nmiai
(10)Var(Bel)=i=1nmi(bii=1n(mibi))2
(11)Var(Pl)=i=1nmi(aii=1n(miai))2

따라서 대푯값을 사용하고자 할 경우 위 결과를 사용할 수 있으며, 분포함수를 사용하고자 한다면 원래의 CBF, CPF 또는 위 값을 기댓값과 분산으로 하는 적절한 분포로 근사한 결과를 사용할 수도 있을 것이다.

4.4 사례 분석

앞서 제안한 증거 이론 적용 방안을 OMS/MP에 근거한 RAM 목표값 설정 방법에 적용하여 효용성을 판단하였다. 우선, 원천자료를 사용한 유사장비 실적 종합과 관련된 사례이다. Baek[11]은 총 5척의 함정에서 15년간 발생한 운용, 정비실적을 이용하여 신규함정의 OMS/MP를 작성한 바 있다. Table 7은 위 연구에서 사용된 정비실적 중 월간 예방정비 실적을 나타낸 것이다. 위 연구에서는 Table 7의 월간 정비실적을 평균한 값인 256.4 hr를 연간 합산하여 신규함정의 연간 총 예방정비시간을 TPM = 256.4×12 = 3,076.8 hr로 제시하였다. 총 5척의 함정은 Class A가 3척, Class B 가 2척이며, 모두 신규함정의 유사함으로 선정된 운용 중인 함정이다. 기존 연구는 모든 함정을 동일한 것으로 간주하였지만 본 연구는 두 함의 운용형태가 다소 상이하므로, Class별로 구분된 두 개의 정보출처가 있는 것으로 분석하였다.

Historical data for monthly preventive maintenance(Hr)

Table 8Table 7의 정보를 식 (6), 식 (7)에 따라 함정 class별 주요 요소와 관련 BPA로 재정리한 결과이다. 주요 요소의 경계는 동일한 실적값이 1개 이상 존재하는 지점으로 하였다. Table 8의 정보를 앞서 제시된 뎀스터 법칙에 따라 결합한 결과는 Table 9와 같으며, 이에 근거한 CBF, CPFFig. 5와 같다. 확신과타당성 각각의 기댓값은 B(Bel) = 227.82 hr, E(Pl)= 190.11 hr로서 기존값 256.4 hr는 확신과 타당성의기댓값 대비 상당히 큰 값임을 알 수 있다.

Rearranged evidence for each ship class

Aggregated historical data for new ship

Fig. 5.

CBF and CPF for TPM of similar ship

표준편차 역시 확신과 타당성 각각 271.81 hr, 255.02 hr로 기존 분석의 275.06 hr 보다는 다소 적게분석되어, 증거 이론을 사용한 월간 예방정비시간이 기존 분석결과 대비 좀 더 신뢰성이 있음을 보여준다. 이는 Table 7에 제시된 자료의 AD통계량이 4.33, p-value 는 6.629×10-11에 불과하여, 원천자료가 정규분포가 아님에도 대푯값으로 무리하게 평균값을 사용했기 때문에 나타난 오류로 판단된다. 즉 월간 예방정비시간은 [190.11, 227.82] hr의 사이 값으로 결정하는 것이 좀더 타당한 결과임이 확인되었다. 총 예방정비시간은 RAM 목표값 중 ‘A’에 해당하는 식 (12)의 운용가용도, A0에 영향을 주는 요소로서, 분모의 감소와 분자의증가를 유발한다(예방정비시간 감소분은 분자의 대기시간에 추가됨). 그 결과, 제안한 방법으로 예방정비요소만을 수정한다면, 기존연구 대비 최소 6.45 %, 최대 14.96 % 가용도 목표값이 증가되어야 함을 알 수있다.

(12)A0=OT+STOT+ST+TPM+TCM+TALDT

다음은 기술진보에 따른 MTTR 변화여부를 묻는 설문조사 결과를 증거 이론으로 종합하는 사례이다. 설문조사 결과는 Table 6을 사용한 결과이며, 기존 평균값을 취하는 방법과의 비교를 위해 Table 6Table 5 와 같은 형식으로 변환한 결과와 비교를 수행하였다.

변환은 응답자가 가장 높은 확률을 지정한 주요 요소의 평균값과 가장 유사한 값을 Table 5에서 선택한것으로 가정하였다. 설문조사 결과는 Table 10과 같으며, 이를 기존 형식으로 변환한 결과는 Table 11과 같다. 기존 방법에 따라 변환계수를 산출할 경우, 변환계수는 0.86이 된다.

Result of question investigation for adjustment factor by proposed form

Adjustment factor by previous method

증거 이론에 따라 Table 10을 병합하는 것은 앞서제시된 사례와 달리 총 7개의 정보를 결합해야 한다. 이 경우 동일한 방법에 따라 순차적으로 정보를 병합하여 결과를 얻을 수 있다. 병합 순서에는 무관하다. 본 사례에서는 응답자 1과 2, 3과 4, 5와 6을 결합한후, (1+2)와 7을 결합하였다. 이후 (1+2+7)을 (3+4)와결합 후, (1+2+3+4+7)을 (5+6)과 결합하여 최종 결과를 얻어내었다. 위 과정은 Table 12에 제시하였으며, 최종 결과는 Table 13과 같다.

Aggregated information for each pairs of respondents

Total aggregated information and for MTTR adjustment factor

이를 통해 확신과 타당성은 각각 0.87, 0.82임을 알 수 있다. 위 결과에서 기존 방법에 따른 분석값은 제안한 방법을 이용한 결과인 B(Bel)과 E(Pl) 사이에 위치하여, 확신 지표를 사용할 경우에는 기존 방법보다 MTTR이 작게, 타당성 지표를 사용할 경우에는 기존 보다 MTTR이 크게 산출된다. 즉, 기존 방법에서 하나의 값으로 밖에 결과를 제시할 수 없음에 비하여 정보의 손실을 줄여서 좀 더 유연한 결과를 제시할 수 있게 된다. 설문조사를 통해 보정계수를 구하는 방법은 신뢰도 지표인 MTBF를 산출에도 흔히 사용되며, 실제 Baek[11]의 연구에서도 MTTR과 동일한 방법으로 수행된 설문조사 결과를 적용되고 있다.

이상의 사례연구를 종합하여 산출된 RAM 목표값을 Table 14에 기존결과와 비교하여 제시하였다. 신뢰도는 정비도와 동일한 방법으로 산출 가능하여 사례연구에서는 제외하고 기존과 동일한 것으로 가정하였다. 앞서 제시된 결과로부터 기존연구 결과는 정비도에서 −4.65 ~ 1.16 %, 운용가용도에서 6.40 ~ 15.19 % 증감이 발생하였으며, 위 수치에 해당하는 만큼 기존방법에서는 정보의 손실이 발생하였다고 판단되었다.

RAM objectives comparison between previous and proposed method

5. 결 론

본 연구는 RAM 목표값 설정 과정에서 사용되는 다양한 정보를 좀 더 손실 없이 통합하는 방안으로 증거 이론의 사용을 제안하였다. 이를 위하여 증거 이론의 개략적인 개념과 사용 방법을 소개하고, RAM 목표값 설정 과정에서 위 이론이 사용될 수 있는 단계를 제시하였다. 아울러, 사례를 통해 제안한 방법이 실제로도 사용 가능함을 제시함으로서 제안의 실효성을 입증하였다. 아울러 본 연구를 통해 제안한 방법은 데이터 통합 과정에 분석자의 주관을 배제하는 객관적 frame을 제공함으로서 RAM 목표값 설정 등 전문가 판단결과나 다양한 경험 자료의 통합이 필요한 연구 분야에 실질적인 도움이 될 것으로 기대한다. 다만, 증거 이론의 병합은 일반적인 통계모형과 달리 병합이 필요한 자료가 많을 경우 계산에 시간이 많이 소요되는 단점도 있으므로, 대량의 자료를 통합하고자할 경우, 전통적인 확률 통계 모형이 더 유용할 수 있음을 유의해야 할 것으로 판단된다.

References

[1]. . Weapons System RAM Guideline Gwacjheon-si, Gyeonggi-do, South Korea, Defense Acquisition Program Administration; 2021.
[2]. . Action Officer Guide for the Development of the Operational Mode Summary/Mission Profile(OMS/MP) Working Draft TRADOC Army Capabilities Integration Center (ARCIC), U.S. Army; 2012.
[3]. . McLeish J. G.. Overview of New DoD Reliability Revitalization Initiatives DfR Solutions. College Park MD: 2009.
[4]. . Han C. H., Shin K. Y., Oh M. H.. Establishing Target RAM Values of Small Tactical Vehicles based on OMS/MP and the Repair Record Analysis of Similar Equipments. Korean Journal of Military Art and Science 71(1):149–170. 2015;
[5]. . Hu J. M., Huang H. Z., Li Y. F., Gao H. Y.. Bayesian Prior Information Fusion for Power Law Process via Evidence Theory. Communications in Statistics-Theory and Methods 1–19. 2020.
[6]. . Wang Y. J., Kim Y. J., Lee B. K.. A Study on Effective RAM Target Value Setting Methodology for Naval Warship. Joint Academic Conference, Institute of Control, Robotics and Systems 259–264. 2012.
[7]. . Lee K. H., Lim S. H., Oh K. W.. A Scheme for Establishing the OMS/MP based RAM Goal Value. Korea Association of Defense Industry Studies 23(2):1–24. 2016;
[8]. . Hwang K. H., Hur J. W.. A Study on the Improvement of RAM Objective Considering Method for Weapon System. Journal of Applied Reliability 17(2):150–158. 2017;
[9]. . Park H. S., Kwon T. W., Lee C. H., Park D. H.. A Proposal on Analyzing Operational Mission Summary/Mission Profile and RAM Goal Setting from Operational Concepts on the Next-MILSAT- COM. Journal of the Korea Institute of Military Science and Technology 16(3):295–303. 2013;
[10]. . Chung I. S., Lee K. W., Kim J. W.. Study on Setting Up the Quantitative RAM Goals for Rolling Stocks. Journal of the Korean Society for Railway 11(4):390–397. 2008;
[11]. . Baek S. H., Kim K. Y., Lee Y. S., Moon S. J., Jung J. S.. A Study on Method of Deciding Ship RAM Objectives in System Demanding Phase Defense Agency for Technology and Quality, Jinju-si, South Korea, DTaQ-09-1865-R. 2009.
[12]. . Baek S. H., Lim S. H., Na I. Y., Lee Y. S.. HTARS RAM Analysis Report Defense Agency for Technology and Quality, Jinju-si, South Korea, DTaQ-11-2974-R. 2011.
[13]. . Kim I. S., Jung W.. Comparative Analysis of RAM Value Correction Method based on the Evaluation of the Weapon System Staff. Journal of Applied Reliability 19(4):374–381. 2019;
[14]. . Han S. J., Paik S. H.. RAM Goal-Setting Using the AHP and Field Data of Similar Weapon Systems. Journal of Applied Reliability 20(2):154–162. 2020;
[15]. . Kim K. Y., Bae S. J.. Establishing Method of RAM Objective Considering Combat Readiness and Field Data of Similarity Equipment. Journal of the Society of Korea Industrial and Systems Engineering 32(3):127–134. 2009;
[16]. . Kim S. B., Park W. J., You J. W., Lee J. K.. An Improved Method of Settting the RAM Goals for Surveillance System A Using OMS/MP and Field Operations Data of Similar Systems. Journal of KOSSE 15(1):16–24. 2019;
[17]. . Cha J. H., Chung I. S., Kim J. W., Yu Y. H.. The Study on Setting Up KTX-II's RAM Goals for Requirement Train-Set. Proceedings of the KSR Conference, The Korean Society for Railway 191–198. 2009.

Article information Continued

Table 1.

Information about P

Source Focal Element BPA, m (˙)
A [0.2, 0.7] 3/4
[0.6, 1.0] 1/4
B [0.0, 0.5] 1/3
[0.3, 0.8] 1/3
[0.6, 1.0] 1/3

Table 2.

Aggregated evidence

Aggregated Focal Element BPA, m (·)
[0.2, 0.5] 3/11
[0.3, 0.7] 3/11
[0.6, 0.8] 1/11
[0.6, 0.7] 3/11
[0.6, 1.0] 1/11

Fig. 1.

Individual CBF and CPF of Table 1

Fig. 2.

Aggregated CBF and CPF

Table 3.

RAM objectives setting methods

Method Pros. Cons.
1) − Easy to use − Too simple
− Not realistic for few samples
2) − Scenario based − Difficult to obtains OMS/MP
− Realistic
3) − Intuitive − Long time to obtain data
4) − Can use various parameters − Require valid model

Table 4.

Quantified parameters by OMS/MP[8]

Total Time(TT)
Total Up Time(TUT) Total Down Time(TDT)
Total Maintenance Time (TMT) Total Administrative and Logistic Delay Time (TALDT)
Operating Time(OT) Standby Time(ST) (1) (2) (3) (4)
(1): Total Corrective Maintenance(TCM)
(2): Total Preventive Maintenance(TPM)
(3): Total Administrative Delay Time(TADT)
(4): Total Logistic Delay Time(TLDT)

MTBF = OT/f, MTTR = TCM/f, A0 = TUT/TT, f: #offailures

Fig. 3.

RAM objective analysis procedure using OMS/MP

Fig. 4.

RAM objective analysis procedure using historical data

Table 5.

Adj. factor(MTTR change with maintenance / diagnosis technology advance, %)[12]

MTTR change >-30 −30~-20 −20~-10 −10~-5 −5~5 5~10 <10
Adj. factor 0.6 0.7 0.8 0.9 1.0 1.1 1.2
Check             V(Sample)

Table 6.

Proposed form of questionnaire for increase or decrease of factor(MTTR)

000 change with technology/diagnosis advance Possibility (0 ~ 100, Total = 100)
min max
     
& & &

Table 7.

Historical data for monthly preventive maintenance(Hr)

Ship Class A Class B
A1 A2 A3 B1 B2
Jan 744 0 24 624 216
Feb 672 0 432 24 672
Mar 408 0 288 72 360
Apr 0 696 648 96 0
May 72 744 408 240 0
Jun 0 264 0 720 48
Jul 0 48 0 312 456
Aug 0 48 72 0 408
Sep 264 72 720 96 0
Oct 48 48 336 648 96
Nov 0 648 0 0 720
Dec 744 192 72 120 744

Fig. 5.

CBF and CPF for TPM of similar ship

Table 8.

Rearranged evidence for each ship class

Class A Class B
ai bi BPAi ai bi BPAi
0 0 0.31 0 0 0.21
0 48 0.14 0 48 0.08
48 192 0.14 48 96 0.17
288 408 0.08 216 312 0.08
408 648 0.08 312 408 0.08
648 696 0.06 408 624 0.08
696 744 0.11 624 672 0.08
      672 744 0.13

Table 9.

Aggregated historical data for new ship

ai bi mi CBF CBF
0 0 0.3686 0.0000 0.3686
0 48 0.0634 0.3686 0.4320
48 96 0.1348 0.4320 0.5668
96 192 0.0634 0.5668 0.6302
192 216 0.0362 0.6302 0.6664
216 288 0.0362 0.6664 0.7026
288 312 0.0362 0.7026 0.7388
312 408 0.0362 0.7388 0.7750
408 624 0.0362 0.7750 0.8112
624 648 0.0362 0.8112 0.8474
648 672 0.0272 0.8474 0.8746
672 696 0.0442 0.8746 0.9188
696 744 0.0180 0.9188 1.0000
744 1.0000 1.0000 1.0000

Table 10.

Result of question investigation for adjustment factor by proposed form

Respon-dent Adjustment Range Possibility Average Old Category
min max
1 0.75 1.00 0.7 0.88 0.9
0.80 0.90 0.3 0.85
2 0.75 0.90 0.9 0.83 0.8
0.85 1.00 0.1 0.93
3 0.60 0.90 1.0 0.75 0.8
4 0.60 1.00 1.0 0.80 0.8
0.60 0.80 0.2 0.70
5 0.85 0.90 0.5 0.88 0.9
  0.90 1.10 0.3 1.00
6 0.90 1.00 0.9 0.95 1.0
0.80 0.95 0.1 0.88
7 0.70 0.80 0.3 0.75
0.70 0.95 0.7 0.83 0.8

Table 11.

Adjustment factor by previous method

Adjustment factor 0.7 0.8 0.9 1.0 1.1 ~ 1.3 Weighted Avg.
# of respondent 0 4 2 1 0 0.86

Table 12.

Aggregated information for each pairs of respondents

Pairs (Respondent) K ai bi BPAi
1+2(A) 0.00 0.75 0.90 0.63
0.85 1.00 0.07
0.80 0.90 0.27
0.85 0.90 0.03
3+4(B) 0.00 0.60 0.90 1.00
5+6(C) 0.65 0.85 0.95 0.14
0.90 1.00 0.77
0.90 0.95 0.09
A+7(D) 0.11 0.75 0.80 0.21
0.75 0.95 0.50
0.80 0.95 0.21
0.85 0.95 0.08
D+B 0.00 0.75 0.80 0.21
0.75 0.90 0.50
0.80 0.90 0.21
0.85 0.90 0.08

Table 13.

Total aggregated information and for MTTR adjustment factor

ai bi mi CBF CPF
0.00 0.75 0.00 0.00 0.00
0.75 0.8 0.26 0.00 0.26
0.85 0.9 0.74 0.26 1.00
0.90 1.3 0.00 1.00 1.00

Table 14.

RAM objectives comparison between previous and proposed method

RAM measures MTBF MTTR Ao
Previous P Q R
Proposed min P 0.95Q 1.06R
max P 1.01Q 1.15R