J. KIMS Technol Search

CLOSE


J. KIMS Technol > Volume 23(1); 2020 > Article
M-추정을 사용한 국방과학기술 수준조사 기술성장모형의 이상치 제거

Abstract

Technology growth curve methodology is commonly used in technology forecasting. A technology growth curve represents the paths of product performance in relation to time or investment in R&D. It is a useful tool to compare the technological performances between Korea and advanced nations and to describe the inflection points, the limit of improvement of a technology and their technology innovation strategies, etc. However, the curve fitting to a set of survey data often leads to model mis-specification, biased parameter estimation and incorrect result since data through survey with experts frequently contain outlier in process of curve fitting due to the subjective response characteristics. This paper propose a method to eliminate of outlier from a technology growth curve using M-estimator. The experimental results prove the overall improvement in technology growth curves by several pilot tests using real-data in Defense Science and Technology Survey reports.

서 론

과학기술의 발전과 더불어 무기체계는 점점 첨단화, 복합화 되고 네트워크 중심전(network centric warfare), 효과기반 작전(effects-based operation) 등 전쟁의 수행형태도 크게 변화하고 있으며 국방과학 기술 수준의 차이가 현대전의 승패를 결정한다고 해도 과언이 아니다. 특히, 선진국들은 최근에 자국의 첨단 과학기술의 해외이전을 통제하는 기술보호 체계를 강화하고 있다. 우리나라도 제한된 예산과 자원을 효율적으로 사용하고 미래전 양상과 4차 산업혁명 시대에 걸맞은 첨단 무기체계를 국산화하기 위해 해외에서 통제하는 핵심기술 개발로 선택과 집중을 해야 하는 상황이다. 이런 시기일수록 우리나라의 국방과학기술 수준이 선진국 대비 얼마나 되는지를 객관적이고 명확하게 파악하는 것이 어느 때보다도 중요하다. 기술수준에 대한 체계적인 정보를 가지고 있다면 선진국과의 기술격차를 해소하기 위한 선택과 집중의 기술확보 전략을 수립하고 한정된 국가재정 및 자원을 보다 중요한 기술개발에 집중적으로 배분하는데 유리할 수 있기 때문이다.
기술성장모형(technology growth curve methodology)은 기술조사를 수행하는 시점에서의 단편적인 기술수준 뿐만 아니라 의사결정에 필요한 시계열 변화 추이 등 보다 동태적이고 많은 정보를 제공해 줄 수 있다는 점에서 이점이 많다. 하지만 모수적 추정(parametric estimation)을 기반으로 하는 모형이므로 기술전문가들의 기술수준 예측치 설문값의 편차가 클 경우, 다른 전문가의 응답치와 함께 결정되는 성장 곡선에 큰 영향을 미칠 수밖에 없다. 기술수준에 대한 전문가의 주관적 판단 및 전문성 차이에 따른 일부 응답의 불일치성을 보정하기 위한 합의안 도출의 어려움과 모형의 복잡성으로 인해 최근 사용빈도가 줄어들고 있는 추세이다.
본 연구에서는 민간 및 국방 분야에서 기술성장모형을 사용한 기술수준 및 예측조사의 선행 사례들을 분석하고 추세 분석을 통해 기술전문가 설문조사의 이상치(Outlier)를 판별하고 제거하기 위한 보다 과학적인 의사결정 모형의 필요성을 제시한다. 나아가 국방기술조사의 기술성장모형에 적합한 이상치 처리를 위해 오류에 강인한 M-추정(M-estimator) 방법을 곰페르츠 성장곡선(Gompertz growth curve) 모형에 적용한 새로운 기술성장모형을 제안한다. 또한 과거 3년 단위로 수행되었던 국방과학기술조사서의 설문조사 결과를 사용하여 제안된 기술성장모형의 적용 가능성을 실증한다.

선행사례 및 적용 추세 분석

2.1 기술성장모형을 사용한 기술수준조사 사례

우리나라에서 사용되는 기술수준 조사 및 평가 방법의 대부분은 세계최고기술 보유국 또는 선진기술 보유국을 비교대상으로 하는 상대국 기술수준과의 격차 분석이다. 기술수준 격차는 델파이(Delphi)와 같은 전문가 설문조사를 통해 수집된 각 국가의 상대적인 기술수준 결과를 통계적 처리를 통해 계량화하거나, 시계열에서 기술의 성장이 주어진 수리모형을 따른다고 가정하고 상대적 기술격차를 시계열로 예측하는 동태적 방법으로 나뉜다. 현 시점의 기술수준을 계량화할 때는 기술모수 및 기능모수를 그룹화하고 해당 요인들의 상대적 중요도를 감안하여 가중치를 곱하는 고든 모형(Gordon methodology)[2]을 활용하는 경우가 많다. 하지만 고든 모형을 사용한 기술수준조사 결과에서는 선진국 대비 상대적인 기술수준 격차나 기술발전 단계뿐만 아니라 연구개발 투자과정에서 변화하는 기술수준 변화의 속도와 방향은 어떠한지를 알 수 없다. 기술수준 변화를 시계열 상으로 살펴보기 위해서는 기술 전문가의 설문 응답 표본값을 모수로 하여 Fig. 1과 같이 시계열의 성장 곡선을 그리는 모수적 추정을 수행하여야만 한다.
Fig. 1.
Growth curve of technology development levels[1]
kimst-23-1-76f1.jpg
Fig. 2.
Comparison of defense technology levels using growth curve methodology[1]
kimst-23-1-76f2.jpg
기술성장모형은 모수 추정을 통한 S자 곡선 적합(curve fitting)을 통해 그려진 기술 성장 곡선 상에서 Fig. 2와 같이 궁극적인 최상위 기술을 보유한 선진국 과 우리나라의 상대적인 기술 수준의 격차뿐만 아니라, 곡선의 변화량에서 추격에 얼마나 많은 시간과 투자가 필요한지와 같이 핵심기술 과제 선정 과정에서 우선순위 판단에 유용한 정보를 제공할 수 있다[3]. 2010년 한국과학기술기획평가원(KISTEP: Technology and Korea Institute of S&T Evaluation and Planning)을 시작으로 민간뿐만 아니라 국방 분야에서도 기술성장 모형을 적용한 동태적 기술수준 조사를 시행하는 기반을 마련하였다. Table 1과 같이 2008년 및 2010년 한국과학기술기획평가원은 ‘중점과학기술에 대한 기술수준평가’에서 과학기술기본계획에 도출된 중점과학기술 및 세부기술들을 대상으로 델파이 조사 결과에 기술성장모형을 적용하여 미국, EU 등 5개국 간의 기술수준 및 격차를 비교하고 기술동향조사 논문 및 특허 피인용도 등을 분석하였다[4]. 국토과학기술진흥원(KAIA: Korea Agency for Infrastructure Technology Advancement)은 2010년 ‘건설엔지니어링 분야의 기술수요 및 수준’에서 건설분야 기술역량을 분석하고 기술격차를 진단하는데 기술성장모형을 사용하였다[5]. 한국보건산업진흥원(KHIDI: Korea Health Industry Development Institute)도 2005년 ‘보건의료기술 수준조사’ 및 ‘보건산업 기술수준조사’와 2011년 ‘보건산업 기술수준조사’에서 기술 성장모형을 기반으로 전문가 판단법을 통해 궁극의 최고의 기술수준 대비 각국의 기술수준을 동태적으로 평가하였다[6]. 국방기술품질원 (DTaQ: Defense Agency for Technology and Quality)은 2013년 국방과학기술조사서(약칭 ‘국조서’)의 26개 무기체계별 핵심기술군과 세부 소요기술별로 현재 및 5년 후의 ‘선진국 대비 국내 기술수준’을 기술성장모형을 사용하여 비교 및 분석하였다[1].
Table 1.
Case study for technology level survey and evaluation
구 분 중점과학기술에 대한기술수준평가[4] 건설엔지니어링분야의기술수요 및수준[5] 2011 보건산업기술수준조사[6] 2013 국방과학기술조사서[1] 국토교통기술수준분석[7] 2016 국방과학기술조사서[8] 2016 보건의료․산업기술수준조시[9]
기관명 한국과학기술기획평가원 국토과학기술진흥원 한국보건산업진흥원 국방기술품질원 국토과학기술진흥원 국방기술품질원 한국보건산업진흥원
년도 2010년 2010년 2011년 2013년 2015년 2016년 2016년
대상기술 95개 국가중점과학기술 10대 분류건설분야기술 2개 구분18개중점분야,34개중점기술,149개세부기술 8대 분류,27개무기체계,1,163개 기술 9대 분류건설분야기술 8대 분류,27개무기체계,1,098개 기술 2개 구분,22개 목적,39개 분야,180개질환극복 및포괄적보건의료 기술
조사항목 기술수준,기술격차,기술개발단계 기술수준,기술격차,개발기간 등 기술수준,기술격차,요인,개발기간 등 기술수준,기술격차,요인,개발기간 등 기술수준,기술격차,개발기간 등 기술수준,기술격차,요인,개발기간 등 기술수준,기술격차,개발기간 등
대상국가 한국, 미국,중국, 일본, EU 한국,최고선진국 한국, 미국,일본, EU,중국 한국, 미국,프랑스,러시아, 영국,독일, 일본,이스라엘,중국 등 한국, 미국,일본, 중국,독일, 프랑스,영국 한국, 미국,프랑스,러시아, 영국,독일, 일본,이스라엘,중국 등 한국, 미국,일본, EU,중국
조사방법 Delphi Delphi Delphi Delphi Delphi Delphi Delphi
예측방법 Pearl, Gompertz Gompertz Gompertz Gompertz Gordon Gordon Gordon

2.2 기술성장모형 적용 추세 분석

2010∼2016년까지 기술성장모형을 기술수준조사 및 평가에 활용하기 위한 다양한 시도가 있었으나, 최근 들어 기술수준 조사 및 평가 방법론은 고든 모형으로의 회귀하는 경향을 보인다. 국토과학기술진흥원의 2015년 국토교통기술수준분석은 국토교통분야 기술분류체계 소분류 수준의 세부기술분야별 기술수준 결과값이 마련되어 있지 않다는 사유로 기술성장모형 대신 궁극의 최고기술수준 상한선을 100 %로 가정하고 하위 기술분류별 기술수준과 가중치를 이용하여 상위계층의 기술수준을 도출하는 고든 모형을 적용하였다[7]. 한국보건산업진흥원의 ‘2016 보건의료·산업 기술수준조사’는 델파이 설문을 통해 전반적 기술수준에 대한 전문가 의견을 묻고 정량적 조사인 논문 및 특허성과 조사 결과를 포함한 기술수준 총괄분석을 통해 기술수준조사 결과의 적정성을 검토하였다[8]. 국방기술품질원도 2016년 국방과학기술조사는 2013년 사용한 기술성장모형 대신 무기체계 구성기술수준에 대한 델파이 및 고든 모형을 적용하였다[9].
기술성장모형을 통한 동태적 기술수준 조사 및 평가에서 가장 어려운 점은 무엇인지 상기 기관별 책임자 및 간사에게 질의한 결과 ‘전문가 설문에서 불일치성이 클 때 곡선의 변화에 따른 신뢰성 판단이 어렵다’는 점과 ‘전문가 설문에서 불일치성이 클 때 합의에 이르는 과정이 매우 복잡하고 어렵다’는 응답의 빈도가 높았다. 국방 분야의 경우 무기체계 기술, 신뢰성 및 환경조건 등 차이점을 이해하는 전문가가 매우 한정적이고, 세부 단위기술별로 기술에 대한 지식과 경험이 전문가별로 상이하고 정보의 접근에도 한계가 있다는 점이다.
종합하면 기술성장모형의 실무 적용의 어려운 점은 아래와 같이 전문가 판단의 상이성에 기인한다. 기술성장 곡선의 변화율을 결정하기 위해서는 현재뿐만 아니라 몇 년 후에 대한 기술수준 예측치를 전문가들이 응답해야 하므로 신뢰성에 대한 부담이 증가할 수 있다. 또한 전문가들의 기술수준 예측치는 단기적 예측 시 통계적 유의성을 보이더라도 미래 시점의 기술수준의 예측에서는 주관에 따른 편차가 크게 발생하기도 하여 이에 대한 처리 방안을 고민해야만 한다. 특히, 전문가 주관에 따라 설문값의 큰 차이를 보일 경우 기술성장 곡선의 정합하는 과정에서 전반적인 경향성과 다른 변형을 주기 때문에 설문자들의 적절한 합의안을 도출하여 보정한다면 많은 시간과 노력이 필요하다.

제안 방법

3.1 착안점

모집단에 대해 정규분포를 가정하는 전통적인 통계적 모형들은 정규성의 가정에 민감하다. 실제 현실에서 얻은 자료들은 정규성의 가정에 부합하지 않는 경우가 많다. 특히, 기술조사 및 예측과 같이 전문가들의 주관성에 기초하는 경우 두터운 꼬리를 갖는 분포를 따르거나 한쪽으로 치우친 분포를 갖는 경우도 있다. 2013년 국방과학기술 수준조사[1]는 8대 무기체계 분야 27개 대표 무기체계 기술분류, 314개 핵심기술군과 1,163개 기술을 대상으로 582명의 전문가들을 대상으로 델파이 설문조사를 실시하였다. 1차 설문결과 최빈값, 중앙값, 표준편차 등을 분석한 결과를 배포하여 이를 참고로 1차 설문값을 보완한 다음 2차 설문조사 결과를 분석하였다. 1차 및 2차 설문값의 평균값과 중앙값을 비교하였을 때, 중앙값은 2∼4 % 변화가 있는 반면, 평균값은 3∼8 % 변화를 보였다. 이와 같이 중앙값이 평균값보다 더 우수한 중심 위치를 나타내고 있어 정규분포를 가정하는 모형에서의 표본 평균은 이상치의 영향을 더 많이 받음을 가늠해 볼 수 있다. 이상치란 일부 자료 값들이 대다수 다른 표본에 비해 매우 크거나 작은 극단적인 값(extreme observation)을 갖는 오류이다. 1차 설문대비 10 % 이상 응답값의 변화를 보이는 표본을 포함하는 기술 수는 총 34개이며 5 % 이상은 197개이다. 즉, 전체 기술의 평균에서 멀리 떨어진 수직 이상치을 포함하는 표본 및 이상치의 영향을 포함하는 표본의 비율은 약 3 % 및 17 % 정도이다. 특히 전체의 경향성에서 벗어난 수직 이상치는 추정값의 오류를 만들 뿐만 아니라 합의도 지수에 영향을 미치므로 이를 효율적이고 보다 간편한 프로세스로 줄일 수 있다면 기술조사 및 예측에 있어서 매우 중요한 개선사항이 될 수 있다.
“성장곡선 예측 모형의 특성치 보정에 따른 매개변 수 재추정[10]” 등의 연구와 같이 학술적으로 기술수준이나 기술상승속도의 특성치 보정을 통해 성장곡선 모형을 보정하려고 하는 시도가 있었다. 하지만 시계열 보정 방법의 특성상 연도별 데이터가 장시간 확보되어야 하고, 실제 데이터를 대상으로 반복적으로 수행하여야 하기 때문에 연구관리전문기관의 기술조사·예측 및 국방과학기술조사 등 실무에 즉시 적용하기에는 어려운 점이 많다. 국방과학기술조사의 경우 방위사업청 훈령인 방위사업관리규정를 근거로 3년 단위로 실시하며, 2006년 방위사업청 개청 및 국방품질관리소의 국방기술품질원으로 확대 개편과 함께 2007년 최초 실시된 이후, 고든 모형 및 기술성장모형 등 다양한 방법을 사용하여 조사 시점별로 독립적 조사 형태로 수행되었다. 따라서 설문서뿐만 아니라 축적된 데이터는 시계열 보정에 활용하기에는 정보의 동질성, 연계성을 고려하지 못하므로 적용에 한계가 있었다. 최근 우리나라의 국방기술기획은 미국 DARPA(Defense Advanced Research Project Agency)와 같이 선도형 기술, 미래 도전적인 기술의 개발이 강조되는 등 국방연구개발 정책에서 큰 변화가 있다. 이러한 기술들은 조사 대상년도에서 기술전문가의 기술수준 설문 값의 신뢰성을 확보하지 못한 채 연차별 보정을 수행할 경우 시계열 부합성이나 성장곡선의 정합성을 확보하기가 어려울 것이다.
따라서 본 연구는 시계열 누적 데이터를 사용한 보정보다는 년도별 전문가 설문 집단의 응답값에서 이상치를 판별하고 처리함으로써 기술성장모형에 기반한 국방과학기술 수준조사 신뢰성을 효율적으로 개선하는데 집중한다. 기술수준 조사 및 평가 시 현재와 몇 년 후에 대한 기술수준 예측치를 묻는 설문에서 몇 개의 표본들이 이상치를 포함하는 경우 유한모집단의 기술수준 응답값은 전체의 성장곡선의 기울기와 시간축의 위상에 영향을 미치는 것으로 가정하고, 이상치 표본의 값을 성장곡선을 도출하는 단계에서 보정하기 위해 오류에 강인한 방법인 M-추정(M-estimator)을 적용한다. 이상치의 영향에 둔감한 추정치를 사용하는 M-추정을 기술성장곡선에 적용하고 이를 기존의 방법과 비교하여 그 효과를 분석한다.

3.2 기존 국방과학기술조사 기술성장모형

현재의 기술수준을 Y(t)이라고 하고 시간 t에 따른 Y(t)값의 변화율을 기술수준 한계값과 현재 수준과의 비율인 L/Y(t)를 사용하면 국방과학기술조사에서 사용하는 식 (1)과 같은 곰페르츠(Gompertz) 성장모형[1,3,4,11,12]이다.
(1)
 Y(t)=Leβeαt
이는 기술이 아이디어로부터 구체화되고 개발을 통해 발전하는 양상을 보여주는 S자 형태의 곡선(S-curve)을 도출하는 지수 함수의 일종으로, 기술도입기부터 성장기까지는 급속한 속도로 발전하며 변곡점에 도달한 이후 확장기부터 성숙기까지는 발전속도가 상대적으로 완만해지며 최고 기술수준인 한계값(L)에 이르기까지 방향과 속도를 나타낸다. 국방기술은 기술모방기 또는 핵심부품 및 구성품의 해외 도입이 가능한 초기에는 무기체계에 적용하기까지 발전수준이 빠르지만 선진국의 수출통제(E/L: Export Licence) 등으로 인해 미래의 첨단기술 발전양상은 남아있는 발전에 따라 결정되는 경우이다. 이 경우 곰페르츠 성장곡선은 변곡점을 중심으로 대칭성에 대한 제약이 없으므로 국방기술의 성장모형으로 적합하다. 상대적으로 로지스틱(Logistic) 성장모형의 경우 단순하고 예측계산이 용이하여 실무적으로 많이 활용되고는 있으나 변곡점이 전체 성장함수의 1/2 수준에서 결정되는 단점이 있다. 배스(Bass) 확산 모형은 혁신이 확산되는 형태를 혁신 계수 및 확산 계수로 설명하는 등 경제적 의미를 부여한 예측 모형이지만, 민수 시장에 적합한 ‘채택 대상의 수' 등을 필요로 하는 등 비대칭 우위 확보 측면에서 계획 사업이며 정부가 수요자인 국방 분야에 적용하기에는 다소 상이한 점이 있다[11,12].
곰페르츠 성장 모형의 S자 곡선 적합(curve fitting) 과정에서 기술수준 설문 값에 대한 선형화를 위한 식 (1)에 대한 1차 미분은 식 (2)와 같으며, Y/L은 한계수준과 현재수준의 비율[1,3,4]을 나타낸다. 기술성장모형을 사용한 국방과학기술 수준조사에서는 궁극의 기술 수준을 나타내는 기술한계수준 L을 100(즉, 100 %)으로 하고 상대적 국내기술수준(%)을 설문한다.
(2)
 βαYlnYL
연속선상의 값 Y를 추정하기 위해 전문가들의 현재와 몇 년 후에 대한 기술수준 응답값을 표본으로 한 곡선 적합을 수행한다. 시간에 따른 기술수준 변화율은 해당 함수의 1차 미분인 곡선의 기울기이며 표본에 대한 회귀분석(regression)을 통해 추정이 가능하다. 이는 식 (3)과 같이 전문가 설문 전체 표본 수 n에 대하여 각 표본 데이터 yi와 선형화 과정에서의 추정치 y^i간에 잔차(residual) ri를 최소화하는 과정이다.
(3)
 ri=yiy^i(0<i<n)

3.3 M-추정을 사용한 기술성장모형 개선

회귀모형(regression model)의 대표적인 방법인 최소제곱법(least squares model)은 이상치의 영향을 미조절하여 이상치에도 높은 가중치를 주기 때문에 표본이 회귀모형의 가정을 미충족할 경우에는 왜곡된 추정 결과를 초래할 수 있다. 이러한 단점을 보완하기 위해 이상치의 가중치를 줄여 이상치에 민감하지 않은 로버스트(robust) 추정법이 사용된다. 표본수가 많아질수록 적절한 정칙조건(regularity condition)에서 보다 추정량이 좋은 성질을 가질 것으로 기대할 수 있기 때문에 M-추정으로 불리는 점근적인 정규성(asymptotic normality)을 만족하는 최대우도추정법(MLE: Maximum Likelihood Estimation)을 사용한다. Huber가 이상치의 영향을 줄이는 가중 함수를 제안한 이래, 많은 연구자들에 의하여 M-추정량의 표본 평균에 대한 효율성과 이를 개선하기 위한 관한 연구[1316]들이 있었다. 이는 오차항의 분포가 두터운 꼬리를 가지는 경우 등 다른 형태 및 밀도의 이상치 분포 특성을 변수로 하는 변형된 함수를 사용한다. 이 밖에 다른 형식의 로버스트 추정법으로는 L-추정이나 R-추정이 있다[17]. 순서형 통계량을 기반으로 한 L-추정은 잔차가 큰 관측치의 일부를 절단함으로써 분산을 최소화하는 최소절사제곱법(LTS: Least Trimmed of Squares)이나, 잔차 제곱의 중앙값을 최소화하는 최소중위수제곱법(LMS: Least Median of Squares)이 대표적이다. L-추정은 점근상대효율이 상대적으로 작지만 단순하여 초기 추정치 또는 이상치 진단에 주로 활용된다. R-추정은 잔차의 순위(rank)를 활용한 비모수적 방법으로 추정량의 분포 및 대립가설 하에서의 검정 통계량 분포의 복잡도 등을 고려하였을 때 자료의 정규성 분포를 가정할 수 없는 경우에서 보다 적합한 방법이다.
본 연구에서는 대칭 함수이고 덜 복잡할 뿐만 아니라 전문가 판단의 전체 경향에 영향을 덜 미치도록 이상치를 극단적으로 감소시키지 않고 평균에서 멀리 떨어진 수직 이상치 등 양끝부분 오류(extreme-part contamination)의 제거에 보다 효율적인 투키 쌍-가중 노름(Tukey bi-weight norm) 기반 M-추정을 적용한다. 해당 가중 함수 ρ(ri)는 Fig. 3과 같이 실수인 잔차 ri의 값이 0에 가까울수록 가중치(weight)는 상대적으로 큰 값을 갖는다. 따라서 식 (4)에서는 전문가 설문값이 성장곡선의 전반적 경향성과 유사할수록 더 높은 가중치를 갖고 역으로 설문값에 이상치가 포함되어 잔차가 클수록 가중치는 감소되어 추정값이 작아진다.
Fig. 3.
Graph of M-estimator with Tukey biweight norm using tuning constant c = 4.685
kimst-23-1-76f3.jpg
(4)
 ρ(ri)={ri(1(ri/c)2)2if |ri|c0if |ri|>c
여기서 c는 잔차의 값이 0에서 멀어질수록 가중치가 줄어들다가 c보다 크면 0에 수렴시키는 조율상수(tuning constant)이다. c의 값은 양수로, 값이 작으면 이상치 제거의 효율이 떨어지게 되고, 반면 큰 c의 값의 사용은 효율은 높아지지만 이상점의 영향을 제어하기 힘들어진다. 본 연구에서는 선형 회기분석의 95 % 수준의 점근 효율성(asymptotic efficiency)를 갖도록 c = 4.685를 적용하였다. ρ-함수를 최소화하는 회귀분석은 닫힌 형태의 해석이 존재하지 않는 비선형 최소자승(least square) 문제로 잔차에 대한 함수 ρ의 합이 최소가 될 때까지 반복적으로 계산한다. 해당 편미분 방정식(PDE: Partial Differential Equation)의 점근해석법은 곡선뿐만 아니라 영상 등 차원이 확장된 분야에도 적용이 가능하며, 저자의 다른 분야 학술 논문[18]에 수치해석 방법은 상세하게 전개 및 기술되어 있다.

실험 결과

4.1 기술수준값의 시계열 부합성

2010년 국방과학기술조사서(약칭 ‘국조서’) 일반본[19]에서 지휘통제·통신, 감시/정찰, 항공우주, 화력(유도분야 포함) 등 8대 무기체계 분야 기술 전문가 설문에서 차이가 큰 응답이 존재하는 4개의 국방 핵심기술에서 제안된 방식으로 이상치를 보정한다. 또한 일반적인 곰페르츠 기술성장모형(2013년 국방과학기술조사에 사용된 모형[1])과 비교하였을 때 국방과학기술조사 결과에서 가장 중요한 기술수준값들의 시계열적으로 부합성은 유지되는지 Table 2와 같이 비교 및 분석하였다. 단, 2013년 기술성장모형을 사용한 국방과학기술 수준조사서는 최고기술 보유국과 국내기술의 기술수준에 대한 성장곡선을 별도로 도출하였기 때문에, 2010년 국내 기술수준대비 최고기술 보유국에 대한 설문 모형에 맞춰 선진국 성장곡선 상에서 도출된 상대적인 국내 기술수준값을 사용하였다. 4개의 핵심기술에서 모두 강인한 M-추정 방법으로 이상치를 제거한 곰페르츠 기술성장 곡선에서 도출된 최고 선진국 및 우리나라 기술수준값을 일반적인 곰페르츠 기술성장 곡선에서 추정된 기술수준값에 비해 예상 도달기간을 고려한 2013년 국방과학기술 수준조사 기술성장 곡선의 값과 비교한 결과 오차가 25∼40 % 이상 크게 줄어들었으며 시계열 부합성이 향상되었다.
Table 2.
Time-series comparison between general Gompertz curve and Gompertz curve with M-estimator using 2010 and 2013 Defense Science and Technology Survey data
대상기술 분야 대상 기술 명칭 대상국가 표본: 「2010 국방과학기술조사서[12]」 설문값
「2013국방과학기술조사서[1]성장곡선의국방과학기술수준(C)
예상도달기간 기존 방법(곰페르츠성장모형)
개선 방법(M-추정으로이상치 영향을제거한 곰페르츠성장모형)
국방과학기술수준(A) 차이값(|A-C|) 국방과학기술수준(B) 차이값(|B-C|)
지휘통제ㆍ통신 3차원 전장정보관리기술 최고선진국 6.21년 91.64 % 0.78 91.31 % 0.45 90.86 %
한 국 78.02 % 1.19 80.10 % 0.89 79.21 %
감시/정찰 이중대역 적외선검출기 기술 최고선진국 7.79년 53.47 % 0.64 53.94 % 0.17 54.11 %
한 국 34.71 % 1.91 36.46 % 0.16 36.62 %
항공우주 고효율 내탄/방탄신소재 기술(내피탄 기술) 최고선진국 7.16년 87.13 % 2.46 85.24 % 1.43 84.67 %
한 국 70.27 % 3.86 67.21 % 0.80 66.41 %
화력(유도분야 포함) 고정밀음향탐색 기술 최고선진국 5.06년 88.42 % 1.03 89.17 % 0.28 89.45 %
한 국 75.14 % 4.10 70.92 % 0.12 71.04 %
Fig. 4는 상기 4개의 핵심기술 중 “3차원 전장 정보 관리기술”에 대해 2013년 국방과학기술 수준조사서의 일반적인 곰페르츠 기술성장모형과 강인한 M-추정을 적용한 제안방식을 사용하여 이상치에 대한 설문 응답값의 처리가 기술성장 곡선의 변화 양상에서 어떠한 영향성이 있는지를 보여주는 그래프이다. 성장곡선에서 거리가 멀리 떨어진 이상치를 포함한 응답값(적색 ‘X’)이 M-추정을 적용한 제안방식을 사용(녹색 ‘X’)할 경우 이상치를 보정한 값으로 대체됨으로써 성장곡선에 보다 인접하게 보정됨을 알 수 있다. 또한 해당 성장곡선을 2013년 국방과학기술조사서 설문값의 기술성장 곡선(검정색 점선)과 비교해보더라도 이상치를 보정한 곡선과 보다 인접하므로 시계열상으로 반복 조사되는 국방과학기술 수준조사의 신뢰성 향상에 기여할 수 있다. 2010년 전문가 설문 응답값을 일반적인 곰페르츠 기술성장모형으로 기술성장곡선을 도출한 결과는 적색 점선으로 표시하였고, 최고선진국인 미국의 기술수준은 91.64 %, 국내 기술수준은 78.02 %으로 예상도달기간은 6.21년이다. 반면 강인한 M-추정을 사용하는 제안 방식을 사용하여 도출된 기술성장곡선은 녹색 실선이며, 최고 선진국의 기술수준은 91.31 %, 국내 기술수준은 80.10 %으로 산출되었다. 이는 2010년 설문값을 국방과학기술 수준조사의 기술성장모형을 사용할 경우 이상치에 의한 영향을 받아 최고 선진국의 기술수준은 다소 과다하게 국내 기술수준은 과소하게 산출되었음을 의미한다. 2013년 국방기술수준조사서에서 최고 선진국의 기술성장곡선상에 상대적 국내 기술수준 격차는 2010년에 국내 기술수준은 79.21 %이고, 6.21년 이후 최고 선진국의 기술수준은 90.86 %로, 2010년 국방과학기술조사 때 전문가 설문값을 사용하여 M-추정을 적용한 성장곡선 상의 미국 및 국내 기술수준값이 M-추정을 적용하지 않았을 때보다 상대적으로 오차가 크게 감소하였다. 이는 결과적으로 M-추정을 적용하여 이상치의 영향을 배제하였을 때 성장곡선의 시계열 일치성이 일반적인 곰페르츠 모형을 사용한 성장곡선에 비해 향상될 수 있다는 것을 의미한다. 특히 8대 무기체계 전체에서 오차의 가감이 전반적인 경향성에서 크게 벗어나는 경우가 없으므로 기술성장모형 기반의 국방과학기술조사 실무에도 적용이 가능할 것으로 판단된다.
Fig. 4.
Gompertz curve(‘Red’ color), outlier-removed Gompertz curve(‘Green’ color) by 2010 Defense Science and Technology Survey data and original Gompertz curve in 2013 Defense Science and Technology Survey(‘Black’ color)
kimst-23-1-76f4.jpg

4.2 성장곡선의 정합성

2013년 국방과학기술조사서의 기술성장곡선과 2010년 국방과학기술조사서의 설문값에 대해 제안된 방식으로 이상치를 제거한 기술성장곡선간의 정합성을 기존 곰페르츠 기술성장곡선과 비교한다. 단, 2013년에 신규 도출되어 상호 비교가 제한되거나 및 2010년과 2013년 국방과학기술조사시 대외비로 분류된 기술은 제외하고 국방과학기술조사서 일반본에 공개된 기술들을 대상으로 실증하였다.
2010년 분아별 설문값들을 곡선 정합하여 얻어진 기술성장곡선과 이상치를 제거하여 얻어진 기술성장곡선 상에 존재하는 기술수준 값 P^와 2013년 국방과학기술조사서의 기술성장 곡선 상의 해당 기술수준 값들 P와의 오차를 식 (5)와 같이 오차자승합(SSE: Sum of Squared Error) 및 평균제곱근오차(RMSE: Root Mean Squared Error)를 사용하여 산출한다. 오차자승합은 성장곡선의 정합성의 정확도에 따른 전체적인 오차의 양을 살펴볼 수 있고, 평균제곱근오차는 곡선의 오차의 전반적인 정합 경향성의 우수성을 비교할 수 있는 척도이다.
(5)
 SSE=t=1T(PtP^t)2
(6)
 RMSE=SSE/T
Table 3은 기타 분야를 제외한 8대 무기체계 분야별 기술성장곡선을 제안된 방식으로 이상치를 제거한 단위 기술들의 성장곡선을 기존 곰페르츠 기술성장곡선과 비교하였을 때의 오차자승합 및 평균제곱근오차이다. 제안방식을 사용하는 경우 대상기술 분야별 전체적으로 오차자승합은 평균 5.2∼6.4 % 감소하고, 평균제곱근오차도 평균 약 0.3 % 이상 감소하는 효과가 있다.
Table 3.
Matching error of entire technology growth curves in 8 major technology categories between general Gompertz method[1] and proposed method
대상기술 분야 대상기술 수 「2013 국방과학기술조사서」 성장곡선 정합 오차(대상 기술 분야 전체)
기존 방법(곰페르츠 성장모형)
개선 방법(M-추정으로 이상치영향을 제거한곰페르츠 성장모형)
개선량(%)
SSE RMSE SSE RMSE SSE RMSE
지휘통제・통신 4 5.311 0.271 4.766 0.239 5.263 0.268
감시/정찰 3 6.188 0.311 5.749 0.284 6.130 0.308
기 동 2 5.654 0.295 4.955 0.247 5.605 0.293
항공우주 2 6.445 0.326 5.388 0.268 6.391 0.324
함 정 1 5.233 0.283 4.635 0.230 5.187 0.281
화 력 2 5.195 0.277 4.508 0.223 5.150 0.274
방 호 1 5.692 0.302 5.025 0.245 5.642 0.299
기 타 0 - - - - - -
Table 4Table 3의 지휘통제·통신 분야에서 단위 기술별로 기존방법과 제안방식의 성장곡선의 정합성을 오차자승합, 평균제곱근오차를 사용하여 비교한 결과이다. 단위 기술별 오차의 경향성을 볼 때, 설문자의 응답값에 따라 차이는 다소 있지만 오차가 증감하는 경향성 및 개선량은 Table 3의 기술 분야별 평균 오차에서의 개선량과 비슷한 수준을 보여준다. 따라서 전문가 설문 응답값에서 M-추정을 사용하여 이상치를 제거하는 제안방식을 기존의 기술성장곡선 대 신 국방과학기술조사에 적용할 경우, 분야별 기술수준뿐만 아니라 단위 기술별의 성장곡선의 정합성을 향상시키고 합의안 도출과 같은 과정이 없더라도 결과의 일관성을 확보하는데 활용할 수 있을 것으로 판단된다.
Table 4.
Matching error of technology growth curve per technology unit in the category of command, control and communication category between general Gompertz method[1] and proposed method
단위 기술명 「2013 국방과학기술조사서」 기술성장곡선 정합 오차 (단위 기술)
기존 방법(곰페르츠 성장모형)
개선 방법(M-추정으로 이상치영향을 제거한곰페르츠 성장모형)
개선량(%)
SSE RMSE SSE RMSE SSE RMSE
다중센서 Plot 표적정보 융합처리 기술 5.318 0.268 4.738 0.238 5.271 0.265
지능형 상황인식(분석) 및 평가 장치 5.473 0.274 4.917 0.245 5.424 0.272
위협예측/평가 기술(위협도 모델링 기술) 5.263 0.265 4.720 0.237 5.215 0.262
침입 탐지/추론기술(침입차단, 침입탐지 기술) 5.188 0.262 4.691 0.235 5.141 0.260

결론 및 향후과제

본 연구에서는 부처별 연구관리전문기관 및 국방기술품질원의 국가 R&D 및 국방 R&D 분야의 기술예측 및 조사 활동의 선행사례 분석을 통해 기술성장모형 의 적용 추세가 줄어들고 고든 모형 등으로 회귀하는 경향이 있음을 보였다. 해당 기관별 책임자 및 간사에게 질의·응답을 통해 모수적 추정인 기술성장모형에서 기술수준에 대한 전문가 판단의 상이함과 전문성에 따라 일부 응답의 불일치성을 보정하고 반복적 합의 과정의 어려움을 극복하여야 할 과제로 식별하였다. 또한, 델파이 기법에 의존하여 이상치를 반복적으로 보정하는 기존 기술성장모형 대신 이상치를 표본으로부터 직접 판별하여 통계적 모형으로 그 영향성을 감소시키는 방안을 중점적으로 연구하였다.
전문가의 기술수준 예측치 응답 중 전체 경향성과 편차가 큰 응답과 같은 이상치가 기술성장 곡선 정합 시 변동을 주는 영향성을 최소화하기 위하여 M-추정을 사용하여 기술성장모형의 이상치를 제거하였다. 2010년 설문 데이터에서 이상치가 제거된 기술성장곡선과 2013년의 국방과학기술조사서 기술성장곡선 데이터를 비교한 결과 이상치 제거의 효과로 시계열로 누적된 데이터간에 부합성을 향상시킬 수 있다는 점을 실증하였다. 국방과학기술조사서 8대 무기체계 분야 및 지휘통제·통신 분야 단위 기술별 기술성장곡선의 정합오차를 오차자승합 및 평균제곱근오차를 사용하여 비교한 결과 대상기술 전체뿐만 아니라 단위 기술별 오차가 전반적으로 개선될 수 있음을 보였다. 하지만, 2016년 국방과학기술조사서의 설문값을 활용하여 2013년 국방과학기술조사 성장곡선과의 비교 등 과거 방향으로의 시계열 분석의 경우 다음과 같은 한계점이 있음을 파악하였고 향후 연구과제로 제시하고자 한다.
첫째, 기술성장모형은 설문된 값들에서만 해당 시점의 값을 예측할 수밖에 없는 모수 추정을 기반으로 한다는 점에서 기술성장모형을 사용하는 기술예측 시 추세외삽법의 한계를 극복하기 위해서는 설문서의 설계가 매우 중요하다. 현행 국방과학기술조사는 조사 대상 기술이 현재의 시점에서 미래의 시점을 예측하였을 때, 우리나라의 기술이 선진국의 발전 추세대로 향상됨을 전제로 국내 기술수준의 발전 추이 등 경향성을 살펴보는 형태이다. 따라서 현재 국내보다 발전된 기술수준을 보유한 선진국에 대한 상대적 기술수준과 해당 기술이 개발되기까지 걸리는 기간 즉, 현재에서 미래를 바라보는 관점에서만 설문을 수행하였다. 2016년 국방과학기술조사서의 경우 2013년과는 달리 기술성장모형이 아닌 고든 방식을 사용하였기 때문에 2013년의 기술성장곡선과 시계열 정합성을 비교할 수 있도록 현재에서 과거를 예측하는 형태의 설문값이 충분히 확보되지 못하였다. 향후 기술성장모형을 사용하여 국방과학기술조사를 수행할 경우에는 이상치 보정에 대한 시계열 정합성을 현재에서 과거의 방향으로도 살펴볼 수 있도록 “기존 국방과학기술조사 년도에서 해당 기술의 최고 선진국을 100으로 하였을 때 대비 국내 기술수준 값은?” 등과 같은 문항의 설계 및 반영이 필요하다.
둘째, 성장곡선의 정합성을 비교 분석하기 위해 S자 형태의 곡선에서 변동성이 큰 구간(즉, 변곡점 구간) 등 관심 있는 구간에 보다 집중하여 오차를 분석할 수 있는 평가 척도가 필요하다. 본 연구는 기술성장곡선의 정합성을 비교하기 위해 생물학과 같은 분야에서 예측된 성장곡선과 실제 생물의 성장에서 시계열 관측치와의 정합성을 비교하기 위해 통용되는 오차자승합 및 평균제곱근오차를 사용하였다[20,21]. 하지만, 변곡점을 중심으로 급격히 변화하는 구간이 존재하는 기술성장곡선의 부분적인 특징을 반영한 비교는 불가능하다는 점에서 보다 신뢰성 있는 평가척도에 대한 추가적인 연구가 필요하다.

References

[1]. P. Kyung-Jin, S. Yu-Ha, C. Jae-Won, J. Jae-Yong, S. Heon, L. Ho-Kyun, Hyo-Seong K, K. Jin-Woo, K. Hyun-Jin, P. Young-Bin, and Ji-Eun Lee, "2013 Defense Science and Technology Survey," Defense Agency for Tehcnology and Quality, 2013.

[2]. In: J. C. Glenn, T. J. Gordon, " editors. Futures Research Methodology," AC/UNU Millennium Project, Washington, D.C., p. 20016–4055, 2003.

[3]. K. Byeong-Soo, C. Keun-Ha, H. Seong-Koo, N. Sang-Sun, B. Soon-Chun, H. Byung-Yong, C. Kwang-Hee, L. Hyun, H. Ki-Ha, S. Seok-Ho, H. Min-Kyu, H. Jong-Min, R. Ji-Yeon, K. Ji-Hyun, and S. Kyung-Mi, "A Study on the Dynamic Method of Estimating Technology Levels Based on the Technology Growth Model," Research Report 2010–23, Korea Institute of S&T Evaluation and Planning, 2009.

[4]. L. Hyun, C. Han-Lim, K. Young-Ki, S. Seok-Ho, K. Byeong-Soo, Y. Hae-Young, H. Jong-Min, J. Keun-Ha, K. Eun-Jeong, C. Kwang-Hee, and L. Kyung-Hwan, "2010 Evaluation of National Key R&D Program Performance(95 Key Technologies)," Ministry of Educational Science and Technology and Korea Institute of S&T Evaluation and Planning, 2011.

[5]. Byeong-Soo Kim, "Pilot Build of Technology Demands & Level Estimation of the Construction Engineering Field," The Korea Institute of Construction and Transportation Technology Evaluation and Planning, 2010.

[6]. K. Dae-Kwon, C. Yong-Woong, P. Soo-Jeong, J. Mee, H. Seok-Chul, S. Yul, K. Seong-Young, L. Kyung-Min, S. Myung-Chul, L. Sang-Won, K. Hyun-Chul, L. Chul-Haeng, J. Sa-Ra, K. Mi-Kyung, W. Yong-Jae, and L. Ki-Keon, "Technology Level Survey of Health Industry," Ministry of Health and Welfare and Korea Health Industry Development Institute, 2011.

[7]. Byeong-Soo Kim, "Analysis of National Transportation Technology Level," Ministry of Land, Infrastructure, and Transport Korea and Agency for Infrastructure Technology Advancement, 2015.

[8]. H. Bong-Yoon, L. Ho-Hyun, N. Seung-Hei, K. Hyun-Kyu, R. Hee-Myung, Y. Youg-Kyu, P. Yong-Joon, H. Myung-Hee, S. Yu-Ha, and Y. Il-Woong, "2016 Defense Science and Technology Survey," Defense Agency for Technology and Quality, 2016.

[9]. L. Young-Chan, K. Hyun-Chul, L. Myeong-Sun, J. Yong-Woong, L. Kwan-Yong, J. An-Na, K. Tae-Woo, and J. Da-Joon, "Technology Level Survey of Health-care Industry," Ministry of Health and Welfare and Korea Health Industry Development Institute, 2016.

[10]. P. Joo-Seok, K. Young-Hyun, J. Chi-Hyuck, L. Jae-Hwan, H. Seung-Pyo, and M. Hyung-Don, "Re-estimation of Model Parameters in Growth Curves When Adjusting Market Potential and Time of Maximum Sales," IE interfaces, Vol. 16(1):Korean Institute Of Industrial Engineers. pp. 103–110, 2003.

[11]. Charles V. T, and W. Hsin-Ying, "An Evaluation of the Time-varing Extended Logistic, Simple Logistic and Gompertz Model for Short Product Lifecycle," Advanced Engineering Informatics, Vol. 22, pp. 421–430, 2008.
crossref
[12]. S. Ashish, M. J. Gareth, J. T. Gerard, and Z. Ji, "Predicting the Path of Technological Innovation: SAW vs. Moore, Bass, Gompertz and Kryder," Marketing Science, Vol. 31(6):pp. 964–979, 2012.
crossref
[13]. J. Fox, and W. Sanford, "Robust Regression," An R and S-Plus Companion to Applied Regression, Vol. 91, pp. 1–16, 2002.

[14]. R. Muthukrishnan, and M. Radha, "M-estimators in Regression Models," Journal of Mathematics Research, Vol. 2(4):pp. 23–27, 2007.

[15]. Y. Chun, and Y. Weixin, "Robust Linear Regression: A Review and Comparison," Communications in Statistics Simulation and Computation, Vol. 46(8):pp. 6261–6282, 2017.
crossref
[16]. P. Man-Sik, "An Alternative Robust Estimator in Linear Regression Models," Journal of Korea Data Analysis Society, Vol. 11(4):pp. 2265–2276, 2009.

[17]. A. M. Ricardo, R. Douglas M., J. Y. Victor, and S. Matías, "Robust Statistics: Theory and Methods (with R), 2nd Edition," "Wiley Series in Probability and Statistics," WILEY, ISBN: 978-1-119-21468-7. Jan. 2019.

[18]. K. Jang-Heon, and T. Sikora, "Hybrid Recursive Energy-based Method for Robust Optical Flow on Large Motion Fields," IEEE International Conference on Image Processing 2005, Genova. pp. I–129, 2010.

[19]. P. Kyung-Jin, S. Chan-Young, K. Yong-Han, P. Young-Soo, L. Hee-Sung, L. Young-Joo, J. Soo-Young, K. Kook-Hyun, J. Young-Chul, H. Young-Seok, C. Hyung-Mook, P. Chun-Shin, K. Jin-Woo, K. Jang-Heon, C. Chang-Ha, L. Sun-Hun, L. Young-Hwan, P. Chun-Soo, H. Seong-Dae, P. Seung, L. Hee-Joon, C. Ki-Hong, S. Yu-Ha, A. Dan, and K. Moon-Seup, "2010 Defense Science and Technology Survey," Defense Agency for Tehcnology and Quality, 2010.

[20]. T. T. Jhony, "Comparing Non-linear Mathematical Models to Describe Growth of Different Animals," Acta Scientiarum, Animal Sciences, Vol. 39(1):pp. 73–81, 2017.
crossref
[21]. E. Trahan, "An Evaluation of Growth Models as Predictive Tools for Estimates at Completion(EAC)," AFIT/GFA/ENC/09-01. Air Force Institute of Technology, Wright-Patterson AFB, Ohio, 2009.

TOOLS
Share :
Facebook Twitter Linked In Google+ Line it
METRICS Graph View
  • 0 Crossref
  •    
  • 2,986 View
  • 117 Download
Related articles in J. KIMS Technol.


ABOUT
ARTICLE CATEGORY

Browse all articles >

BROWSE ARTICLES
FOR CONTRIBUTORS
Editorial Office
160 Bugyuseong-daero 488beon-gil, Yuseong-gu, Daejeon 34060, Korea
Tel: +82-42-823-4603    Fax: +82-42-823-4605    E-mail: kimst@kimst.or.kr                

Copyright © 2024 by The Korea Institute of Military Science and Technology.

Developed in M2PI

Close layer
prev next