서 론
Earned Value Management(EVM)는 프로젝트의 성공적인 목표 달성을 위하여 프로젝트의 범위(Scope), 일정(Schedule), 비용(Cost) 및 성과(Performance)를 통합적으로 관리하는 기법[1]으로서, 1967년 美 국방부에서 제정한 Cost/Schedule Control System Criteria(C/SCSC)를 기반으로 발전하여 1999년 美 국방조달규정으로 채택되었다[2]. 우리나라도 2006년 과학적 사업관리제도의 일환으로 EVM 기법을 도입하여 효율적인 활용을 위해 여러 차례 개선을 해왔다[3].
그런데 2002년 EVM 기법을 통해 생성되는 일정 관리 데이터에 대한 신뢰성에 의문이 제기되었고, 이를 개선하기 위해 Earned Schedule Management(ESM) 기법이 새롭게 제시되었다[4]. 그리고 다수의 해외 논문 에서 ESM 기법을 통해 산출되는 일정성과지수(SPI: Schedule Performance Index)와 종결예상기간(SEAC: Schedule Estimate At Completion) 등의 일정 관련 데이터가 EVM 기법에서 산출된 것보다 더 정확하고 현실적임을 보여주었다[5,6]. 국내에서도 ESM 기법에 대한 소개와 함께 1개 국방 연구개발 사업에 적용한 사례[7]를 시작으로, 다수의 국방 연구개발 프로젝트에 ESM 기법을 적용하여 EVM 기법보다 ESM 기법이 프로젝트 미래 일정에 대한 예측 성능이 더 우수함을 입증하였다[8].
그리고 ESM 기법의 우수한 일정 현황 관리 및 예측 기능은 현재 국방 연구개발에서 사용 중인 사업진도 기법(PPM: Project Progress Management)[9,10]에 확장 적용이 가능하고, 이를 통해 전통적인 PPM 기법에서도 보다 정확한 일정 현황 파악과 일정 예측이 가능하게 되었다[11].
그러나 우수한 일정 관리 성능을 보여주는 ESM 기법도 일정 지연으로 기간 연장이 발생한 국방 연구개발 프로젝트에서는 일정 지연에 대한 조기경보 기능이 다소 부족하고, 정상적으로 종결된 프로젝트에 비해 SEAC를 정확하게 예측할 수 없는 문제점이 나타났다[8]. 이렇게 일정 지연으로 기간 연장이 발생한 프로젝트의 경우 증가한 프로젝트 기간만큼 예산 추가 투입과 인력 등의 자원 추가 투입이 필요하기 때문에 보다 정확한 기간 예측이 필요하다. 그러나 ESM 기법 및 PPM 기법을 통해 객관적이고 정확한 기간 산정이 어렵기 때문에 현재는 주로 프로젝트 책임자의 경험과 관련 전문가들의 의견을 통해 정성적으로 예측하고 있다.
따라서 본 논문은 위 문제점을 해결하기 위해 ESM 기법 및 PPM 기법에서 기간 연장된 국방 연구개발 프로젝트의 SEAC 예측기능을 개선하고자 한다. 먼저 기존 ESM 및 PPM 기법의 SEAC 산출방식과 그 문제점을 분석한다. 그리고 기간 연장의 위험 발생 시, 기간 연장에 영향을 미친 업무와 영향을 미치지 않은 업무를 분리하여 각각의 예상 수행속도를 다르게 설정하는 방식을 제안한다.
국방 연구개발 프로젝트의 기간 예측
본 장에서는 기존의 종결예상기간 산출 방식을 살펴보고, 최초 계획 대비 지연된 국방 R&D 프로젝트의 종결 시점을 예측하는 것이 왜 어려운지 알아보도록 한다.
2.1 기존 종결예상기간 산출 기법
수식 (1)에서 AD(Actual Duration)는 특정 시점까지 프로젝트가 진행된 기간을 의미하고, PDWR(Planned Duration of Work Remaining)은 프로젝트의 잔여 업무를 완료하는데 필요한 기간을 의미한다. PDWR의 개념을 간단히 이해하고자 Fig. 1과 같이 ESM 그래프를 통해 설명하기로 한다.
SEAC를 산출하는 것은 프로젝트의 PV(Planned Value) 커브와 특정 시점(AD)까지의 EV(Earned Value)[2] 커브를 가지고 잔여 업무(WR: Work Remaining)에 대한 미래의 EV 커브(파란색 점선)를 예측하는 것을 의미한다. Fig. 1에서 PD(Planned Duration)는 프로젝트의 계획 기간, BAC(Budget At Cost)는 프로젝트 전체 업무의 가치를 의미하고, ES(Earned Schedule)는 ESM 기법에서 정의한 시간 축에서 바라본 획득가치[4]를 말한다. 그리고 WR은 WR = PD － ES로 표현할 수 있다. 그러면 수식 (1)의 PDWR은 WR을 완료하는데 필요한 기간을 나타내는데, 이를 수식으로 표현하면 다음과 같다.
여기서 PF(Performance Factor)는 프로젝트의 잔여 업무를 수행하는데 예상되는 수행속도를 의미한다. 그러면 수식 (2)를 사용하여 각 ESM 및 PPM 기법에 따라 SEAC를 구체적으로 표현하면 Table 1과 같다[11,12].
Table 1.
SEAC formula for each technique
| 기 법 | 수 식 |
|---|---|
| ESM |
|
| PPM |
|
Table 1에서 ESESM, ESPPM은 ESM 및 PPM 기법의 ES를 의미하고, 각 기법의 PF는 기법에 따라 다르기 때문에 각각 PFESM, PFPPM으로 나누어 표현하였다. 참고로 PPM 기법에 대한 그림과 자세한 설명은 ESM 기법과 유사하기 때문에 생략하기로 한다[11].
결국 Table 1의 모든 SEAC는 각 기법의 용어로 표현된 WR을 PF로 나눈 형태를 포함하기 때문에 프로젝트의 남은 업무가 향후 어떤 속도로 진행될 것인지에 따라 SEAC가 달라진다고 볼 수 있다. 여기서 PF 는 다양한 수치로 설정할 수 있는데, 그 중 참고 논문[5,6]을 포함하여 대다수 논문에서는 Table 2와 같이 PF 를 설정한다.
2.2 국방 연구개발 프로젝트의 일정 예측 문제점
앞 절의 산출기법에 따라 국방 연구개발 프로젝트에서 SEAC를 예측하면, 지연 없이 진행되거나 지연이 있더라도 이를 만회하여 최초 계획했던 기간 내에 종결된 프로젝트는 기존 논문과 동일한 경향성을 얻을 수 있다. 하지만 최초 계획했던 기간보다 지연되어 종결된 프로젝트의 경우에는 기간 예측이 정확하지 않은 것을 알 수 있다[8]. 실제 국방 연구개발 프로젝트를 계획된 기간 내에 정상적으로 종결된 프로젝트와 계획된 기간 내에 종결되지 않고 기간 연장된 프로젝트로 나누어 SEAC 오차를 산출한 결과는 Table 3과 같다.
Table 3.
MAPE comparison between on-time and late projects in domestic case
| 구 분 | ESM | PPM | ||
|---|---|---|---|---|
| PF = 1 | PF = SPI | PF = 1 | PF = SPI | |
| 정상종결 | 1.443 | 3.554 | 0.372 | 0.975 |
| 기간연장 | 11.078 | 10.052 | 12.694 | 12.389 |
우선 Table 3의 SEAC 오차는 SEAC와 프로젝트 종결까지 실제로 소요된 기간(RD: Real Duration)의 차이로서 MAPE(Mean Absolute Percentage Error)[16]를 사용하여 산출하였고, 자세한 수식은 4장의 검증 방법론에서 언급하기로 한다. 그리고 Table 3의 SEAC 오차 산출에 활용된 대상 프로젝트에 대한 설명도 4장에서 다루기로 한다. Table 3을 보면 기간 연장된 프로젝트의 SEAC 오차가 정상종결 프로젝트보다 큰 것을 확인할 수 있는데, 이러한 결과는 ESM, PPM 기법에 상관없이 동일하다. 아울러 두 기법 모두 PF에 상관없이 기간 연장된 프로젝트의 오차가 정상종결 프로젝트의 오차보다 큰 것을 확인할 수 있다. 즉, 기간 연장된 프로젝트의 종결 예상 기간을 예측할 때는 최초 계획대로 진행될 것으로 낙관하거나 현재까지 진행된 속도로 향후에도 진행될 것으로 프로젝트 상황을 판단하면 정확하게 예측할 수 없음을 의미한다.
이러한 경향성은 해외 사례에서도 유사하게 나타나는데, Table 4는 해외 논문[13]에서 사용한 실제 해외 프로젝트 데이터베이스[17]의 MAPE 값을 평균한 수치이다. 참고로 해외 프로젝트는 PPM 기법을 사용하지 않기 때문에 해당 데이터는 없다. 그리고 한국 국방연구개발과 달리 기간 단축하여 종결된 사례도 존재한다. Table 4의 수치를 보면, Table 3의 한국 국방연구개발의 결과와 유사하게 PF에 상관없이 정상종결 프로젝트보다 기간연장 및 단축된 프로젝트의 기간 예측 오차가 더 큰 것을 확인할 수 있다.
Table 4.
MAPE comparison between on-time and early/late projects in abroad case
| 구 분 | ESM | |
|---|---|---|
| PF = 1 | PF = SPI | |
| 정상종결 | 4.025 | 12.675 |
| 기간연장/단축 | 10.124 | 16.512 |
이렇게 기간 연장된 프로젝트의 종결 예상 기간 예측 정확도가 낮은 원인은 크게 3가지로 나누어 볼 수 있다. 첫 번째로 PMBOK(Project Management Body of Knowledge)[1]에서 정의하고 있는 프로젝트 업무의 모니터링 및 통제 프로세스를 수행하면서 프로젝트 책임자는 자신의 권한 범위를 넘어서는 변경이 필요하면 상부의 보고를 통해 해결해야 한다. 그러나 대부분의 프로젝트 책임자는 일정 지연 발생 시 우선 자신의 권한 내에서 해결하려고 노력한다. 물론 프로젝트 책임자 수준에서 문제가 해결되면 다행이지만 만약 그렇지 못한 상황이면, 이미 문제 해결에 필요한 시간을 소진하여 추가적인 시간이 필요하게 되어 예상했던 종결 시점에 종결하지 못하게 된다.
두 번째 보통의 프로젝트 진행속도는 초반부에 비해 후반부로 갈수록 느려진다[18]. 프로젝트 후반부로 갈수록 고치기 힘든 결함이 많고, 예상하지 못했던 새로운 이슈들이 발견되는 등 여러 가지 변수가 발생하기 때문이다. 국방 연구개발 프로젝트도 유사한 형태로 진행되는데, 보통 시험평가를 수행하면서 결함이나 추가 요구사항이 도출되면서 기존에 이미 완료된 업무를 다시 수행해야하는 상황이 발생하게 된다. 따라서 최초 계획했던 속도나 현재까지 진행되어온 속도로 잔여 업무 진행이 불가능해진다.
마지막으로 일정 지연 위험 요소가 실제 발생하게 되면, 기존 프로젝트 계획 시 예상치 못했던 추가 업무가 발생하게 된다. 예를 들어 프로젝트의 일정 지연으로 기간 연장이 필요하게 되면, 일정 지연에 대한 원인 분석 및 이에 대한 감사 수검 등의 추가 업무와 프로젝트 기간 연장 처리를 위한 각종 위원회 수행 등의 행정적인 업무가 발생한다. 따라서 이러한 추가 업무 수행은 기존 예상 기간 대비 더 많은 일정을 필요로 하게 된다.
결국 일정 지연의 위험 요소가 실제로 발생하는 시점에서 기존 방식대로 SEAC를 예측하지 말고, 프로젝트 지연의 원인이 된 업무에 대하여 추가적인 기간 산정이 이루어져야 보다 정확하게 SEAC를 예측할 수 있게 된다.
종결예상기간 정확도 개선
본 장에서는 앞에서 문제점으로 지적한 기간 연장이 예상되는 프로젝트의 SEAC 정확도를 개선하는 방법을 제안한다.
Fig. 2는 특정 시점(AD)에서 프로젝트의 잔여 업무를 개념적으로 설명하는 것으로 프로젝트의 잔여 업무(WR)를 지연을 유발한 업무(WRD)와 지연과 관계없는 업무(WRDF)로 나눈 것이다. 그러면 이에 따라 수식 (1)의 PDWR도 수식 (3)과 같이 분리하여 정의할 수 있다.
수식 (3)에서 PDWRDF는 프로젝트 지연과 관계없는 업무를 완료하는데 필요한 기간이고, PDWRD는 프로젝트 지연에 영향을 미친 업무를 완료하는데 필요한 기간을 의미한다. 그러면 Fig. 2에서 둘로 나누어 정의한 잔여 업무와 수식 (2)를 이용하여 수식 (3)을 다음과 같이 표현할 수 있다.
여기서 PFDF와 PFD 는 각각 지연과 관계없는 업무를 수행하는 속도와 지연을 유발한 업무를 수행하는 속도를 의미한다. 기존 논문은 PFDF 와 PFD를 나누지 않고 동일한 속도로 진행될 것으로 보았지만, 본 논문에서는 프로젝트 지연과 관련 유무에 따라 잔여 업무를 나누어 그에 따라 진행 속도를 다르게 설정하여 SEAC를 산출하는 방법을 제안하는 것이다. 잔여 업무 중 프로젝트의 지연에 영향을 받지 않는 후속 업무는 기존 논문에서 증명된 바와 같이 계획한 기간에 완료될 가능성이 높기 때문에 PFDF 를 1로 설정하는 것이 적절하다. 예컨대 시험평가 지연이 최초 계획한 국방규격 업무의 절대적인 기간을 증가시키지 않는 경우를 들 수 있다. 그러나 프로젝트 지연에 영향을 끼친 업무는 최초 계획대로 되거나(PFD = 1), 현재까지 속도(PFD = SPI)로 진행되지 않기 때문에 새로운 값의 설정이 필요하다. 따라서 이를 정리하여 지연이 예상되는 프로젝트의 종결예상기간은 수식 (1)과 (4)를 이용하여 수식 (5)와 같이 표현할 수 있다.
수식 (5)에서 PFD 는 앞서 언급한대로 지연된 업무의 진행속도를 감안하여 새롭게 값을 설정해야 한다. 본 논문에서는 PFD 를 과거 종결된 국방 연구개발 프로젝트 중 기간 연장된 프로젝트에서 지연된 업무를 식별하여 최초 계획기간 대비 지연된 기간의 비율을 산출하여 평균한 값으로 설정하였다. Table 5는 산출한 PFD 를 나타낸 것으로서 업무 지연 사유에 따라 구분하였다. 다만 현재까지 국방 연구개발 프로젝트의 지연 사유가 주로 제작 지연이나 시험평가 지연에 편중되어 있어 향후 지연 사례를 반영하면 Table 5의 01, 04 및 05 코드의 수치는 다소 유동적일 수 있다.
4. 개선 방법 검증
4.1 검증 방법론
새롭게 제안한 SEAC 수식을 검증하기 위해 먼저 대상 프로젝트를 선정하였다. 앞서 2장에서 언급한 것과 같이 실제 국방 연구개발 프로젝트 중 계획된 기간 내에 정상적으로 종결된 프로젝트와 일정 지연이 발생하여 계획된 기간 내에 종결되지 않고 기간 연장되어 종결된 프로젝트를 검증 대상으로 선정하였다.
이때 기존 논문[8,11] 검증 시 사용한 프로젝트 데이터를 기본으로 하고, 이후 종결된 프로젝트의 데이터를 확대 포함하였다. 다만 검증 대상 프로젝트의 구체적인 정보는 보안 상 밝힐 수 없기 때문에, Table 6과 같이 프로젝트 개수를 나타냈다. Table 6에서 ESM기법과 PPM 기법의 검증 대상 프로젝트 수가 다른 이유는 방위사업청 과학적 사업관리 수행지침[3]에 따라 ESM 기법을 적용하는 국방 연구개발 프로젝트가 PPM 기법보다 제한적이기 때문이다.
Table 6.
Number of projects for verification
| 기법 구분 | 연장 구분 | 프로젝트 수 | 합계 |
|---|---|---|---|
| ESM | 정상 종결 | 16 | 29 |
| 기간 연장 | 13 | ||
| PPM | 정상 종결 | 16 | 40 |
| 기간 연장 | 24 |
MAPE 값은 앞에서 소개한대로 해외 프로젝트 분석에도 대부분 사용되는 지표이다.
4.2 검증 결과
먼저 Fig. 3은 본 논문에서 개선 제안한 SEAC 수식을 기존 논문[11]과 동일하게 1개 프로젝트에 적용하여 비교한 결과이다. Fig. 3의 프로젝트는 파란색 점선과 같이 일정 지연 요소가 발생하여 프로젝트 최초 계획기간(68개월) 내에 종료하지 못하고, 첫 번째에 74개월로, 두 번째에 86개월로 2회 연장하였다. 그래프는 첫 번째 기간 연장의 원인이 현실화된 44개월부터 종결 시점까지 도시하였다.
Fig. 3을 보면 ESM 기법에서 PF = 1로 SEAC를 예측한 ESM-1(검정색 점선)보다 PFD 를 고려하여 예측한 ESM-D(빨간색 점선)가 먼저 연장 기간에 가깝게 예측하는 것을 확인할 수 있다. 그리고 PPM 기법에서도 PF = 1로 SEAC를 예측한 PPM-1(검정색 실선)보다 PFD 를 고려하여 예측한 PPM-D(빨간색 실선)가 먼저 연장 기간에 가깝게 예측하는 것을 확인할 수 있다. 즉, 본 논문에서 제안한 방식이 기존 예측 방식보다 보다 정확하게 예측하는 것을 알 수 있다.
그러면 앞 절에서 언급한 검증 대상 프로젝트로 확대하여 그 효과를 확인하기로 한다. Table 7은 전체 검증 대상 프로젝트 중 기간 연장이 발생했던 프로젝트에 대하여 각 기법에 따라 PF를 다르게 적용하여 MAPE 평균값을 산출한 결과이다. PFD 는 지연 사유 관계없이 평균치인 Code-00을 사용하여 산출하였다. Table 7의 MAPE 값을 비교해보면, ESM 기법 및 PPM 기법 모두 PFD 를 사용했을 때 오차가 가장 작게 발생하는 것을 확인할 수 있다. 즉, 기간 연장된 프로젝트의 종결 예상 기간을 예측할 때는 PFD 를 사용하여 예측하는 방식이 더 정확하다고 볼 수 있다.
Table 7.
SEAC error according to the various PF
| 구 분 | PF = 1 | PF = SPI | PFD |
|---|---|---|---|
| ESM | 11.078 | 10.052 | 6.051 |
| PPM | 12.694 | 12.389 | 7.157 |
Table 8.
MAPE comparison according to PFD classification
| 구 분 | Code-00 | Code-03 |
| ESM | 7.165 | 7.040 |
| PPM | 7.391 | 6.903 |
위와 같은 결과는 프로젝트 진행 중 어느 시점에서나 유사하게 나타나는데, Fig. 4를 통해 이를 확인 할 수 있다. Fig. 4는 기간 연장을 유발시키는 위험 요소가 프로젝트 진행 중 발생한 시점에 따라 나누어 각 예측 방식을 비교한 그래프이다. 참고로 기간 연장 위험 요소가 주로 프로젝트 후반부에 발생되어 프로젝트 후반부를 상세하게 나누어 표현하였다. Fig. 4를 보면 ESM 기법에서 PFD 를 이용하여 예측한 결과(빨간색 점선)가 다른 PF를 이용한 결과(검정색, 파란색 점선)보다 프로젝트의 모든 시점에서 정확하게 예측 하는 것을 확인할 수 있다. 아울러 PPM 기법에서도 PFD 를 이용하여 예측한 결과(빨간색 실선)가 다른 PF 를 이용한 결과(검정색, 파란색 실선)보다 프로젝트의 모든 시점에서 정확하게 예측하는 것을 알 수 있다.
마지막으로 Table 8은 PFD 의 코드 구분에 따른 예측 성능을 비교한 결과이다. Table 8 이전까지 검증에 사용한 PFD 는 모두 Table 5의 Code-00으로, 지연된 업무의 향후 진행 속도를 지연 사유와 관계없이 일반적인 평균값으로 사용하였다. 이는 지금까지 국방 연구개발에서 발생한 기간 연장 사례가 연장 사유별로 충분히 쌓이지 않아 연장 사유별로 Code 값을 나누면 신뢰성이 떨어질 수 있기 때문이다. 그러나 앞장에서 언급한대로 시험평가 지연에 의한 발생은 비교적 많이 발생했기 때문에 Table 8과 같이 비교를 해보았다. Table 8을 보면 일반적인 평균값을 PFD 로 사용한 것보다 지연 사유에 맞게 PFD 를 사용하면 정확도가 조금 더 개선되는 것을 확인할 수 있다.
결 론
본 논문을 통해 ESM 기법과 PPM 기법에서 기존에 사용해왔던 일정 예측 방법의 문제점을 살펴보았다. 프로젝트가 최초 계획대로 진행될 것으로 낙관하고 종결 시점을 예측하는 방식은 기간 연장이 발생하지 않은 국방 연구개발 프로젝트를 예측할 때 정확하지만, 일정 지연으로 기간 연장이 발생한 프로젝트의 경우에는 정확하게 예측할 수 없음을 확인할 수 있었다. 그리고 이러한 문제점을 개선하고자 프로젝트의 잔여 업무를 지연을 유발시킨 업무와 그렇지 않은 업무로 나누어 지연을 유발시킨 업무는 기존 방식과 달리 진행 속도를 낙관하지 않도록 조정하는 기법을 제안하였다. 지연 업무의 진행 속도는 과거 기간 연장된 프로젝트의 통계치를 사용하여 보다 현실적인 진행 속도를 고려할 수 있도록 하였다. 제안 기법의 효과를 기 종결된 국방 연구개발 프로젝트에 적용하여 검증하였고, 이를 통해 국방 연구개발 프로젝트의 일정 예측 정확도가 개선될 가능성이 높다고 볼 수 있다.
앞서 언급한대로 본 논문에서 제안한 방법은 모든 상황에서 프로젝트의 종결 예상 기간을 정확하게 예측하는 것은 아니다. 즉, 프로젝트 수행 시 식별해 놓은 위험 중 기간 연장을 유발하는 위험 요소가 실제로 발생했을 때 비로소 그 효과를 확인할 수 있다. 따라서 본 논문에서 제안한 기법은 기존에 사용해온 방법을 대체하는 개념이 아니라 일정 지연 위험이 현실화된 비상 상황에서 프로젝트 이해관계자가 보다 냉정하게 프로젝트의 미래를 예측할 수 있도록 도와주는 역할이므로 기존 예측 방식과 상호 보완적인 관계라 할 수 있다.
그리고 제안 기법을 적용하려면 지연을 유발시킨 업무와 이에 영향을 받지 않은 업무를 명확히 구분할 수 있어야 하는데, 대형 프로젝트일수록 업무 관계가 복잡하여 일정 지연을 유발시키는 업무와 그렇지 않은 업무를 현실적으로 명확히 구분하기 어려울 수 있다. 따라서 본 기법의 적용에 앞서 CPM(Critical Path Method)[19]에 따른 업무 간 위험 관계와 영향성을 명확히 하는 것이 선행되어야 할 것이다. 마지막으로 국방 연구개발의 기간 연장 사례가 적어 통계적 의미가 다소 부족한 Table 5의 지연 사유별 PFD 는 추가 사례 분석이 필요하고, 프로젝트 지연 사유에 따라 PFD 를 구분하는 것은 복합적인 지연 사유 분석 등 다양한 사례에 대한 보다 깊은 연구가 필요하다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation
