여러 연구에서 국방 온톨로지를 활용한 데이터베이스 구축에 대하여 고찰하였다. 유동희(2013)^[2]는 국방 온톨로지를 활용한 지능형 육군전술지휘정보체계(ATCIS)를 제안하며, 지휘 결심에 필요한 군사 지식을 제공하여 지휘관의 빠르고 정확한 의사결정을 지원하는 방법을 탐구하였다. 조은지(2022)^[3]는 인공지능을 활용한 전장 상황분석 연구를 위한 모의 시나리오 기반 가설 데이터 세트 생성 방법을 제안하였으며, 이를 통해 다양한 자연어 표현의 전장 지식요소를 분석하여 인공지능 개발에 필요한 데이터 셋을 생성할 수 있음을 확인하였다. 백재욱(2022)^[4]은 전투 환경 인식을 위한 데이터셋을 구축하기 위해 전장 상황을 정의하고, 장면 그래프 생성을 위한 잘 알려진 공개 데이터셋의 구조를 참고하여 AI 모델 개발을 가능케 하는 데이터 구조를 설계하였다. 최근하(2023)^[5]는 방책 DB 를 활용하여 방책 지식베이스를 구축하고, 사용자의 방책 선택 요청과 상황정보에 따라 후보 방책을 선정하며, 평가하여 후보 방책을 제공하는 중대급 방책 추천 자동화 시스템을 제안하였다. DAVIS^[6]는 인공지능의 활용을 군사 전술적 수준 뿐만 아니라 작전 수준에서도 활용하여야 하며 인공지능의 효율적인 작전 기능 세분화에 대하여 고찰하였다. Schubert, J.^[7]는 작전 프로세스를 통해 경험적으로 수집한 데이터를 바탕으로 지휘통제시스템에서 AI가 어떻게 활용될 수 있는지를 연구하였다.

그뿐만 아니라 구축된 데이터를 기반으로 한 다양한 모델링 기법에 관한 연구가 이루어지고 있다. 한창희(2020)^[8]는 인간의 의사 결심과 판단을 기계적으로 지원하는 방법을 고찰하고 의사결정 트리 방법론을 활용하여 의사 결심 지원체계의 데이터 모델링 방안을 제시하였다. 진소연(2020)^[9]은 자동 생성 및 추론 기술을 활용하여 전장 지식베이스를 기반으로 복합적인 상황 판단을 지원하고, 해당 기술의 유효성을 다양한 전장 상황에서 검증하였다. 서기원(2023)^[10]은 샴 네트워크 구조를 사용하여 현재 상황에 적합한 가설을 추천하는 분석결과 추천/랭킹 모델을 제안 하였다.

기존의 연구들은 지휘관의 의사결정지원에 대한 방법론이나 인공지능을 활용한 상황분석 또는 데이터셋 구축에 집중하였다. 본 연구는 군에서 사용하는 시뮬레이션과 이를 학습한 인공지능 모델을 기반으로 직접적인 방책 추천을 수행한다는 점에서 더욱더 직관적이고 명확한 의사결정 지원을 가능하게 하는 시스템을 제안한다. 또한 실제 데이터를 통해 학습과 평가를 통해 제안한 시스템의 신뢰도를 평가한다.

본 연구에서 고려하는 입력 데이터셋은 크게 상황정보(METT-TC) 데이터와 방책 시뮬레이션 결과 데이터로 구성된다. 사용하는 데이터는 최근하(2023)^[5]에 의해 설계된 방책 데이터베이스를 바탕으로 하여, 상황정보 데이터와 방책 데이터를 추출하여 군에서 사용하는 전투21 워게임 시뮬레이션을 통해 추출한다.

상황정보 데이터는 Fig. 2와 같이 고려하고 있는 전장상황에 대한 임무, 병과, 상급지휘관의도 정보를 포함한다. 각각의 데이터의 항목별로 상이하게 다른 데이터 형식으로 이루어져 있어서 이에 대한 전처리 과정이 필수적이다.

방책 시뮬레이션 결과 데이터는 고려하고 있는 상황정보와 방책을 통해 이루어진 워게임 시뮬레이션의 출력값으로, 아 병력 손실, 아 장비 손실, 적 병력 손실, 적 장비 손실 등에 관한 총 59차원의 수치형 데이터로 이루어져 있다.

고려하고 있는 출력 데이터셋은 Table 1과 같이 평가 요소별 점수로써 공통 요소 6개 공격방책 요소 4개, 방어방책 요소 4개로 구성되어 있다. 따라서 공격방책, 방어방책 각각 10개의 요소가 점수로 출력되며 항목별로 0∼10점 사이의 점수가 부여 된다. 또한 각 평가 요소별 가중치는 0.1로 동일 하게 부여된다.

모델의 입력값으로 고려하는 상황정보 데이터의 경우 카테고리형, 레이블형, 수치형의 다양한 형식의 데이터를 포함한다. 따라서 각각 입력 항목의 타입을 고려한 전처리를 통해 벡터 형태로 변환하여 신경망 모델의 입력값으로 사용한다.

임무, 지휘관의 의도와 같은 카테고리형 데이터에는 원-핫 인코딩을 적용하였다. 각각의 항목에 들어가는 단어 집합의 크기를 벡터의 차원으로 하고, 변환되는 단어의 인덱스에 1, 나머지 인덱스에 0을 부여하는 원-핫 벡터로 표현한다.

소대의 전투력과 관련한 지표들은 그 수치에 따라 각각 Green(100∼80 %), Amber(79∼60 %), Red(59∼40 %), Black(40 % 미만) 중 하나의 값으로 레이블링 되어 있다. 해당 데이터는 범주형 데이터이지만 그 값이 연속성을 갖고 있기때문에, 각각의 레이블을 각각 3,2,1,0의 수치로 변환하는 레이블 인코딩을 사용하였다.

또한 cell의 번호로 표기되는 좌표형 데이터의 경우 MGRS(Military Grid Reference System) 좌표변환을 통해 경도, 위도 형태의 수치 데이터로 변환하였다.

마지막으로 상황정보의 수치형 데이터와 방책 시뮬레이션 결과 데이터의 경우 Z-score 정규화 알고리즘을 통해 각각을 −1에서 1 사이의 값으로 변환하였다. 전체 임베딩 전처리 알고리즘의 도식은 Fig. 3과 같다.

고려하는 인공지능 모델은 상황정보와 방책 시뮬레이션 결과를 기반으로 방책 후보별 랭킹을 부여하기 위해 평가지표에 점수를 부여하고 종합점수를 생성하는 기능을 수행한다.

모델 추론 단계에서 입력 데이터는 상황정보와 방책 시뮬레이션 결과 리스트를 모델에 입력하고, 출력 데이터는 방책 후보별 방책평가지표 점수, 종합순위를 출력한다. 또한, 학습모델 평가 데이터셋을 사용하여 성능 측정 기능을 수행한다.

모델의 설계도는 Fig. 4와 같이 멀티모달 형태의 신경망을 사용하였다. 두 종류의 입력데이터가 서로 다른 특성을 가지기에, 두 종류 입력을 각각 서로 다른 신경망을 적용해 학습시켰다. 이를 통해 추출한 feature들을 마지막으로 학습시켜 최종적인 평가 요소별 점수를 부여하였다. 학습에 사용한 모델 아키텍처에는 각각의 데이터 타입에 적합한 신경망 구조를 적용할 수 있다. 본 연구에서는 상황정보 데이터에는 다층 퍼셉트론 구조를, 방책 시뮬레이션 결과 학습모델은 기본적으로 데이터의 시간별 위치 정보 및 전투력을 학습하기 위해 1차원 CNN 구조를 적용하였으며, 최종적으로 점수를 출력하기 위한 네트워크로는 14개의 출력값을 갖는 단일 레이어 퍼셉트론와 0∼10까지의 점수를 출력하기 위하여 활성화 함수인 ReLU와 Clipping함수를 적용하였다. 모델의 성능 대조를 위해 다양한 모델을 추가적으로 적용하여 최종적인 예측 성공을 비교하였다.

또한 모델의 성능 향상을 위해 인공지능 모델의 하이퍼파라미터 최적화를 적용하였다. 제안하는 모델에 사용되는 하이퍼파라미터들을 식별하고 이 중 최적화를 적용할 수 있는 대상들을 선정하였다. 선별한 리스트는 Table 2와 같다. 다음으로 선정한 파라미터들에 대하여 Bayesian Optimization 최적화 알고리즘을 사용하여 하이퍼파라미터 최적화 알고리즘을 수행하였다. 마지막으로 최적화를 통해 향상된 성능을 검증하기 위해 임의로 선택한 하이퍼파라미터를 사용하여 만든 모델과의 학습 성능 차이를 비교하였다.

제안한 모델은 각각의 평가요소에 대한 점수를 출력하게 된다. 모델의 출력값을 바탕으로 종합점수를 산출하여 효과적으로 지휘관을 지원하기 위한 모델을 추가적으로 설계하였다.

먼저 각각의 방책이 상황정보에 얼마나 적합한가에 관한 추가적인 종합점수 레이블링을 진행하였다. 다음으로 각각의 평가요소 점수를 입력값, 적합성 레이블링을 출력값으로 하는 회귀모델을 학습시켜, 각각의 요소에 대한 계수를 확인하였다. 각각의 계수가 의미하는 바는, 최종적인 지휘관의 판단에 평가요소가 얼마만큼의 영향을 끼치는지를 나타낸다.

최종적으로 종합 점수를 산출할 때에는 모델의 계수를 0에서 1 사이의 값으로 정규화한 수치를 가지고 가중치 합을 내어 종합점수를 계산하였다.

실험에서 사용한 데이터의 크기는 총 300개로, 각각 학습 데이터셋, 실험 데이터셋으로 사용하였다. 벡터 임베딩을 적용할 시 상황정보, 방책 시뮬레이션 결과 데이터는 각각 32차원, 53차원의 크기를 가지는 수치형 벡터로 변환되었다.

본 실험에서는 학습데이터 부족을 해결하기 위해 전체 데이터를 9:1의 비율로 임의로 나누어 여러 개의 (훈련 데이터, 테스트 데이터) 쌍으로 변환하였으며 각각의 데이터 쌍에 대하여 성능 확인 후에 평균을 내어 최종적으로 모델의 성능을 출력하였다.

고려하는 인공지능 모델의 일반화 성능과 적합성을 평가하기 위하여 일반적으로 회귀 모델에서의 성능 평가지표로 사용되는 RMSE와 R2-score를 사용하였다.

RMSE의 경우 회귀 모델의 성능을 평가하는 가장 일반적인 지표 중 하나이다. 오차를 제곱하여 평균을 계산하기 때문에 값이 낮을수록 더 좋은 예측 성능을 보이는 것을 의미하며, 예측값과 실제 값 사이의 큰 오차에 더 큰 가중치를 부여한다는 장점이 있다.

R2-score는 모델이 종속 변수의 변동성을 얼마나 잘 설명하는지를 나타내는 지표이다. 0과 1 사이의 값을 가지며 1에 가까울수록 모델의 설명력이 높다는 의미로, 예측의 적합도를 평가할 때 사용하는 지표이다.

실험 결과는 다음과 같다. 전체 데이터를 10회의 독립적인 훈련/테스트 데이터셋으로 구분하고, 각각에 대하여 성능 지표를 측정하여 평균을 내어 모델의 성능을 검증하였다. 학습은 총 2000 epoch로 진행하였다. 해당 결과는 Table 3의 내용과 같다.

이때 고려하는 하이퍼파라미터들은 Table 2에서 표시된 최소의 수치를 사용하였다. Table 3에서 첫 번째 행은 본 논문이 제안한 모델, 두 번째 행은 3-layer MLP 이며, 나머지는 딥러닝 기반이 아닌 Support Vector Regressor(SVR), Random Forest, XGboost로 학습한 결과를 대조군으로 사용하였다. 또한 4개의 대조군 모델은 상황정보와 방책 시뮬레이션 결과 벡터를 Concatenation 하여 하나의 Input으로 만들어 실험을 진행하였다. 공정한 비교를 위해 대조군 모델 또한 하이퍼파라미터 최적화를 수행하였고 결과는 Table 4와 같다. 여러 가지 모델의 성능을 비교하였을 때 본 연구에서 개발한 튜닝이 완료된 모델이 두가지 지표 모두 가장 높은 성능을 기록하는 것을 확인할 수 있다.

최적의 성능을 나타내는 모델을 통해 데이터를 학습시켰을 때 나타내는 loss curve는 Fig. 5, 6과 같다. 총 2000 epoch을 학습시킨 결과 제안하는 네트워크에서 학습이 잘 동작하고 있음을 파악할 수 있다.