J. KIMS Technol Search

CLOSE


J. KIMS Technol > Volume 25(6); 2022 > Article
공대공 전투 모의를 위한 규칙기반 AI 교전 모델 개발

Abstract

Since the concept of Manned-UnManned Teaming(MUM-T) and Unmanned Aircraft System(UAS) can efficiently respond to rapidly changing battle space, many studies are being conducted as key components of the mosaic warfare environment. In this paper, we propose a rule-based AI engagement model based on Basic Fighter Maneuver(BFM) capable of Within-Visual-Range(WVR) air-to-air combat and a simulation environment in which human pilots can participate. In order to develop a rule-based AI engagement model that can pilot a fighter with a 6-DOF dynamics model, tactical manuals and human pilot experience were configured as knowledge specifications and modeled as a behavior tree structure. Based on this, we improved the shortcomings of existing air combat models. The proposed model not only showed a 100 % winning rate in engagement with human pilots, but also visualized decision-making processes such as tactical situations and maneuvering behaviors in real time. We expect that the results of this research will serve as a basis for development of various AI-based engagement models and simulators for human pilot training and embedded software test platform for fighter.

1. 서 론

미래 전장 환경은 위협 및 작전개념의 변화에 따라 타격순환체계(Kill-Chains)로 진화하고 있으며[5], 고 사양/고 비용의 완비된 단일 체계 사이에 사전 정의된 정보교환의 정적인 구조를 가진 복합체계(System of System) 보다 유연한 정보 경로를 통해 더 많은 지휘체계 및 타격체계를 연결할 수 있는 적응형 킬웹(Kill Web) 개념이 도입되고 있다. 또한, 다양한 무기체계가 DNA(Data, Network, AI(Artificial Intelligence) 기술 기반 초연결 네트워크를 통해 유기적으로 연결되어 감시정찰, 지휘통제 및 정밀타격이 달성될 수 있도록 임무 실행 동안에 자원들이 재구성 될 수 있는 모자이크전 개념으로 변화하고 있다.
미국은 2018년부터 국가방위전략에 제 3차 상쇄전략을 반영하여 인공지능, 로봇, 무인체계 등 자율 시스템 개발을 고도화하고 있다. 그중에서도 무인 전투기는 효과적인 임무 및 작전을 수행하기 위해 이기종의 센서로부터 측정된 정보를 융합하여 실시간 상황 인식을 통해 유인 전투기 조종사의 의사결정을 지원하기 위한 관련 기술이 뒷받침 되어야 한다. 특히, 적기의 기동 전술을 파악하여 아군 무인기의 자율 기동을 결정하고, 이를 단독으로 수행할 수 있는 인공지능 기반 자율 기동 연구가 절실히 요구된다. 전투기 유인조종사는 교전 중 발생 가능한 모든 경우에 대해 대처할 수 있도록 충분한 시간의 교육과 훈련을 받지만, 무인 전투기의 경우에는 충돌 방지, 자동 비행 및 이∙착륙 기능 등으로 제한적인 범위에서 구현 및 개발되어 있어 인간 수준의 완전 자율화까지는 많은 연구가 필요할 것으로 판단된다.
그렇기 때문에 미국 국방부는 공격, 정찰, 전자전 등의 임무를 유∙무인 항공기가 협업하여 수행하는 로얄 윙맨(Loyal Wingman) 과제를 통해 유인 전투기를 소모성의 저비용 UAS(Unmanned Air System)로 교체하거나 적극 활용하여 효율적인 임무 수행과 전투기의 생존성을 보장하는 방안을 연구하고 있다[6]. 또한, DARPA는 신뢰할 수 있고, 확장 가능한 공중교전을 수행하기 위해 ACE(Air Combat Evolution) 프로그램[7]을 통해 인간 수준의 AI 파일럿 개발을 진행하고 있다. ACE 프로그램은 개발된 AI 공중교전 모델을 실제 전투기에 탑재하여 신뢰성을 검증하고 유인 조종사와의 협업 가능성을 검증하는 것을 목표로 하고 있다. 그러나 무인전투기 시스템에 관한 많은 연구들이 진행되고 있음에도 불구하고 전통적인 공중 전투의 기본원리 및 원칙은 크게 변화가 없는 상황이다. 최적 무장 운용이나 임무 재계획, 경로 재설정 등을 위한 의사결정은 유인 전투기 조종사의 도움을 받는다 하더라도, 효율적인 무인전투기의 운용을 위해서는 기본적인 공중 전투 능력을 가진 인공지능 기반 공중 교전 모델 기술은 가장 핵심적이고 필요한 요소라고 할 수 있다.
이를 위해 본 논문에서는 무인전투기가 Dog-fight와 같은 시계 내(WVR) 공중전을 성공적으로 수행할 수 있도록 공군의 전술교범 및 조종사 경험을 바탕으로 공대공 교전 수행을 위한 지식명세서를 구축하였다. 각 전술단위(공격, 방어 등) 별 행위 결정 프로세스를 DB화 하였고, 이를 기반으로 트리 구조를 활용하여 전투기 기동을 결정하는 행위 모델을 설계하였다. 전장 상황에 따라 유인조종사의 기동 행위를 결정하는 의사결정 방식은 비 명시적이며 정량적으로 식별하기 어렵기 때문에 이를 무인전투기에 적용하기 위해 Genetic-Fuzzy 알고리즘[8]을 활용하였다. Genetic-Fuzzy 알고리즘을 통해 기동 행위 결정에 필요한 퍼지 변수의 각 멤버함수들의 구간 값을 튜닝하여 최적의 기동을 결정하고 적기와의 상태와 우위를 판단하는데 사용하였다.
이를 바탕으로 설계된 규칙기반 AI 공중교전 모델은 위치, 각도 등 적기와의 기하 정보, 연료량, 속도 등의 상태 값을 입력으로 받아 전투 상황을 판단하고 최적의 기동행위를 결정하여 비행 추적점을 생성하고 이를 추종하는 제어 명령 값을 생성하게 된다. 제어 명령에 따라 생성된 Stick, Throttle, Rudder 등의 조종값은 오픈소스 전투기 동역학 모델인 JSBSim[9]에 적용하여 6-DOF 동역학 기반의 전투기 기동을 구현하였다.
우리는 제안한 규칙기반 AI 공중교전 모델의 성능을 평가하고 검증하기 위해서 인간 조종사와 규칙기반 AI 교전모델 간의 교전을 수행했다. 교전 실험을 진행하기 위한 시뮬레이션 환경은 인간조종사와 규칙기반 AI 공중교전 모델 간의 교전은 물론이고, 인간조종사와의 협업 모의를 지원하고 최대 2:2 교전이 가능하도록 설계되었다. 교전에 참여하는 객체(인간조종사 혹은 규칙기반 AI 공중교전 모델)들은 사전 설정이 가능하며, 전체 시뮬레이션 환경은 인간조종사 혹은 규칙기반 AI 공중교전 모델이 조종 가능한 시뮬레이터 2식, 운용 통제석, 모의 서버 및 FOV(Field Of View) 240°~110°를 지원하는 돔 스크린 등으로 구성되었다. 2명의 인간조종사와 규칙기반 AI 교전모델 간 총 10번의 근접 공중교전을 수행하였고 규칙기반 AI 교전모델이 100 %의 승률을 기록하였다.
인간조종사를 상대로 한 성공적인 교전 결과 뿐만 아니라, 제안된 규칙기반 AI 공중교전 모델과 시뮬레이션 환경은 기존 전문가 시스템이 갖고 있는 전문가 의존 문제, 적용 대상 및 환경 변화에 따라 발생하는 규칙 갱신의 번거로움과 시간이 많이 소모되는 단점들을 해결했다. 또한, 강화학습, 딥러닝 등 기계학습 알고리즘 방식들은 교전 상황에서 일관된 성능 보장이 어렵고 블랙박스 형태의 작동 방식으로 생성된 규칙의 검증이 불가능한 문제를 행위 트리 구조에서 결정된 행위를 교전 중 실시간으로 확인할 수 있도록 시뮬레이션 환경을 설계하였고 실험을 통해 이를 검증하였다. 이러한 결과들을 바탕으로, 우리는 본 연구가 전투기 조종사들에게 전술 및 교전 작전 계획을 위한 전술 시뮬레이션 환경을 제공하고 초보 전투기 조종사를 위한 교범 기반의 훈련 환경을 제공할 수 있을 것으로 본다. 그리고 다양한 AI 알고리즘 기반의 공중교전 모델 및 UAS 탑재 자율화 임무관리 소프트웨어 개발을 위한 기초가 될 것으로 기대한다.
본 논문의 구성은 다음과 같다. 2장에서는 공중교전 모의를 위한 관련 연구들을 분석한다. 이후 3장을 통해 제안한 규칙기반 AI 공중교전 모델 설계 내용을 기술하고 이를 적용하고 검증하기 위한 시뮬레이션 환경을 4장에서 설명한다. 5장에서는 제안된 모델의 실험 및 검증 결과들을 분석하고 6장 결론에서 개선점과 향후 연구 방향을 기술한다.

2. 관련 연구

전투기 공중교전 모의 모델을 위한 기존의 전통적인 접근법은 유인 전투기 조종사의 행동을 모방하기 위해 전문가에 의한 규칙 기반 시스템을 개발하거나 휴리스틱 정보 기반 시스템, 분류자 방식(Classifier System)의 유전자 알고리즘 기반 강화학습 기법 및 기계학습 알고리즘을 적용한 연구들이 있다.
Burgin et al.의 연구[10,11]는 각 교전 상황에 대한 다양한 규칙을 생성하고 이를 기반으로 공중 모의 시뮬레이션을 구성하였다. 그러나 이러한 규칙 기반 시스템은 가장 현실적인 교전 시뮬레이션 결과를 보였지만 교전 상황 전반에 대한 규칙이 필요하게 되므로 모든 상황에 대한 세부적인 규칙을 미리 설정해야 하는 번거로움이 있으며 대상 전투기에 따라 규칙 갱신에 시간이 많이 소모되는 단점이 있다. Kahneman et al.의 연구[12]에서는 미래 기동 중 가장 높은 기대 점수를 갖는 기동을 결정하고 선택하는 방식을 적용하였다. 이를 통해, 교전 시뮬레이션 결과는 일부 개선 되었으나 앞서 언급한 전문가 시스템의 단점을 해결하지는 못했다.
휴리스틱 정보 기반 시스템[13]은 정보지향(Information oriented) 시뮬레이션 아키텍쳐를 근간으로 시뮬레이션을 수행한다. 센서, 시간 및 통신 등의 특정한 값이 명시된 정보 획득 이벤트를 통해 시뮬레이션이 수행된다. 여기에서 각 조종사는 배열 타입의 멘탈 모델(Mental Models)을 가지고 있는데, 이것은 놀람(Surprise), 혼동(Confusion) 등 상황을 지각하는 특정 값을 조종사가 가진 정보만으로 상황 평가(Situation Assessment)가 이루어진다. 이때 다른 시뮬레이션 객체들은 그들의 행동을 계속한다는 가정 하에 휴리스틱 함수를 통해 목표달성을 측정하고 판단 기준값에 따라 항공기의 기동과 무장을 운용한다. 이 방식은 조종사의 경험을 바탕으로 하기에 결과 값에 대한 신뢰성을 갖지만 상황판단을 조종사 각자의 마음(Mind)에 따른 특정 값을 기준으로 하는 단점이 있다.
Holland et al.의 논문[14]에서는 기존 규칙 기반 시스템을 구축하는 소요시간을 단축하고 교전상황 전체에 대한 최적해를 결정하기 위해 분류자 방식의 유전자 알고리즘 기반 강화학습 방법을 사용하였다. 이 연구는 추력 편향 제어가 가능한 전투기의 전술 기동을 여러 상황에 대한 훈련을 통해 규칙을 생성하도록 하는 방식을 이용했다. 이를 위해서 각 교전 상태를 바이너리 형태로 분류하고 측면각 값을 목적 함수로 설정해 강화학습을 수행하였다. 강화학습[15] 기법을 적용하면 다양한 전투기 모델이나 조종사가 제어하기 어려운 비행 영역까지 전술 기동을 시뮬레이션하고 규칙을 생성해 낼 수 있는 장점이 있다. 하지만 생성된 규칙의 검증이 불가능하고 교전 상황에서 기대되는 일관된 성능 보장이 어렵다는 문제가 있다.
Genetic-fuzzy 알고리즘은 다른 기계학습 방식들에 비해 높은 계산 효율성을 가질 뿐만 아니라 불확실하고 무작위성에 강한 특징을 갖고 있다. 그렇기 때문에 동적으로 변화하는 시나리오에 적응할 수 있고 설정에 따른 직관적인 작동 방식으로 과정과 결과에 대한 검증이 가능하기 때문에 제어 문제에 널리 사용되고 있다[16~18]. 무인 전투항공기(UCAV) 임무를 시뮬레이션하기 위해 Ernest et al.의 연구[19]에서는 Genetic Fuzzy Tree(GFT)를 활용한 모델을 제안했다. 전투조종사와 같은 전문가가 사전 정의한 입력값이 여러 개의 퍼지 추론 함수로 구성된 트리 구조에 적용되어 임무급 전투 상황에서 최적 의사결정을 지원하는 구조를 갖고 있다. 무인 전투항공기의 임무 수행을 목적으로 전술단위 공격, 침투, 회피 등의 기동을 제어하기 위해 0에서 100사이의 확률 값을 출력하는 방식을 적용했다. 복잡도가 높고 동적인 교전 상황을 효과적으로 모의하기 위한 합리적인 접근 방법을 제안했지만, 임무급 교전 모의를 대상으로 했기 때문에 근접 공중교전에 적용하기에는 무리가 있다.

3. 규칙기반 AI 공중교전 모델

전투기 조종사의 사전 지식이 공중교전을 위한 전술훈련의 기준이 되는 기존 환경에서 조종사의 인식과 행동을 동일하게 모의할 수 있다면 전투기동, 비행제어 등 더 나은 의사결정 도출이 가능할 것이다. 그중에서도 WVR 근접 공중교전을 모의하기 위해서는 공격, 방어, 중립 상황에서 기동을 결정하기 위한 기본전투기동(BFM, Basic Fighter Maneuvers)에 대한 과업/행위 모델을 구축하고 전투기 조종사로부터 사전에 식별된 WVR 근접 공중교전 지식을 바탕으로 한 AI 조종사 모델이 개발되어야 한다. 이를 위해 본 장에서 규칙기반 AI 공중교전 모델 아키텍쳐와 이를 구성하는 지식명세 행위트리, 전술 행위 모델, 행위 결정을 위한 규칙기반 의사결정 모듈과 6-DOF 동역학 및 전투기 비행제어를 위한 조종제어 모델에 대해 기술한다.

3.1 규칙기반 AI 공중교전모델 아키텍처

WVR 공중전 교전규칙 및 전술 등은 전투기 성능에 맞게 교범이나 교전 규칙 등으로 기술되어 있으며 세부 과업 절차는 조종사 개인의 상황 판단에 따라 진행되고 있다. 이에 본 연구에서는 공대공 교전규칙, 전술교범과 기 구축된 가상공중교전모델[1] 및 가변형 전술 시뮬레이터[2]의 교전 데이터를 활용하여 기본전투기동(BFM)의 1대1 공격 및 방어 교전 규칙 및 전술을 표준화하여 모델링을 수행했다. 이를 바탕으로, 교전규칙 기반 AI조종사 교전/과업 수행 모델을 개발하고, 다대다 기종별 대응 전술을 표준화하여 1대2, 2대1 및 2대2 교전 모의가 가능하도록 했다. 구축된 공대공 교전규칙과 과업 수행 모델을 위한 지식명세는 전문가(전투기 조종사) 자문과 별도의 검증과정[3]을 통해 유효성과 신뢰성을 확보했다.
본 연구에서 제안하는 규칙기반 AI 공중교전 모델의 아키텍처는 Fig. 1과 같다. 제안된 모델은 크게 전투 상황과 행위를 판단하기 위해 입력 값들을 처리하는 상황인식 모듈, 전투 중 유리한 상황을 선점하기 위한 행위 모델, 행위모델에서 결정된 기동을 수행하기 위해 전투기를 제어하는 조종 제어모델로 구성된다.
Fig. 1.
Rule-based AI model architecture for air combat engagement
kimst-25-6-637f1.jpg
상황인식 모듈은 전투기 탑재 센서와 적기와의 기하정보 등을 바탕으로 전투기 행위와 기동을 판단하기 위한 정보를 담당한다. 전투기하학에서는 아군기와 적기 간의 상대적 거리, Aspect Angle, Heading Cross Angle, Antenna Train Angle과 같은 4가지 요소들에 의해 어느 전투기가 우위를 가지는지 파악할 수 있다. 이를 바탕으로 우리는 전투 초기 조건 뿐만 아니라 전투 진행 상황에서 매 순간 아군기가 적기에 대해 우세, 열세 혹은 동등한지를 판단하는 기능으로 확장하였다.
적기와 아군기의 위치 관계를 통해 아군기가 현재 중립/공격/방어 중 어떤 상황인지를 알려주기 위해서 레이더, GPS/INS 등 전투기 탑재 센서로부터 측정되는 데이터를 가공하여 적기와의 거리, 각도, 속도 및 상대위치 등의 특징 데이터를 추출하고 남은 연료량, 에너지 등의 정보와 결합해 최적의 기동을 선택하기 위한 판단 정보를 제공한다. 정확한 상황인식은 적기와 아군기의 각도만을 이용할 수도 있고, 각도와 거리 혹은 각도, 거리, 고도, 속도를 종합해서 고려할 수도 있다. 본 연구에서 상황인식은 아군기의 관점에서 적기에게 우세한 상황인 OBFM(Offensive Basic Fighter Maneuvers), 불리한 상황 DBFM(Defensive Basic Fighter Maneuvers), 동등한 상황 HABFM(High-Aspect Basic Fighter Maneuvers)으로 구분했다.
OBFM은 적기를 추격하는 상황으로 미사일 유무, WEZ(Weapon Engage Zone) 진입 여부, 기수교차각 등의 적기와의 상대정보 등을 바탕으로 기동을 선택한다. DBFM은 추적당하는 상황에서 수행하는 전술로, 적기의 추적상태와 환경정보를 바탕으로 유리한 지점을 확보하기 위한 기동을 선택한다. HABFM은 측면각이 높거나 대등한 상황에서의 전술로, 적기와 나와의 위치 정보를 바탕으로 One Circle 혹은 Two Circle을 만들면서 유리한 위치를 선점하기 위한 기동을 수행한다. 전술행위 별로 BFM 공동 기동 12종, OBFM 전용 기동 5종, DBFM 전용 기동 2종, HABFM 전용 기동 3종 등 총 22종류의 전투 기동을 식별했고 이를 바탕으로 전투기의 행위 모델링을 진행하였다.

3.2 전술단위 행위 모델

상황인식 모듈에서 전달된 행위 판단 정보는 전술단위 행위 모델로 전달되어 최적의 전투기동을 결정하게 된다. 이를 위해 먼저 전술교범 및 조종사 경험을 바탕으로 지식명세서를 구축했다. 앞서 언급한 3가지 상황인식의 개념들과 해당 아군기와 적기의 관계 및 기동 수행절차를 정의했다. 상황 별 전투기동 절차와 판단근거 등을 식별하고 적기의 기동에 따라 아군기의 대응 절차 또한 포함하고 있다. 1대1, 1대2, 2대1, 2대2 상황별 교전 상황 중 전술교범에 없는 아군기가 수적 열세이거나 2대2인 상황에 대한 지식명세는 조종사의 의견을 바탕으로 작성하였다.
구축된 지식명세서는 Fig. 2와 같이 트리 구조를 활용하여 전술 행위 별 전투기 기동을 결정하기 위한 행위 모델링을 수행했다. 행위모델은 행위트리(Behavior Tree) 구조를 활용하여 상황인식 모듈로부터 전달된 정보로부터 어떤 기동을 선택해야 적기보다 유리한 상황을 선점할 수 있는지 행위트리에 기반한 기동 계획을 결정한다. 전술 단위 행위트리를 Fig. 3과 같이 행위 흐름도로 변환한 후 규칙기반 AI 공중교전 모델이 최적의 전술 행위를 도출하는데 활용하였다.
Fig. 2.
Behavior tree by tactical unit
kimst-25-6-637f2.jpg
Fig. 3.
Behavior flow diagram based on knowledge specification for behavior modeling
kimst-25-6-637f3.jpg
그럼에도 불구하고 인간 조종사를 위한 전술 훈련 교범은 상황을 판단하기 위한 요소가 추상적이고 표현이 모호하기 때문에 적기와의 상태에서 유리함(Superior)을 정량적으로 판단하기 위해 Fig. 4에서 표현된 것처럼 Genetic-Fuzzy 기반의 최적 규칙 및 구간 값을 도출할 수 있도록 적용하였다. 유리함을 판단하기 위해서 본 연구에서는 수적 불리, 주 임무 수행 우선, 연료 부족, 에너지 불리 등의 의사결정 요소들을 적용했다. 비 명시적이고 식별이 어려운 규칙을 식별하여 전투기 전술행위와 전투기동 결정에 필요한 퍼지변수 멤버함수들의 구간 값을 튜닝하여 최적의 기동을 결정할 수 있도록 설계하였다. 정량적으로 판단하기 모호한 요소들을 Fuzzy 변수로 식별하고 그 최적값은 Genetic 알고리즘을 이용하여 Fuzzy 멤버 변수의 확률분포를 튜닝했는데, 아군 대비 적군 비율, 주 임무의 우선순위, 연료상태 등의 의사결정 요소들을 퍼지 변수로 설정하고 이를 바탕으로 전술행위를 결정하기 위한 Genetic-Fuzzy 기반의 퍼지 규칙을 설정했다. 퍼지 규칙에 의해 전술 행위가 결정되면 최적의 전투 기동을 결정하기 위한 Fuzzy 멤버 함수들의 구간 값 역시 Genetic-Fuzzy 기반의 퍼지 규칙을 적용하였다. 이처럼 튜닝된 구간 값에 의해 결정된 기동은 조종 제어 모델로 전달되어 전투기 조종을 위한 추적점 생성에 활용된다.
Fig. 4.
Behavior decision process based on Genetic-Fuzzy method
kimst-25-6-637f4.jpg

3.3 조종 제어 모델

행위 모델에서 결정된 전술 기동은 조종 제어 모델을 통해 전투기 제어가 수행된다. Fig. 5에서 기술한 조종 제어 모델은 에너지 관리, 선회 반경과 중심점, 항공기 기동 특성 등을 이용하여 전투기의 기동 위치를 결정하는 추적점을 생성한다. 3차원 좌표로 생성된 추적점을 추종하기 위한 스틱(Stick), 스로틀(Throttle), 러더(Rudder) 조종 명령 값으로 전투기를 제어하기 위해 본 연구에서는 오픈소스 동역학 모델인 JSBSim 모델을 활용하였다. JSBSim은 6-DOF 동역학 모델과 다양한 전투기의 비행제어/추진 모델들을 지원한다.
Fig. 5.
Flight control model
kimst-25-6-637f5.jpg
특히, AI 조종사 모델에서 비행제어를 위한 다양한 접근이 있어왔지만, 본 논문에서는 최적 기동을 결정하고 추적점을 추종하는 비행 조종 방식을 적용하였다. 아군기/적기의 위치, 방향 및 환경 정보 등을 포함하는 상태 값 S를 입력으로 받아 전투기를 제어하는 과정은 크게 판단(Decision), 유도(Guidance), 제어(Control) 세 단계로 구분된다. 판단 단계는 앞서 기술한대로 현재 상태를 바탕으로 어떤 기동을 선택해야 유리한지를 결정하여 비행 추적점을 생성한다. 유도 단계는 해당 추적점으로 기체를 움직이기 위한 스틱, 스로틀, 러더 등의 조종값을 생성한다. 마지막 제어 단계는 조종값을 이용하여 전투기의 비행제어를 담당하고 상태를 업데이트 한다.
기존의 Min-max tree search, RL(Reinforcement Learning), GFT 기반 heuristic, Fuzzy rule 등 기법[20~24]을 적용한 AI 조종사 모델들은 추적점 및 조종값 생성 과정 없이 적기의 움직임만을 추종하기 때문에 이를 위해 출력되는 추진, 제어 명령 값들의 신뢰성을 보장할 수 없다. 또한, 실제 전투기 기동 역학을 반영할 수 없고 적용하는 물리 엔진에 따라 전투 결과가 달라질 수도 있다. 반면, 제안한 규칙기반 AI 공중교전 모델은 기존 모델들 대비 세 단계에 걸친 비행 조종 구조로 설계되어 시스템의 복잡도는 다소 증가하지만, 동역학과 물리 법칙에 기반한 실제 전투 기동에 대한 검증이 가능하고 특정 기동 별로 필요한 조종 명령값을 확인할 수 있기 때문에 높은 충실도를 바탕으로 초보 조종사 훈련을 위해서도 활용할 수 있다. 또한, 세 단계에 걸친 제어 구조는 ANN(Artificial Neural Network)[4], Naive Bayesian 모델[25]을 활용하여 추적점을 결정하는 방식을 적용한 연구들에서도 적용됐지만, 본 연구는 Genetic Fuzzy 알고리즘을 활용하여 상태를 판단하기 때문에 계산량을 최소화하여 신속한 의사결정이 필요한 공중교전 모델에 적합하고 실시간으로 교전 상황 및 의사결정 과정과 조종 명령 값 확인도 가능하다.

4. 규칙기반 AI 공중교전 모델 시뮬레이션 환경

인간 조종사와 전투를 통해 제안한 규칙기반 AI 공중교전 모델의 성능을 검증하기 위해 시뮬레이터를 포함한 시뮬레이션 환경을 구성하였다. 여기에서 규칙기반 AI 공중교전 모델의 교전 및 조종 능력을 확인할 수 있고 나아가 유∙무인 협업 전투 모의를 고려하여 설계를 진행했다. 본 연구에서는 이를 위해 조종석 시뮬레이터 2기와 규칙기반 AI 공중교전 모델 2기를 동시에 운용 가능하게 하여 다양한 객체 조합으로 최대 2대2 교전이 가능한 환경을 구축하였다.

4.1 규칙기반 AI 공중교전모델 통합 시뮬레이션 환경

규칙기반 AI 공중교전 모델을 위한 통합 시뮬레이션 환경은 Fig. 6과 같이 시뮬레이션 운용 환경과 시뮬레이션 시스템으로 구성된다. 시뮬레이션 운용 환경은 다음 4개의 모드, 공중교전모델(아군) 대 공중교전모델(적군), 공중교전모델 탑재 시뮬레이터 대 인간 조종사 탑승 시뮬레이터, 공중교전 모델 탑재 시뮬레이터 대 공중교전 모델 탑재 시뮬레이터 그리고 공중교전 모델과 인간 조종사의 유∙무인 협업 운용이 가능하도록 설계되었다. 그리고 공중교전에 적용할 F-15급, KF-16급 및 FA-50급 전투기의 비행 동역학, 비행제어 모의 모델, 레이더, RWR(Radar Warning Receiver) 그리고 IRST(InfraRed Search and Track) 등의 탑재 장비 모의 모델, AIM-9, Gun, Flare 및 Chaff 등 무장 및 회피 장비 모의 모델 등을 개발하여 통합 운용이 가능하도록 하였다.
Fig. 6.
Integrated simulation environment for rule- based AI air engagement model
kimst-25-6-637f6.jpg
시뮬레이션 시스템은 공중교전 모델, 시뮬레이터, 조종사 모델, 모의 엔진 및 행위 모델링 및 결과분석 S/W 등의 구성요소들로 이뤄져 있으며, 각 구성요소들은 DIS(Distributed Interactive Simulation) 표준을 활용하여 전투기 및 AI 공중교전 모델의 상태정보, 모의 이벤트 정보 등을 공유한다. 통합 시뮬레이션 환경의 전투기 및 탑재/무장 관련 모델들과 규칙기반 AI 공중교전 모델이 시뮬레이션 시스템을 통해 교전을 수행하게 된다. 또한, 시뮬레이션 시스템은 교전을 모의하기 위한 시나리오 설정, 전투기 설정, 교전 결과 분석 및 로그 저장/관리가 가능하도록 설계되었다.

4.2 시뮬레이터 설계

규칙기반 AI 공중교전 모델 검증을 위한 시뮬레이터는 인간 조종사 또는 규칙기반 AI 공중교전 모델이 조종할 수 있도록 시뮬레이터 2식과 운용 통제석으로 구성하여 설계 및 개발하였다. 시뮬레이터는 시야각 수평 240°, 수직 110°(−20°~90°) 영역을 지원하는 3채널 돔스크린, F-16/F-35급/KF-21급 조종석을 선택적으로 모의할 수 있는 가변형 조종석, Prepar 3D를 사용한 OTW(Out The Window) 모의 PC와 HUD(Head Up Display), MFD(Multi Function Display) 화면을 모의하는 시뮬레이터 모의 PC 등으로 구성된다.
Fig. 7은 시뮬레이터 구성의 세부 항목을 표현한 것으로, 이러한 구성은 인간 조종사와 규칙기반 AI 공중교전 모델을 추가하여 최대 2대2 교전이 가능하도록 하였다. Host PC에서는 무장, 레이더, RWR 등의 탑재 장비를 모의하고 AI 교전모델과 인간 조종사가 같은 조건에서 교전을 수행할 수 있도록 규칙기반 AI 공중교전 모델의 조종 값 연동을 위한 인터페이스가 운용된다. 이를 통해 교전을 수행하는 동안 데이터 연동 지연을 최소화하고 모의 프레임 동기화를 가능하게 하여 원활한 교전이 수행될 수 있도록 하였다.
Fig. 7.
Configuration of simulator
kimst-25-6-637f7.jpg
이를 바탕으로 Fig. 8처럼 실제 구성된 시뮬레이터 환경을 통해 교전을 수행함으로써 인간 조종사의 경험과 노하우가 담긴 전술 판단과 기동행위 및 교전 수행 과정을 기록하고 운용 통제석에서 확인이 가능하도록 설계하였다. 또한, 규칙기반 AI 공중교전 모델이 생성한 조종 명령 값으로 시뮬레이터가 동작하도록 하여 규칙기반 AI 공중교전 모델 시점의 교전 수행 과정을 가시화 할 수 있다.
Fig. 8.
Simulator environment
kimst-25-6-637f8.jpg

5. 실험 결과 및 분석

전투기에 WVR 공중교전 능력을 부여하고 그것을 모의하기 위해 본 논문에서 제안한 규칙기반 AI 공중교전 모델의 성능과 운용성을 검증하고 평가하기 위해 공군 전투기 조종사와 기본전투기동에 기반한 1대1 Dog-Fight 교전을 수행하였다. 교전 시작 조건은 중립 조건으로 고도(5,000~20,000 ft, 500 ft 단위), 속도(300~450 kts, 1 kts 단위), 상대거리(2,000~3,000 ft, 100 ft 단위)를 지정한 범위 내에서 단위 값을 기준으로 랜덤하게 설정하였다. 교전 결과를 판정하기 위한 피해 평가는 가상의 공격 영역을 기체 앞에 원뿔 형태로 배치하고 그 범위 안에 상대 기체가 들어오면 health gauge를 차감하는 스코어링 방식을 적용하였다. 가상의 공격 영역 범위는 전투기 기수 앞 2°, 최대 3,000 ft 거리로 설정하였다. 전투 승리 조건은 상대 기체의 health gauge를 0으로 만들거나 300초로 설정한 전투 시간 내에 상대보다 높은 health gauge를 유지하는 것으로 설정하였다. 그리고 교전 중 1,000 ft 이하로 고도가 내려가면 health gauge가 0이 되어 즉시 교전이 종료되도록 설정했다.
위 교전 조건을 바탕으로, 규칙기반 AI 공중교전 모델의 성능 검증을 위해 인간 조종사와의 공중 교전을 진행하였다. 교전 수행 전 인간 조종사에게 1시간의 적응 시간을 부여한 후 실험을 진행한 결과, Table 1처럼 2명의 전투기 조종사가 규칙기반 AI 공중교전 모델을 상대로 각 5회씩 총 10회의 공중교전을 수행하였고, 규칙기반 AI 공중교전 모델이 100 % 승률을 보였다. 대부분의 교전이 3분 이내에 종료될 만큼 제안 모델의 공중교전 성능이 우수함을 확인할 수 있었다. 이러한 결과는 새로운 조종 환경에서 인간 조종사가 겪은 부하와 낯선 조종감을 고려하더라도 제안된 규칙기반 AI 공중교전 모델이 인간 조종사 수준의 Dog-fight 교전 성능을 보였다고 할 수 있다. 하지만 교전이 반복 될수록 인간 조종사들이 점차 규칙기반 AI 공중교전 모델의 기동에 적응하는 모습을 보인 점을 보아, 충분한 적응 시간이 주어진다면 Table 1의 결과와는 다른 양상의 교전 결과가 나올 것으로 예상된다.
Table 1.
Dog-fight result of rule-based AI engagement model vs. human pilot
전투 번호 시작 조건 교전 결과 교전 시간(분:초)
고도(ft) 속도(kts) 거리(ft)
1 6,500 397 2,282 AI 승 1:29
2 18,500 417 2,047 AI 승 1:27
3 11,500 370 2,042 AI 승 1:00
4 11,000 396 1,992 AI 승 2:32
5 16,000 365 2,306 AI 승 1:50
6 17,500 356 1,751 AI 승 2:34
7 16,000 382 2,297 AI 승 0:57
8 9,000 374 2,137 AI 승 2:50
9 11,000 417 2,365 AI 승 4:18
10 19,500 314 2,274 AI 승 2:16
Fig. 9는 시뮬레이션 환경 중 운용통제석 화면으로 교전 진행 상황과 행위트리를 통해 규칙기반 AI 공중교전 모델이 선택한 전술행위 및 전투기동을 실시간으로 확인할 수 있음을 보여주고 있다. 아군과 적군의 비행 경로, 전투기 자세 및 정보 등의 교전 상황을 3차원으로 식별 가능하고 규칙기반 AI 공중교전 모델이 선택한 BFM 전술행위와 전투 기동 결정과정을 행위트리를 통해 가시화하여 출력한다. 딥러닝과 같은 기계학습 알고리즘들이 블랙박스 방식의 작동으로 생성된 결과에 대한 중간 과정 검증이 불가능한 반면, 제안 모델은 행위트리를 통해 전술행위와 전투기동 결정 과정을 식별할 수 있으므로, 전투기 조종사들에게 전술 행위, 기동 및 작전 계획을 위한 교범 기반의 전술 시뮬레이션 훈련 환경을 제공할 수 있을 것으로 본다. 또한, 유인 조종사, 공중교전 AI 공중교전 모델을 조합하여 유∙무인 복합 운용 개념을 분석하고 임무 효과를 확인할 수 있는 시뮬레이션 환경으로도 활용할 수 있을 것으로 생각된다.
Fig. 9.
Display for air engagement status in real-time
kimst-25-6-637f9.jpg
전투 결과 분석을 위해 공중교전을 수행하면서 수집할 수 있는 전투기 위치 정보(좌표, 고도, 위도, 경도), 자세 정보(Roll, Pitch, Yaw, AOA, AOS), 제어 명령 및 물리 정보 등 총 45종류의 원시 데이터(raw data)를 획득하였다. Fig. 1011은 수집된 원시 데이터를 바탕으로 인간 조종사와 규칙기반 AI 공중교전 모델의 전체 비행경로와 전투기 자세정보(Roll, Pitch, Yaw)를 분석한 결과이다. Fig. 10을 통해 알 수 있듯이, 규칙기반 AI 공중교전 모델은 인간 조종사 대비 불필요한 기동이 적고 최적의 비행경로를 선택했고 이는 결국 더 적은 물리 에너지로 효율적인 공중 교전을 수행하여 전투를 승리했다고 판단할 수 있다. 이런 결과는 Fig. 11의 전투기 자세정보 분석에서도 보이는데, 인간 조종사의 전투기 자세는 심하게 흔들리는 반면, 규칙기반 AI 공중교전 모델은 인간 조종사 대비 부드럽고 보다 안정적인 자세 변화를 바탕으로 교전을 수행했다는 것을 확인할 수 있었다. 원시 데이터 수집을 통한 교전 결과 분석은 향후 보다 다양하게 적용될 수 있다. 수집된 데이터 간의 상관관계나 인과관계 등의 통계적 분석을 바탕으로 시뮬레이션 환경과 교전 모델 경량화 뿐만 아니라 조종사 훈련을 위한 백업 데이터로도 활용이 가능할 것으로 판단된다. 또한, 숙련된 베테랑 전투 조종사의 교전 데이터를 획득하여 기계학습 기반의 AI 조종사 개발에도 활용 가능할 것으로 기대한다.
Fig. 10.
Analysis of flight path for air engagement
kimst-25-6-637f10.jpg
Fig. 11.
Analysis of control law value on fighter
kimst-25-6-637f11.jpg

6. 결 론

미래 전장은 유∙무인 협업 체계를 바탕으로 모자이크 전으로 진화되고 있다. 특히, 위험도가 높은 공대공 임무를 위한 AI 조종사 개발은 매우 중요한 연구 분야이다. 이를 위해, 본 논문에서는 규칙기반 AI 공중교전 모델과 이를 모의할 수 있는 시뮬레이션 환경을 제안하였다. 인간 조종사와의 교전을 통해 제안한 규칙기반 AI 공중교전 모델의 성능을 검증하였고 교전 수행 과정을 가시적으로 확인할 수 있음을 확인하였다. 그리고 교전 중 수집된 원시 데이터를 분석하여 교전 결과를 복기하고 더 효율적인 전투 수행을 위한 훈련 환경을 제공할 수 있었다. 또한, 유∙무인 협업이 가능하도록 시뮬레이션 환경을 구성함으로써 본 연구 결과가 유∙무인 복합 임무 개념을 정립하고 훈련할 수 있는 기초가 될 것으로 기대한다. 이러한 결과들을 바탕으로 우리는 향후 보다 다양한 AI 알고리즘 기반의 공중교전 모델 개발과 임무 재할당, 경로 재탐색 등 UAS를 위한 자율화 소프트웨어의 탑재가 가능할 것으로 판단한다.

References

[1] Cheongyoung Kim, Jihyun Oh, Yong-Duk Kim, JungHo Bae, Monyeol Kim and SungHo Kim, A Design of a Rule-based AI Fighter Pilot and Virtual Engagement Model for Air Combat Simulation, SASE 2020, Fall Conference..

[2] Jihyun Oh, Cheonyoung Kim, Sunghwan Ro, Woochang Choi and Yong-duk Kim, Air-to-air BFM Engagement Simulator for AI Engagement Model, KIMST Annual Conference Proceedings. 2022.

[3] Byungho Jung, Seunghoon Yoo, Hogyun Hong, Jihyun Oh and Hyunju Seol, A Study on the Autonomous Function of Unmanned Aircraft for MUM-T, KSAS Fall Conference Proceedings. pp. 455–456, 2021.

[4] S Jang, Study of Intelligent Pilot Model Based on Basic Fighter Maneuvering for Air Combat Simulation, Doctoral Dissertation, Department of AE, Inha Univ.2012.

[5] B. Clark, D. Patt and H. Schramm, "Mosaic Warfare Exploiting Artificial Intelligence and Autonomous Systems to Implement Decision-Centric Operations," CSBA, Feb, 2020.

[6] M. Gunzinger, C. Rehberg and L. Autenried, "Five Priorities for the Air Force's Future Combat Air Force," CSBA, 2020.

[7] D. Javorsek, Air Combat Evolution, DARPA/STO. May 2019.

[8] O. Cordón, F. Herrera, F. Gomide, F. Hoffmann and L. Magdalena, "Ten Years of Genetic Fuzzy Systems: Current Framework and New Trends," In Proceedings Joint 9th IFSA World Congress and 20th NAFIPS International Conference(Cat. No. 01TH8569), Vol. 3, pp. 1241–1246, IEEE. 2001, July.

[9] Jon Berndt, JSBSim: An Open Source Flight Dynamics Model in C++, AIAA Modeling and Simulation Technologies Conference and Exhibit. 2004.

[10] George H. Burgin, Lawrence J. Fogel and J. Price Phelps, An Adaptive Maneuvering Logic Computer Program for the Simulation of One-on-One Air-to- Air Combat, Volume 1: General Description, No. NASA-CR-2582, NASA. 1975.

[11] George H. Burgin and L. B. Sidor, Rule-based Air Combat Simulation, No. H-1501. 1988.

[12] Daniel Kahneman and Amos Tversky, The Simulation Heuristic, Stanford Univ CA Dept of Psychology. 1981.

[13] Earl Lazarus, "The Application of Value-Driven Decision-Making in Air Combat Simulation," 1997 IEEE International Conference on Systems, Man, and Cybernetics, Computational Cybernetics and Simulation, Vol. 3, IEEE. 1997.
crossref
[14] J. H. Holland, L. B. Booker, M. Colombetti, M. Dorigo, D. E. Goldberg, S. Forrest and S. W. Wilson, "What is a Learning Classifier System?," "International Workshop on Learning Classifier Systems," p. 3–32, Springer, Berlin, Heidelberg, 1999, July.
crossref
[15] Kaelbling, Leslie Pack, Michael L. Littman and Andrew W. Moore, "Reinforcement Learning: A Survey," Journal of Artificial Intelligence Research, Vol. 4, pp. 237–285, 1996.
crossref pdf
[16] Sarthak R. Kukreti, Manish Kumar and Kelly Cohen, "Genetic Fuzzy based Target Geo- Localization Using Unmanned Aerial Systems for Firefighting Applications," 2018 AIAA Information Systems-AIAA Infotech@ Aerospace, Vol. 2136, 2018.
crossref
[17] Anoop Sathyan, Nicholas D. Ernest and Kelly Cohen, "An Efficient Genetic Fuzzy Approach to UAV Swarm Routing," Unmanned Systems, Vol. 4.02, pp. 117–127, 2016.
crossref
[18] Anoop Sathyan, Kelly Cohen and Ou Ma, "Genetic Fuzzy based Scalable System of Distributed Robots for a Collaborative Task," Frontiers in Robotics and AI, Vol. 7, pp. 6012432020.
crossref pmid pmc
[19] N. Ernest, D. Carroll, C. Schumacher, M. Clark, K. Cohen and G. Lee, "Genetic Fuzzy based Artificial Intelligence for Unmanned Combat Aerial Vehicle Control in Simulated Air Combat Missions," Journal of Defense Management, Vol. 6, No. 1, pp. 2167–0374, 2016.
crossref
[20] Xiaoteng Ma, Li Xia and Qianchuan Zhao, "Air-Combat Strategy Using Deep Q-Learning," 2018. CAC.

[21] Bogdan Vlahov, Eric Squires, Laura Strickland and Charles Pippin, On Developing a UAV Pursuit- Evation Policy Using Reinforcement Learning, 2018 17th ICMLA..

[22] Nicholas Ernest, Kelly Cohen, Elad Kivelevitch, Corey Schumacher and David Casbeer, "Genetic Fuzzy Trees and their Application Towards Autonomous Training and Control of a Squadron of Unmanned Combat Aerial Vehicles," Unmanned Systems, Vol. 3, No. 3, pp. 185–204, 2015.
crossref
[23] S. Akabari, M. B. Mejhaj and S. K. Nikravesh, Fuzzy Modeling of Offensive Maneuvers in an Air-to-Air Combat, Proc. of the Computational Intelligence, Theory and Applications. pp. 171–184, 2005.

[24] Nelson Ramírez López and Rafał Żbikowski, "Effectiveness of Autonomous Decision Making for Unmanned Combat Aerial Vehicles in Dogfight Engagements," Journal of Guidance, Control, and Dynamics, Vol. 41, No. 4, April 2018.

[25] Dong-Il You and Hyunchul Shim, "Design of an Autonomoous Air Combat Guidance Law using a Virtual Pursuit Point for UCAV," J. of The Korean Society for Aeronautical and Space Sciences, Vol. 42, No. 3, pp. 199–212, 2014.



ABOUT
ARTICLE CATEGORY

Browse all articles >

BROWSE ARTICLES
FOR CONTRIBUTORS
Editorial Office
160 Bugyuseong-daero 488beon-gil, Yuseong-gu, Daejeon 34060, Korea
Tel: +82-42-823-4603    Fax: +82-42-823-4605    E-mail: kimst@kimst.or.kr                

Copyright © 2024 by The Korea Institute of Military Science and Technology.

Developed in M2PI

Close layer
prev next