전략급 무인기의 감시정찰을 위한 표적 스케줄링 및 편차 보정 기반 촬영계획 자동화 기술 연구

A Study on Sensor Collection Planning based on Target Scheduling and Deviation Correction for Strategic UAV Surveillance and Reconnaissance

Article information

J. KIMS Technol. 2024;27(2):177-188
Publication date (electronic) : 2024 April 05
doi : https://doi.org/10.9766/KIMST.2024.27.2.177
1)Aerospace Technology Research Institute, Agency for Defense Development, Korea
조정희1),, 최윤정1), 이혜림1), 정소영1)
1)국방과학연구소 항공기술연구원
* Corresponding author, E-mail: etrange@add.re.kr
Received 2023 August 17; Revised 2024 January 24; Accepted 2024 February 15.

Trans Abstract

The strategic UAV for theater level ISR(Intelligence, Surveillance and Reconnaissance) mission typically has numerous ground targets over area of responsibility(AOR) or area of operation(AO). It is necessary to automatically incorporate these multitude of ground targets into mission planning process in order to collect ISR images before actual flight mission. In addition, weather information such as wind direction and/or velocity may have significant impacts on the qualities of collected sensor images, especially in SAR(Synthetic Aperture Radar) images. Thus weather factors in the operation altitude should also be considered in the mission planning stage. In this study, we propose a novel mission planning scheme based on target scheduling and deviation correction method incorporating weather factors.

1. 서 론

감시정찰 무인항공체계는 표적에 대한 감시정찰 임무 수행을 위해, 무인기가 표적의 원거리 고해상도 영 상을 획득하고 획득한 영상정보를 근실시간으로 지상통제장비로 전송하는 통합된 체계이다. 현재 전 세계적으로 운용되고 있는 대표적인 군용 감시정찰 무인기로는 미국의 RQ-4 Global Hawk[1], MQ-9 Reaper[2], MQ-1C Gray Eagle[3], 이스라엘의 Heron[4], 그리고 국내의 송골매(군단 무인기), 사단 무인기 등이 있다. Global Hawk는 고고도에서, Reaper, Heron은 중고도에서 장기 체공하면서 감시정찰 임무를 수행한다. Reaper 와 Gray Eagle의 경우 감시정찰과 동시에 공격 임무 수행도 가능하다[5].

전략급 감시정찰 무인기는 광범위한 지역의 표적 영상 획득이 주 임무이며 이를 위해서는 장시간 비행이 필요하기 때문에 이착륙을 포함한 비행과 영상센서를 운용하는 대부분의 과정이 자동으로 이루어진다. 따라서 사전에 구체적이고 정교한 임무계획 수립 및 검증 과정이 필수적으로 요구된다. 일반적으로 감시정찰 무인기의 임무계획은 주 임무 경로 및 비상 경로(primary and contingency navigation route), 통신 계획, 촬영 계획(sensor collection plan), 그리고 영상 전파 계획(imagery dissemination plan)으로 구성된다[6]. 사전 임무계획은 무인기가 운용되는 환경에 따른 비행 특성을 고려하여 수립되어야 한다. 또한 임무계획에 포함된 촬영계획은 무인기에 탑재된 다중 영상센서의 물리적 특성과 영상센서가 촬영 가능한 조건이 반영되어야 하는데, 여기에는 무인기가 운용되는 최대/최소 운용 고도, 영상센서의 촬영거리, 영상센서 운용을 위한 방위각/고각 구동 범위 및 영상센서의 촬영 모드 등이 포함될 수 있다.

전략급 무인기의 평시 운용은 기술 외적인 여러 상황을 고려한 사전 허가 비행경로를 주로 사용하기 때문에 본 연구에서 임무계획의 주 비행경로는 이미 정의되어 있다는 것을 전제로 한 촬영계획 수립 방안에 대해 제시한다. 전략급 감시정찰 무인기의 촬영계획 수립에 주어진 상황과 해결해야 할 문제를 보다 구체적으로 살펴보면 다음과 같이 정리할 수 있다.

먼저 전략급 무인기는 광범위한 지역에 분포되면서도 감시 주기가 서로 다른 수천에서 수만 개의 표적을 대상으로 중/고고도에서 장시간 체공하면서 정기적으로 표적 영상을 획득해야 한다. 이를 위해서는 방대하면서도 감시 주기가 서로 다른 전체 표적 목록에 대해 무인기의 개별 임무 비행(sortie)마다 어떤 표적을 대상으로 영상 수집을 위한 촬영계획을 수립해야 할지 스케줄링이 필요하다. 즉, 다양한 출처의 표적 정보를 통합 관리하고 임무(예정)일 별 임무계획 대상 표적을 자동으로 선정하는 방안이 필요하다.

다음으로 감시정찰 무인기에 다중으로 탑재된 영상센서인 전자 광학(EO), 적외선(IR) 센서와 SAR 센서의 고유 특성을 반영한 촬영계획 수립 분야가 있다. 사전 촬영계획 수립 절차 없이 센서 운용자가 직접 현재 무인기 위치를 기반으로 알고 있는 표적 위치로 EO/IR 센서 시선을 수동 조작하여 동영상을 획득하는 방식으로 운용되는 전술급 무인기와는 달리, 장시간 비행하면서 고해상도 영상을 획득하는 전략급 무인기의 경우, 사전 임무계획으로서 대량의 표적에 대해 전체 비행경로에서의 촬영계획을 자동으로 할당하고 배치하는 방안이 필수적으로 요구된다. 이때 무인기의 운용환경 특성도 고려해야 하는데, 실제 비행 시험을 통해 영상센서가 획득한 영상 중에는 표적이 지형에 의해 가려지는 경우가 존재하기 때문이다. 또한 무인기가 운용되는 대기 환경은 고도, 지역 또는 시기 등에 따라 상이한 바람의 영향이 있을 수 있으며 이는 영상센서의 촬영에도 영향을 끼친다. 다시 말해, 강한 바람의 영향으로 영상센서의 표적 지향에 편차가 발생한 경우가 존재한다. 따라서 사전 촬영계획 수립 시 김발 구동 범위나 촬영거리 등 영상센서 별 고유 특성을 반영함과 동시에 표적에 대한 지형 차폐 및 바람 영향성을 보정할 수 있는 방안이 필요하다.

본 논문에서는 앞서 제시한 표적 정보 관리와 센서 영상 수집 관점에서 전략급 무인기의 감시정찰을 위한 표적 스케줄링 및 편차 보정 기반의 촬영계획 자동화 기술에 대해 제안한다. 2장에서 관련 연구들을 우선 살펴본 후, 3장 임무계획 표적 통합 관리 및 스케줄링 방안과 4장 촬영계획 수립 자동화 방안에 대해 제시한다. 그리고 5장에서는 제안 방법을 통합 임무계획 소프트웨어로 구현하여 실장비에 탑재 시험한 결과를 기술한 후 마지막 결론으로 마무리한다.

2. 관련 연구

본 장에서는 무인기 탑재 영상센서의 가시성 분석과 바람 영향성 내용과 관련된 기존의 무인기 임무계획 연구 결과들을 살펴본다.

가시성 기반 경로 계획(Visibility-based Path Planning; VPP) 방법[7]은 가시성 분석을 기반으로 단일 무인기가 높은 가시성을 확보할 수 있는 비행경로의 경로점을 찾아내는 휴리스틱이다. 이 방법에서는 무인기의 특정 초기 위치가 사전 주어진 상태에서 관심 지역의 시야 영역(viewshed) 계산을 통해 시각적 커버리지 영역이 최대화되는 경로점들을 찾고 TSP(Traveling Salesman Problem) 해결과 유사한 방식으로 경로점들을 연결하여 비행경로를 생성한다. 카메라 촬영은 각 경로점에서 수행되는데, 카메라의 시야각(Angle Of View; AOV)에 따른 카메라 방향을 최대 가시성 방향이 되도록 선정하되 비행경로를 따라 진행되는 동안 이미 다른 위치에서 커버된 영역을 가리키는 카메라 방향은 제외하는 방식이다. 이 연구는 산불 감시의 예와 같이 임의의 넓은 지역 전체에 대한 카메라의 커버리지를 계산하여 비행경로를 생성한다. 클러터 환경에서 정찰 무인기의 가시성 기반 경로 계획 방법[8]은 건물과 나무 등으로 복잡한 지형에서 효과적인 근거리 무인기 감시를 위한 최적 관측 위치를 결정하는 문제를 다룬다. 이 방법에서는 가시성 측면에서 완전한 가림(occlusion)과 부분적 가림을 모두 고려하는 확률적 가시 모델을 제안하고 두 단계 접근법을 사용하여 관심 지역의 가시성을 향상시키기 위한 감시 경로를 결정한다. 첫 번째 단계에서는 관심 지역의 거의 균일한 가시성을 제공하는 지역에 경로점을 배치하는데, FMM (Fast Marching Method)을 사용해 가시 공간을 찾은 다음 CVT(Centroidal Voronoi Tessellation)을 사용하여 이 공간에 경로점을 배치한다. 두 번째 단계에서는 clustered spiral-alternating 알고리즘을 사용하여 경로점에 따른 비행경로를 생성한다. 또 다른 무인기 감시 임무계획 연구[9,10]에서는 도시 지역에서 지속적인 감시를 제공하기 위한 무인기 그룹의 임무계획 생성 방안을 제시한다. 대상 지역의 지형 및 건물 정보가 주어졌을 때, 완전한 커버리지를 제공하는 카메라 위치 세트를 생성한 다음, 하나 이상의 무인기가 이 카메라 위치 세트를 공유하고 연속적 감시를 수행할 수 있도록 각 무인기의 개별 경로를 생성한다. 이 과정에서 진화적 알고리즘(유전 알고리즘 및 개미 군집 시스템)을 사용하여 최적해를 탐색한다. 지금까지 언급한 연구들은 특정 위치의 표적들 집합이 아닌 하나의 전체 영역을 대상으로 가시성을 분석하고 최대 커버리지를 제공하는 비행경로 생성을 목적으로 한다는 점에서 본 논문에서 제시하고자 하는 바와 차이가 있다.

바람 영향성에 대한 무인기 임무계획 관련한 연구들은 많은 부분이 비행경로 계획을 다루고 있는데, 비행경로 계획에서의 바람 보정 연구[11]에서는 항공기가 특정 방향으로 편향(drift)되는 바람 영향을 보정하기 위해 가속화된 A* 알고리즘을 수정하여 무인기의 비행 궤적 계획 방법을 제시한다. 이 방법에서는 바람을 고려한 선회 및 직선 기동과 이들을 Dubins 곡선으로 연결하는 비행 궤적을 생성한다. 또 다른 바람 환경에서 무인기 경로 계획 연구[12]에서는 지상 이동 표적을 추적하는 무인기가 바람에 의해 카메라 지향점과 footprint 경로가 편향되는 문제를 해결하기 위한 방법을 제시한다. 이 방법은 APF(Artificial Potential Field)에 기반하여 이동 표적을 따라가기 위한 경로점을 자동 생성하는데, 지상 이동 표적 좌표로부터 무인기의 롤 및 피치 각도를 기반으로 지상 이동 표적과의 일정한 이격 거리를 유지하도록 하는 경로 계획 방법이다. 이 연구는 다중로터 무인기가 이동 표적을 실시간 추적하는 경로 계획 응용 분야에 적용되었다. 무인기 운용에 영향을 끼치는 바람 또는 날씨 조건에 따른 경로 계획에 관한 다른 연구[13]도 있지만 대부분 비행경로를 생성하는 연구들이며, 본 논문에서 다루고자 하는 주제인 비행경로가 주어진 조건에서 바람 영향성을 고려한 촬영계획 보정에 관한 연구 결과는 찾을 수 없었다.

3. 임무계획 표적 통합 관리 및 스케줄링 방안

3.1 임무계획 관리대상 표적

전략급 무인기는 다양한 출처의 표적에 대한 임무 수행이 필요하다. Fig. 1과 같이 무인기의 임무(영상 획득) 대상이 되는 가장 기본적 표적으로는 기존 다른 자산 혹은 운용 부대에서 관리되고 있던 자체 표적이 있다. 그리고 해당 무인기 체계와 시스템적으로 연동하는 타 정보체계에서 수신된 표적인 외부연동 표적이 있으며, 또한 긴급하게 요구되어 즉각적으로 추가되어야 하는 임기 표적이 있다. 무인기의 임무계획 수립을 위해 이들 서로 다른 출처의 표적은 통합적으로 관리되어야 한다 그리고 이러한 관리대상 표적은 임무계획에 따른 무인기 임무 결과인 영상센서를 통해 획득된 영상정보와도 연관 관계를 가지면서 지상통제 통합 데이터베이스로 관리되어야 한다. 왜냐하면 사전 임무계획에 반영했으나 기타 이유로 실제 무인기에서 영상 획득을 하지 못했을 경우, 이에 대해 표적 정보로의 피드백이 있어야 다음 임무계획 시 재반영하여 스케줄링할 수 있기 때문이다.

Fig. 1.

Target management for mission planning[14]

임무계획 표적 관리를 위한 일반 기능으로, 기존 자산 등에서 자체 관리하던 표적 정보를 파일에서 일괄 불러오기 및 내보내기 기능이 있다. 그리고 속성별 키워드 검색 및 좌표 정보를 이용한 지도 기반 영역 검색이 가능하다. 이 검색 기능을 기반으로 운용자가 직접 표적을 선정하여 임무계획 대상 표적으로 반영할 수 있다. 그러나 대량이면서도 다양한 운용자 요구가 반영된 표적에 대한 감시정찰 임무계획을 수립함에 있어 운용자가 수동으로 개별 표적을 선정하기에는 어려움이 존재한다. 특히 표적마다 감시정찰 유효 기간과 감시 주기 등이 다를 수 있으므로 임무계획 대상 표적을 자동으로 스케줄링하여 선정할 수 있는 방안이 필요하다.

3.2 감시정찰 표적 속성 정의

표적 정보는 다양한 속성 데이터를 가질 수 있으며, 무인기의 감시정찰 임무 관점에서 이들 데이터 관계를 분석하여 유용한 정보를 조합하거나 도출할 수 있다. 이는 대량의 데이터 집합에서 유용한 패턴과 흐름을 찾는 과정인 데이터 마이닝 작업이라고도 할 수 있다[15]. 본 연구에서는 이와 같은 분석을 통해 감시정찰 표적 속성을 정의하였으며 이는 이후 제시할 임무계획 표적 스케줄링의 기반이 된다.

본 연구에서의 표적 정보는 ‘표적 ID’, ‘표적명’, ‘좌표’, ‘고도’ 정보를 기본 속성으로 포함하고, EO, IR, SAR와 같은 무인기에 탑재된 다중의 ‘영상 센서’와 센서별 획득하고자 하는 영상에 따른 ‘촬영 모드’를 영상센서 고유 속성으로 포함한다. 그리고 임무계획 수립 대상 표적을 스케줄링하기 위한 속성으로 표적의 중요도를 나타내는 ‘표적 등급’, 표적이 위치한 지역을 그룹화하여 구분한 ‘표적 지역’, 우선 촬영 여부를 나타내는 ‘긴급 촬영’ 속성을 정의하였다. 또한 표적 자체의 유효 기간을 나타내는 ‘촬영 기간’, 일 단위의 ‘촬영 주기’, ‘최근 촬영일’ 속성을 정의하였다. 최근 촬영일은 무인기의 영상 획득 임무가 수행될 때마다 실시간으로 업데이트된다.

각 표적 별로 ‘최근 촬영일’과 ‘촬영 주기’ 속성을 이용하면 다음 촬영(예정)일을 산출할 수 있다. 그리고 이 ‘다음 촬영일’ 속성을 활용하여 임무계획을 작성하는 현재일을 기준으로 다음 촬영일까지 남은 일자를 산출할 수 있는데, 이 ‘다음 촬영 남은 일자’ 속성은 임무계획 대상 표적을 스케줄링하여 자동으로 선정할 때 직접적으로 활용된다.

Fig. 2는 임무계획 표적 통합 관리 및 스케줄링 소프트웨어 화면으로서, 앞서 정의한 감시정찰 표적 속성이 반영된 전체 임무계획 관리대상 표적을 관리하고 이후 제시할 임무계획 대상 표적을 스케줄링하여 자동 선정할 수 있는 기능을 제공한다.

Fig. 2.

Integrated target management and scheduling SW

3.3 임무계획 대상 표적 스케줄링 방안

본 연구에서는 전체 임무계획 관리대상 표적 DB (Database)에서 임무(예정)일 별 임무계획 대상 표적을 식별하는 자동 스케줄링 절차를 Fig. 3과 같이 크게 두 단계로 구분하였다.

Fig. 3.

Target scheduling process for mission plan

1 단계는 전체 임무계획 관리대상 표적 DB에서 예비 표적 목록을 식별하는 단계로서, Fig. 4에서와 같이 전체 표적 중 ‘촬영 기간’ 속성 값 범위 내 지금 작성할 임무계획의 ‘임무(예정)일’이 포함되는 모든 표적을 추출한다. 이때 ‘긴급 촬영’ 속성은 ‘다음 촬영 남은 일자’에 상관없이 임무 반영 우선순위가 높은 표적이므로, 앞서 ‘촬영 기간’ 내 ‘임무(예정)일’이 포함되는 표적 추출 결과 중 ‘긴급 촬영’ 여부가 Yes인 표적은 우선적으로 [임무일 별 임무계획 표적 목록]에 추가한다. ‘촬영 기간’ 내 ‘임무(예정)일’이 포함은 되지만 긴급 표적이 아닌 표적 목록에 대해서는 [예비 표적 목록]으로 식별한다.

Fig. 4.

Step 1: identify a list of preliminary targets

2 단계는 앞서 1 단계에서 식별한 [예비 표적 목록]에서 [임무일 별 임무계획 표적 목록]을 최종 선정하는 단계이다. Fig. 5에서와 같이 먼저 ‘표적 등급’ 속성과 ‘표적 지역’ 속성을 이용하여 임무 상세 목적에 따라 특정 표적 등급 혹은 표적 지역을 제한하여 임무계획 표적 목록에 추가할 수 있도록 운용자가 선택적으로 설정할 수 있다. 그리고 ‘다음 촬영 남은 일자’ 속성을 활용하여 이 값이 작은 표적부터 정렬하여 운용자가 설정한 자동 임무 반영 기준 표적 개수만큼 선정한 후, 1 단계에서 긴급 표적을 먼저 반영한 [임무일 별 임무계획 표적 목록]에 추가 반영한다. ‘다음 촬영 남은 일자’ 속성 값이 (‒) 값인 표적은 촬영 주기가 도래했으나 현재일 기준으로 아직 임무계획에 반영되지 못했거나 기한이 초과한 표적이므로 이 표적부터 먼저 목록에 포함시킨다. 그리고 ‘다음 촬영 남은 일자’ 속성 값이 (+) 값인 표적은 그 값이 작은, 즉, 촬영이 임박한 표적부터 [임무일 별 임무계획 표적 목록]에 추가한다. 이와 같은 과정을 통해 임무계획 대상 표적을 스케줄링하여 자동으로 선정할 수 있다. 그리고 필요 시 운용자가 직접 임무계획 대상 표적 DB에서 표적을 수동 선택하여 최종적으로 임무일 별 임무계획에 반영할 표적을 확정 지을 수 있다.

Fig. 5.

Step 2: generate the mission plan target list

4. 촬영계획 수립 자동화 방안

4.1 지형 가시율 분석을 반영한 촬영계획 수립

Fig. 6은 감시정찰 무인기의 촬영계획 수립 상황을 종합적으로 보여준다. 촬영계획(영상수집계획)은 비행경로 상에서 영상센서가 촬영 임무 수행을 위해 필요한 정보로서, 센서 종류, 촬영 모드, 비행경로 상의 촬영 시작/종료점, 지상 표적 중심점 혹은 지상 영역 등이 포함된다. 2장에서 기술한 바와 같이 전체 임무계획 관리대상 표적 DB에서 특정 임무일의 임무계획 표적 목록이 선정되면, 이를 비행경로 전 구간에 할당 및 배치하는 촬영계획을 수립해야 한다. 표적 스케줄링을 통해 선정된 임무일 별 임무계획 대상 표적 목록은 장시간 임무에 따라 그 수가 대량일 뿐 아니라 하나의 표적에 대해서도 여러 번의 촬영이 필요할 경우 촬영계획의 수는 더 늘어날 수 있기 때문에, 이 표적들에 대해 촬영계획을 개별 수동 배치하는 것은 운용자에게 상당한 워크로드가 된다. 따라서 전체 비행경로에서 대량의 촬영계획을 자동으로 일괄 할당 및 배치하는 방안이 필요하다.

Fig. 6.

Scenario for sensor collection planning of surveillance and reconnaissance UAV

본 연구에서는 Fig. 6에서와 같이 무인기가 여러 구간(레그)으로 구성된 비행경로를 따라 비행 시, 촬영계획을 자동 할당하는 방법을 크게 두 가지 방식으로 구분하여 제시한다. 한 가지 방식은 ‘경로 우선’ 할당 방식으로, 비행경로 상 위치적으로 먼저 촬영이 가능한 표적 순으로 촬영계획을 할당하는 방식이다. 이 방식에서는 서로 다른 표적의 지상 위치가 인접하여 같은 센서로는 한 번에 한 표적에 대한 촬영만 가능한 경우, 다시 말해 서로 다른 두 표적에 대한 동종 센서의 촬영계획이 중첩되는 경우, 비행경로 상 먼저 촬영을 시작할 수 있는 표적의 촬영계획을 우선하여 할당한다. 다른 한 가지 방식은 ‘표적 우선’ 할당 방식으로, 표적 속성 중 중요도 혹은 우선순위를 나타내는 표적 등급이 높은 표적의 촬영계획을 먼저 할당한다. ‘경로 우선’ 방식과 ‘표적 우선’ 방식 모두 촬영계획 중첩으로 인해 처음 비행경로에서 할당되지 못한 촬영계획은 반복 순환하도록 작성된 다음 순환 차수의 비행경로에서 같은 방식으로 할당한다. 이와 같은 방식으로 전체 비행경로 내 대량의 촬영계획 할당을 자동화할 수 있다. 물론 운용자는 자동 할당된 촬영계획에 대해 필요 시 할당 레그를 변경할 수 있다.

한편 할당된 레그 내에서 촬영계획 배치 시, 원칙적으로는 표적에 대한 왜곡이 최소화된 고품질의 영상 획득을 위해 비행경로 방향과 경로에서의 표적 방향이 서로 수직이 되는 영상센서의 촬영 방위각을 기준으로 촬영 시작/종료점을 설정하여야 한다[16]. 그러나 산악지형이 많은 우리나라 특성상 전략급 무인기의 운용 고도에서 지상 표적 지향 시, 촬영 가시선(Line-of-sight) 내 위치하는 지형 혹은 구조물에 의해 표적이 가려진 영상이 획득되는 문제가 발생한다. 따라서 표적 영상 획득 성공률을 높이기 위해 앞서 제시한 ‘경로 우선’ 혹은 ‘표적 우선’에 의한 촬영계획 자동 할당 시, 레그 내 센서의 촬영 가능 구간에서 표적까지 촬영 가시율을 계산하고, 사전 설정된 기준 값 이상의 가시율을 만족하는 촬영 시작/종료점으로 촬영계획이 배치될 수 있도록 한다.

촬영 가시율은 Fig. 7과 같이 영상센서의 방위각 구동 범위에 따른 촬영 가능 구간과 촬영영역을 각각 샘플링하여 계산한다. 가시선 분석 시작점의 샘플링 기준은 촬영 가능 구간 내 ‘거리 기준’과 레그에서 표적 중심점까지의 ‘각도 기준’ 중에서 운용자가 선택할 수 있다. 가시선 분석의 끝점 또한 촬영영역 내 한 점이 아닌 표적 영상 중심점과 그 외 대표점들을 샘플링하여 분석 시작점으로부터의 디지털 고도 모델(Digital Elevation Model; DEM)에 대한 가시선 확보 여부를 판단한다. 즉, N:M으로 촬영 가시선을 분석한다. 촬영 가시율은 가시율 분석 샘플링 구간 별로 계산하되, 촬영영역 중심점까지의 분석 결과에 가중치를 부여하고 전체 촬영영역 대표점까지의 결과를 평균하여 최종 산출한다. 본 방법에서는 촬영계획 자동 배치 기준(최소) 가시율 값을 사전 지정할 수 있도록 하여, 산출된 가시율로 촬영계획 배치 가능 여부를 결정할 수 있도록 하였다. 앞서 자동 할당된 레그를 운용자가 수동으로 변경할 수 있듯이 자동 배치된 촬영계획 또한 촬영 가능 구간 내에서 운용자가 수동으로 촬영 위치를 조정할 수 있다.

Fig. 7.

Analysis of LOS for sensor collection

4.2 표적 지향 편차 보정 기반 촬영계획 수립

전략급 무인기가 주로 임무를 수행하는 비행 고도에서는 바람 영향으로 인해 비행경로(track)를 추종하는 과정에서 크랩각(crab angle)이 발생하게 된다. 이에 영상센서가 무풍 기준으로 작성된 촬영계획의 촬영 시작점을 기준으로 촬영 시 원래 목표한 표적과 실제 지향하는 방향 사이 편차가 발생하게 되고, 이 편차가 센서의 방위 방향 구동 범위를 벗어날 경우 원래 획득하고자 했던 표적의 영상을 획득할 수 없다. 그리고 편차가 방위 방향 구동 범위 이내라 하더라도 스퀸트각(squint angle)으로 인해 영상 관측폭을 포함한 영상 품질이 변화될 수 있다[17]. 이에 본 연구에서는 바람 정보를 반영하여 영상센서가 지향하는 표적에 대한 촬영 영역 범위의 편차를 보정할 수 있는 촬영계획 수립 방법을 제안한다.

Fig. 8은 바람에 의한 영상센서의 표적 지향 편차를 보정하여 촬영계획을 수립하는 절차를 보여준다. 우선, 비행경로에 영향을 주는 바람 정보를 식별해야 하는데, 전략급 무인기는 광범위한 지역에 걸쳐 감시정찰 임무를 수행하기 때문에 다수의 비행경로 구간(레그)마다 영향을 주는 바람 정보가 각기 다를 수 있다. 또한 풍향과 풍속은 계절 혹은 시기에 따라서도 다르다. 비행경로 구간은 위/경도에 해당하는 2차원 지역과 고도로 구분될 수 있다. 본 연구에서는 Table 1과 같이 바람 정보를 세분화하여 관리하는 방안을 제시하며, 기본 바람 정보는 감시정찰 자산을 운용하는 조직에서 별도 수집된 데이터를 기반으로 한다. 이를 통해 비행경로 구간에 해당하는 지역과 비행 고도, 그리고 임무(예정)일이 포함된 시기에 해당하는 보다 상세한 바람 정보를 추출할 수 있다. 이는 특정한 상황을 포함한 다양한 바람 조건이 반영된 표적 지향 편차 보정 과정을 통해 촬영계획의 실제 임무 비행으로 획득한 영상에 대한 정확도를 향상시킬 수 있다.

Fig. 8.

Deviation correction method incorporating wind factor for sensor collection planning

Wind information management for sensor collection planning

두 번째 단계에서는 추출한 바람 정보와 임무계획의 해당 비행경로에 설정된 비행체 속도 정보를 이용하여 크랩각을 산출한다.

(1) Vwx=Vwsinθw
(2) θc=sin1VwxVa

크랩각은 일반적으로 바람 벡터와 비행체 속도 벡터를 이용하여 Fig. 9와 같이 계산할 수 있다. 먼저 식 (1)과 같이 풍향과 진북기준 비행경로 간 사잇각(θw)과 풍속(Vw)으로부터 비행경로에 수직인 바람 벡터 성분(VwX)을 먼저 계산한다. 그리고 비행체 속도(Va)와 앞에서 계산한 비행경로에 수직인 바람 벡터 성분(Vwx)으로부터 크랩각(θc)을 계산할 수 있다.

Fig. 9.

Crab angle of UAV

마지막 단계에서는 해당 비행경로에 영상수집 계획을 할당하기 위한 영상센서의 촬영 가능 범위 및 촬영 시작/종료 지점 계산 시 앞서 단계에서 계산한 크랩각을 반영하여 보정한다. Fig. 10에서와 같이 무풍 기준으로 설정한 촬영계획구간(C∼D)에서 영상 센서가 실제 촬영을 수행할 경우, 크랩각(θc)으로 인해 기존 계획표적 T가 아닌 크랩각 만큼 편차가 발생한 T’를 중심으로 촬영된 영상을 획득하게 된다.

Fig. 10.

Problem in target orientation due to crab angle[18]

이와 같은 표적 지향 문제를 해결하기 위해 Fig. 11에서와 같이 기존 무풍 기준의 촬영가능범위 A∼B 구간을 크랩각이 발행한 만큼 이동하여 ‘A∼B’ 구간으로 보정(크랩각을 보정한 촬영가능범위로 비행경로에 투영)하고 촬영 시작/종료 지점인 C지점과 D지점도 C’지점과 D’지점으로 보정한다. 크랩각이 음(-)의 값이면 보정된 촬영계획구간은 무풍 기준 시점 대비 앞당겨지고, 크랩각이 양(+)의 값이면 뒤로 미뤄지게 된다.

Fig. 11.

Deviation correction of target orientation[18]

이상의 바람 정보를 반영한 표적 지향 편차 보정 기반 촬영계획 수립 절차를 정리하면 Fig. 12와 같다. 각 비행경로 구간은 서로 다른 풍향과 풍속 정보를 가지는 바람에 영향을 받을 수 있으므로 바람 정보 추출 및 크랩각 산출은 비행경로 구간(레그) 별로 각각 순차적으로 수행한다(Fig. 12의 외부 루프). 또한 하나의 레그 내에는 다수의 개별 촬영(영상수집) 계획이 할당될 수 있으므로 크랩각을 이용한 영상수집 계획 보정은 모든 개별 촬영계획에 대해 각각 수행한다(Fig. 12의 내부 루프). 이와 같은 자동화된 촬영계획 수립 절차를 통해, 하나의 임무계획에 포함된 다양하고 넓은 지역과 고도에 분포된 비행경로에서의 수많은 표적에 대한 촬영계획과 관련된 설정, 즉, 촬영계획의 촬영 시작/종료 지점 계산 및 보정을 일괄 처리할 수 있도록 하여 임무계획 수립의 효율성을 높일 수 있다.

Fig. 12.

Procedure for sensor collection planning based on deviation correction of target orientation

지금까지 제시한 바람 영향에 따른 촬영 시작/종료 지점을 조정하여 영상수집 계획을 보정하는 기능은 필요에 따라 선택적으로 적용할 수 있도록 기능을 부여할 수 있다. 다시 말해, 보정 기능 활성화 또는 비활성화를 선택할 수 있도록 하고, 보정 기능 활성화 시에도 산출된 크랩각에 대해서도 적용 범위를 설정하여 특정 값 이하, 즉 너무 작은 크랩각에 대해서는 보정을 하지 않도록 구현함으로써 촬영계획 수립의 운용성을 높일 수 있다. 또한 사전 임무계획 뿐만 아니라 무인기 탑재 임무관리 소프트웨어에도 본 연구에서 제안한 방법을 적용하여, 실제 비행 시 무인기가 측정한 실시간 바람 정보가 사전 계획 수립 시 적용 기준과 차이가 클 경우, 임무 중 실시간 바람 정보를 반영하여 촬영계획의 표적 지향 편차 보정을 동적으로 수행할 수 있다.

5. 적용 시험 결과

본 장에서는 앞서 제시한 표적 지향 편차 보정 방법을 소프트웨어로 구현하여 실장비에 탑재 시험한 결과를 기술한다. 본 연구에서 제안한 방법이 구현된 소프트웨어는 제안한 기술 외, 사용자 편의성이 고려된 GUI(Graphic User Interface)와 임무계획 일반 기능들이 모두 포함된 통합 임무계획 소프트웨어이므로 본 장에서의 시험 결과 중 촬영계획 수립 시간은 엄밀히 제안한 방법만의 성능을 측정한 것은 아니며, 실장비에 탑재된 통합 임무계획 소프트웨어의 촬영계획 보정 및 자동화 성능임을 먼저 밝힌다.

Table 2는 지상통제체계 통합 시뮬레이션 환경에서 임의의 단일 촬영계획을 비행경로에 할당 시, 풍향과 풍속 조건에 따라 크랩각와 편차 보정 거리의 변화를 확인한 시험 결과이다. 사전 정의한 비행경로 구간(레그방향 진북 0°)의 고도와 대기속도(CAS; Calibrated Air Speed)는 각각 39,000 ft, 150 knot이며, 구현된 소프트웨어에서는 크랩각 계산 시 비행 고도에 따른 진대기속도(TAS; True Air Speed))가 자동 적용되도록 하였다. case 0은 표적 지향 편차 보정을 적용하지 않은, 즉 촬영계획에 바람 영향성을 고려하지 않은 기존 방법이다. case 1에서 case 4는 풍속 값을 고정시키고 풍향 값을 변경한 경우이고, case 5에서 case 8은 풍향 값을 고정시키고 풍속 값을 변경한 경우이다. 예상 크랩각은 각 case 별 풍향, 풍속에 따라 본 논문에서 제안한 방법으로 계산한 이론적 수치이며, 시험결과 크랩각은 구현 소프트웨어의 시뮬레이션 시험 결과이다. 비행경로 방향과 풍향 사이 각도 차이가 클수록, 그리고 풍속 값이 클수록 예상치와 유사하게 시뮬레이션 시험 결과 크랩각이 크게 발생함을 확인할 수 있다. 또한 시험 조건 비행 고도 및 속도에서의 편차 보정 거리 정도를 확인할 수 있다. Fig. 13Table 2의 Case 4에 대해 임무계획 소프트웨어 지도 화면상에서 편차 보정 거리만큼 촬영계획의 촬영구간이 자동 조정됨을 Case 0과 비교하여 보여준다. Fig. 13 (a)와 같이 바람 조건을 고려하지 않은 경우에는 표적과 수직되는 위치의 비행경로 상 구간에 촬영계획을 생성하지만, (b)와 같이 바람 영향을 고려 시, 비행체 크랩각을 산출하여 촬영계획 내 촬영구간을 자동 보정한다.

Results of simulation test

Fig. 13.

Comparison of sensor collection location on leg depending on deviation correction

Fig. 14는 실제 비행 시험 시 표적 지향 편차를 보정한 촬영계획의 촬영영역을 보정 전과 비교하여 보여준다. (a)는 무인기가 비행 중 바람 영향으로 비행경로 레그 방향과 현재 헤딩 사이 약 13°의 크랩각이 발생한 상황이다. EO/IR 촬영계획의 표적 지향 편차 보정을 하지 않을 경우 지상 촬영영역은 (b)와 같다. 본 시스템은 비행 중 크랩각이 10° 이상 발생할 경우 실시간 촬영계획 수정이 자동 수행되도록 설정하였으므로, 이 상황에서 비행경로 상 촬영구간을 자동 조정 결과 지상 촬영영역이 (c)와 같다. (b)의 보정 전 촬영영역 대비, 원래 획득하고자 했던 촬영영역 중심점을 기준으로 EO/IR 실제 수신 영상 프레임 세트가 적색으로 도시됨을 (C)와 같이 확인하였다.

Fig. 14.

Result of flight test

본 연구에서 제안한 촬영 가시율 분석 및 편차 보정 기반 자동화 기술이 구현된 통합 임무계획 소프트웨어로 수집 개수에 따른 촬영계획 수립 시간을 측정한 결과는 Table 3과 같다. 이 시간에는 통합 임무계획 소프트웨어가 본 제안 기법을 통해 도출된 결과를 정확한 지도상 위치 및 GUI 객체로의 도시 시간이 상당 부분 포함되어 있음을 감안할 필요가 있다.

Time to generate sensor collection plan automatically

Fig. 15는 본 소프트웨어를 이용하여 수집 100개를 입력으로 하여 자동 수립된 촬영계획 결과를 보여준다. 이 시험에서는 다중 영상센서 종류(EO/IR, SAR)와 각 센서별 촬영모드(지역탐색, 고해상, GMTI; Ground Moving Target Indicator)가 혼합된 수집을 입력으로 하고, 전체 2회 순환하는 비행경로를 시나리오로 정의하였다. 입력인 수집 개수가 증가함에 따라 자동 촬영계 획 수립 시간도 증가하긴 하지만, 운용자가 수동으로 각 수집 별 촬영 가시선 및 바람 영향성을 고려하면서 촬영계획을 할당 및 배치하는 것에 비해 상당한 시간이 단축된다고 할 수 있다.

Fig. 15.

Generation of sensor collection plan

6. 결 론

본 논문에서는 전략급 무인기의 감시정찰 임무 수행을 위한 촬영계획 수립 자동화 방안으로 표적 스케줄링과 지향 편차 보정 기술을 제시하였다. 무인기의 임무 대상이 되는 다양한 출처의 표적 정보를 통합 관리하고, 표적 스케줄링에 활용할 감시정찰 표적 속성을 분석, 정의하였다. 그리고 이 감시 주기가 서로 다른 전체 임무계획 대상 표적 DB 목록으로부터 무인기의 특정 임무(예정)일에 임무계획으로 반영되어야 하는 표적을 스케줄링하여 자동으로 선정하는 방안을 제시하였다. 식별된 임무일 별 임무계획 표적 목록을 기반으로 전체 비행경로에서의 촬영계획을 경로 우선 혹은 표적 우선 기준으로 자동 할당하되, 촬영 가시선을 분석하여 촬영계획을 배치할 수 있도록 하였다. 또한 전체 비행경로에서 시기, 지역, 고도 별로 서로 다르게 영향을 줄 수 있는 바람 정보를 관리하여 보다 상세한 풍향, 풍속 값을 바탕으로 각 비행경로 구간의 크랩각을 계산하고 표적 지향 편차를 보정하는 방안을 제시하였다. 이 방법들은 기존 운용 무인기 임무계획 시스템의 단점과 신규 요구사항들을 만족시키기 위한 휴리스틱 접근법으로, 자동화 성능을 높이기 위한 최적화 연구가 추가적으로 필요할 것으로 사료된다. 또한 본 연구에서는 바람 정보에 대해 별도 수집된 데이터를 촬영계획 보정 목적에 맞게 재구조화하여 사용하기 때문에 정확한 바람 정보가 사전 제공되어야 하는 전제 조건이 있다.

본 연구 결과를 통해 전략급 무인기의 감시정찰 임무계획 수립 시 신속하게 임무계획 대상 표적을 선정할 수 있도록 하여 운용자의 워크로드를 감소시킬 수 있을 것으로 예상한다. 또한 지형 및 바람과 같은 무인기의 임무에 영향을 줄 수 있는 요소를 사전에 촬영계획으로 반영함으로써 무인기 탑재 영상센서의 표적 영상 획득 정확도와 궁극적으로는 임무 성공률을 향상시킬 수 있을 것으로 기대한다.

후 기

본 논문은 2022년 정부의 재원으로 수행된 연구 결과임(923001301).

References

[1]. . Kinzig B.. Global Hawk systems engineering case study. Air Force Center for System Engineering, Air Force Institute of Technology, Doc. 312009;
[2]. . Leister W., ; US Air Force Wright Patterson Air Force Base United States. MQ-9 Reaper Unmanned Aircraft System(MQ-9 Reaper) 6–8. 2015.
[3]. . Cote C. P.. MQ-1C Gray eagle unmanned aircraft system(MQ-1C Gray Eagle). US Army Redstone Arsenal United States: Huntsville, AL, USA 2015.
[4]. . Ernst J., Tsach S., Penn D.. Evolution of the Heron UAV family. Infotech@Aerospace 7033. 2005.
[5]. . Hwang I., Lee C., Lim K.. Countermeasures of the ROK military against the activation of UAVs: focusing on the trends of UAV in each country. Defense and Technology 445:70–85. 2016;
[6]. . Ramirez A.. Global Hawk - persistent, long range, high altitude, multi-int capability for the US air force and the battlefield commander. AIAA/ICAS International Air and Space Symposium and Exposition: The Next 100 Years 2615. 2003.
[7]. . Sanchez-Fernandez A. J., Romero L. F., Bandera G., Tabik S.. VPP: visibility-based path planning heuristic for monitoring large regions of complex terrain using a UAV onboard camera. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 15:944–955. 2021;
[8]. . Govindaraju V., Leng G., Qian Z.. Visibility-based UAV path planning for surveillance in cluttered environments. IEEE International Symposium on Safety, Security, and Rescue Robotics 1–6. 2014.
[9]. . Geng L., Zhang Y. F., Wang P. F., Wang J. J., Fuh J. Y. H., Teo S. H.. UAV surveillance mission planning with gimbaled sensors. 11th IEEE International Conference on Control & Automation (ICCA) 320–325. 2013.
[10]. . Geng L., Zhang Y. F., Wang J. J., Fuh J. Y. H., Teo S. H.. Mission planning of autonomous UAVs for urban surveillance with evolutionary algorithms. 10th IEEE International Conference on Control and Automation(ICCA) 828–833. 2013.
[11]. . Seleck M., Vaňa P., Rollo M., Meiser T.. Wind corrections in flight path planning. International Journal of Advanced Robotic Systems 10(248):1–10. 2013;
[12]. . Jayaweera H. M. P. C., Hanoun S.. Path planning of Unmanned Aerial Vehicles(UAVs) in windy Environments. Drones 6(5)101. :1–21. 2022;
[13]. . Thibbotuwawa A., et al. UAV mission planning resistant to weather uncertainty. Sensors 20(2)515. :1–24. 2020;
[14]. . Cho J., Lee H., Kwon S., Kim Y.. Target management strategy in UAV mission planning for long-endurance surveillance and reconnaissance. KIMST Annual Conference Proceedings 1442–1443. 2020.
[15]. . Larose D. T., Larose C. D.. Discovering knowledge in data: an introduction to data mining. John Wiley & Sons, Inc. USA 42014;
[16]. . Sun B., Xu H., Wang Y., Yang W.. Orthogonal resolution analysis for squint SAR image. Proceedings of 11 th European Conference on Synthetic Aperture Radar 401–404. 2016.
[17]. . Yoon S.. An experimental analysis of NESZ and swath width in squint geometry for space-borne SAR imaging. Journal of KIIT 16:71–79. 2018;
[18]. . Cho J., Choi Y., Lee H.. An efficient mission planning method using high altitude wind information for long-endurance surveillance and reconnaissance UAV. KSAS 2022 Fall Conference 266–267. 2022.

Article information Continued

Fig. 1.

Target management for mission planning[14]

Fig. 2.

Integrated target management and scheduling SW

Fig. 3.

Target scheduling process for mission plan

Fig. 4.

Step 1: identify a list of preliminary targets

Fig. 5.

Step 2: generate the mission plan target list

Fig. 6.

Scenario for sensor collection planning of surveillance and reconnaissance UAV

Fig. 7.

Analysis of LOS for sensor collection

Fig. 8.

Deviation correction method incorporating wind factor for sensor collection planning

Table 1.

Wind information management for sensor collection planning

시기(월) 지역 고도(ft) 풍향(°) 풍속(knot)
평균 10% 5% 1% 평균 10% 5% 1%
1 A 32 k 270 300 330 355 90 130 144 167
33 k 275 107
B 32 k 265 84
33 k 260 99
2 A 32 k 260 105
33 k 265 101

Fig. 9.

Crab angle of UAV

Fig. 10.

Problem in target orientation due to crab angle[18]

Fig. 11.

Deviation correction of target orientation[18]

Fig. 12.

Procedure for sensor collection planning based on deviation correction of target orientation

Fig. 13.

Comparison of sensor collection location on leg depending on deviation correction

Table 2.

Results of simulation test

풍향(°) 풍속(knot) 예상 크랩각(°) 시험결과 크랩각(°) 편차 보정 거리
case 0 0 0 0 0 0 km
case 1 15 110 5.69 5.67 1.5 km
case 2 30 110 11.04 11.01 4.3 km
case 3 45 110 15.72 15.67 8.3 km
case 4 50 110 17.07 17.01 8.9 km
case 5 45 110 15.72 15.67 8.3 km
case 6 45 150 21.68 21.61 10.3 km
case 7 45 170 24.75 24.67 12.3 km
case 8 45 200 29.51 29.41 13.5 km

Fig. 14.

Result of flight test

Table 3.

Time to generate sensor collection plan automatically

수집개수 자동 촬영계획 수립 시간(초)
1회 2회 3회 4회 5회 평균
20 개 13 11 11 12 12 11.8
50 개 33 33 33 33 33 33.0
100 개 115 112 109 110 117 112.6
150 개 255 263 250 256 258 256.4

Fig. 15.

Generation of sensor collection plan