J. KIMS Technol Search

CLOSE


J. KIMS Technol > Volume 26(2); 2023 > Article
무인 항공 시스템에서 촬영 영상의 GCP 기하보정을 통한 정밀한 지상 표적 좌표 획득 방법

Abstract

Acquiring precise coordinates of ground targets can be regarded as the key mission of the tactical-level military UAS(Unmanned Aerial System) operations. The coordinates deviations for the ground targets estimated from UAV (Unmanned Aerial Vehicle) images may depend on the sensor specifications and slant ranges between UAV and ground targets. It has an order of several tens to hundreds of meters for typical tactical UAV mission scenarios. In this paper, we propose a scheme that precisely acquires target coordinates from UAS by mapping image pixels to geographical coordinates based on GCP(Ground Control Points). This scheme was implemented and tested from ground control station for UAS. We took images of targets of which exact location is known and acquired the target coordinates using our proposed scheme. The experimental results showed that errors of the acquired coordinates remained within an order of several meters and the coordinates accuracy was significantly improved.

1. 서 론

지상의 표적을 식별하고 좌표를 획득하는 것은 부대 위치 파악, 적 시설/장비 정보 수집, 이동/정지 물체 타격 유도 등 다양한 군사 작전을 위해 필요한 핵심 임무이다. 일반적으로 표적 좌표 획득 임무는 정찰 장비/체계를 활용하여 수행하며, 전장 규모에 따라 사용하는 정찰 장비/체계의 종류가 달라진다. 예를 들어, 가시권 내의 소규모 전장에서는 지상 표적의 좌표를 관측경 등 지상 관측 장비를 통해 획득할 수 있다[1]. 그러나 비가시권 영역이 포함된 대규모 전장에서는 지형/지물의 영향으로 지상 장비만으로는 표적을 식별하고 위치를 획득할 수 있는 공간이 제한된다. 따라서 이를 보완하기 위한 수단으로 무인기(UAV: Unmanned Aerial Vehicle)를 활용한 표적 좌표 획득이 수행될 수 있다.
무인기에 탑재된 임무장비(예, EO/IR, SAR)를 활용하면 지상에서 관측하기 어려운 영역의 표적을 식별 및 촬영할 수 있고, 촬영 정보(임무장비 성능, 촬영 위치/자세 등)를 기반으로 영상 내 표적 좌표를 계산할 수 있다[2]. 계산된 표적 좌표는 즉시 지휘부나 타 체계에 전달되어 작전을 위한 유용한 정보로 활용될 수 있고, 다수 무인기 운용 시 아군의 작전 능력을 더욱 크게 향상시킬 수 있다. 그러나 이러한 촬영 정보 기반의 계산 좌표는 촬영 조건에 따라 실제 위치와 오차가 수십에서 수백 미터(meter)까지 발생한다[3]. 따라서 정확한 좌표가 필요없는 작전에는 활용할 수 있지만 정밀 유도 무기를 활용한 타격 작전과 같이 정확한 표적 좌표가 필요한 작전에 사용하는 것은 제한될 수 있다.
GCP(Ground Control Point) 기하보정(geometric correction)은 영상의 기하학적 왜곡을 영상 좌표계와 지리 좌표계의 대응점 즉, GCP를 이용하여 보정하는 기술이다[3]. GCP는 영상의 픽셀(pixel)에 지리 좌표를 부여한 점으로 이러한 점들을 기준으로 영상 좌표계에서 지리 좌표계로의 관계식을 도출하여 변환을 수행할 수 있다. 본 논문에서는 무인 항공 시스템(UAS: Unmanned Aerial System)에서 GCP 기하보정을 기반으로 무인기가 촬영한 영상으로부터 정밀한 표적 좌표를 획득하는 기술을 제안한다. 촬영영상과 정밀한 좌표가 픽셀별로 부여되어 있는 참조영상을 비교하여 GCP를 설정하고 관계식을 도출한다. 그 후 촬영영상에서 표적이 위치한 픽셀의 좌표를 지리 좌표로 치환하여 표적 좌표를 획득한다. 본 논문이 제안하는 기술을 실 무인 항공 시스템에 구현하고 시험을 수행하였다. 획득한 표적 좌표의 최종 오차는 수 미터 이내로 정확한 좌표가 필요한 작전에 즉시 활용할 수 있을 정도로 정확도가 우수함을 확인할 수 있었다.
본 논문의 2장에서는 무인기를 활용하여 표적 위치를 추정하는 기존 연구와 GCP 기하보정 및 무인기 사진측량 기술을 요약하고, 본 연구의 차별성 및 기여 부분을 기술한다. 3장에서는 본 논문의 표적 좌표 획득 기술을 설계한다. 4장에서는 실 무인 항공기 시스템에 구현한 내용과 시험 결과를 제시한다. 마지막으로 5장에서는 결론 및 향후 연구에 대해 논한다.

2. 관련 연구 및 연구의 차별성

2.1 무인기 기반 표적 위치 추정

일반적으로 무인기에서의 표적 위치 추정은 Fig. 1과 같이 벡터 합을 통해 수행한다[2]. 원점에서 무인기로의 벡터 OU 와 무인기에서 표적으로의 벡터 UT를 알 수 있으면 벡터 합을 통해 원점에서 표적으로의 벡터 OT 를 구하여 표적 위치를 계산할 수 있다.
Fig. 1.
Target localization in UAV
kimst-26-2-129f1.jpg
OU 는 무인기에 탑재된 위치 센서나 항법 장치로부터 계산되며, UT 는 광학 센서로 표적을 지향한 후 방향 및 크기를 추정하여 계산한다. 이때, OUUT를 얼마나 정밀하게 계산하느냐에 따라 표적 위치 정확도가 달라진다. 표적 위치 관점에서 무인기의 위치 오차 δ는 해당 오차만큼 표적 위치 오차를 발생시킨다. 반면, UT 의 방향각 오차 θ는 무인기와 표적 간 거리가 멀어질수록 표적 위치 오차를 증가시킨다[4]. 따라서 적은량의 방향각 오차라고 하더라도 촬영 거리가 길면 매우 큰 표적 위치 오차를 발생시킨다. 또한, 표적 고도 h에 오차가 있는 경우 UT 의 크기도 부정확해지기 때문에 표적 위치 오차를 발생시킨다. 결과적으로 이러한 다양한 오차가 누적되면 최종 계산한 표적 위치 오차는 수백 미터까지 발생할 수 있다.
표적 위치 오차를 줄이기 위해 다양한 위치 추정 연구가 수행되었으며, 크게 하드웨어 기반과 비전(vision) 기반으로 나눌 수 있다. 하드웨어 기반 표적 위치 추정은 표적 위치 계산 시 오차를 줄이기 위해 표적과의 거리를 레이저 거리 측정기(LRF: Lager Range Finder)로 측정한다. 무인기 탑재 또는 지상 LRF를 활용한 몇몇 응용 연구가 수행되었다[5,6]. 그러나 이러한 방법은 근거리에서는 비교적 정확한 거리를 측정할 수 있으나 수십 킬로미터(kilometer) 이상의 원거리에서는 상당한 오차를 발생시킬 수 있다. 또한, 거리를 측정하는 동안 임무장비(예, EO/IR)로 표적을 지향하고 있어야 하므로 타 임무를 위한 임무장비 운용이 제한되고, 레이저 발사 시 적이 감지 및 대응할 수 있다.
비전 기반 표적 위치 추정은 무인기에서 표적을 촬영한 영상을 가공/융합하여 표적 위치를 정밀하게 도출하는 방법이다. Zhang[7]은 지면의 특징점을 반복 촬영하여 자세방위측정장치(AHRS: Attitude-Heading Reference System) 요각(yaw angle) 오차를 측정하고 이를 표적 좌표 보정에 활용하는 방법을 제안하였다. Zhang[8]은 연속 촬영한 영상과 GPS 정보를 결합한 후 3차원 맵을 구성하여 표적의 위치를 보정 및 도출하는 프레임워크(framework)를 설계하였다. Lin[9]은 복수 무인기가 촬영한 영상을 기반으로 이동 표적의 움직임을 칼만(Kalman) 필터로 추정하여 표적 위치 오차를 줄이는 방법을 제안하였다. 이러한 방법들은 촬영영상만으로 표적 좌표를 획득할 수 있다는 장점이 있으나 다수 영상 수집을 위해 상당한 무인기 운용을 필요로 하여 표적 좌표 획득을 위한 소요시간을 크게 늘릴 수 있다. 또한, GPS 보정 시스템(DGPS, RTK 등)을 활용할 수 없는 환경에서는 적용이 제한되며, 원거리 표적 좌표 추정 시에는 오차가 크게 증가할 수 있다.
Conte[10]는 촬영영상과 위성영상을 영상 정합(image registration)하여 표적 위치를 추정하는 방법을 제안하였다. 전처리된 촬영영상을 위성영상의 여러 부분에 매칭(matching)하여 유사도가 높은 위치를 선정하고, 위성영상에서 표적이 위치한 부분의 좌표를 추출 및 획득한다. Conte는 표적과 무인기의 고도가 같다는 가정(flat world assumption)하에 촬영영상에 해당하는 초기 위성영상을 선정한다. 그러나 무인기와 표적의 고도가 크게 상이하거나 촬영지역의 고도차가 심하면 촬영영상과 위성영상의 촬영영역이 크게 달라지게 되어 정합에 실패할 가능성이 매우 높다. 또한, 본질적으로 영상 정합은 실패할 가능성이 항상 존재하며, 실패할 경우 사람이 개입하여 보정을 돕는 것이 어렵다.

2.2 GCP 기하보정 및 사진측량

GCP 기하보정은 전통적으로 위성 영상을 통해 지도를 제작하는 지도학 분야에서 널리 활용되어 왔다. 지도학에서는 GCP 기하보정 시 GCP 칩(chip)을 활용한다. GCP 칩은 미리 측위한 GCP가 포함된 영상 조각으로 전국에 수천 개가 고르게 배치되어 있다. 촬영한 위성 영상을 이러한 GCP 칩과 정합하여 기하보정을 수행하고 지도로 합성한다[11]. 한편, 무인기에서 촬영한 항공 영상은 위성 영상 대비 촬영영역이 좁고 해상도가 떨어지기 때문에 위성 영상처럼 GCP 칩을 이용한 기하보정을 수행하는 것은 제한된다. 따라서, 무인기 사진측량(photogrammetry)과 같이 항공 영상에 GCP 기하보정을 이용하는 분야에서는 측량 대상 지역에 있는 지형/지물을 측위하여 GCP로 활용하거나 공중에서 식별하기 쉬운 물체를 측위한 지점 위에 올려 놓고 GCP로 사용한다[12,13]. 이때, GCP 개수나 배치 형태 등에 따라 측량한 좌표의 정확도가 달라질 수 있으며, 이와 관련하여 몇몇 연구가 진행되었다.
Yang[3]은 촬영지역에 수직, 대각선, 원형 형태로 배치한 4~11개 GCP를 활용하여 영상을 기하보정하고 좌표 오차를 분석하였다. 각 GCP별 측위한 좌표와 영상에서 계산한 좌표 간 오차를 구한 후 평균하여 영상의 좌표 보정치로 사용하였다. GCP 개수가 증가하고 균일하게 배치될수록 영상의 평균 좌표 오차 및 편차가 감소하였으며, GCP 배치가 한쪽에 편향되는 경우 오차가 늘어나는 경향을 보였다. Shahbazi[12]는 3차원 지형 모델링에서 GCP 가시성 및 배치 위치에 따른 모델의 좌표 정확도를 분석하였다. 가로/세로 수백 미터 크기의 산악 지역에 GCP 3개를 균등하게 또는 편중하여 배치하거나 무인기 선회지역에 배치하는 등 다양하게 배치하여 좌표 오차를 측정하였다. 무인기에서 GCP의 시야가 충분히 확보되지 않거나 GCP 를 한 곳에 편향되게 배치하는 경우 오차가 증가함을 보여주었다. Liu[13]는 SFM(Struct to Motion) 기반 사진측량에서 GCP 최적 개수 및 배치에 대한 분석을 수행하였다. 영상을 융합하여 정사영상 지도 및 고도 정보를 생성한 후 평균 좌표 오차를 측정하였다. 영상의 중앙에 GCP가 없는 경우 돔 현상(dome effect)으로 오차의 분포가 편향되고 오차가 증가하였다. 단위 킬로미터당 GCP 개수를 증가시킬 때 2개까지 오차가 급격하게 감소하였으며, 12개 이상부터는 크게 변화가 없었다. 또한, 영상 내 좌표 계산 지점이 GCP에서 멀어질수록 오차가 증가하는 경향을 보였다.
무인기 기반 사진측량은 궁극적으로 특정 지역 전체를 측량하여 3차원 모델 또는 지도를 생성하는 것을 목표로 한다. 따라서 측량 전 사전 답사를 통해 GCP를 확보해야 하며, 측량 지역에 대한 다수의 영상을 촬영한 후 복잡한 후처리 과정을 거쳐야 좌표를 추출할 수 있는 결과물을 얻을 수 있다. 이러한 측량 기술은 군용 무인 항공 시스템과 같이 사전 답사가 어려운 지역에 대해 단일 영상으로부터 표적에 대한 좌표만을 즉각 확보해야 하는 시스템에는 적용하기 어렵다. 그러므로 군용 무인 항공 시스템에 즉시 적용할 수 있는 표적 획득 기술 연구 및 실증이 필요하다.

2.3 연구의 차별성 및 기여

기존의 위치 추정 기술과 다르게 본 논문의 표적 좌표 획득 기술은 별도의 하드웨어 장비없이 단일 영상에서 참조영상 DB(예, CIB 위성영상 DB)를 활용한 GCP 보정으로 정확도 높은 표적 좌표를 획득하는 것이 가능하다. 또한, 지형 고도 정보를 기반으로 촬영영역 계산 오차를 최소화하여 촬영영상과 초기 참조영상의 공간적 일치성을 높이며, 운용자가 개입하여 참조영상을 조정 및 탐색할 수 있도록 하여 공간적 보정이 가능하도록 한다. 기존에 사진측량 분야에서 GCP 기하보정에 대한 성능/분석 연구가 수행되었다. 본 논문은 GCP 기하보정 자체에 대한 연구 보다는 이를 활용하여 군용 무인 항공 시스템에 적용할 수 있는 표적 좌표 획득 절차의 설계 및 검증에 초점을 맞춘다. 또한, 기존 연구와 다르게 GCP 좌표를 측위하지 않고 참조 영상과 비교하여 확보함으로써 표적 좌표 획득을 위한 비용 및 시간을 최소화한다. 본 논문이 기여한 부분은 다음과 같다.
  • (1) 군용 무인 항공 시스템에서 정찰한 표적의 좌표를 정밀하게 획득하기 위한 표적 좌표 획득 절차 및 시스템을 설계하였다.

  • (2) 실 무인 항공 시스템에 본 기술을 구현하고 시험을 수행함으로써 실제 운용 환경에서의 효과를 검증하였다.

  • (3) 국내 군용 무인 항공 시스템에서 처음으로 GCP 기하보정을 기반으로 표적 좌표를 획득하는 방법을 적용 및 검증하여 본 분야의 추가 연구 및 개발, 기술 고도화의 토대를 마련하였다.

3. GCP 기하보정 기반 표적 좌표 획득

본 논문의 GCP 기하보정 기반 표적 좌표 획득은 Fig. 2와 같은 절차에 따라 실행된다. 무인기 운용 간 좌표 획득이 필요한 표적이 발견되면 임무장비를 통해 정지영상을 캡처(capture)한다. 캡처된 영상의 촬영 정보(메타데이터)를 이용하여 센서 모델링 및 영상 촬영영역을 계산하고, 해당 영역에 상응하는 참조영상을 도시한다. 무인기 운용자는 촬영영상과 참조영상을 비교하여 GCP를 설정한 후 촬영영상에서 표적의 중심 픽셀을 선택하여 좌표를 획득한다. 획득한 좌표을 포함한 표적의 기타 정보를 조합하여 C4I(Command, Control, Communication, Computer and Intelligence) 또는 타 체계로 전송한다. 데이터 입출력을 제외한 내부 수행 단계의 세부 설계 사항은 3.1~3.3절과 같다.
Fig. 2.
Procedure for acquiring and sharing target coordinates
kimst-26-2-129f2.jpg

3.1 센서 모델링

표적의 계산 좌표와 센서 촬영영역을 구하기 위해 센서 모델링을 수행한다. 공선 조건을 가정하였으며, Fig. 3(a)와 같이 영상 좌표계에서 월드(world) 좌표계로 변환하는 일반적인 과정을 모델링한다[14].
Fig. 3.
Coordinate transformation in sensor modeling
kimst-26-2-129f3.jpg
영상 좌표 (u, v)에서 필름(film) 좌표 (xf, yf)로의 변환은 다음 식을 통해 수행한다.
(1)
xf=uPXxPDxyf=vPXyPDy
영상 및 필름 좌표계는 Fig 3(b)와 같이 구성한다. PXxPXy는 영상 픽셀의 물리적인 가로 및 세로 크기이고, PDxPDy는 필름 평면 좌측상단에서 센서 주점(principle point)까지의 거리이다. 영상 좌표는 픽셀 인덱스(index)이다. 픽셀 인덱스에 픽셀의 물리적인 크기를 곱하면 필름 평면에서 해당 픽셀에 해당하는 위치를 얻을 수 있고, 여기에 주점의 거리를 빼면 필름 좌표를 구할 수 있다. 필름 좌표에서 센서 좌표로의 변환 관계는 센서 초점거리 f와 비례식을 통해 모델링한다. Fig. 3(c)는 광학 센서 위쪽에서 본 센서의 추상화된 단면도이다. 센서 렌즈를 기준으로 위쪽 점선 삼각형과 아래쪽 점선 삼각형은 닮은꼴이다. 따라서 비례식에 의해 다음 식을 정의할 수 있다.
(2)
xs=xfzs/fys=yfzs/f
xsyszs에 의존적이다. zs는 센서가 바라보는 방향에 대한 좌표축 값으로 3차원 지리 데이터가 2차원 영상으로 투영(projection)되면서 사라진 정보이며, 추정해야할 값이다. 일반적으로 지구는 지구중심고정(ECEF: Earth-Centered Earth-Fixed) 월드 좌표계 기준 3차원 타원체(WGS84: World Geodetic System 1984)로 모델링된다. 따라서 지면의 각 지점 좌표(xw, yw, zw)는 다음의 타원면 식을 만족한다.
(3)
xw2/a2+yw2/b2+zw2/c2=1
여기서 a, b, c는 WGS84에 정의된 상수이다. 공선 조건을 가정하므로 Fig. 3(c)에서 필름 평면의 한 점은 렌즈를 지나 일직선상에 있는 대응되는 지면의 한 지점을 가진다. 필름 평면의 한 점에서 지면의 한 점으로 향하는 월드 좌표계 기준 방향 벡터를 [α, β, γ]T라고 할 때, 해당 벡터는 렌즈 위치 벡터에서 필름 평면 점의 위치 벡터를 빼서 구한다[15]. 렌즈 위치 벡터는 센서 위치 좌표 (xws,yws,zws)로부터 정의되며, 필름 평면 점의 위치 벡터는 센서 좌표 및 자세/성능 정보와 좌표계 간의 회전 관계를 이용하여 계산할 수 있다[16]. 센서 좌표와 방향 벡터가 주어지면 필름 평면의 한 점과 지면의 한 점을 잇는 직선을 다음 식으로 정의할 수 있다.
(4)
(xwxws)/α=(ywyws)/β=(zwzws)/γ
식 (4)를 식 (3)에 대입하여 전개하면 직선과 타원면이 만나는 두 점을 얻을 수 있다. 두 점 중 센서와 가까운 점으로부터 센서까지의 거리 d를 계산한다. d와 θ가 정해지면 zs는 다음 식을 통해 구한다.
(5)
zs=dcos(θ)
센서 좌표가 정해졌을 때, 월드 좌표로의 변환은 다음 식을 통해 수행한다.
(6)
[xwywzw]=R[xsyszs]+[xwsywszws]=[m1m2m3m4m5m6m7m8m9][xsyszs]+[xwsywszws]
R은 센서 자세 정보(roll, pitch, yaw)를 기반으로 센서 좌표계를 월드 좌표계와 일치시키는 회전행렬이다[17]. R을 센서 좌표계 벡터 [xs, ys, zs]T에 곱하면 월드 좌표계 벡터를 얻을 수 있다. 이 벡터는 앞서 2.1절 Fig. 1에서 설명한 UT 와 같다. 또한, 센서(렌 즈)위치 벡터 [xws,yws,zws]는 OU 와 같다. 따라서, 이 두 벡터를 합하면 월드 좌표를 얻을 수 있다. 본 절의 센서 모델링에서 영상 좌표로부터 월드 좌표를 도출하기 위해 입력해야 하는 주요 정보를 정리하면 다음과 같다.
  • • 영상 픽셀 크기:PXx, PXy

  • • 필름 주점 거리: PDx, PDy

  • • 센서 초점 거리: f

  • •센서 자세 정보: roll, pitch, yaw

  • • 센서 위치: (xws,yws,zws)

3.2 촬영영역 계산

촬영영상에 대응하는 참조영상을 도시하기 위해 촬영영역 정보를 활용한다. 촬영영역은 영상에 해당하는 실제 지리적인 촬영 위치를 의미하며, 영상의 4개 코너(corner) 픽셀에 해당하는 좌표(4-코너 좌표)로 구성한다. 4-코너 좌표는 3.1절 좌표 변환 과정을 통해 계산한다. 촬영영역을 구성하는 4-코너 좌표가 실제 위치와 크게 다를 경우 해당 위치를 기반으로 도시한 참조영상이 다른 지역 영상이 되어 운용자가 참조영상을 재조정(예, 참조영상 지도를 드래그하여 관련 영역 이동) 및 비교하는 시간이 추가로 발생할 수 있다. 본 논문에서는 지형 고도 정보를 기반으로 계산된 촬영영역 4-코너 좌표의 오차를 최소화하여 운용자의 조작 오버헤드(overhead)를 최소화한다. 예를 들어, 촬영영역이 두 개 좌표로 구성된다고 가정할 때, Fig. 4와 같이 지표면 상의 촬영영역은 P1과 P2로 구성될 수 있다. 그러나 이는 촬영 환경에 따라 실 촬영영역과 차이가 날 수 있으므로 센서의 최대 촬영 한계선이 고도값과 만나는 지점 H1, H2에 해당하는 좌표 P1’과 P2’로 촬영영역을 구성할 수 있다.
Fig. 4.
An example of estimating shooting areas using terrain elevation data
kimst-26-2-129f4.jpg

3.3 영상 비교 및 GCP 기반 표적 좌표 획득

촬영영역 4-코너 좌표에 해당하는 참조영상을 검색하여 촬영영상과 동시 도시한다. 두 영상에서 동일한 부분으로 식별되는 지점을 선택한다. 예를 들어, Fig. 5과 같이 GCP #1~3과 GCP #1’~3’는 두 영상에서 같은 부분으로 식별하여 선택한 3개 GCP이다.
Fig. 5.
An example of GCP and target selection
kimst-26-2-129f5.jpg
촬영영상의 픽셀 좌표를 X, Y로 하고 참조영상의 지리 좌표를 x, y라고 할 때, Fig. 5의 예와 같이 3개 GCP를 설정하는 경우 다음과 같이 관계식이 구성된다.
(7)
x=aX+bY+cy=a'X+b'Y+c'
지리 좌표 x를 결정하는데 필요한 변수는 촬영영상의 픽셀 좌표 X, Y이며, 상수 a, b, c은 두 영상 간의 관계를 의미한다. 상수 a, b, c는 앞서 설정한 GCP로 구성한 3개 다항식으로 계산한다. 같은 방법으로 상수 a′, b′, c′도 계산한다. 각 상수 계산을 완료하면 촬영영상의 각 픽셀 좌표를 지리 좌표로 치환하는 변환 관계식 구성이 완료된다. 그 후 Fig. 5과 같이 촬영영상에서 표적으로 식별된 부분을 선택하면 해당 픽셀 좌표가 관계식 (7)에 입력되고, 지리 좌표 x, y를 얻을 수 있다. 이렇게 획득한 표적 좌표는 C4I 체계나 타 체계로 전송된다. GCP는 3개 이상 설정해야 하며, 설정 개수에 따라 Table 1과 같이 관계식 구성이 달라진다[18]. GCP를 3개 이상 식별하기 어려운 경우 동일 지점에 픽셀을 다르게 하여 여러 개 GCP를 설정할 수도 있다. 표적 주변의 지형 변화나 왜곡이 심한 경우에는 GCP 개수를 늘려 관계식의 차수를 높이는 것이 지리 좌표의 오차를 줄이는데 유리할 수 있다[18].
Table 1.
Relational expression according to the number of GCPs
GCP 개수 관계식 구성
3 x=aX+bY+cy=aX+bY+c
4~5 x=aX+bY+cXY+dy=aX+bY+cXY+d
6~9 x=aX2+bXY+cY2+dX+eY+fy=aX2+bXY+cY2+dX+eY+f
10 x=aX3+bX2Y+cXY2+dY3+eX2+fXY+gY2+hX+iY+jy=aX3+bX2Y+cXY2+dY3+eX2+fXY+gY2+hX+iY+j

4. 구현 및 시험

본 논문에서 설계한 GCP 기하보정 기반 표적 좌표 획득 기술을 실 무인 항공 시스템에 구현하고, 시험 및 평가를 수행하였다.

4.1 표적 좌표 획득 시스템 구현

본 논문에서 구현한 표적 좌표 획득 시스템은 Fig. 6과 같다. 촬영영상을 좌측에 도시하고 계산한 4-코너 좌표를 기반으로 참조영상을 검색하여 우측에 도시한다. 두 영상을 비교하여 GCP를 설정하면 하단 표에 좌측 영상의 픽셀 좌표 X, Y와 참조영상에서 대응되는 지점의 지리 좌표(위경도)가 한 행으로 추가된다. 본 예제에서는 GCP를 3개 설정하였다. GCP 설정 완료 후 촬영영상에서 표적을 클릭하면 표적 심볼(초록색 십자 심볼)이 표시되고 참조영상 내에는 보정 전/후 표적 심볼(각각 초록색, 노란색 십자 심볼)이 도시된다. 또한, 하단에 표적의 보정 전/후 좌표와 보정된 거리(직선, 진북 기준 수평/수직 거리)가 계산되어 도시된다. 본 예제에서는 직선거리 기준 약 48 m의 오차가 보정되었다. GCP 및 표적 설정 간 운용자의 편의성 향상을 위해 추가적으로 고려하여 구현한 사항은 다음과 같다.
Fig. 6.
A target acquisition system implemented in a UAS
kimst-26-2-129f6.jpg
  • • 촬영영상 진북 정렬: 참조영상은 영상의 위쪽이 항상 북쪽이다. 그러나 촬영영상은 촬영한 방향에 따라 영상의 위쪽이 북쪽이 아닐 수 있다. 참조영상과의 원활한 비교를 위해 촬영영상의 진북 방향을 자동으로 찾아 위쪽을 향하도록 회전시켰다.

  • • 참조영상 GCP 편집: 참조영상의 GCP에 대해 더 정밀한 좌표를 미리 알고 있는 경우 참조영상에서 도출된 GCP의 지리 좌표를 수정할 수 있도록 구현하였다.

  • • 보정 결과 도시: 표적 좌표의 보정 효과를 즉시 확인할 수 있도록 보정 전/후 좌표, 보정 정도, 보정 위치가 도시되도록 하였다.

  • • 영상 조절: 촬영 또는 참조 영상에서 확대/축소를 수행하거나 영상 처리(밝기, 대조비 등)를 수행하여 화질을 개선하는 기능을 구현하였다.

다양한 무인 항공 시스템에 본 논문의 표적 좌표 획득 기술을 적용하는 경우 위에 기술된 기능의 추가적인 구현이 고려될 수 있다.

4.2 시험 및 정확도 분석

임의의 표적들을 사전에 정밀하게 측위하였다. 무인기를 일정 고도로 유지하고, 무인기와 표적 간 경사거리(slant range)를 조절하면서 탑재 EO/IR 및 SAR 센서로 표적을 촬영하였다. 본 시험에서는 비교적 단거리인 20 km 내 표적은 EO/IR로 촬영을 하고, 장거리인 20 km 이상은 SAR로 촬영을 수행하였다. 참조영상은 정사보정이 되어 있는 50 cm급 정밀 위성영상이 사용되었다. 2.2절 GCP 기하보정 관련 기존 연구 결과에 따르면 GCP 3개만으로도 충분히 정확한 좌표를 얻을 수 있고, 영상 내 좌표 계산 지점이 GCP와 가까워야 좌표 오차가 감소한다[12,13]. 따라서 이러한 점을 고려하여 본 시험에서는 표적에 가까운 지점 3개가 삼각형을 이루도록 GCP를 설정한다. 무인기 및 센서 위치는 관성항법장치와 GPS 정보로 결정되며, GPS 보정 시스템(예, DGPS 또는 RTK)은 사용하지 않았다. 계산 좌표를 구하기 위한 센서 성능 정보는 미리 확보하였고, 실시간 자세 정보는 센서가 측정한 값을 그대로 사용하였다. 본 시험에서는 표적을 평지에 배치하였고, 표적 주위의 지형은 논과 산이 비슷한 비율로 섞여 구성되어 있다.
Fig. 7은 EO/IR 영상 내 표적에 대해 계산 좌표와 GCP 기하보정으로 획득한 좌표를 각각 측위한 좌표와 비교하고 오차를 도출한 결과이다. EO와 IR 영상의 계산 좌표 평균 오차는 각각 41.1 m, 37.8 m가 발생하였다. 또한, 경사거리가 멀어질수록 계산 좌표 오차가 크게 증가하는 것을 확인할 수 있다. 기본적으로 계산 좌표 오차는 센서 위치 정보와 센서와 표적 간의 거리 정보 오차에 의해 발생한다. 이에 더하여 경사거리가 멀어지면 센서 자세(roll, pitch, yaw) 측정 오차가 계산 좌표 오차에 미치는 영향성이 커지게 되어 오차를 증가시킨다. 또한, 촬영거리가 멀어지고 촬영 각도가 지면과 평행에 가까워질수록 영상 왜곡 및 공선 조건 위배 정도가 증가하여 영상 내 상대적인 표적 위치와 실제 위치가 크게 어긋날 수 있다. 이는 영상에서 표적이 있는 지점을 선택할 때 부정확한 지점을 선택하게 하여 계산 좌표 오차를 증가시킨다. 실 무인기 운용 환경에서 무인기는 적 지역 정찰이나 타격 지원 등의 임무를 수행하며, 이를 위해 수십 킬로미터 이상의 표적을 긴 사선으로 촬영하는 경우가 빈번하다. 따라서 계산 좌표를 그대로 사용하는 경우 부정확한 위치 정보로 인해 작전의 효과가 크게 떨어질 수 있다.
Fig. 7.
Errors of target coordinates according to slant ranges in EO/IR images
kimst-26-2-129f7.jpg
GCP 기하보정으로 획득한 좌표의 경우 EO와 IR 영상의 각각 평균 오차는 2 m, 2.6 m이다. 경사거리가 증가할수록 오차가 소폭 증가한다. 이는 원거리를 촬영한 영상일수록 화질 감소나 왜곡 증가로 GCP 및 표적 선택 시 정밀도가 떨어지기 때문에 발생한 결과이다. 30 km 이상부터 IR 영상의 오차가 EO 보다 조금씩 높아진다. 본 시험에서 활용한 EO/IR 장비에서는 거리가 멀어질수록 IR 영상의 왜곡이 EO 보다 더욱 심해지기 때문에 발생한 결과이다. 그럼에도 불구하고 EO/IR 영상의 전반적인 좌표 오차는 수 미터 이내 수준으로 유지되는 것을 확인할 수 있고, 타격 작전 등 실 작전에 사용할 수 있을 정도로 정확도가 높음을 확인할 수 있다.
Fig. 8은 SAR 영상 내 표적에 대해 계산 좌표와 GCP 기하보정 기반 좌표를 측위 좌표와 비교한 결과이다. SAR 영상의 시험은 지형 고도 정보를 활용한 촬영영역 계산 기능을 미구현한 상태(고도값 0로 가정)에서 진행하였으며, 왜곡을 최소화하기 위해 정사보정을 수행한 영상에서 표적 좌표 획득을 수행하였다. 20~50 km 경사거리 영상에서 계산한 표적 좌표의 평균 오차는 17.5 m이다. 반면, GCP 기하보정으로 획득한 좌표는 평균 약 1.96 m로 계산 좌표 대비 오차가 상당히 감소하였음을 보여준다. 또한, EO/IR 영상과 같이 경사거리가 증가할수록 화질 및 왜곡의 영향으로 계산 및 GCP 기반 좌표의 오차가 증가하는 것을 확인할 수 있다.
Fig. 8.
Errors of target coordinates according to slant ranges in SAR images
kimst-26-2-129f8.jpg

5. 결론 및 향후 연구

본 논문에서는 무인 항공 시스템에서 촬영영상으로부터 정밀하게 표적 좌표를 획득하기 위한 GCP 기하보정 기반 표적 좌표 획득 기술을 제안하였다. 표적을 획득하기 위한 표적 좌표 절차 및 시스템을 설계하고, 실 무인 항공 시스템에 구현하였다. 측위한 표적을 촬영 경사거리에 따라 무인기 탑재 EO/IR 및 SAR 장비로 촬영하고 표적 좌표를 획득하여 오차를 분석하였다. 기존 좌표 계산 방식이 수십 미터의 좌표 오차를 발생시키는 반면, 본 논문이 제시한 기술은 수 미터 이내의 좌표 오차를 보여주었다. 이를 통해 획득한 표적 좌표의 정확도가 유도 무기 등 정확한 표적 위치 정보가 필요한 장비/체계에 사용할 수 있을 정도로 우수함을 확인할 수 있었다. 본 기술이 적용된 무인 항공 시스템의 개발 및 배치 시 아군의 정찰 및 타격, 작전 능력 등을 크게 향상시킬 것으로 기대한다.
본 기술을 더욱 발전시키기 위해 GCP 기하보정과 표적 식별을 자동으로 수행하는 기술을 연구 및 개발할 예정이다. 이를 바탕으로 다양한 시험 시나리오 및 조건(촬영 고도, 자세 및 각도, 배율, 센서 성능 등)에서의 좌표 오차 데이터를 다량으로 수집하고, 기존 기술 또는 이론적인 GCP 기하보정 성능과 비교 및 분석을 수행할 것이다. 또한, 인공지능을 기반으로 GCP 기하보정과 표적 식별/분류 및 좌표 획득의 정확성을 고도화하는 기술을 연구할 것이다.

References

[1] D. Lee and K. Yoon, "“Study for Improving Target Coordinate Acquisition Accuracy from Long Distance by VRS RTK”," Journal of the Korea Institute of Military Science and Technology, Vol. 21, No. 4, pp. 471–480, 2018.

[2] D. B. Barber, J. D. Redding, T. W. McLain, R. W. Beard and C. N. Taylor, "“Vision-based Target Geo-Location Using a Fixed-Wing Miniature Air Vehicle”," Journal of Intelligent and Robotic Systems, Vol. 47, No. 4, pp. 361–382, 2006.
crossref pdf
[3] D. Yang and S. Kim, "“A Study on the Improvement of Coordinate Accuracy for Geometric Correction Using Satellite and Avionics Image”," Journal of The Korea Society of Information Technology Policy & Management, Vol. 7, No. 6, pp. 59–66, 2015.

[4] H. Lee, . "“A Study of Ground Altitude Estimation of Video Image Center from UAV Using DTED”," KIMST Annual Conference Proceedings, pp. 456–457, 2014.

[5] X. Yang, . "“High Accuracy Active Stand-Off Target Geolocation Using UAV Platform”," IEEE International Conference on Signal, Information and Data Processing, pp. 1–4, Dec., 2019.
crossref
[6] J. Gu, T. Su, Q. Wang, X. Du and M. Guizani, "“Multiple Moving Targets Surveillance based on a Cooperative Network for Multi-UAV”," IEEE Communications Magazine, Vol. 56, No. 4, pp. 82–89, 2018.
crossref
[7] L. Zhang, F. Deng, J. Chen, Y. Bi, W. K. Phang, X. Chen and B. M. Chen, "“Vision-based Target Three-Dimensional Geolocation Using Unmanned Aerial Vehicles”," IEEE Transaction on Industrial Electronics, Vol. 65, No. 10, 2018.
crossref
[8] F. Zhang, T. Yang, Y. Bai, Y. Ning, Y. Li, J. Fan and D. Li, "“Online Ground Multitarget Geolocation based on 3-D Map Construction Using a UAV Platform”," IEEE Transaction on Geoscience and Remote Sensing, Vol. 60, pp. 1–17, 2022.
crossref
[9] B. Lin, L. Wu and Y. Niu, "“End-to-End Vision- based Cooperative Target Geo-Localization for Multiple Micro UAVs”," Journal of Intelligence and Robotic Systems, Vol. 106, No. 13, 2022.
crossref pdf
[10] G. Conte, . "“High Accuracy Ground Target Geo-Location Using Autonomous Micro Aerial Vehicle Platforms”," AIAA Guidance, Navigation and Control Conference and Exhibit, Aug., 2008.
crossref
[11] H. Park, J. Son, J. Shin, K. Kweon and T. Kim, "“Quality Analysis of GCP Chip Using Google Map”," Korean Journal of Remote Sensing, Vol. 35, No. 6-1, pp. 907–917, 2019.

[12] M. Shahbazi, G. Sohn, J. Théau and P. Menard, "“Development and Evaluation of a UAV-Photogrammetry System for Precise 3D Environmental Modeling”," Sensors, Vol. 15, No. 11, pp. 27493–27524, 2015.
crossref pmid pmc
[13] X. Liu, X. Lian, W. Yang, F. Wang, Y. Han and Y. Zhang, "“Accuracy Assessment of a UAV Direct Georeferencing Method and Impact of the Configuration of Ground Control Points”," Drones, Vol. 6, No. 2, 2022.
crossref
[14] E. Kim and H. Choi, "“Analysis of the Accuracy of Quaternion-based Spatial Resection based on the Layout of Control Points”," Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, Vol. 36, No. 4, pp. 255–262, 2018.

[15] K. Yu, S. Kim and E. Kim, "“Operability Improvement Method for Generating Target Coordinates of the Aerial Electro-Optical Equipment”," KIMST Annual Conference Proceedings, 2022.

[16] N. An, "“Line-of-Sight Angle Control of Optical Sensors for Forward Observation in Fixed-Wing UAVs”," KIMST Annual Conference Proceedings, 2022.

[17] J. Lee, K. Choi and I. Lee, "“Calibration of a UAV based Low Altitude Multi-Sensor Photogrammetric System”," Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, Vol. 30, No. 1, pp. 31–38, 2012.
crossref
[18] Geometric Correction, [Online]. Available: sar.kangwon.ac.kr/datap10/datap7_geocor.ppt. Access date:. March 6, 2023.

TOOLS
Share :
Facebook Twitter Linked In Google+ Line it
METRICS Graph View
  • 0 Crossref
  •    
  • 1,906 View
  • 33 Download
Related articles in J. KIMS Technol.


ABOUT
ARTICLE CATEGORY

Browse all articles >

BROWSE ARTICLES
FOR CONTRIBUTORS
Editorial Office
160 Bugyuseong-daero 488beon-gil, Yuseong-gu, Daejeon 34060, Korea
Tel: +82-42-823-4603    Fax: +82-42-823-4605    E-mail: kimst@kimst.or.kr                

Copyright © 2024 by The Korea Institute of Military Science and Technology.

Developed in M2PI

Close layer
prev next