2.1 무인기 기반 표적 위치 추정

일반적으로 무인기에서의 표적 위치 추정은 Fig. 1과 같이 벡터 합을 통해 수행한다^[2]. 원점에서 무인기로의 벡터 OU→ 와 무인기에서 표적으로의 벡터 UT→를 알 수 있으면 벡터 합을 통해 원점에서 표적으로의 벡터 OT→ 를 구하여 표적 위치를 계산할 수 있다.

Fig. 1.

Target localization in UAV

OU→ 는 무인기에 탑재된 위치 센서나 항법 장치로부터 계산되며, UT→ 는 광학 센서로 표적을 지향한 후 방향 및 크기를 추정하여 계산한다. 이때, OU→ 와 UT→를 얼마나 정밀하게 계산하느냐에 따라 표적 위치 정확도가 달라진다. 표적 위치 관점에서 무인기의 위치 오차 δ는 해당 오차만큼 표적 위치 오차를 발생시킨다. 반면, UT→ 의 방향각 오차 θ는 무인기와 표적 간 거리가 멀어질수록 표적 위치 오차를 증가시킨다^[4]. 따라서 적은량의 방향각 오차라고 하더라도 촬영 거리가 길면 매우 큰 표적 위치 오차를 발생시킨다. 또한, 표적 고도 h에 오차가 있는 경우 UT→ 의 크기도 부정확해지기 때문에 표적 위치 오차를 발생시킨다. 결과적으로 이러한 다양한 오차가 누적되면 최종 계산한 표적 위치 오차는 수백 미터까지 발생할 수 있다.

표적 위치 오차를 줄이기 위해 다양한 위치 추정 연구가 수행되었으며, 크게 하드웨어 기반과 비전(vision) 기반으로 나눌 수 있다. 하드웨어 기반 표적 위치 추정은 표적 위치 계산 시 오차를 줄이기 위해 표적과의 거리를 레이저 거리 측정기(LRF: Lager Range Finder)로 측정한다. 무인기 탑재 또는 지상 LRF를 활용한 몇몇 응용 연구가 수행되었다^[5,6]. 그러나 이러한 방법은 근거리에서는 비교적 정확한 거리를 측정할 수 있으나 수십 킬로미터(kilometer) 이상의 원거리에서는 상당한 오차를 발생시킬 수 있다. 또한, 거리를 측정하는 동안 임무장비(예, EO/IR)로 표적을 지향하고 있어야 하므로 타 임무를 위한 임무장비 운용이 제한되고, 레이저 발사 시 적이 감지 및 대응할 수 있다.

비전 기반 표적 위치 추정은 무인기에서 표적을 촬영한 영상을 가공/융합하여 표적 위치를 정밀하게 도출하는 방법이다. Zhang^[7]은 지면의 특징점을 반복 촬영하여 자세방위측정장치(AHRS: Attitude-Heading Reference System) 요각(yaw angle) 오차를 측정하고 이를 표적 좌표 보정에 활용하는 방법을 제안하였다. Zhang^[8]은 연속 촬영한 영상과 GPS 정보를 결합한 후 3차원 맵을 구성하여 표적의 위치를 보정 및 도출하는 프레임워크(framework)를 설계하였다. Lin^[9]은 복수 무인기가 촬영한 영상을 기반으로 이동 표적의 움직임을 칼만(Kalman) 필터로 추정하여 표적 위치 오차를 줄이는 방법을 제안하였다. 이러한 방법들은 촬영영상만으로 표적 좌표를 획득할 수 있다는 장점이 있으나 다수 영상 수집을 위해 상당한 무인기 운용을 필요로 하여 표적 좌표 획득을 위한 소요시간을 크게 늘릴 수 있다. 또한, GPS 보정 시스템(DGPS, RTK 등)을 활용할 수 없는 환경에서는 적용이 제한되며, 원거리 표적 좌표 추정 시에는 오차가 크게 증가할 수 있다.

Conte^[10]는 촬영영상과 위성영상을 영상 정합(image registration)하여 표적 위치를 추정하는 방법을 제안하였다. 전처리된 촬영영상을 위성영상의 여러 부분에 매칭(matching)하여 유사도가 높은 위치를 선정하고, 위성영상에서 표적이 위치한 부분의 좌표를 추출 및 획득한다. Conte는 표적과 무인기의 고도가 같다는 가정(flat world assumption)하에 촬영영상에 해당하는 초기 위성영상을 선정한다. 그러나 무인기와 표적의 고도가 크게 상이하거나 촬영지역의 고도차가 심하면 촬영영상과 위성영상의 촬영영역이 크게 달라지게 되어 정합에 실패할 가능성이 매우 높다. 또한, 본질적으로 영상 정합은 실패할 가능성이 항상 존재하며, 실패할 경우 사람이 개입하여 보정을 돕는 것이 어렵다.

2.2 GCP 기하보정 및 사진측량

GCP 기하보정은 전통적으로 위성 영상을 통해 지도를 제작하는 지도학 분야에서 널리 활용되어 왔다. 지도학에서는 GCP 기하보정 시 GCP 칩(chip)을 활용한다. GCP 칩은 미리 측위한 GCP가 포함된 영상 조각으로 전국에 수천 개가 고르게 배치되어 있다. 촬영한 위성 영상을 이러한 GCP 칩과 정합하여 기하보정을 수행하고 지도로 합성한다^[11]. 한편, 무인기에서 촬영한 항공 영상은 위성 영상 대비 촬영영역이 좁고 해상도가 떨어지기 때문에 위성 영상처럼 GCP 칩을 이용한 기하보정을 수행하는 것은 제한된다. 따라서, 무인기 사진측량(photogrammetry)과 같이 항공 영상에 GCP 기하보정을 이용하는 분야에서는 측량 대상 지역에 있는 지형/지물을 측위하여 GCP로 활용하거나 공중에서 식별하기 쉬운 물체를 측위한 지점 위에 올려 놓고 GCP로 사용한다^[12,13]. 이때, GCP 개수나 배치 형태 등에 따라 측량한 좌표의 정확도가 달라질 수 있으며, 이와 관련하여 몇몇 연구가 진행되었다.

Yang^[3]은 촬영지역에 수직, 대각선, 원형 형태로 배치한 4~11개 GCP를 활용하여 영상을 기하보정하고 좌표 오차를 분석하였다. 각 GCP별 측위한 좌표와 영상에서 계산한 좌표 간 오차를 구한 후 평균하여 영상의 좌표 보정치로 사용하였다. GCP 개수가 증가하고 균일하게 배치될수록 영상의 평균 좌표 오차 및 편차가 감소하였으며, GCP 배치가 한쪽에 편향되는 경우 오차가 늘어나는 경향을 보였다. Shahbazi^[12]는 3차원 지형 모델링에서 GCP 가시성 및 배치 위치에 따른 모델의 좌표 정확도를 분석하였다. 가로/세로 수백 미터 크기의 산악 지역에 GCP 3개를 균등하게 또는 편중하여 배치하거나 무인기 선회지역에 배치하는 등 다양하게 배치하여 좌표 오차를 측정하였다. 무인기에서 GCP의 시야가 충분히 확보되지 않거나 GCP 를 한 곳에 편향되게 배치하는 경우 오차가 증가함을 보여주었다. Liu^[13]는 SFM(Struct to Motion) 기반 사진측량에서 GCP 최적 개수 및 배치에 대한 분석을 수행하였다. 영상을 융합하여 정사영상 지도 및 고도 정보를 생성한 후 평균 좌표 오차를 측정하였다. 영상의 중앙에 GCP가 없는 경우 돔 현상(dome effect)으로 오차의 분포가 편향되고 오차가 증가하였다. 단위 킬로미터당 GCP 개수를 증가시킬 때 2개까지 오차가 급격하게 감소하였으며, 12개 이상부터는 크게 변화가 없었다. 또한, 영상 내 좌표 계산 지점이 GCP에서 멀어질수록 오차가 증가하는 경향을 보였다.

무인기 기반 사진측량은 궁극적으로 특정 지역 전체를 측량하여 3차원 모델 또는 지도를 생성하는 것을 목표로 한다. 따라서 측량 전 사전 답사를 통해 GCP를 확보해야 하며, 측량 지역에 대한 다수의 영상을 촬영한 후 복잡한 후처리 과정을 거쳐야 좌표를 추출할 수 있는 결과물을 얻을 수 있다. 이러한 측량 기술은 군용 무인 항공 시스템과 같이 사전 답사가 어려운 지역에 대해 단일 영상으로부터 표적에 대한 좌표만을 즉각 확보해야 하는 시스템에는 적용하기 어렵다. 그러므로 군용 무인 항공 시스템에 즉시 적용할 수 있는 표적 획득 기술 연구 및 실증이 필요하다.

2.3 연구의 차별성 및 기여

기존의 위치 추정 기술과 다르게 본 논문의 표적 좌표 획득 기술은 별도의 하드웨어 장비없이 단일 영상에서 참조영상 DB(예, CIB 위성영상 DB)를 활용한 GCP 보정으로 정확도 높은 표적 좌표를 획득하는 것이 가능하다. 또한, 지형 고도 정보를 기반으로 촬영영역 계산 오차를 최소화하여 촬영영상과 초기 참조영상의 공간적 일치성을 높이며, 운용자가 개입하여 참조영상을 조정 및 탐색할 수 있도록 하여 공간적 보정이 가능하도록 한다. 기존에 사진측량 분야에서 GCP 기하보정에 대한 성능/분석 연구가 수행되었다. 본 논문은 GCP 기하보정 자체에 대한 연구 보다는 이를 활용하여 군용 무인 항공 시스템에 적용할 수 있는 표적 좌표 획득 절차의 설계 및 검증에 초점을 맞춘다. 또한, 기존 연구와 다르게 GCP 좌표를 측위하지 않고 참조 영상과 비교하여 확보함으로써 표적 좌표 획득을 위한 비용 및 시간을 최소화한다. 본 논문이 기여한 부분은 다음과 같다.

3.1 센서 모델링

표적의 계산 좌표와 센서 촬영영역을 구하기 위해 센서 모델링을 수행한다. 공선 조건을 가정하였으며, Fig. 3(a)와 같이 영상 좌표계에서 월드(world) 좌표계로 변환하는 일반적인 과정을 모델링한다^[14].

Fig. 3.

Coordinate transformation in sensor modeling

영상 좌표 (u, v)에서 필름(film) 좌표 (x_f, y_f)로의 변환은 다음 식을 통해 수행한다.

영상 및 필름 좌표계는 Fig 3(b)와 같이 구성한다. PX_x와 PX_y는 영상 픽셀의 물리적인 가로 및 세로 크기이고, PD_x와 PD_y는 필름 평면 좌측상단에서 센서 주점(principle point)까지의 거리이다. 영상 좌표는 픽셀 인덱스(index)이다. 픽셀 인덱스에 픽셀의 물리적인 크기를 곱하면 필름 평면에서 해당 픽셀에 해당하는 위치를 얻을 수 있고, 여기에 주점의 거리를 빼면 필름 좌표를 구할 수 있다. 필름 좌표에서 센서 좌표로의 변환 관계는 센서 초점거리 f와 비례식을 통해 모델링한다. Fig. 3(c)는 광학 센서 위쪽에서 본 센서의 추상화된 단면도이다. 센서 렌즈를 기준으로 위쪽 점선 삼각형과 아래쪽 점선 삼각형은 닮은꼴이다. 따라서 비례식에 의해 다음 식을 정의할 수 있다.

x_s와 y_s는 z_s에 의존적이다. z_s는 센서가 바라보는 방향에 대한 좌표축 값으로 3차원 지리 데이터가 2차원 영상으로 투영(projection)되면서 사라진 정보이며, 추정해야할 값이다. 일반적으로 지구는 지구중심고정(ECEF: Earth-Centered Earth-Fixed) 월드 좌표계 기준 3차원 타원체(WGS84: World Geodetic System 1984)로 모델링된다. 따라서 지면의 각 지점 좌표(x_w, y_w, z_w)는 다음의 타원면 식을 만족한다.

여기서 a, b, c는 WGS84에 정의된 상수이다. 공선 조건을 가정하므로 Fig. 3(c)에서 필름 평면의 한 점은 렌즈를 지나 일직선상에 있는 대응되는 지면의 한 지점을 가진다. 필름 평면의 한 점에서 지면의 한 점으로 향하는 월드 좌표계 기준 방향 벡터를 [α, β, γ]^T라고 할 때, 해당 벡터는 렌즈 위치 벡터에서 필름 평면 점의 위치 벡터를 빼서 구한다^[15]. 렌즈 위치 벡터는 센서 위치 좌표 (xws,yws,zws)로부터 정의되며, 필름 평면 점의 위치 벡터는 센서 좌표 및 자세/성능 정보와 좌표계 간의 회전 관계를 이용하여 계산할 수 있다^[16]. 센서 좌표와 방향 벡터가 주어지면 필름 평면의 한 점과 지면의 한 점을 잇는 직선을 다음 식으로 정의할 수 있다.

식 (4)를 식 (3)에 대입하여 전개하면 직선과 타원면이 만나는 두 점을 얻을 수 있다. 두 점 중 센서와 가까운 점으로부터 센서까지의 거리 d를 계산한다. d와 θ가 정해지면 z_s는 다음 식을 통해 구한다.

센서 좌표가 정해졌을 때, 월드 좌표로의 변환은 다음 식을 통해 수행한다.

R은 센서 자세 정보(roll, pitch, yaw)를 기반으로 센서 좌표계를 월드 좌표계와 일치시키는 회전행렬이다^[17]. R을 센서 좌표계 벡터 [x_s, y_s, z_s]^T에 곱하면 월드 좌표계 벡터를 얻을 수 있다. 이 벡터는 앞서 2.1절 Fig. 1에서 설명한 UT→ 와 같다. 또한, 센서(렌 즈)위치 벡터 [xws,yws,zws]는 OU→ 와 같다. 따라서, 이 두 벡터를 합하면 월드 좌표를 얻을 수 있다. 본 절의 센서 모델링에서 영상 좌표로부터 월드 좌표를 도출하기 위해 입력해야 하는 주요 정보를 정리하면 다음과 같다.

3.2 촬영영역 계산

촬영영상에 대응하는 참조영상을 도시하기 위해 촬영영역 정보를 활용한다. 촬영영역은 영상에 해당하는 실제 지리적인 촬영 위치를 의미하며, 영상의 4개 코너(corner) 픽셀에 해당하는 좌표(4-코너 좌표)로 구성한다. 4-코너 좌표는 3.1절 좌표 변환 과정을 통해 계산한다. 촬영영역을 구성하는 4-코너 좌표가 실제 위치와 크게 다를 경우 해당 위치를 기반으로 도시한 참조영상이 다른 지역 영상이 되어 운용자가 참조영상을 재조정(예, 참조영상 지도를 드래그하여 관련 영역 이동) 및 비교하는 시간이 추가로 발생할 수 있다. 본 논문에서는 지형 고도 정보를 기반으로 계산된 촬영영역 4-코너 좌표의 오차를 최소화하여 운용자의 조작 오버헤드(overhead)를 최소화한다. 예를 들어, 촬영영역이 두 개 좌표로 구성된다고 가정할 때, Fig. 4와 같이 지표면 상의 촬영영역은 P1과 P2로 구성될 수 있다. 그러나 이는 촬영 환경에 따라 실 촬영영역과 차이가 날 수 있으므로 센서의 최대 촬영 한계선이 고도값과 만나는 지점 H1, H2에 해당하는 좌표 P1’과 P2’로 촬영영역을 구성할 수 있다.

Fig. 4.

An example of estimating shooting areas using terrain elevation data

3.3 영상 비교 및 GCP 기반 표적 좌표 획득

촬영영역 4-코너 좌표에 해당하는 참조영상을 검색하여 촬영영상과 동시 도시한다. 두 영상에서 동일한 부분으로 식별되는 지점을 선택한다. 예를 들어, Fig. 5과 같이 GCP #1~3과 GCP #1’~3’는 두 영상에서 같은 부분으로 식별하여 선택한 3개 GCP이다.

Fig. 5.

An example of GCP and target selection

촬영영상의 픽셀 좌표를 X, Y로 하고 참조영상의 지리 좌표를 x, y라고 할 때, Fig. 5의 예와 같이 3개 GCP를 설정하는 경우 다음과 같이 관계식이 구성된다.

지리 좌표 x를 결정하는데 필요한 변수는 촬영영상의 픽셀 좌표 X, Y이며, 상수 a, b, c은 두 영상 간의 관계를 의미한다. 상수 a, b, c는 앞서 설정한 GCP로 구성한 3개 다항식으로 계산한다. 같은 방법으로 상수 a′, b′, c′도 계산한다. 각 상수 계산을 완료하면 촬영영상의 각 픽셀 좌표를 지리 좌표로 치환하는 변환 관계식 구성이 완료된다. 그 후 Fig. 5과 같이 촬영영상에서 표적으로 식별된 부분을 선택하면 해당 픽셀 좌표가 관계식 (7)에 입력되고, 지리 좌표 x, y를 얻을 수 있다. 이렇게 획득한 표적 좌표는 C4I 체계나 타 체계로 전송된다. GCP는 3개 이상 설정해야 하며, 설정 개수에 따라 Table 1과 같이 관계식 구성이 달라진다^[18]. GCP를 3개 이상 식별하기 어려운 경우 동일 지점에 픽셀을 다르게 하여 여러 개 GCP를 설정할 수도 있다. 표적 주변의 지형 변화나 왜곡이 심한 경우에는 GCP 개수를 늘려 관계식의 차수를 높이는 것이 지리 좌표의 오차를 줄이는데 유리할 수 있다^[18].

Table 1.

Relational expression according to the number of GCPs

4.1 표적 좌표 획득 시스템 구현

본 논문에서 구현한 표적 좌표 획득 시스템은 Fig. 6과 같다. 촬영영상을 좌측에 도시하고 계산한 4-코너 좌표를 기반으로 참조영상을 검색하여 우측에 도시한다. 두 영상을 비교하여 GCP를 설정하면 하단 표에 좌측 영상의 픽셀 좌표 X, Y와 참조영상에서 대응되는 지점의 지리 좌표(위경도)가 한 행으로 추가된다. 본 예제에서는 GCP를 3개 설정하였다. GCP 설정 완료 후 촬영영상에서 표적을 클릭하면 표적 심볼(초록색 십자 심볼)이 표시되고 참조영상 내에는 보정 전/후 표적 심볼(각각 초록색, 노란색 십자 심볼)이 도시된다. 또한, 하단에 표적의 보정 전/후 좌표와 보정된 거리(직선, 진북 기준 수평/수직 거리)가 계산되어 도시된다. 본 예제에서는 직선거리 기준 약 48 m의 오차가 보정되었다. GCP 및 표적 설정 간 운용자의 편의성 향상을 위해 추가적으로 고려하여 구현한 사항은 다음과 같다.

Fig. 6.

A target acquisition system implemented in a UAS

다양한 무인 항공 시스템에 본 논문의 표적 좌표 획득 기술을 적용하는 경우 위에 기술된 기능의 추가적인 구현이 고려될 수 있다.

4.2 시험 및 정확도 분석

임의의 표적들을 사전에 정밀하게 측위하였다. 무인기를 일정 고도로 유지하고, 무인기와 표적 간 경사거리(slant range)를 조절하면서 탑재 EO/IR 및 SAR 센서로 표적을 촬영하였다. 본 시험에서는 비교적 단거리인 20 km 내 표적은 EO/IR로 촬영을 하고, 장거리인 20 km 이상은 SAR로 촬영을 수행하였다. 참조영상은 정사보정이 되어 있는 50 cm급 정밀 위성영상이 사용되었다. 2.2절 GCP 기하보정 관련 기존 연구 결과에 따르면 GCP 3개만으로도 충분히 정확한 좌표를 얻을 수 있고, 영상 내 좌표 계산 지점이 GCP와 가까워야 좌표 오차가 감소한다^[12,13]. 따라서 이러한 점을 고려하여 본 시험에서는 표적에 가까운 지점 3개가 삼각형을 이루도록 GCP를 설정한다. 무인기 및 센서 위치는 관성항법장치와 GPS 정보로 결정되며, GPS 보정 시스템(예, DGPS 또는 RTK)은 사용하지 않았다. 계산 좌표를 구하기 위한 센서 성능 정보는 미리 확보하였고, 실시간 자세 정보는 센서가 측정한 값을 그대로 사용하였다. 본 시험에서는 표적을 평지에 배치하였고, 표적 주위의 지형은 논과 산이 비슷한 비율로 섞여 구성되어 있다.

Fig. 7은 EO/IR 영상 내 표적에 대해 계산 좌표와 GCP 기하보정으로 획득한 좌표를 각각 측위한 좌표와 비교하고 오차를 도출한 결과이다. EO와 IR 영상의 계산 좌표 평균 오차는 각각 41.1 m, 37.8 m가 발생하였다. 또한, 경사거리가 멀어질수록 계산 좌표 오차가 크게 증가하는 것을 확인할 수 있다. 기본적으로 계산 좌표 오차는 센서 위치 정보와 센서와 표적 간의 거리 정보 오차에 의해 발생한다. 이에 더하여 경사거리가 멀어지면 센서 자세(roll, pitch, yaw) 측정 오차가 계산 좌표 오차에 미치는 영향성이 커지게 되어 오차를 증가시킨다. 또한, 촬영거리가 멀어지고 촬영 각도가 지면과 평행에 가까워질수록 영상 왜곡 및 공선 조건 위배 정도가 증가하여 영상 내 상대적인 표적 위치와 실제 위치가 크게 어긋날 수 있다. 이는 영상에서 표적이 있는 지점을 선택할 때 부정확한 지점을 선택하게 하여 계산 좌표 오차를 증가시킨다. 실 무인기 운용 환경에서 무인기는 적 지역 정찰이나 타격 지원 등의 임무를 수행하며, 이를 위해 수십 킬로미터 이상의 표적을 긴 사선으로 촬영하는 경우가 빈번하다. 따라서 계산 좌표를 그대로 사용하는 경우 부정확한 위치 정보로 인해 작전의 효과가 크게 떨어질 수 있다.

Fig. 7.

Errors of target coordinates according to slant ranges in EO/IR images

GCP 기하보정으로 획득한 좌표의 경우 EO와 IR 영상의 각각 평균 오차는 2 m, 2.6 m이다. 경사거리가 증가할수록 오차가 소폭 증가한다. 이는 원거리를 촬영한 영상일수록 화질 감소나 왜곡 증가로 GCP 및 표적 선택 시 정밀도가 떨어지기 때문에 발생한 결과이다. 30 km 이상부터 IR 영상의 오차가 EO 보다 조금씩 높아진다. 본 시험에서 활용한 EO/IR 장비에서는 거리가 멀어질수록 IR 영상의 왜곡이 EO 보다 더욱 심해지기 때문에 발생한 결과이다. 그럼에도 불구하고 EO/IR 영상의 전반적인 좌표 오차는 수 미터 이내 수준으로 유지되는 것을 확인할 수 있고, 타격 작전 등 실 작전에 사용할 수 있을 정도로 정확도가 높음을 확인할 수 있다.

Fig. 8은 SAR 영상 내 표적에 대해 계산 좌표와 GCP 기하보정 기반 좌표를 측위 좌표와 비교한 결과이다. SAR 영상의 시험은 지형 고도 정보를 활용한 촬영영역 계산 기능을 미구현한 상태(고도값 0로 가정)에서 진행하였으며, 왜곡을 최소화하기 위해 정사보정을 수행한 영상에서 표적 좌표 획득을 수행하였다. 20~50 km 경사거리 영상에서 계산한 표적 좌표의 평균 오차는 17.5 m이다. 반면, GCP 기하보정으로 획득한 좌표는 평균 약 1.96 m로 계산 좌표 대비 오차가 상당히 감소하였음을 보여준다. 또한, EO/IR 영상과 같이 경사거리가 증가할수록 화질 및 왜곡의 영향으로 계산 및 GCP 기반 좌표의 오차가 증가하는 것을 확인할 수 있다.

Fig. 8.

Errors of target coordinates according to slant ranges in SAR images