J. KIMS Technol Search

CLOSE


J. KIMS Technol > Volume 25(1); 2022 > Article
잠수함 위치 추정을 위한 베이지안 최적화 기반의 온라인 소노부이 배치 기법

Abstracts

Maritime patrol aircraft is an efficient solution for detecting submarines at sea. The aircraft can only detect submarines by sonobuoy, but the number of buoy is limited. In this paper, we present the online sonobuoy deployment method for estimating the location of submarines. We use Gaussian process regression to estimate the submarine existence probability map, and Bayesian optimization to decide the next best position of sonobuoy. Further, we show the performance of the proposed method by simulation.

서 론

대잠초계기(maritime patrol aircraft)는 수중에서 은밀하게 활동하는 잠수함을 탐지하고 공격하는 대잠전을 수행하기 위한 효과적인 수단 중 하나이다. 대잠초계기의 경우 작전 중 적 잠수함의 공격을 받을 위험이 없으며, 고속 기동이 가능하기에 빠른 속도로 넓은 영역의 감시가 가능하다.
대잠초계기는 수중에서 활동하는 잠수함을 탐지하기위해 소노부이를 사용한다[1]. 소노부이는 수동소나 또는 능동소나를 탑재한 부이 형태의 센서로, 대잠초계기로부터 공중에서 투하되어 투하지점의 음향신호를 수집한다. 소노부이는 잠수함을 탐지하기 위한 매우 효과적인 수단이나, 대잠초계기에 탑재 가능한 소노부이의 수량은 제한적이다[1]. 더불어 배치 위치에 따라 잠수함의 탐지 성공률이 달라진다[24]. 따라서 배치 위치의 결정은 대잠초계기가 잠수함의 위치를 결정하는 문제에서 매우 중요한 요소이다.
대잠초계기는 제한된 수량의 소노부이 센서를 순차적으로 투하하여 잠수함의 위치를 추정한다. 매 투하마다 현재까지 투하된 센서를 통해 수집한 정보를 바탕으로 다음 센서 위치를 결정해야 한다. 이때, 현재까지 수집된 정보를 바탕으로 추정한 잠수함의 위치를 보다 정밀하게 추정할 수 있는 위치에 투하하거나, 아직 센서 정보가 충분하지 못해 잠수함의 존재 여부가 불확실한 영역에 투하하는 선택을 해야 한다. 이는 탐사-탐색 균형 문제(exploration-exploit trade off problem)로 볼 수 있다[5,6].
기존의 연구는 작전 영역에서 잠수함의 탐지 확률을 높이기 위해 주어진 센서를 최대한 활용하는 방법을 중심으로 연구가 진행되었다[24]. S. Kim. et. al.[3]은 한반도 주변 수중 음향 데이터베이스를 바탕으로 주어진 구역 안에서 잠수함의 탐지 확률을 2차원 공간상에 표현하는 탐지 확률 지도 제작 방식을 제안하였다. 더불어 주어진 탐지 확률 지도를 바탕으로 VFA PSO 알고리즘을 사용하여 구역 내 탐지 확률을 극대화하기 위한 오프라인 기반 수동 소나 배치 기법을 제안하였다.
C. Kim. et. al.[2]은 멀티 스태틱 탐지 기술을 활용하여 소노부이와 대잠 헬기의 효과적인 배치 기법에 관해 연구하였다. 소실된 잠수함의 위치 정보와 해양환경 정보를 바탕으로 탐지 정확도 필드를 생성하고, 생성된 필드 안에서 잠수함의 탐지 확률을 최대화하기 위하여 멀티 스태틱 능력을 갖춘 탐지 플랫폼들의 효과적인 배치 기법을 제안하였다.
소나 센서 배치와 관련된 이전의 연구들은 대부분 사전에 측정된 해양환경 정보를 통해 작전 영역의 각 지점에서 잠수함의 탐지 확률을 추정한 탐지 확률 지도를 생성한다. 이후 생성된 탐지 확률 지도를 바탕으로 잠수함 탐지 확률이 높아지도록 모든 센서의 위치를 결정하는 방법을 주로 연구하였다.[2,3,4] 즉 탐사와 탐색에서 잠수함의 정확한 위치 추정보다는 작전 영역의 불확실성을 제거하는 탐사에 초점을 두고 연구가 이루어졌다.
본 논문에서는 기존 논문과는 다른 접근방식의 소노부이 배치 전략을 제안한다. 먼저 소나 방정식과 선행 연구를 바탕으로 작전구역 내 임의 위치에서의 잠수함 존재 확률은 공간적 상관관계(spatial correlation)가 있으며, 이를 확률 밀도 함수의 형태로 표현할 수 있다고 가정한다. 이 확률 밀도함수를 가우시안 과정 회귀(Gaussian Process Regression: GPR)[7]를 이용하여 모형화 하여 존재 확률의 신뢰 지도(Belief map)를 생성한다. 대잠초계기는 순차적으로 소노부이를 투하하여 관측데이터를 수집함으로써 신뢰 지도를 점차 구체화한다. 이 과정에서 GPR의 특성을 이용하여 이전에 투하된 소노부이로부터 측정된 데이터를 바탕으로 존재 확률 밀도 함수를 추정함과 동시에 추정의 불확실성을 함께 얻을 수 있다. 우리는 이 정보를 바탕으로 잠수함의 위치를 추정하기 위한 최선의 소노부이 투하 위치를 결정하는 베이지안 최적화[8] 기반의 온라인 알고리즘을 제안한다. Fig. 1은 제안하는 기법의 개념도이다. 제안한 기법은 매 투하 시 마다 학습된 존재 확률 지도를 바탕으로 최선의 소노부이 배치 위치를 추정한다. 또한 매 투하시마다 직전까지의 투하 정보를 바탕으로 존재 확률 지도를 학습을 통해 최신화 한다.
논문의 구성은 다음과 같다. 먼저 2장에서는 대잠초계기의 소노부이 투하 문제의 정의와 가정에 관해 서술하고, 혼합 가우시안 모델(gaussian mixture model)기반의 잠수함 존재 확률 지도에 대해 논한다. 3장에서는 순차 투하 과정의 모델링과 이를 해결하기 위한 베이지안 최적화 기반의 소노부이 투하 기법을 제시한다. 4장에서는 제시한 알고리즘의 성능을 검증하기 위하여 박스형, 선형 및 무작위 방식의 소노부이 기법과 제안한 베이지안 기반의 배치 기법의 성능을 비교하였다. 마지막 5장에서는 결론 및 향후 연구 계획을 서술한다.
Fig. 1.
Concept of the sonobuoy deployment method for tracking an unknown submarine. blue-dot: deployed sonobuoy. orange-dot: next-best-position
kimst-25-1-72f1.jpg

문제의 가정과 모형화

2.1 대잠초계기의의 잠수함 위치 추정 시나리오

작전구역 안에서 미확인 잠수함이 활동 중이며, 우군 대잠초계기는 미확인 잠수함의 위치를 찾고자 한다. 대잠초계기는 다수의 소노부이를 작전구역 내에 순차적으로 투하하여 수중에 존재하는 잠수함의 존재 확률을 확인한다. 이때 탑재된 소노부이의 수량은 제한되어 있으므로, 매 투하마다 최적의 소노부이 투하 위치를 결정하여야 한다.

2.2 가정

• 가정 1: 임의 지점에서 잠수함의 존재 여부는 확률변수로 표현 가능하며, 확률의 값은 공간 연속성을 가진다[9]. 위 가정의 타탕함을 소나방정식을 통해 확인하고자 한다. 소노부이는 음파를 이용하여 수중의 물체를 탐지한다. 잠수함의 음향신호만을 수신하는 수동 소노부이(Passive sonobuoy)는 다음의 소나 방정식으로부터 잠수함의 존재 여부를 추정한다.
(1)
FOM+SLNL+DIDT
(2)
SE(FM,r,zr|zs)=FMTL(r,zr|zs)
이때 FOM(Figure Of Merit)은 성능지수, SL(Source Level)은 음원 준위, NL(Noise Level)은 배경 소음 준위, DI(Directivity Index of array)는 배열 이득에 의한 지향지수, TL(Transmission Loss)은 전달손실, DT(Detection Threshold)은 탐지 문턱, SE(Signal Exceed)는 신호 초과이득을 말한다. 식 (2)의 TL 값을 결정하는 매개변수인 r, zr, zs는 각각 수신기와 송신기 사이의 거리, 수신기의 깊이, 송신기의 깊이를 나타낸다. 위 식을 바탕으로 잠수함의 존재 확률은 다음과 같이 모형화할 수 있다[9].
(3)
PD(SE)=12πσSEexp[x22σ2]dx
위 식에서 적분함수는 전 구간에서 양의 값을 가지며, SE의 값에 따라 적분의 구간이 변화한다. 따라서, 위 식 (3)을 통해 특정 지점에서 잠수함이 존재할 확률은 SE 값이 클수록 높아지며, SE의 크기는 위 식 (2)에서 거리가 증가하면 함께 증가하는 전달손실에 따라 감소한다. 이를 통해 잠수함의 존재 확률은 공간 상관성이 있음을 확인할 수 있다. 이와 더불어 앞서 언급한 선행 연구에서 실제 데이터를 기반으로 제작한 존재 확률 지도 역시 공간 상관성이 있음을 알 수 있다[24].
• 가정 2: 센서의 오차, 기타 등의 이유로 작전구역 내 다수의 허위 표적이 존재한다. 수중에서 음파의 이동은 수온, 수괴 등 다양한 해양환경 요소에 따라 변화한다. 더불어, 해상에서 이동 중인 일반 선박, 해양 생물들로 인해 다수의 허위 표적이 존재한다. 따라서 위 가정 1에도 불구하고 실제 환경에서의 존재 확률분포는 복잡한 형태로 나타난다.
• 가정 3: 관측 과정에서 잠수함의 기동력은 무시한다. 디젤기관을 사용하는 재래식 잠수함의 일반적인 순항 속력은 10 kts 내외로, 평균 300~400 kts로 기동하는 대잠초계기보다 상대적으로 매우 느린 속도로 기동한다. 더불어 소노부이 투하 신호등으로 대잠초계기의 활동이 감지되는 경우 방사 소음을 통제하기 위해 고속 기동이 제한된다. 따라서 본 논문에서는 잠수함의 기동 능력은 고려하지 않는다.
• 가정 4: 작전 영역의 해양환경 정보(수온, 음속 등)는 사전정보로 가지고 있다. 현재 다양한 형태로 해양환경 정보를 데이터베이스 형태로 가지고 있으며, 실제 작전에서도 수온 측정 부표 등을 통하여 해양환경 정보의 측정이 가능하다.

2.3 POMDP 모형화

대잠초계기는 잠수함의 위치를 추정하기 위해 소노부이를 순차적으로 해상에 투하한다. 이때 소노부이의 탐지범위와 수량은 제한적이므로 획득하는 작전 영역의 정보는 부분적이다. 이와 더불어 소노부이를 통해수집한 정보의 질은 소노부이의 투하 위치에 따라 달라진다. 따라서 매 투하마다 이전까지 획득한 정보를 최대한 활용하여 최선의 위치를 결정하여햐 한다.
이 문제는 매시간 부분적인 관측정보를 바탕으로 현재 상태를 파악하고, 최선의 보상을 받기 위한 행동을 선택하는 POMDP(Partially Observed Markov Decision Process, 부분 관측 마르코프 결정 과정)[10]로 표현할 수 있다. Fig. 2는 소노부이 투하 문제를 POMDP로 모형화한 결과이다.
Fig. 2.
Sequence diagram of to find submarine using sonobuoys
kimst-25-1-72f2.jpg
POMDP의 흐름은 다음과 같다. 먼저, 2차원 공간 위의 작전 영역 XoR2에서 임의의 위치를 xXo, 해당 위치에서의 잠수함의 존재 확률을 yR1, 실제 잠수함의 위치를 xs, X0 공간 내 임의 지점의 잠수함 존재 확률을 근사하는 신뢰 함수를 f(x)로 각각 정의한다. 매시간 t마다 직전 t-1까지 수집된 관측정보를 사용하여 f(x)t-1 추정한다. 이후 추정한 f(x)t-1를 바탕으로 최선 소노부이의 투하 위치(관측 위치) xt를 결정한다. 결정된 위치에 소노부이를 투하하여 잠수함 존재 확률 관측값 yt를 획득한다. 투하 위치와 관측값은 x1:ty1:t에 각각 기록되며, 두 값을 통해 f(x)t를 갱신한다. 갱신된 f(x)t를 통해 현재까지의 데이터를 바탕으로 추정한 잠수함의 위치 x^ts와 다음 yt+1의 소노부이 투하 위치인 을 결정한다.

대잠초계기의 소노부이 투하 위치 결정 기법

본 장에서는 앞서 POMDP로 모형화한 문제를 해결하기 위한 소노부이 투하 위치 결정 기법을 제안한다. 제안하는 기법은 크게 POMDP기반의 위치 투하 알고리즘과, GPR을 이용한 잠수함 탐지 확률 근사함수, 최적 위치 결정을 위한 베이지안 최적화 기법으로 구성된다. 각각의 구성 요소에 대한 설명은 다음과 같다.

3.1 소노부이 투하 위치 결정 알고리즘

Algorithm 1은 제시한 POMDP 문제를 해결하기 위한 알고리즘으로 베이지안 최적화 과정을 기반으로 구현하였다. 본 논문에서는 GPR을 이용하여 신뢰 함수 f(x)를 근사하였으므로, f(x)를 초기화하기 위한 초기 데이터가 필요하다. 줄 번호 5~7번은 함수 f(x)를 초기화하기 위한 데이터를 수집하는 과정으로, 작전 영역 내 임의 지점을 선정하여 소노부이를 투하하고 관측값을 수집한다. 신뢰 지도 생성을 위한 신뢰 함수 f(x)의 근사 과정은 3.2절에서 보다 자세하게 설명한다.
초기화 데이터수집을 통해 함수 f(x)의 초기화가 완료되면, 이후부터는 줄 번호 8과 같이 획득 함수(acquisition function) fa(x)를 이용하여 다음 투하 위치를 결정한다[8]. 획득함수는 POMDP에서 보상(Reward)[10]과 같은 개념으로, 현재까지 수집한 관측 정보를 바탕으로 작전 영역의 모든 지점에서 다음 관측을 수행할 경우 예상되는 관측의 가치를 표현한다. 따라서 획득함수를 어떻게 정의하는가에 따라 추론의 정확도와 추론에 소요되는 시간이 변화한다. 이를 위한 베이지안 추론 과정 및 획득함수에 대해서는 3.3절에서 설명한다.
Algorithm 1: Next best sonobuoy position algorithm
kimst-25-1-72f6.jpg
투하 위치가 결정되면 줄 번호 10부터 11과 같이 소노부이를 투하하고 관측값을 획득하여 이를 기록한다. 줄 번호 12는 기록된 값을 바탕으로 함수 c를 업데이트하는 과정을 표현한다. 줄 번호 13은 함수 f(x)를 바탕으로 잠수함의 위치를 추정하는 과정이다. fs(x)가 잠수함의 존재 확률을 근사하는 함수이므로, fa(x)이 가장 큰 좌표를 잠수함의 위치로 추정한다.

3.2 GPR를 이용한 존재 확률 함수의 근사

Gaussian Process(GP)[7]는 랜덤 변수의 집합으로, 결합 가우시안 분포를 가지는 무한 수의 집합이다. 이를 바탕으로 한 임의 함수 fs(x) 분포는 아래와 같이 표현할 수 있다.
(4)
f(x)~GP(m(x),κ(x,x'))
(5)
m(x)=E[f(x)]
(6)
κ(x,x')=E[(f(x)m(x))(f(x')m(x'))]
여기서 평균 함수 m(x)는 추정하고자 하는 목표함수 f(x)의 사전 기대함수이다. 이 기대함수는 일반적으로 사전정보가 없으면 m(x)=0으로 설정한다. 커널 함수 k(x, x')는 각 데이터 간의 유사성을 측정하기 위한 용도로 사용된다. 본 논문에서는 커널 함수로 Radial-basis 함수(RBF)의 변형인 Matern 3/2 커널[7]을 사용하였으며, 함수의 형태는 아래의 식과 같다.
(7)
1Γ(ν)2ν1(2νld(x,x'))νKν(2νld(x,x'))
위 식에서 d(·,·)은 유클리디언 거리, Kν(·)은 변형 베셀 함수, Γ(·)는 감마 함수를 의미한다. ν는 함수의 매끄러움(Smooth) 정도를 결정하는 변수로 값이 클수록 함수의 형태가 더 매끄럽다. l은 거리의 가중치를 결정하는 변수로, 함수의 값이 얼마나 빨리 변하는지를 표현한다.
위 식을 통해 추론하고자 하는 목표 함수 f(x)는 다음과 같다.
(8)
yi=f(xi)+ε
이때 ϵ는 출력값의 잡음으로 ϵ~N(0, σn2)의 분포를 따른다.
GPR[7]은 GP를 사전분포로 활용하는 회귀 기법이다. 목적 함수를 GPR를 이용하여 회귀할 경우, 테스트 지점의 예측값은 수집된 학습데이터(X, y)를 바탕으로 출력 함수의 조건부 확률을 통해 추론한다. GPR을 이용하여 도출한 목표 함수의 평균과 분산은 다음과 같다.
(9)
m(x)=KT(σn2I+K)1y
(10)
V(x)=kKT(σn2I+K)1K
위 식에서 K는 공분산 행렬로 앞서 식 (6)에서 정의한 커널 함수를 이용하여 모든 관측 지점 간의 상호 거리를 계산한 행렬이고, K*는 커널 함수를 이용한 공분산 행렬 K(X, x*)로 학습데이터의 전체 관측지점과 테스트 관측지점과의 점간 거리를 표현한 행렬, k**는 테스트 데이터의 공분산 행렬 k**(x*, x*)이다.

3.3 베이지안 최적화를 이용한 소노부이 위치 결정

베이지안 최적화(Bayesian optimization)는 최적화 문제(optimization problem)에서 최적값의 탐색을 위한 표본추출(sampling) 기법으로 기계학습의 초 매개변수 최적화 등 다양한 영역에서 사용되는 방법이다[8]. 본 논문에서는 소노부이 위치 결정을 위해 베이지안 최적화 기법을 사용하였다. 앞서 GPR로 근사한 f(x)에서 잠수함의 존재 확률이 가장 높은 지점은 찾고자 하는 최적위치이며, 소노부이 투하지점은 관측을 위한 표본 추출지점으로 대응된다.
GPR을 통해서 우리는 작전 영역의 모든 지점에 대해 평균 μ(x)와 표준 편차 σ(x)을 얻을 수 있다. 여기서 μ(x)는 지점 x에서 잠수함 존재 확률의 기댓값이며, σ(x)는 기댓값의 불확실성이다. 우리는 위 두 값을 사용하여 정확한 잠수함 위치 추정을 위한 소노부이의 투하 위치를 획득 함수(acquisition function) fa(x)통해 결정하였다.
위치 결정 시 μ(x)만을 사용하여 현재까지 수집한 정보를 바탕으로 추론한 예상 최적점에 투하할 경우 표적의 탐색에 집중하게 되어 최적점의 위치를 보다 정밀하게 추정할 수 있다. 그러나, 전체 작전 영역에 대한 불확실성은 그대로이기 때문에 현재 추론한 최적점이 허위표적일 경우 잘못된 표적을 추적하게 된다.
반대로 σ(x) 만을 사용하게 되면, 현재까지 수집된 정보를 바탕으로 추론한 함수 f(x)에서 가장 불확실한 영역에 소노부이를 배치하게 된다. 이 경우 탐사에 집중하게 되어 표적 위치의 정확도가 낮아진다.
이는 앞서 설명한 바와 같이 강화학습의 주요 문제 중의 하나인 탐사-탐색 균형 문제이다[5,6]. 따라서 함수 f(x)로부터 얻을 수 있는 μ(x)와 σ(x)를 사용하여 최적의 획득 함수 fa(x)를 정의하는 것은 매우 중요하다. 본 논문에서는 일반적으로 사용하는 패턴 기반의 배치 방법과 더불어, 베이지안 최적화의 대표적인 획득함수를 사용하는 배치 방법을 고안하였다. 논문에서 사용한 방법은 다음과 같다.

3.3.1 원형 배치(circular deploy)

원형 배치는 잠수함의 마지막 소실 위치인 datum을 기준으로 원형으로 소노부이를 배치하는 투하 기법이다. 잠수함의 구역 이탈을 차단하기 위해 일반적으로 사용하는 투하 기법으로 다른 획득함수의 성능을 검증하기 위한 기준으로 사용하였다. 아래 식은 시간 t에 따른 투하 위치를 결정하는 식으로 r은 원형 패턴의 반지름이다.
(11)
xt=[r×cos(2π×t/N),r×sin(2π×t/N)]T

3.3.2 PI(Probability Improvement)[11]

PI는 현재까지 수집된 정보를 바탕으로 생성한 근사함수 ft-1(x)의 최댓값보다 더 큰 값을 얻을 확률이 높은 곳을 샘플링 한다. 최댓값을 가지는 지점을 xbest라 할 때, 임의 지점 x의 PI 값은 다음 식과 같다.
(12)
γ(x)=μ(x)ft1(xbest)σ(x)
(13)
faPI(x)=Φ(γ(x))
위 식 13에서 Φ는 누적확률분포(cumulative probability distribution)이다.

3.3.3 EI(Expected Improvement)[11]

EI는 지점 x에서 현재의 최댓값 ft-1(xbest) 보다 큰 값을 얻을 확률에 ft-1(xbest)과 ft-1(x)의 차이를 가중하여 다음 지점의 위치를 결정한다. PI의 경우 현재의 정보를 바탕으로 최댓값을 얻을 수 있는 지점을 관측하는 탐색을 주로 수행하나, EI는 개선될 가능성을 반영하므로 탐사를 함께 수행한다. EI의 식은 아래와 같다.
(14)
faEI(x)=σ(x)×γ(x)×Φ(γ(x))+N(γ(x);0,1))

3.3.4 UCB(Upper Confidential Bound)[12]

UCB는 임의 지점 x에서 함수 ft-1(x)의 신뢰구간 내 최상단 값을 기준으로 관측지점을 결정하는 방법이다. 아래 식 (15)는 UCB 값을 구하기 위한 함수이다. ft-1(x)의 평균값인 μ(x)에 표준 편차 σ(x)값을 더하여 값을 구한다. 여기서 α는 초 매개변수로 σ(x)값과 μ(x)값의 반영 비율을 결정한다. α값이 크면 탐사를, 작으면 탐색을 주로 수행한다.
(15)
faUCB(x)=μ(x)+α×σ(x)

시뮬레이션 및 결과

4.1 시뮬레이션 환경의 구성

본 논문에서는 알고리즘의 범용성을 확인하기 위하여 특정 시기나 위치에 따른 해양 환경이 아닌 일반적인 해양 환경에서의 시뮬레이션을 실행하였다. 따라서 모든 해양 환경 변수를 임의로 추정하여 실험 환경을 구성하였다. 시뮬레이션 환경의 구성은 다음과 같다. 앞서 정의한 가정을 바탕으로 작전 영역의 한 점에서 잠수함의 존재 확률을 다변량 가우시안 분포(multi-variable gaussian distribution)로 모형화하였다[13]. 더불어 허위표적의 존재를 표현하기 위하여 혼합 가우시안 분포 모델(Gaussian Mixture Model, GMM)[13]을 사용하였다.
GMM을 기반으로 한 시뮬레이션 환경의 정의는 다음과 같다. 수중에 존재하는 음원 소스의 위치를 x0로 정의한다. 임의 위치 xXo에서 잠수함의 존재 확률 P0(x)∈R1가 2.2절의 가정에 의해 다변량 가우시안 분포를 따른다고 할 때, 확률 P0(x)는 다음 식과 같이 표현할 수 있다.
(16)
y=P0(x)=exp(12(xx0)TΣ1(xx0))(2π)2|Σ|
이때, Σ는 확률분포의 분산으로, 수온, 지형 등으로 인해 신호의 전달 범위가 변화하는 것을 시뮬레이션 하기 위해 사용하였다.
실제 잠수함의 위치를 xs, K개의 허위표적의 위치는 {xksf}k=1KXo라 할 때, 다수의 허위표적이 반영된 혼합 가우시안 모델은 아래 식과 같다.
(17)
f(x)=w0Ps(x)+k=1KwkPksf(x)
이때, wk는 각 표적의 가중치로 Σwk=1이며, Ps는 실제 잠수함의 존재 확률, Psf는 허위표적에 기인한 확률값이다. 본 논문에서는 총 두 개의 허위표적이 존재하며, 잠수함의 가중치가 다른 허위표적보다 높다고 가정하였다. 시뮬레이션에서는 하나의 잠수함 표적과 두 개의 허위표적을 모사하였으며 각 표적의 가중치 값은 [0.7, 0.2. 0.1]을 사용하였다.
대잠초계기의 작전구역은 100×100의 평면으로 정의하였다. 표적의 위치는 각 축에서 [10,90]의 연속구간 내 임의의 위치를, 각 표적 신호의 분산은 [50,550] 구간 내 임의 값을 균등 분포로 추출하였다. 본 논문에서는 실험을 위해 총 100개의 환경을 임의로 생성하였다.
Fig. 3은 위 식을 바탕으로 생성한 환경 중 하나이다. Fig. 3 (a)의 경우 중앙에 잠수함이 존재하고 상단과 하단에 두 개의 허위표적이 배치되어 있다. 따라서 중앙부의 잠수함 존재 확률값이 가장 크게 나타난다. Fig. 3 (b)의 경우 신호 강도가 약한 잠수함과 신호 강도가 큰 허위표적이 근접함에 따라 잠수함 존재 확률이 높은 지점이 실제 잠수함 표적의 위치가 아닌 다른 곳에 생성된 환경이다. 이는 환경 생성 시 임의의 신호 세기와 전달률을 사용함에 기인한 것으로 실제 환경에서도 충분히 발생 가능한 상황이다. 따라서 논문에서 사용한 환경 생성 기법은 충분한 모사 능력을 갖춤을 확인할 수 있다.
Fig. 3.
Example of submarine existence probability map. (b) is a wast case example
kimst-25-1-72f3.jpg

4.2 탐지 정확도 시뮬레이션 결과

획득함수별 탐지 정확도를 측정하기 위하여 앞서 생성한 100개의 환경을 사용하여 시뮬레이션을 수행하였다. 대잠초계기는 총 30개의 소노부이를 가지고 있다고 가정하였으며, 각 시뮬레이션 시작 시 총 4개의 소노부이를 작전구역 내 임의 위치에 투하하여 모델을 초기화하였다. 탐지 정확도의 성능 지표는 실제 잠수함 위치와 소노부이 투하를 통해 추정한 위치 간의 RMSE(root mean square error)를 사용하였다. 각 획득함수의 초 매개변수는 실험을 통하여 결정하였다.
Fig. 4 (a)는 투하된 소노부이의 수량에 따른 획득함수별 탐지 정확도의 평균값을, Fig. 4 (b)는 탐지정확도의 표준 편차를 표현한 그래프이다. 모든 비교 대상 획득 함수는 원형 탐색보다 더 좋은 성능을 보이며, 그중 UCB가 가장 좋은 성능을 보인다. 이러한 결과는 기존에 Datum 차단을 위해 사용하였던 원형 탐색은 매 투하 시 직전까지 투하된 정보를 고려하지 않고 고정된 패턴대로 소노부이를 투하하나, 제안된 기법은 매 투하 시 과거 정보를 사용하여 위치를 결정하기 때문에 시간이 지날수록 작전 영역에 대한 정보가 증가하여 정확도가 더 높아지기 때문이다.
Fig. 4.
(a) Mean of RMSE per number of sonobuoy. (b) standard deviation of RMSE per number of sonobuoy
kimst-25-1-72f4.jpg
특히 UCB의 정확도가 상대적으로 큰 값을 보인다. 이는 PI나 EI의 경우 기대 이득에 초점을 두어 행동하기에 탐색에 더욱 집중하는 방식이나, 주어진 시뮬레이션 환경이나, 실제 잠수함 탐지 문제가 작전 영역 대비 소노부이의 숫자가 절대적으로 적으므로, 보다 공격적으로 불확실 영역을 탐사하는 UCB가 더 높은 성능을 낸 것으로 판단된다.
이와 더불어 표준 편차 면에서도 환경에 따라 탐지 성능의 차이가 크다. UCB가 다른 획득함수 대비 표준 편차 값이 더 낮은 경향을 보이는데, 이는 해당 획득함수를 사용할 경우 환경의 변화에 덜 민감하게 높은 성능을 보여주는 것으로 해석할 수 있다.
Fig. 5는 시뮬레이션 환경에서 각 획득함수 별로 예측한 잠수함 신뢰 지도와, 투하된 소노부이 위치, 예측한 잠수함 위치를 표현한 그림이다. 그림의 첫 번째 행은 잠수함과, 허위표적 및 이를 통해 생성한 신뢰지도의 Ground Truth 값을 표현하였고, 두 번째에서 네 번째 열은 각각 Circle, EI, PI, UCB 방식의 획득함수를 사용하였을 때 소노부이 투하 위치와 예측 결과를 나타낸 그림이다. 1열의 환경은 잠수함이 강한 신호를 낮은 전달확률로 전파할 때, 2열은 허위 표적으로 인해 신호가 넓게 퍼진 경우, 3열은 강한 신호가 넓게 퍼진 경우를 나타낸다.
Fig. 5.
Prediction result of submarine location and belief map using proposed method
kimst-25-1-72f5.jpg
먼저 circle 기법의 경우 고정된 원형 패턴으로 소노부이를 배치한다. 따라서 잠수함 신호의 최대 세기를 모르기 때문에 정확한 위치의 추정이 어렵다. 그림에서 볼 수 있듯이, 원형 밖에 잠수함이 위치한 경우 뿐만 아니라, 원형 안에 잠수함이 위치하더라고, GPR을이용해 추정한 잠수함 위치는 영역을 벗어남을 확인할 수 있다. 제안한 베이지안 기반의 추적 기법의 경우, 소노부이의 투하 위치가 고정된 것이 아닌, 데이터를 기반으로 결정하기 때문에 circle 기법대비 잠수함의 위치를 보다 정밀하게 추정함을 확인할 수 있다. 특히, 넓은 신호 영역의 경우 UCB가 다른 획득함수에 비해 잠수함 위치의 추정과 신뢰 지도의 유사도가 더 뛰어남을 확인할 수 있다. 이는 앞서 설명한 바와 같이 소수의 소노부이를 사용하여 잠수함을 확인하기 때문에 탐사를 주로 사용하는 UCB 기법이 문제 해결에 더 적합하기에 발생한 것으로 판단된다.

결론 및 향후 연구

본 논문에서는 대잠초계기가 수중의 잠수함을 탐지하기 위한 소노부이 배치 알고리즘을 제안하였다. 이를 위해 소노부이 배치 문제를 POMDP를 통해 모델링 하였으며, 베이지안 최적화 기반의 온라인 센서 배치 알고리즘을 제작하였다. 제작된 알고리즘의 검증을 위해 혼합 가우시안 분포를 이용하여 시뮬레이션 기반의 실험을 수행하였으며, 실험 결과 기존의 원형 배치 기법보다 제안한 알고리즘이 더 높은 성능을 보임을 확인하였다. 이와 더불어 베이지안 최적화에서 사용 가능한 다양한 획득함수에 대해 성능을 비교하여, 최선의 방법을 제안하였다.
본 논문에서는 소노부이의 최적 위치를 결정하는 데 중점을 두어 대잠초계기의 기동 제약은 고려하지 않았다. 향후 연구에서는 대잠초계기의 기동 제약을 함께 고려하여 잠수함의 탐지와 추적을 위한 초계기의 경로 계획 문제로 확장하고자 한다.

REFERENCES

[1] M. Lambert and K. Munson, "Jane's All the World's Aircraft 1994-95 (85th ed.)," Coulson, Surrey, UK, Jane's Information Group, p. 554–557, 1994.

[2] C. Kim, R. Oh, S. Kim and J. Choi, "An Efficient Search Strategy of Anti-Submarine Helicopter based on Multi-Static Operation in Furthest-On-Circles," Journal of the Korea Institute of Military Science and Technology, Vol. 21, No. 6, pp. 877–885, 2018.

[3] S. Kim, W. Kim, J. W. Choi, Y. J. Yoon and J. Park, "Optimal Deployment of Sensor Nodes based on Performance Surface of Acoustic Detection," Journal of the Korea Institute of Military Science and Technology, Vol. 18, No. 5, pp. 538–547, 2015.
crossref
[4] J. Kang, "A Study on an Arrangement of Passive Sonars by using DPSO Algorithm," Journal of the Korea Society for Simulation, Vol. 26, No. 1, pp. 39–46, 2017.
crossref
[5] Sutton, R. S. and A. G. Barto, "Reinforcement Learning: An Introduction," MIT Press, Cambridge, 1998.

[6] D. Kim, "Orienteering Problem with Unknown Stochastic Reward to Informative Path Planning for Persistent Monitoring and Its Solution," Journal of the Korea Institute of Military Science and Technology, Vol. 22, No. 5, pp. 667–673, 2019.

[7] C. E. C. Rasmussen and K. I. Williams, "Gaussian Processes for Machine Learning," The MIT Press, 2006.

[8] E. Brochu, V. M. Cora and N. De Freitas, A Tutorial on Bayesian Optimization of Expensive Cost Functions with Application to Active User Modeling and Hierarchical Reinforcement Learning, arXiv Preprint arXiv: 1012.2599. 2010.

[9] C. M. Ferla and M. B. Porter, "Receiver Depth Selection for Passive Sonar Systems," IEEE Journal of Oceanic Engineering, Vol. 16, No. 3, 1991.
crossref
[10] L. P. Kaelbling, M. L. Littman and A. R. Cassandra, "Planning and Acting in Partially Observable Stochastic Domains," Artificial Intelligence, Vol. 101, No. 1-2, pp. 99–134, 1998.
crossref
[11] J. Mockus, V. Tiesis and A. Zilinskas, "The Application of Bayesian Methods for Seeking the Extremum," Towards Global Optimization, Vol. 2, pp. 117–129, 1978.

[12] N. Srinivas, A. Krause, S. Kakade and M. Seeger, "Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design," Proceedings of the 27th International Conference on Machine Learning, pp. 1025–1022, 2010.

[13] C. M. Bishop, "Pattern Recognition and Machine Learning," Springer-Verlag, New York, 2006.
crossref
TOOLS
Share :
Facebook Twitter Linked In Google+ Line it
METRICS Graph View
  • 0 Crossref
  •    
  • 1,525 View
  • 27 Download
Related articles in J. KIMS Technol.


ABOUT
ARTICLE CATEGORY

Browse all articles >

BROWSE ARTICLES
FOR CONTRIBUTORS
Editorial Office
160 Bugyuseong-daero 488beon-gil, Yuseong-gu, Daejeon 34060, Korea
Tel: +82-42-823-4603    Fax: +82-42-823-4605    E-mail: kimst@kimst.or.kr                

Copyright © 2024 by The Korea Institute of Military Science and Technology.

Developed in M2PI

Close layer
prev next