서 론
최근 실시간 감시 및 방어 체계의 중요성이 부각됨에 따라, 레이다 정보를 활용하여 표적을 탐지하고 그 종류를 분류한 뒤, 조기에 적절한 대응 전략을 수립하는 것이 핵심 과제로 떠오르고 있다. 여기서 표적은 박격포, 야포, 로켓 등의 탐지 대상을 의미하며, 비표적은 새, 항공기, 드론 등 표적이 아닌 물체를 포함한다. 이러한 비표적은 표적과 유사한 위치나 속도 등의 특성을 보이기도 하므로, 레이다 기반 탐지 시스템에서 오탐의 주요 원인이 된다. 따라서 효과적인 방어 전략 수립을 위해서는 표적에 해당되는지 여부를 탐지하고, 표적의 종류를 분류하는 것이 필수적이다. 특히, 실시간 방어 시스템에서는 가급적 초기에 표적 탐지 및 표적 종류 분류를 수행하는 것이 무엇보다도 중요하다.
레이더 추적에는 전통적으로 상태공간 모델 기반의 칼만 필터[1] 계열 기법이 널리 활용되어 왔다. 대표적으로, 확장 칼만 필터(Extended Kalman Filter, EKF)는 비선형 시스템을 국소적으로 선형화하여 상태를 추정하는 방식이며[2,3], 혼합 모드 칼만 필터(Interacting Multiple Model, IMM)는 여러 기동 모형을 병렬적으로 고려하여 모드 확률을 추정함으로써 다양한 표적 운동을 설명한다. 입자 필터(Particle Filter, PF)는 상태 확률분포를 다수의 샘플로 근사하여 비선형·비가우시안 환경에서도 적용 가능하다[4].
이러한 기법들은 관측값으로부터 표적의 위치와 속도 등을 추정하고 미래 상태를 예측하는 데 효과적이지만, 몇 가지 한계가 존재한다. EKF와 IMM은 기본적으로 가우시안 잡음과 국소 선형성 가정에 의존하기 때문에 실제 환경에서 비선형성이 크거나 잡음 특성이 복잡할 경우 성능이 저하되거나 발산할 수 있으며, 탄도 계수와 같은 특정 파라미터에 민감하다[3]. PF는 이러한 한계를 완화할 수 있으나, 다수의 입자를 필요로 하여 계산 복잡도가 높고 입자 퇴화(degeneracy) 문제가 발생한다[5]. 또한 실제 궤적 데이터에서는 대기 조건, 센서 잡음과 같은 요인들로 인해 안정적인 추정이 어렵다. 칼만 필터 계열 기법은 본질적으로 상태 추정을 통한 추적에는 강점을 가지지만, 표적과 비표적의 구분이나 표적 종류의 분류와 같은 고차원적 문제를 직접 해결하기에는 한계가 있으며, 이러한 배경에서 최근에는 딥러닝 기반 접근이 도입되고 있다.
딥러닝 기반의 시계열 레이더 데이터 분석을 활용한 자동 표적 탐지 기법은 주로 지도학습 기반의 분류 문제로 연구되어 왔다[6-8]. 즉, 표적과 비표적을 구분하는 분류기를 학습하는 방식이다. 그러나 실제 환경에서는 비표적 데이터의 유형이 매우 다양하므로, 모든 유형의 비표적 데이터를 수집하여 훈련에 반영하는 것은 현실적으로 불가능하다. 이러한 한계로 인해, 지도학습 기반 방식은 학습 시 반영되지 못한 비표적 신호에 대해서는 표적 탐지 성능이 저하될 수 있다.
이러한 한계를 극복하기 위해 표적 데이터만을 이용하여 모델을 학습하는 비지도학습 기반 접근법이 집중적으로 연구되고 있다[9]. 대표적으로 표적 데이터의 미래 값을 예측하거나[10] 혹은 표적 종류 분류[11]와 같은 사전 학습 태스크를 통해 표적 데이터의 특징을 학습한다. 이후 테스트 단계에서는, 이러한 표적의 특징이 발생하지 않아 예측 오차가 큰 대상을 이상치(anomaly), 즉 비표적으로 판정한다. 이를 통해 표적의 특징만을 사용하여 다양한 유형의 비표적 데이터를 제거할 수 있다는 장점이 있다.
표적이 성공적으로 탐지되면, 그 유형에 따라 다른 형태의 대응 전략이 요구된다. 이를 위해 단순한 탐지뿐 아니라 표적의 종류를 분류하는 작업이 수반되어야 한다. 분류를 위한 신경망 모델은 임베딩 공간에서 표적 종류 간 구별되는 특징을 학습함으로써 서로 다른 표적 유형을 분류하도록 동작한다[11]. 기존 연구에서는 표적 탐지기를 거친 신호를 별도의 분류 신경망을 사용하여 분류하는 방식이 주로 사용되었다[12]. 이와 같이 두 신경망을 연결하는 방식은 표적 탐지와 분류를 위한 특징을 별도로 학습하여, 풍부한 표적 특징의 학습에 한계가 있다. 예를 들면, 미래 예측 태스크의 경우 움직임이 단조로운 비표적에 대해서는 구체적인 특징 학습 없이도 예측 오차가 작게 나타나 표적 탐지 성능이 낮아질 수 있다. 표적 분류 태스크의 경우, 대상 표적의 종류가 적은 경우에는 효과적인 특징 학습이 어렵다. 또한, 표적 탐지 후에 분류를 별도로 수행하게 되면 표적 분류까지 소요되는 시간이 길어져 초기 대응이 어려울 수 있다.
이러한 한계를 해결하기 위해, 예측과 분류을 결합한 멀티태스크 학습 프레임워크를 제안한다. 학습 단계에서는 단일 모델이 예측 태스크를 통해 표적 시계열의 시간적 패턴을 학습하고, 동시에 분류 태스크를 통해 클래스 간 특징 차이를 학습한다. 테스트 단계에서는 이상 점수를 산출하여 표적 탐지를 수행하며, 동시에 표적의 세부 종류를 분류한다. 이와 같은 통합적 학습·추론 구조는 보다 일반화된 표적 특징 표현을 제공하여 탐지와 분류의 동시적 성능 향상을 가능하게 한다.
레이다로 추적하는 동안 연속적으로 표적 탐지 및 분류를 수행할 수 있도록 하기 위해, 본 연구에서는 LSTM(Long Short-Term Memory) 기반 모델을 채택하였다[13]. LSTM은 입력 시퀀스를 순차적으로 처리하며, 각 시점에서의 입력 정보를 은닉 상태와 셀 상태에 누적시켜 시간에 따른 맥락 정보를 효과적으로 학습할 수 있다. 또한, LSTM은 입력 시퀀스의 길이가 달라져도 입력으로 받을 수 있으며, 새로운 값이 입력될 때마다 연속적인 추론을 수행할 수 있어, 다양한 시점에서 등장하고 사라지는 표적을 추적하는데 유리하다.
아울러, 본 연구에서는 예측 오차와 특징 간 거리 정보를 함께 활용하는 2차원 스코어 벡터를 제안한다. 예측 오차는 실제 레이다 신호와 예측된 신호 간의 평균 제곱 오차(Mean Squared Error; MSE)로 계산되며, 특징 거리는 학습된 표적 데이터의 특징 표현을 바탕으로, 입력과 최근접한 K개 이웃과의 평균 거리(K-최근접 이웃, k-NN)를 통해 계산된다. 마지막으로, 이 두 점수를 결합한 스코어 벡터가 훈련 표적 데이터의 분포와 얼마나 차이가 나는지 정량적으로 측정하기 위해 마할라노비스 거리(Mahalanobis distance)를 적용하여 최종 이상 점수를 계산한다[14]. 이상 점수는 테스트 단계에서 산출되며, 입력 신호가 표적인지 비표적인지를 판별하는 탐지 과정에 활용된다. 제안하는 접근은 예측 오차와 임베딩 기반 거리를 하나의 벡터 표현으로 통합함으로써, 보다 신뢰도 높은 표적 탐지를 가능하게 한다.
본 논문에서는 주요 용어의 사용을 명확히 하기 위하여 다음과 같이 정의한다. 탐지(detection)는 입력 신호가 표적인지 비표적인지 구분하는 과정이다. 분류(classification)는 표적을 구체적인 클래스로 식별하는 과정이다. 또한, 예측(prediction)은 시계열의 미래 값을 추정하는 태스크로, 학습 단계에서는 표적의 시간적 패턴을 학습하게 하고, 테스트 단계에서는 예측값과 실제값의 차이를 기반으로 이상 점수를 산출하여 탐지 과정에 활용된다.
데이터 전처리 및 제안 방법
본 연구에서 사용되는 레이다 트랙(track) 데이터는 시간에 따라 여러 정보가 기록된 시계열 데이터이며, 기록된 정보(field)는 Table 1과 같이 거리(R), 방위각(φ), 고도각(θ)의 위치 정보가 포함된다. 표적의 특성과 관련된 레이다 반사 면적(Radar Cross Section; RCS) 및 속도 또한 시계열 데이터 형태로 주어진다. 트랙을 구성하는 각 데이터는 0.3초의 동일한 스캔 주기로 수집되며, 트랙의 최대 시간 길이는 48 샘플이며 최소 길이는 13 샘플이다.
Table 1.
Field categories in radar track data
Fig. 1은 본 연구에서 제안하는 멀티태스크 학습 기반 표적 탐지 및 분류 방법의 전체 개요를 나타낸다. 학습 단계에서는 표적 데이터에 대해 전처리 과정을 거친 후, 제안한 모델을 통해 분류와 예측을 동시에 수행하는 멀티태스크 학습이 이루어진다. 테스트 단계에서는 표적과 비표적 데이터가 모두 입력되며, 학습이 완료된 모델을 통해 이상 점수를 계산하여 표적 여부를 판별한다. 표적으로 판정된 경우, 분류기를 통해 최종적으로 표적의 클래스를 분류한다.
2.1 클래스 불균형 완화를 위한 데이터 증강 기법
본 연구에서 사용된 트랙 데이터는 표적 클래스 간 데이터 수의 불균형이 존재한다. 이러한 불균형은 딥러닝 모델이 데이터 수가 많은 클래스에 과적합이 되거나, 소수 클래스에 대한 학습이 충분히 이루어지지 않는 문제를 초래할 수 있다.
이를 해결하기 위해 본 논문에서는 슬라이딩 윈도우 방식의 데이터 증강을 적용한다(Fig. 2). 구체적으로, 전체 트랙에 대해 고정된 세그먼트 길이(Segment Length, SL)의 윈도우를 일정 간격(hop size, H)으로 이동시키며 세그먼트를 생성하는 방식으로 데이터를 증강한다. 하나의 트랙에서 증강된 세그먼트의 개수 N은 아래 식 (1)와 같다.
데이터 수가 적은 클래스에 대해서는 윈도우 이동 간격(H)을 작게 설정하여 더 많은 데이터를 생성하고, 데이터 수가 많은 클래스는 윈도우 이동 간격을 상대적으로 크게 설정하여, 클래스 간 데이터 개수의 불균형을 완화한다.
본 연구에서 사용된 데이터셋은 경박격포(Mortar Light; ML), 중(中)박격포(Mortar Medium; MM), 중(重)야포(Gun Heavy; GH), 중(中)로켓(Rocket Medium; RM), 중(重)로켓(Rocket Heavy; RH)의 다섯 종류 표적에 대해 수집된 시계열 트랙 데이터로 구성되어 있으며, SL 13으로 데이터 증강을 적용한 전/후의 표적 클래스별 데이터 수를 Table 2에 도시하였다.
Table 2.
The number of data for each class
| SL | Target Classes | ||||
|---|---|---|---|---|---|
| ML | MM | GH | RM | RH | |
| 48 | 20 | 123 | 1388 | 139 | 161 |
| 13 | 259 | 808 | 1388 | 744 | 756 |
SL이 48인 경우가 기존 트랙 데이터이며, SL이 13인 경우가 데이터 증강을 적용한 결과이다. SL이 13인 경우가 48인 경우보다 클래스별 데이터 개수의 불균형이 완화된 것을 확인할 수 있다.
2.2 데이터 변환
본 연구에 사용되는 위치 데이터는 안테나 기준의 구형 좌표계로 표현된다. 그러나 구형 좌표계에서의 각도 표현은 2π의 주기성을 가지기 때문에, 한 주기를 기점으로 각도 값의 불연속이 존재한다. 따라서 본 연구에서는 구형 좌표계 표현을 다음과 같이 직교 좌표계 표현으로 변환한다.
Fig. 3는 구형 좌표계를 직교 좌표계로 변환한 후 얻은 시계열 예시로, 표적(GH, 트랙 길이 48)과 비표적 데이터(트랙 길이 13) 각각에 대해 다섯 개 채널(X, Y, Z 위치, RCS, 속도)의 변화를 나타낸 것이다. 모든 그래프에서 X축은 시간 인덱스, Y축은 해당 채널 값으로, 시계열 데이터의 시간 변동을 보여준다.
2.3 멀티태스크 학습방법론
제안하는 멀티태스크 프레임워크는 입력 시퀀스 x∈χ 에 대해 공통된 특징을 추출하는 시계열 기반 특징 추출기(feature extractor)와, 이를 기반으로 추론 시 표적 탐지와 분류를 동시에 수행하는 구조이다.
전통적으로 레이다 분야에서는 낮은 신호 대 잡음비 환경에서 여러 스캔을 누적한 후 신호의 존재 여부를 판정하는 TBD(Track-Before-Detect) 방식이 사용되었다. 그러나 본 연구의 목적은 신호 검출이 아닌, 추적 과정에서 순차적으로 유입되는 데이터를 활용하여 실시간으로 표적, 비표적을 구분하고 동시에 표적의 종류를 분류하는 문제에 초점을 둔다. 이를 위한 시계열 모델로는 RNN(Recurrent Neural Network)과 LSTM이 고려될 수 있다. RNN은 구조가 단순하다는 장점이 있으나, 장기 의존성 학습에 취약하여 시퀀스가 길어지면 성능 저하가 발생한다. 이에 비해 LSTM 은 게이트 구조를 통해 장·단기 의존성을 효과적으로 학습할 수 있으며, 순차적으로 입력되는 데이터에 대해 연속적인 추론이 가능하다. 따라서 본 논문에서는 LSTM을 특징 추출기 f:x→ℝT×D 로 채택하였다. 이 때 D는 임베딩 차원을 나타낸다. 하나의 시퀀스는 x∈ℝT×M 형태를 가지며, 본 연구에서는 세그먼트에 대응된다. T는 시퀀스의 길이, M는 채널의 개수를 나타낸다.
구체적으로는 특징 추출기를 통해 특징 벡터, 즉 LSTM의 은닉 상태 벡터 z = f(x) 가 추출된 후, Fig. 4와 같이 두 개의 분기로 전달되어 각각 분류 및 예측 태스크를 수행한다. 분류 태스크는 식 (6)과 같이 특징 벡터 z 중 마지막 시점에 해당하는 벡터 zlast∈ℝ1×D를 분류기 hcls:ℝD→ℝC 에 입력하여 로짓(logit) 벡터 l∈ℝC 를 출력한다. 여기서 C는 표적 클래스의 개수를 나타낸다. 한편, 예측 태스크는 식 (7)과 같이 특징 벡터 z를 예측기 hpred : ℝD→χ ^ x ^ ∈ χ ^
공통으로 사용되는 특징 추출기 f는 분류 태스크와 예측 태스크 모두에서 공유되며, 공통 임베딩 공간 ℝT×D 내에서 두 태스크가 상호 보완적인 특징을 학습하도록 설계되었다. 이때 학습은 두 태스크의 손실 함수를 결합하여 공동으로 최적화하는 방식으로 이루어진다. 예측 태스크에서는 입력 데이터와 예측 데이터의 평균 제곱 오차를 손실 함수 Lpred로 사용하고, 분류 태스크에서는 교차 엔트로피 손실 Lcls을 사용한다. 최종 학습 손실은 앞서 언급한 두 손실을 결합하여 다음과 같이 정의된다.
α와 β는 학습 가능한 파라미터로, 각 손실 항의 스케일 차이를 보정하고, 학습 중 두 태스크의 기여도를 조절한다. 이를 통해 단일 태스크 기반 학습에 비해 보다 정교하고 일반화 가능한 특징을 효과적으로 학습할 수 있도록 한다.
2.4 이상 점수
표적 탐지 문제에서 핵심은, 입력 신호가 학습된 표적 데이터와 얼마나 유사한지를 정량적으로 평가하는 것이다. 이를 위해 이상 점수(anomaly score) 라는 개념이 활용된다. 이상 점수는 주어진 입력이 정상 표적 데이터와 일치할수록 낮게, 정상 패턴에서 벗어날수록 높게 산출되며, 테스트 단계에서 입력이 표적인지 비표적인지를 판정하는 지표로 사용된다.
본 연구에서는 멀티태스크 학습 방식의 특성을 반영하여, 분류 정보와 예측 정보를 모두 활용하는 2차원 스코어 벡터를 정의함으로써 기존 방식의 한계를 극복하고자 한다.
기존의 미래 예측 기반 접근 방식에서는, 학습된 예측기 hpred를 사용하여 테스트 입력 x ~ x ^
분류 기반 접근 방식에서는 학습된 분류기 hcls의 출력 로짓 l에 소프트맥스 함수를 적용하여, 최대 소프트맥스 확률(maximum softmax probability, MSP)을 계산한 뒤, 식 (10)과 같이 (1−MSP) 형태로 이상 점수를 정의한다. 이는 모델의 분류 확신도(confidence)를 이상 점수로 사용하는 방식이며, 분류 확신도가 낮을수록 MSP 값이 낮아 이상 점수가 높게 된다[15].
위 식에서 y는 분류 레이블, c은 클래스 인덱스를 나타낸다.
그러나 위 방식은 임베딩 공간상에서의 분포나 거리 정보는 반영하지 못한다. 표적 데이터들이 임베딩 공간 상에서 넓게 분포하거나 부 군집(sub-cluster)을 형성하는 경우, 비표적 데이터가 표적 클래스의 결정 경계 내로 포함될 가능성이 높아진다[16]. 이로 인해 분류기가 학습하지 않은 비표적 입력에 대해서도 높은 MSP를 반환하여 이상 점수가 낮게 산출되는 문제가 있다. 이러한 한계를 극복하기 위해, 본 논문에서는 예측 오차와 공통 임베딩 공간 ℝD에서의 k-NN 거리 를 결합한 2차원 스코어 벡터를 도입하였다.
k-NN 기반 이상 점수를 계산하기 위해, 우선 학습된 특징 추출기 f를 통해 테스트 입력 시퀀스 x ~ z ~ χ n o r m a l t r a i n z ~
테스트 입력의 임베딩이 표적 데이터 분포로부터 멀어질수록 해당 데이터가 비표적일 가능성이 높다고 판단한다.
본 연구의 핵심은, 예측 기반 이상 점수(SMSE)와 k-NN 기반 거리 점수(SKNN)를 개별적으로 사용하는 것이 아니라, 하나의 2차원 스코어 벡터로 통합하여 표적 탐지에 활용한다는 점이다. 이를 위해 두 점수를 결합한 2차원 스코어 벡터 s를 아래 식 (14)와 같이 정의한다.
여기서 μ∈ℝ2와 ∑∈ℝ2×2은 훈련 표적 시퀀스 x i ∈ χ n o r m a l t r a i n
식 (13)의 마할라노비스 거리 기반 이상 점수는 테스트 데이터의 2차원 스코어 벡터가 훈련 데이터의 통계적 분포로부터 얼마나 벗어나 있는지를 평가하는 척도이며, 이를 통해 최종적으로 비표적 탐지가 가능하다.
실험 결과
3.1 성능 지표
본 연구에서는 표적 분류 성능 평가 지표로 정확도(accuracy)와 Macro F1-score를 사용한다. 정확도는 올바르게 분류된 데이터의 수를 전체 데이터의 수로 나누어 계산한다. Macro F1-score는 식 (16), (17)에서와 같이 각 클래스의 F1-score를 계산한 후, 모든 클래스에 대해 평균을 취하여 얻는다. Macro F1-score는 모든 클래스에 대한 성능을 동등하게 고려하므로, 데이터 개수의 불균형이 존재하는 상황에서 객관적인 지표로 사용될 수 있다.
표적 성능 평가 지표로는 수신자 특성 조정 곡선 아래 면적(ROC-AUC, AUC)[18]과 부분 AUC(partial AUC, pAUC)를 사용한다. AUC는 모델의 이진 분류 성능을 임계값 변화에 따라 평가하는 지표로, FPR(False Positive Rate)과 TPR(True Positive Rate)의 관계를 도시한 곡선 아래 면적을 의미한다. 아울러 pAUC는 특정 FPR 구간에서의 모델의 성능을 평가하기 위한 지표로 FPR ≤p인 구간에서의 이진 분류 성능을 나타낸다. 오탐률을 줄이는 것이 중요하므로 p를 0.05로 설정하여 표적 탐지 성능을 평가한다.
3.2 실험 설정
본 연구에서 활용한 데이터셋은 2016년부터 2022년까지 총 77일간의 실사격 시험을 통해 수집된 레이다 기반 시계열 트랙 데이터이다. 데이터는 눈이나 비가 오지 않는 일반적인 기상 환경에서 수집되었으며, 레이다와 표적 간의 관측 거리는 약 0∼80,000 m 범위에 분포한다. 레이다는 SWT(Search While Track) 능동 추적 방식으로 운용되었다. 이 방식은 탐색 모드와 추적 모드를 동시에 운용하여 표적을 실시간으로 탐색하면서 위치와 속도를 지속적으로 갱신할 수 있도록 한다. 수집 과정에서 레이다 센서는 약 0.3초 주기로 표적의 실제 궤적을 스캔하여 기록하였다.
2.1장에서 설명한 슬라이딩 윈도우 방식에 따라, 표적 레이다 데이터를 Fig. 5와 같이 세그먼트 길이 13으로 분할하여 증강하였으며, 좌표계 변환과 회전 변환을 적용하였다.
Table 2와 같이 증강된 데이터를 8:1:1의 비율로 분할하여 각각 학습, 검증, 테스트 데이터로 사용하였다. 표적 분류 성능 평가에는 표적 테스트 데이터만을 사용하고, 탐지 성능 평가에는 추가로 4,000개의 비표적 데이터를 테스트 데이터에 포함하여 사용하였다. 이때, 비표적 데이터는 시계열의 앞부분부터 길이 13까지의 구간을 잘라 단일 시퀀스로 사용하였으며, 테스트 데이터에 대해 회전 변환은 적용하지 않는다.
배치 크기는 256, 초기 학습률은 0.001, 임베딩 차원은 128로 설정하였으며, 특징 추출기로 사용되는 LSTM 은 1개의 레이어로 구성하였다.
3.3 표적 분류 성능 평가
표적의 조기 분류 성능을 파악하기 위하여, 매 시점마다 정확도와 Macro F1-score를 측정하였다. 각 시점에서는 과거로부터 현재 시점까지의 부분 시퀀스(Prefix)만을 입력으로 사용하였다.
제안하는 학습 기법의 유용성을 검증하기 위하여, Fig. 6과 같이 다른 학습 방식과의 비교를 수행하였다(Table 3). 첫 번째는 특징 추출기와 예측기를 먼저 학습한 후, 이들의 파라미터를 고정하고 분류기만 추가로 학습하는 방법(Two-stage[19]), 두 번째는 분류기와 예측기를 별도의 모델로 독립적으로 학습하는 방법(Separate)이다. 본 연구에서 제안하는 멀티태스크 학습 방식으로 훈련된 모델은 Multi-task로 표기하였다.
Table 3.
Classification performance of different learning methods(accuracy & F1-score, %)
실험 결과, 입력 시퀀스의 길이가 길어질수록 정확도 및 Macro F1-score가 점진적으로 향상되는 것을 확인할 수 있다. 이는 시퀀스 길이가 길어질수록 더 많은 시간 정보가 제공되어, 표적의 특성이나 궤적 패턴이 점차 뚜렷하게 반영되기 때문으로 해석된다. 제안하는 멀티태스크 학습 방식은 정확도 및 Macro F1-score 모두 99 % 이상을 달성하며, 가장 높은 성능을 보여준다.
특히 입력 시퀀스 길이가 5에 도달했을 때, 제안 방식은 Macro F1-score가 94 %를 초과하며 안정적인 성능 수준에 도달하였으며, 이는 Two-stage, Separate 방식 대비 각각 10 %, 20 % 이상 높은 수치이다. 이를 통해 제안하는 방식은 입력 시퀀스의 초반 부분만을 활용하여도 높은 정확도로 표적 분류가 가능함을 나타내며, 실시간 환경에서의 조기 분류 가능성을 보여주는 것이다. 이는 분류기와 예측기를 동시에 최적화하면서 특징 추출기를 공유함으로써 더욱 정교하고 일반화된 특징의 학습이 가능하기 때문으로 추정된다.
3.4 표적 탐지 성능 평가
다음으로, 표적 탐지 성능을 AUC 및 pAUC를 통해 평가하였다. Multi-task 모델이 제안하는 이상 점수와 MSE만을 사용하는 방식, MSE에 분류기 출력 기반 확신도 점수(1-MSP)를 결합하는 방식과 비교하였다.
본 실험에서는 시계열의 초기 구간에서 예측 오차가 과도하게 크게 나타나는 경향이 있음을 고려하여, 오차 계산의 시작 시점을 조정하는 인덱스(start index)를 추가적으로 도입하였다. 딥러닝 모델은 입력 초반에는 충분한 문맥 정보가 누적되지 않은 상태에서 예측을 수행하게 되므로, 표적 데이터임에도 불구하고 초기 예측 오차가 비정상적으로 크게 나타날 수 있다. 이로 인해 전체 평균 오차가 왜곡되며, 표적 데이터를 비표적으로 오인할 수 있다. 이에 따라, 초기 일부 구간을 제외하고, 특정 시점(start index J)부터 마지막 시점까지의 예측 오차만을 계산하여 MSE를 산출하였다. 구체적으로, 테스트 입력 시퀀스 x ^
테스트 입력 시퀀스 전체를 x ^ 1 : t S L x ^ t j : t S L x ^ t j : t S L
Table 4.
AUC and pAUC(%) by anomaly score types
실험 결과, MSE 단독으로 구성된 이상 점수 방식은 시작 시점을 2로 둔 것을 기준으로 AUC 85.59 %, pAUC 약 67.69 % 수준으로, 전반적으로 낮은 표적 탐지 성능을 보였다. 특히 pAUC 성능이 상대적으로 더 저조하게 나타나, 낮은 FPR 영역에서의 표적 탐지 능력이 충분히 확보되지 못했음을 볼 수 있다.
MSE에 분류기 출력 기반 확신도 점수인 1-MSP를 추가로 결합한 경우, 오히려 AUC가 76∼78 % 수준으로 하락하였다. 이는 확신도 점수가 비표적 데이터에 대해서도 높은 확률을 반환하여 탐지 정확도가 낮아진 것으로 해석된다.
반면, MSE와 k-NN 거리를 결합한 방식에서는 AUC 99 % 이상, pAUC 92 % 이상으로 다른 이상 점수보다 훨씬 높은 성능을 보였다. 이는 멀티태스크 학습을 통해 형성된 공통 임베딩 공간상에서의 거리 정보가 표적 탐지에 훨씬 효과적임을 의미하며, 특히 낮은 FPR 구간까지도 안정적으로 탐지할 수 있음을 보여준다.
Fig. 8은 MSE를 공통된 x축으로 두고, y축에 각각 1-MSP(상단)와 k-NN 거리(하단)를 사용하여 이상 점수를 시각화한 산점도이다. 즉, 두 그림은 동일한 MSE 값에 대해 서로 다른 보조 지표를 결합했을 때 분포가 어떻게 달라지는지 보여준다. 그림에서 녹색 점은 테스트 표적 데이터, 붉은 점은 테스트 비표적 데이터를 의미한다. 상단의 1-MSP 기반 이상 점수 분포를 보면, 특히 낮은 MSE 영역(좌측 박스 영역)의 y 축 방향에서 표적과 비표적이 뚜렷하게 분리되지 않고 서로 섞여 분포하여 경계가 명확히 구분되지 않는다. 반면, 하단의 k-NN 기반 점수에서는 동일한 MSE 분포임에도 불구하고 임베딩 공간에서의 차이가 효과적으로 반영되어, 비표적 데이터가 y축에서 높은 이상 점수 영역으로 이동하며 표적과의 분리가 뚜렷해진다. 이를 통해, 신뢰도 기반 점수(1-MSP)보다 분포 기반 거리 정보가 표적 탐지 성능에 더 유리함을 시각적으로 확인할 수 있다.
Fig. 9는 제안한 멀티태스크 학습 기반 임베딩 공간에서 표적 및 비표적 테스트 데이터를 시각화한 결과이다. 그림은 차원 축소 기법을 적용하여 각 클래스의 임베딩을 2차원 공간에 배치한 것이다. 학습된 임베딩 공간에서는 표적 데이터가 동일 클래스끼리 여러 군집 형태를 이루고 있으며, 비표적 데이터는 군집과 떨어진 위치에 분포하는 양상을 보인다. 이를 통해 제안한 프레임워크가 표적과 비표적 데이터를 효과적으로 분리할 수 있는 특징 공간을 형성했음을 확인할 수 있다.
결 론
본 논문에서는 실시간 감시 환경에서 표적 탐지 및 종류 분류를 동시에 수행할 수 있는 멀티태스크 학습 기반 프레임워크를 제안하였다. 제안된 모델은 LSTM 을 기반으로 시계열 데이터의 시간적 맥락 정보를 효과적으로 처리하며, 분류와 미래 예측을 동시에 학습하여 모델 표현력을 강화하고, 테스트 단계에서는 하나의 모델로 표적 탐지와 분류를 함께 수행할 수 있는 구조를 가지고 있다.
또한, 테스트 시에 예측 오차와 k-NN 기반 거리 정보를 통합한 2차원 스코어 벡터를 정의하고, 이를 마할라노비스 거리로 정량화하여 이상 점수를 산출하였다. 표적 탐지 성능 평가 결과, 제안한 이상 점수는 기존 방식 대비 높은 성능을 보였으며, 특히 낮은 FPR 구간에서도 높은 성능을 보여, 표적 탐지에 효과적임을 확인하였다.
표적 분류 성능 평가 결과, 전체 시퀀스를 활용했을 때 높은 정확도 및 Macro F1-score를 기록하였으며, 입력 시퀀스의 길이를 변화시키며 측정한 결과, 입력의 초기 구간만으로도 높은 정확도로 분류가 가능하였다. 아울러, 제안한 멀티태스크 학습 방식은 Two-stage 학습 방식이나 예측과 분류를 별도로 학습하는 방식에 비해 더 높은 분류 성능을 나타내었으며, 특히 가장 짧은 시퀀스에서도 높은 성능을 달성하였다.
이를 통해 제안한 멀티태스크로 학습된 모델은 표적 탐지뿐만 아니라 표적 분류 태스크에서도 효과적으로 작동하며, 실시간으로 처리해야 하는 환경에서의 활용 가능성을 보여준다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation
