서 론
최근 무인이동체의 활용 범위가 빠르게 확장되면서 이에 탑재된 EO 센서 기반의 지능형 진단 및 감시 기술도 함께 발전하고 있다[1]. 특히 무인이동체에 장착된 EO 센서는 다양한 시설/장비를 원거리에서 관찰하고 진단할 수 있는 수단으로 활용하고 있으며, 이는 다양한 산업 및 방위 분야에서 정보 수집, 경계 감시, 정찰, 운용 안정성 확보를 위한 핵심 기술로 자리매김하고 있다[2].
한편, 최근 임무 수행 장비(예: 특장차(Special Purpose Vehicle))는 특수 목적에 부합하도록 다양한 센서 및 부속 장비가 탑재되면서 점차 고도화되고 복잡해지는 추세이다. 이로 인해 장비에 부착된 구성 요소의 탈착, 위치 이탈, 각도 변화 등 미세한 이상이 발생할 경우 전체 시스템의 성능 저하로 연결될 수 있다. 이러한 이상 징후는 비전문가가 육안만으로 판단하기에는 한계가 있으며, 전문 인력이 영상을 모니터링하여 이상 유무를 판단하는 방식은 인력과 시간 측면에서 비효율적이다. 이러한 한계를 극복하기 위해 자동화된 진단 기술의 필요성이 크게 부각되고 있다[3-5].
이러한 배경 속에서 딥러닝 기술의 발전으로 객체 검출(Object Detection) 기반의 자동 진단 기술이 주목받고 있으며, YOLO(You Only Look Once)계열 모델 중심으로 활발히 연구되고 있다[6,7]. 예를 들어, G. Deepti Raj 등 연구진은 복잡한 배경과 강철 표면 이미지 변화에 대응하는 자동화된 검출 알고리즘을 제안하였으며[8], Jia-Hui Tian 등 연구진은 Gold-YOLO 구조에 DSConv-CA 모듈을 접목시켜 공업 부품의 결함을 효과적으로 검출하였다[9].
또한, 정상 상태와 유사도를 기반으로 이상 유무를 판단하는 이상 검출(Anomaly Detection) 접근 방식도 주목받고 있다[10]. 특히, 정상 데이터만을 활용한 비지도 학습 접근법이 주류를 이루고 있으며, Autoencoder 기반의 재구성 오차를 활용한 이상 분석 연구가 활발히 진행되고 있다. 예컨대, Li Yajing 등 연구진은 Conv-AE와 YOLO 검출 결과 기반 새로운 regularity score를 제안하였고[11], Yu Rim Choi 등 연구진은 CAE (Convolution Autoencoder)를 활용하여 학습함으로써 구조적 이상 분석에 우수한 성능을 보였다[12].
그러나 기존 접근법들은 무인이동체 환경에서의 강건한 이상 분석이라는 관점에서 몇 가지 본질적인 한계를 지닌다. 첫째, 객체 검출 기반 접근은 구성 요소의 존재 여부만 판단할 뿐, 설치 각도나 높이 변화와 같은 정량적 구조 이상은 판별하지 못한다. 둘째, 이상 검출 기반 접근은 전체적인 이상 점수만 산출할 뿐 구체적으로 어디에서 어떤 편차가 발생했는지 정량적 근거 정보를 제공하지 못한다. 셋째, 무엇보다 무인이동체는 임무 수행 중 지속적으로 움직이며 카메라의 위치, 고도, 각도가 시시각각 변하기 때문에 이러한 역동적인 시점 변화에서도 강건하게 이상 여부를 판단하는 것은 기존 방식으로는 한계가 있다.
이에 본 연구에서는 단순한 ‘정상/이상’ 판단을 넘어 구성 요소의 변위와 기울기를 정량적으로 평가할 수 있는 구조 이상 분석 기법을 제안한다. 본 연구의 목적은 무인이동체 환경에서 발생하는 동적 시점 변화에 강건한 이상 분석 설계에 있다. 이를 위해 EO 센서 기반의 키포인트 검출(Keypoint Detection)[13] 방식을 활용하되, 고정 기준점을 활용한 상대 좌표계 기반 기하학적 분석을 통해 회전 변화에도 일관된 판단이 가능하도록 설계하였다. 또한, 이상 데이터 수집이 제한적인 현장 환경을 고려하여 정상 데이터 기반 학습과 후처리 기반 이상 판단을 분리함으로써 소규모 사례만으로도 시스템 구축이 가능한 실용적 접근법을 제시한다. 전체 시스템의 구성 개요는 Fig. 1과 같다.
최종적으로 본 연구는 무인이동체 기반 EO 시스템의 지속적 감시 체계 구축 가능성을 제시하며, 자동화된 구조 진단 시스템을 통해 인력과 비용을 절감하고, 다양한 환경 및 임무 수행 조건에 대한 확장성 있는 기술로 이를 통해 전문 인력 의존도를 크게 줄이고 예방적 유지보수 체계 구축이 가능하길 기대한다.
이론 해석
2.1 키포인트 방식을 활용한 이상 분석의 필요성
본 연구가 이상 분석 모델 개발을 위해 키포인트 검출 방식을 선정한 이유는 세 가지로 요약할 수 있다. 첫째, 현실적으로 이상 데이터를 충분히 확보하기 어렵다. 실제 환경에서는 대부분의 데이터가 정상 상태이며, 이상 상태는 발생 빈도가 낮고 수집이 제한적이다. 이러한 조건에서는 전체 객체 형태를 학습하는 객체 검출 방식으로는 이상 상황에 대한 일반화가 어렵다. 반면, 키포인트 검출 방식은 기준점만 정확히 검출할 수 있다면 후처리 단계에서 각도, 거리, 기울기 등의 물리적 관계를 활용하여 이상 데이터가 적어도 탐지 가능성이 확보된다.
둘째, 키포인트 방식은 후처리 계산을 통해 단순한 탐지를 넘어 ‘왜 이상한가’에 정량적 근거 제시 구현에 적합하다. 예를 들어, 각도 편차, 기준점 거리 이탈 등 구조적 이상 징후를 수치로 제시할 수 있어 이상 분석의 고질적인 근거력 부족 문제를 해결할 수 있다. 이는 유지보수 시스템 또는 운용자가 탐지 결과를 직관적으로 해석하고 대응할 수 있도록 한다.
셋째, 무인이동체 환경의 동적 시점 변화에 강건한 분석이 가능하다. 기존 방식은 카메라의 각도가 변하면 비율 자체가 왜곡되어 정상 객체를 이상으로 오판하게 된다. 반면 본 연구는 차량의 고정 기준점을 활용하여 상대 좌표계를 구성하고, 이를 기준으로 안테나의 높이 비율과 각도를 계산함으로써 회전 변화에도 안정적인 성능을 유지한다.
2.2 임무 수행 장비 이상 분석 모델
2.2.1 3단계 처리 방식
본 연구에서는 3단계 처리 방식(객체 검출→키포인트 검출→키포인트 기반 구조 검증)을 적용하였다. 이 방식은 다음과 같은 두 가지 주요 장점을 가진다.
첫째, 전체 이미지에서 키포인트를 직접 예측하는 것보다 객체 검출 결과를 기반으로 ROI(Region of Interest)를 먼저 추출한 후 키포인트를 검출하는 방식이 계산 효율 측면에서 유리하다. 이는 전체 이미지 크기를 O(H×W)라고 할 때, 객체 수 N과 각 객체의 크롭 영역 크기 h×w를 고려한 계산량 O(N×h×w)로 줄어드는 결과를 가져온다. 이로써 모델의 추론 속도를 크게 개선할 수 있다.
두 번째, 배경 잡음이 제거된 크롭된 영역에서 키포인트를 검출함으로써 정확도를 향상시킬 수 있다. 특히 본 연구는 무인이동체에서 동작해야 하는 시스템에 적용되기 때문에 경량 모델 구성과 빠른 추론 속도 확보가 핵심 과제이다. 이러한 측면에서 ROI 기반의 단계적 처리 방식은 효과적인 대안이 될 수 있다.
2.2.2 YOLO 기반 객체 검출의 원리
YOLO는 단일 신경망을 통해 전체 이미지를 한 번에 처리하여 객체의 위치와 클래스를 동시에 예측하는 객체 검출 기법이다. YOLO는 이미지를 일정 그리드로 분할한 뒤 각 그리드 셀에서 바운딩 박스와 클래스 확률을 예측한다. 이러한 구조는 빠른 연산 속도와 비교적 높은 정확도를 요구하는 무인이동체 기반 영상 처리 환경에 적합하다. 본 연구에서는 ROI를 도출하기 위해 정확도 측면에서 균형 잡힌 성능을 제공하는 YOLO11n[14]을 객체 검출 모델에 활용하였다.
2.3 키포인트 기반 구조 검증 원리
본 연구는 키포인트 간 기하학적 관계를 분석함으로써 구성 요소의 구조적 이상 여부를 정량적으로 판단하는 후처리 기반 이상 분석 방법을 제안한다. 전체 과정은 다음의 두 단계로 구성된다: (1) 기하학적 관계 분석, (2) 임계값 기반 판단.
먼저, 특장차의 중심축을 기준으로 각 센서의 양 끝단 키포인트를 이용해 벡터를 형성하고, 이를 바탕으로 각도 및 상대 길이를 계산한다. 해당 기하학적 계산 원리는 3.1절에서 자세히 설명한다. 다음으로, 임계값 기반 판단은 사전에 정의된 각도 및 비율 임계값을 기준으로 이상 여부를 판단한다. 이때 모든 판단은 키포인트 검출 시의 신뢰도(Confidence) 기준이 일정 기준 이상인 경우에만 수행되며, 신뢰도 기반의 필터링을 통해 오판 가능성을 줄일 수 있도록 설계하였다.
실험방법
본 연구는 통신 임무를 수행하기 위해 설계된 특장차에 장착된 안테나의 설치 상태를 자동으로 이상을 진단하는 것을 목표로 한다. 특장차에는 두 가지 종류의 특수한 안테나가 각각 설치되어 있다. 안테나 A는 높이 조절이 가능한 단일 안테나이고, 안테나 B는 각도 조절이 가능한 세 개의 안테나로 구성되어 있다. 이들 안테나들은 일정 길이와 각도를 유지하여야 하며 본 연구에서는 이러한 기준값으로부터 변화 여부를 기반으로 이상 유무를 판단한다. 이를 위해 본 연구에서는 객체 검출 및 키포인트 검출 기반의 처리와 구조적 규칙 기반의 정량 검증 절차를 수행한다.
3.1 시스템 개요
본 연구에서 정의하는 구조 이상은 안테나의 기하학적 설치 상태가 정상 운용 기준을 벗어난 상태를 의미한다. 안테나의 구조적 문제는 파손, 변형, 탈락 등 다양한 형태로 나타날 수 있으나, 본 연구에서는 현장 운용상 가장 빈번하며 즉각적인 성능 저하를 유발하는 높이 및 각도 이탈에 집중하였다. 이를 위해 본 연구에서는 객체 검출 및 키포인트 검출 기반의 처리와 구조적 규칙 기반의 정량 검증 절차를 수행한다.
입력된 영상에 대해 먼저 객체 검출 모델을 사용하여 프레임 내에 특장차, 안테나 A, 안테나 B의 위치를 탐지한다. 각 객체에 대해 클래스에 따라 ROI 이미지 영역을 생성한 후, 각 클래스에 대해 객체 내부의 주요 구조를 나타내는 키포인트를 추정한다. 이후 키포인트 기반 검증 모듈은 차량과 안테나의 키포인트를 기반으로 다음 두 가지 기준에 따라 상태를 판단한다:
데이터셋은 보안상의 이유로 공개하기 어렵다. 다만, 본 논문에서는 설명의 이해를 돕기 위해 유사한 환경에서 생성한 예시 이미지를 Fig. 2에 제시하였다. 키포인트는 원 형태로 시각화하였으며, 특장차의 중심선은 차량 후면 두 바퀴의 중간점과 전면 바퀴의 중간점을 연결한 선으로 정의한다.
Fig. 2.
Structural validation examples using keypoints (Illustrative image generated using OpenAI ChatGPT-4o to replace confidential data)
Fig. 2의 (A)는 안테나 A의 높이 측정 방식을, (B)는 안테나 B의 기울기 검증 방식을 보여준다. 안테나 A 는 양 끝단에 추론된 키포인트를 기준으로 측정하며, 특장차 높이는 안테나 A 키포인트의 연장선이 특장차 중심선과 교차하는 지점을 하단 기준점으로 설정하여 계산한다. 또한, 특장차 각도는 중심선을 기준으로 한 수직선을 설정함으로써 기준 각도를 정의한다. 최종 결과는 객체 검출 바운딩 박스, 키포인트, 계산된 각도 및 비율, 신뢰도, 판정 결과(Pass/Fail/Low confidence)를 포함하며, 이를 시각적으로 출력한다.
본 연구에서 정의한 키포인트는 구조적 기준점의 안정성과 검출 정확도를 고려하여 선정되었다. 특히, 바퀴는 차량에서 위치가 변하지 않고, 고정 구조물로서 회전 및 시점 변화에도 안정적인 기준축을 제공한다. 초기 실험에서 라이트, 상단 포인트 등 다양한 특징점을 포함한 키포인트 조합을 테스트하였으나 키포인트 수가 증가할수록 개별 검출 오차가 누적되어 전체적인 기하학적 계산 정확도가 저하되었다. 네 바퀴만으로도 차량의 중심축 산출에 필요한 정보를 충분히 제공하며, 이는 안테나 설치 기준을 정의하는 데 효과적이다.
3.2 학습/검증/테스트 데이터셋
모델 개발을 위해 총 13,908개(자체수집 966개 + 오픈소스 수집 12,942개)의 데이터셋을 수집하였으며, 다양한 조도 변경과 촬영 각도(90°, 135°, 180°)를 고려하여 데이터셋을 증대함으로써 객체 검출 모델은 15,787개의 데이터셋을 학습에 활용하였고, 2,885개의 데이터셋을 검증에 활용하였다. 키포인트 검출 모델은 ROI를 추출하여 93,240개의 데이터셋을 학습에 활용하였고, 24,045개의 데이터셋을 검증에 활용하였다. 테스트 데이터셋은 다른 날짜, 다른 장소에 같은 특장차를 배치하여 촬영한 이미지를 활용하였고, 672개(자체수집 235개 + 오픈소스 수집 437개)의 데이터셋을 활용하였다.
학습 데이터 수집 과정에서 실제 무인이동체의 관측 환경을 고려하여 현실적인 시나리오를 재현하고자 하였다. 구루마와 같은 운반 장비에 EO 센서(VIGI C540-W(1920×1080), night vision & RGB)를 탑재하여 이동체의 높이와 유사한 촬영 위치를 구현하였으며, 모바일 장비(iPhone 15 Pro(2556×1179), Galaxy S24 Ultra(3120×1440))는 무인의 높이와 유사한 상황을 반영하였다. 테스트 데이트에선 무인이동체에 탑재된 EO 센서(VIGI C540-W(1920×1080), RGB)로만 수집하였다.
이를 통해 다양한 시점과 촬영 환경에서의 데이터 다양성을 확보하고자 하였다. 전체적인 모델 학습을 위한 데이터셋 구성 및 흐름은 Fig. 3에 나타내었다.
실제 학습/검증에 사용된 오픈소스 데이터셋은 일반 차량 공개 영상 데이터로 제작된 CarFusion 데이터셋[16]을 활용하였다. CarFusion은 일반 차량, 트럭, 버스 중심의 키포인트 정보가 포함되어 있어 본 연구의 특장차 기반 기준점 설정과 유사한 관점을 제공한다.
Fig. 3에 설명된 바와 같이, 특장차, 안테나 A, 안테나 B, 그리고 무관한 이미지를 포함한 객체들을 대상으로 객체 검출 모델(OD)을 학습하였다. 이 모델은 특장차 이외의 일반 차량이나 구성 요소는 탐지하지 않도록 설계되었다. 이후 객체 검출 결과를 기반으로 각 클래스에 특화된 키포인트 검출 모델(KDA,KDB,KDcar)이 단계적으로 적용된다.
테스트는 자체 수집 데이터셋과 오픈 데이터셋으로 수집된 데이터로 구성되며, 다음 네 가지 상황을 포함한다:
3.3 객체 검출 및 ROI
객체 검출 모델은 입력 이미지 내의 객체를 탐지하고 이미지를 잘라낸 후 키포인트 검출의 입력으로 사용한다. 본 연구에서는 총 세 개의 클래스(특장차, 안테나 A, 안테나 B)를 대상으로 하며, 각 클래스에 대해 독립적인 키포인트 모델을 학습하여 적용하였다. 탐지된 바운딩 박스는 키포인트 검출을 위해 일정 여유(Padding)를 두고 잘라내어 입력 이미지로 사용되며, 검출된 키포인트는 바운딩 박스 기반 좌표계를 원본 이미지 좌표계로 변환하여 사용한다.
3.4 키포인트 기반 이상 분석 검증
Fig. 4는 제안한 키포인트 기반 이상 분석 기법이 정상 상황과 이상 상황을 어떻게 구분하는지를 시각적으로 보여준다. (A)는 두 안테나가 정상적으로 장착된 상태이며, 키포인트 간 거리와 각도가 사전 정의된 기준을 만족하여 ‘정상(Pass)’으로 판단된 예시이다. 반면 (B)는 안테나의 길이가 비정상적으로 짧아졌거나 기울기가 과도하게 변한 ‘이상’ 상황으로, 키포인트 기반 후처리 결과 ‘이상(Fail)’으로 분류된 예시이다.
Fig. 4.
Comparison normal vs abnormal status (Illustrative image generated using OpenAI ChatGPT-4o to replace confidential data)
3.4.1 안테나 A 높이 검증
안테나 A는 특장차 본체 길이보다 약 1.2배 이상 길게 설치되어야 한다. 이를 위해 특장차의 높이와 안테나 A의 높이를 각각 키포인트 쌍 간의 길이로 정의하고, 비율이 1.2 이상일 경우 해당 안테나는 충분한 높이로 설치된 것으로 판단하여 ‘정상’으로 분류하고, 그렇지 않으면 ‘이상’으로 분류한다. 이는 정상 조건에서 대부분의 샘플이 해당 기준을 상회한다는 분석에 기반한 값이다.
이러한 임계값은 절대적인 규격이 아닌 현장 운용 환경을 반영한 경험적 기준에 기반한다. 특장차 안테나는 성능(전파 송수신)과 안전성(구조적 안전성) 간 상충 관계를 가지며, 허용 범위는 임무 특성 및 환경 조건에 따라 조정된다. 본 연구는 수집된 정상 운용 데이터의 분포와 실제 이상으로 보고된 소규모 사례를 비교하여 기준값을 도출하였다. 본 시스템은 운용자가 임무 조건에 따라 후처리 단계에서 이 임계값을 조정할 수 있도록 설계되었다.
3.4.2 안테나 B 수직도 검증
안테나 B는 특장차의 상단에 수직으로 부착되어야 한다. 이를 위해 특장차의 기울기와 안테나 B의 기울기를 정의하고 특장차 중심선 기준으로 20도 이하일 경우 해당 안테나는 적절한 각도로 설치된 것으로 판단하여 ‘정상’, 아닌 경우 ‘이상’으로 분류한다. 이러한 기준은 실제 현장에서 수용 가능한 설치 오차와 실험 중 관측된 정상 기울기의 편차를 반영한 값이다.
3.4.1절의 높이 임계값과 마찬가지로 이 수직도 기준 역시 현장에서 이상 사례를 참고하여 도출된 경험적 임계값이다. 정상 데이터의 분포와 운용상 문제가 보고된 사례를 확인하여 설정하였으며, 운용 환경에 따라 조정 가능하다.
3.4.3 판단 불가 상황 처리
모든 키포인트는 신뢰도를 함께 제공하며, 본 연구에서는 필수 키포인트의 신뢰도가 사전에 정의된 임계값 이상일 경우에만 해당 키포인트를 유효하다고 간주한다. 키포인트의 기준 신뢰도보다 이하로 도출될 경우 ‘판단 불가(Uncertain)’로 분류한다. 여기서, 기준 신뢰도는 상대적으로 크기가 큰 차량과 안테나 A는 0.7 이상으로 설정하였으며, 크기가 작은 안테나 B의 기준 신뢰도는 0.5로 설정하였다.
3.4.4 바운딩 박스 기반 비교
본 연구에서는 제안한 키포인트 기반 구조 검증 방식의 유효성을 입증하기 위해 비교적 근거 제시가 가능한 객체 검출 방식의 바운딩 박스 비율로 이상 여부를 판단하는 단순 비교 방식을 함께 구성하였다. 해당 방식은 별도의 키포인트나 중심선 계산 없이 바운딩 박스의 크기 만으로 이상 여부를 판단하는 방식으로 계산 비용이 적고 구현이 간단한다는 장점이 있다[17,18]. 본 연구에서 제안한 방식이 단순 방식 대비 구조적 이상 분석 성능 측면에서 얼마나 향상되었는지를 검증하였다.
객체 검출 방식에서는 안테나 A의 높이를 비교하기 위해 안테나 A의 바운딩 박스 세로 길이와 특장차의 바운딩 박스 세로 길이를 도출하여 비율을 비교한다. 안테나 B의 각도를 비교하기 위해 특장차 바운딩 박스 가로 길이와 안테나 B의 가로 길이 비율을 계산한다. 이 비율이 사전에 정의된 임계 범위 내에 위치할 경우 ‘정상’으로, 이를 벗어나면 ‘이상’으로 분류한다.
3.5 모델 학습 환경
모델 학습은 구축한 데이터셋을 기반으로 수행되었으며, 활용한 하이퍼파라미터는 모두 YOLOv11에서 제공하는 기본 파라미터를 활용하여 진행하였다. 학습에 사용된 개발 환경은 다음 Table 1과 같다.
3.6 성능 지표
실험은 객체 검출 및 키포인트 검출 모델을 각각 구성하여 동일 데이터 상에서 정확도를 비교하였으며, 정량적 지표로는 Precision, Recall, mAP50, mAP50-95, FDR을 포함하였다. Precision은 모델이 검출한 객체 중 실제로 정답인 비율을 의미하며, recall은 실제 정답 중 모델이 얼마나 정답을 맞췄는지를 의미한다. 각 정량 지표의 정의는 다음 식 (1), (2)와 같다.
여기서, TP(True Positive)는 모델이 객체를 탐지하였고, 해당 위치에 실제 객체가 존재하는 경우를 의미한다. FP(False Positive)는 모델이 객체를 탐지하였으나 해당 위치에 객체가 존재하지 않는 경우를 의미한다. FN(False Negative)은 실제 객체가 존재함에도 모델이 해당 객체를 탐지하지 못한 경우를 의미한다.
AP(Average Precision)는 recall 변화에 따른 precision 곡선의 면적을 의미하며, mAP(mean Average Precision)은 여러 클래스를 평균을 낸 값이다. N은 전체 클래스 개수이다. 각 정량 지표의 정의는 식 (3), (4)와 같다.
여기서, APi는 클래스 i번에 대한 AP를 의미한다. 본 연구에서는 객체 검출 결과를 기반으로 ROI를 추출한 후 해당 영역에 대해 키포인트를 예측하는 처리 구조를 채택하였다. 이러한 구조에서는 객체 검출 정확도가 후속 키포인트 검출 성능에 직접적인 영향을 미치므로 정확한 객체 위치 평가가 매우 중요하다. 즉, 바운딩 박스 수준의 정확도 확보가 매우 중요하다. 이를 위해 IoU(Intersection over Union) 임계값을 0.5부터 0.95까지 0.05 간격으로 변화시키며 평균 성능을 측정하는 mAP50:95를 주요 평가 지표로 사용하였다. IoU는 예측된 바운딩 박스와 실제 바운딩 박스 간의 겹치는 영역을 기준으로 두 영역의 교집합과 합집합의 비율로 적용된다.
한편, 키포인트 검출의 경우에는 IoU 대신 OKS (Object Keypoint Similarity) 개념을 적용한다. OKS는 IoU 개념을 키포인트에 맞게 확장한 것으로 예측된 키포인트와 실제 키포인트의 거리, 객체의 스케일, 키포인트별 관용성 계수 등을 고려하여 유사도를 산출한다. 본 연구에서는 사용자 정의 키포인트에 대해 관용성 계수를 YOLO에서 기본값으로 제공하는 0.2로 설정하여 비교적 느슨한 기준을 적용하였다.
Error rate는 전체 결과 중에서 틀린 것의 비율을 말하며, 이 Error rate는 다음 식 (5)와 같다.
여기서, TN(True Negative)는 실제 객체가 존재하지 않을 때, 모델이 해당 객체를 탐지하지 않는 경우를 의미한다.
실험 결과
본 연구에서 개발한 시스템의 성능은 객체 검출과 키포인트 검출의 두 가지 단계로 나누어 평가하였다. 먼저, 4.1에서 객체 검출의 성능을 나타내었고, 4.2에서 키포인트 검출의 성능을 나타내었다.
4.1 객체 검출 성능
객체 검출 모델은 특장차, 안테나 A, 안테나 B의 세 가지 클래스를 대상으로 학습되었으며, 검증 데이터셋을 기준으로 Table 2와 같은 성능을 보였다. 정량적 평가는 Precision, Recall, mAP50, mAP50:95 지표를 기준으로 수행되었다.
Table 2.
Results of object detection
| SPV | Antenna A | Antenna B | Total | |
|---|---|---|---|---|
| Precision | 1.000 | 0.997 | 0.995 | 0.998 |
| Recall | 0.999 | 0.996 | 0.988 | 0.992 |
| mAP50 | 0.995 | 0.995 | 0.995 | 0.995 |
| mAP50:95 | 0.987 | 0.991 | 0.767 | 0.886 |
Table 2의 결과에서 볼 수 있듯이, 전체 객체에 대해 Precision, Recall, 그리고 mAP50 모두 0.99 이상을 기록하며 안정적인 탐지 성능을 나타냈다.
한편, 보다 정밀한 위치 검출 성능을 평가하는 mAP50:95 지표에서는 클래스 간 차이가 나타났다. SPV는 0.987, 안테나 A는 0.991 성능을 기록한 반면, 안테나 B는 0.767로 상대적으로 낮은 값을 보였다. 이는 안테나 B의 경우 실제 크기가 상대적으로 작아 모델이 정확한 위치를 예측하는 데 어려움을 겪었기 때문으로 해석된다. 크기가 작거나 일부 가려진 안테나 B에 대해서는 false negative 발생 가능성을 고려한 보정 전략이 추후 요구될 수 있다.
4.2 객체별 키포인트 검출 성능 평가
각 객체 클래스별로 독립적인 키포인트 검출 모델을 학습하였으며, 다음 Table 3과 같이 정량적 정확도를 달성하였다.
Table 3.
Results of keypoint detection
| General car | Antenna A | Antenna B | |
|---|---|---|---|
| Precision | 0.991 | 0.999 | 0.993 |
| Recall | 0.991 | 1.000 | 0.994 |
| mAP50 | 0.990 | 0.995 | 0.991 |
| mAP50:95 | 0.850 | 0.989 | 0.988 |
Table 3의 결과에 따르면, 전체 클래스에서 Precision, Recall, 그리고 mAP50에서 0.99 이상을 기록하였다. 또한, 안테나 A와 B의 mAP50:95는 각각 0.989, 0.998로 위치 정밀도가 매우 높은 수준임을 나타낸다.
반면, 차량의 mAP50:95는 0.850으로 상대적으로 낮은 수치를 보였는데 이는 다음과 같은 요인에 기인한다. 첫째, 특장차는 네 바퀴의 키포인트를 포함하고 있어 포인트 수가 많은 반면, 안테나 A와 B는 각각 두 개의 주요 포인트만으로 구성되어 있다. 이로 인해 키포인트 간 거리 차이, 가림 현상, 포즈 다양성 등이 검출 난이도에 영향을 주었으며 전체 위치 정확도 평가에서 불리하게 작용한 것으로 해석된다.
그럼에도 불구하고 전체적으로 mAP50:95 기준에서 0.85 이상을 유지하였으며 주요 부품의 정밀한 위치 검출이 가능함을 보여주었다. 이러한 결과는 실제 현장에서 구조를 제공하는 시스템으로서 충분한 신뢰성을 확보했음을 의미한다.
4.3 후처리 기반 이상 분석 결과 비교
본 절에서는 제안한 시스템의 이상 분석 성능을 객체 검출 방식과 키포인트 검출 방식에 따라 분석하였다. Error rate를 주요 지표로 사용하였으며, 평가 대상은 이상 조건(높이 이상, 각도 이상), 정상 조건에서 회전, 그리고 무관 객체이다.
4.3.1 높이 및 각도 이상 시나리오 결과
제안한 키포인트 방식이 구조적 이상도 탐지할 수 있는지 확인하기 위해 안테나 길이와 각도가 인위적으로 변경한 시나리오에서 실험을 수행하였다. 그 결과는 Table 4와 같다. 여기서, Table 4의 (A)는 안테나 A를 중심으로 높이의 이상 여부를 판단한 것이며, (B)는 안테나 B를 중심으로 각도의 이상 여부를 판단한 것이다. 모든 객체는 이상 상태이므로 ‘이상’으로 판별되어야 하며, ‘정상’으로 판단된 경우는 FP에 해당한다.
Table 4.
Results of ‘fail’ status
| (A) Results of antenna A (height) | ||||
|---|---|---|---|---|
| Detection | Detected | Pass | Fail | Uncertain. |
| Object detection | 37 | 0 | 37 | - |
| Keypoint detection | 37 | 0 | 11 | 26 |
| (B) Results of antenna B (tilt) | ||||
|---|---|---|---|---|
| Detection | Detected | Pass | Fail | Uncertain. |
| Object detection | 27 | 0 | 27 | - |
| Keypoint detection | 24 | 0 | 17 | 7 |
안테나 A의 길이가 의도적으로 짧아진 37개 샘플에 대해 적용한 결과 객체 검출 방식에서는 37개 모두 ‘이상’으로 분류하였고, 키포인트 검출 방식에서는 11개는 확실한 ‘이상’으로, 26개는 ‘판단 불가’으로 분류되었다. Error rate 관점에서는 두 방식 모두 ‘이상’ 데이터를 ‘정상’으로 잘못 판단한 경우가 전혀 없어 적절한 성능을 보였다. 안테나 B의 각도를 의도적으로 기울인 27개 샘플 중 객체 검출의 경우 27개 모두 ‘이상’으로 분류하였고, 키포인트 검출의 경우 17개가 확실한 ‘이상’으로 7개가 ‘판단 불가’으로 분류되어 양호한 탐지 성능을 보였다.
위 결과를 정리해 보면, 객체 검출 방식은 높은 정확도를 보여주며, 해당 조건에서는 실용적인 활용 가능성을 확인할 수 있었다. 반면 키포인트 검출 방식은 일부 이상 샘플은 ‘판단 불가’으로 분류되었으나, 이는 모델이 이상 여부를 확신할 수 없는 상황에서 오판을 방지하기 위한 보수적 판단으로 해석된다. 이러한 전략은 안전성 확보 측면에서 유의미하다. 본 연구는 무인이동체 기반 환경에서의 강건한 상태 모니터링을 주된 목표로 하며, 다양한 이상 조건에 대한 정밀한 판단 기준 설정과 성능 향상은 향후 연구에서 다룰 예정이다.
4.3.2 정상 데이터 회전을 통한 이상 분석 결과
특장차 영상에 대해 회전 후 결과를 분석한 내용은 다음 Table 5과 같다. 여기서, Table 5의 (A)는 안테나 A를 중심으로 높이의 이상 여부를 판단한 것이며, (B)는 안테나 B를 중심으로 각도의 이상 여부를 판단한 것이다. 모든 객체는 정상 상태이므로 ‘정상’으로 판별되어야 하며, ‘이상’으로 판단된 경우는 FP에 해당한다.
Table 5.
Results of ‘pass’ status
Table 5의 결과를 error rate 관점에서 분석하면 두 방식 간에 극명한 차이가 나타난다. 객체 검출 방식의 경우 0° 조건에서는 비교적 양호한 성능을 보였으나 회전 조건에서 치명적인 약점이 드러났다. 안테나 A 높이 판단에서 0°와 180° 조건에서는 5.2 %의 error rate를 기록했다. 여기서, error rate가 발생한 원인은 특장차 하단(바퀴) 또는 좌우 측면(트렁크, 헤드라이트 등) 일부가 프레임 밖으로 벗어나 오판한 것으로 분석됐다. 90°와 135° 조건에서는 각각 99 %와 100 %의 높은 error rate를 보였는데, 이는 바운딩 박스의 높이/너비 비율 기준이 왜곡되어 정상 객체를 이상으로 오판했기 때문이다. 이는 바운딩 박스 기반 이상 판단이 시점 변화에 극도로 취약함을 보여준다.
반면, 키포인트 검출 방식은 회전 조건에서도 안정적인 성능을 보였다. 안테나 A 높이 판단에서 0°, 90°, 180° 조건에서 0 %의 error rate를 기록했으며, 135° 조건에서도 2.1 %의 낮은 error rate만을 보였다. 안테나 B 각도 판단에서는 모든 조건(0°, 90°, 135°, 180°)에서 0 %의 error rate를 달성했다. 일부 영상에서 프레임을 벗어나거나 키포인트 검출이 어려운 경우 ‘판단 불가’로 처리되었으나 이는 보수적 접근으로서 오히려 시스템의 신뢰성을 높이는 결과였다. 특장차 및 안테나의 주요 키포인트가 회전이나 프레임 손실에도 불구하고 안정적으로 도출되어 구조적 정보를 활용한 이상 판단 방식의 강건성을 입증했다.
4.3.3 무관 객체에 대한 이상 분석 결과
모델의 오탐지 성능을 평가하기 위해 학습에 포함되지 않은 무관 객체 이미지들을 437개로 구성하여 실험을 진행하였다. 그 결과, 모든 조건에서 모델은 객체 검출 및 키포인트 검출 결과를 출력하지 않았으며, 이는 error rate가 발생하지 않았음을 의미한다. 이는 본 모델이 무관한 환경이나 객체에 대해서도 오탐지 없이 안정적인 동작을 수행할 수 있음을 의미하며, 실제 운용 환경에서의 신뢰성과 실용성을 높이는 데 중요한 역할을 한다. 특히, 다양한 회전 조건에서도 일관된 결과를 보였다는 점에서 실제 운용 환경에서의 신뢰성과 실용성을 높이는 데 기여할 수 있다. 이로써 본 분석 방식은 다양한 실제 조건에서도 신뢰도와 강건성을 확보함을 확인할 수 있었다.
고 찰
Fig. 5는 객체 검출 기반(A)과 키포인트 기반(B)의 이상 판단 방식에 모든 회전 각도를 포함한 조건에서의 오답률을 비교한 것이다. 객체 검출 방식이 각각 52.3 %, 49.8 %의 높은 오답률을 보인 반면, 키포인트 검출 방식은 각각 0.5 %, 0 %로 매우 낮은 오답률을 기록하였다. 이는 키포인트 방식이 프레임 손실, 회전 등 환경 변화에 강건함을 지님을 보여준다. 이런 결과는 단순 비율 기반의 이상 판단보다 키포인트 간의 구조적 관계를 활용하는 방식이 더욱 정상/이상 판단 시 정량적 근거를 제시하며 정밀한 진단이 가능함을 시사한다.
다만, 본 연구에는 다음과 같은 몇 가지 한계점이 존재한다. 첫째, 시스템이 정상/비정상 여부를 판단하기 위해 각도나 높이 비율은 표준화된 산업 규격이 아닌 현장 운용 데이터와 이상 사례 비교에 기반한 경험적 기준값이다. 표준 규격이 부재한 상황에서 본 연구는 조정 가능한 후처리 기반 기법을 제시하였다. 다만, 제시된 기준값은 제한된 현장 사례를 바탕으로 도출되었으므로, 향후 다양한 운용 환경에서의 대규모 데이터 축적을 통해 임무별 최적값 가이드라인 수립이 필요하다. 또한, 새로운 유형의 특장차나 부속물 형태가 등장할 경우, 기준값의 재조정이 필요하다.
둘째, 학습 데이터셋에는 복수의 카메라가 사용되었으나, 이상 분석을 위한 후처리 조정은 무인이동체용 단일 EO 센서를 기준으로 수행하였다. 이로 인해 특정 시야각이나 굴곡 상황에서의 영향이 적다고 가정하였다. 향후에는 특장차의 키포인트의 위치를 통한 비율을 기준으로 여러 카메라 간 데이터를 정규화하여 활용하는 방안을 심화된 연구를 진행할 예정이다.
셋째, 본 연구에서는 EO 기반 단일 시점 영상에 기반하여 구조적 이상을 진단하였기 때문에 야간이나 극한 환경에서는 검출 성능이 저하될 수 있다. 향후에는 IR 또는 저조도 영상(Night Vision)을 탑재하여 이를 보완할 수 있을 것으로 기대된다.
결 론
본 연구는 무인이동체 환경에서 키포인트 기반 구조 이상 분석 기법을 제안하였다. 제안 기법의 핵심 성과를 Table 6에 요약하였다.
Table 6.
Summary of key contributions
첫재, 정량적 근거 기반 이상 분석을 구현하였다. 키포인트 간 높이 비울과 각도 편차를 계산하여 ‘어디서, 얼마나’ 이상이 발생했는지 제시한다. 실험 결과 안테나 A 높이 이상 37건, 안테나 B 각도 이상 27건 모두에서 오탐지 없이 탐지하여 유지보수 의사결정을 위한 신뢰성 있는 정보를 제공함을 입증하였다.
둘째, 동적 시점 변화에 강건한 분석을 달성하였다. 차량 고정 기준점 기반 상대 좌표계 설계를 통해 카메라 회전 조건(0°, 90°, 135°, 180°)에서도 일관된 판단이 가능하다. 바운딩 박스 방식이 약 50 %의 오차율을 보인 반면, 제안 방식은 0.5 % 이하의 오차율을 기록하여 약 100배 성능 향상을 확인하였다.
셋째, 데이터 희소성 환경 대응이 가능함을 보였다. 정상 데이터 기반 학습 후처리 기반 판단 분리를 통해 이상 데이터 수집 없이도 시스템 구축이 가능하며, 무관 객체 437건에 대해 0 % 오탐률을 달성하여 현장 안정성을 확보하였다.
향후 암흑(또는 저조도)에서 활용을 위해 IR, LiDAR 센서 융합, 대규모 데이터 기반 임계값 가이드라인 수립을 통해 실용성을 강화할 계획이다. 본 연구는 정량적 근거 제시와 시점 불변 강건성을 통해 전문 인력 의존도를 줄이고 예방적 유지 보수 체계 구축에 기여할 것으로 기대된다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation
