서 론
디지털 트윈은 가상 환경에서 현실 세계를 복제하는 기술로, 현실 세계와의 동기화 및 시뮬레이션이 가능하다는 점에서 큰 주목을 받고 있다. 디지털 트윈 기술은 현재 군사 분야에서도 중요한 역할을 하고 있다. 예를 들어, 지리 정보 시스템(GIS) 및 무인 항공기(UAV)에서 수집된 데이터를 기반으로 한 시뮬레이션에서 디지털 트윈이 활용될 수 있다[1]. 디지털 트윈을 통해 현실 세계와 유사한 데이터셋을 생성할 수 있으며, 이를 기반으로 다양한 2D 및 3D 이미지 데이터셋이 새롭게 등장하고 있다[2-4]. 이러한 데이터셋을 효율적으로 관리하고 활용하기 위한 이미지 기반 매칭 기술에 대한 수요가 증가하고 있다[5-7].
하지만 디지털 트윈과 현실 세계에서 생성된 데이터셋 간에는 표현 방식에 본질적인 차이가 존재한다[6]. 또한, 전통적인 이미지 매칭 방법은 동일한 도메인 내에서 설계된 경우가 많아, 디지털 트윈과 현실 세계와 같은 교차 도메인 간의 매칭에는 한계가 있다. 이러한 문제를 해결하기 위해, 본 연구 이전에 진행했던 연구에서는 디지털 트윈과 현실 세계 간의 표현의 차이를 극복할 수 있는 방법으로 지상 사진과 위성 사진과 같이 서로 다른 도메인 간의 매칭에 주로 사용되는 cross-view geo-localization 기술을 적용해 왔다[7]. 그 결과, 동일한 도메인 간에 사용되는 전통적인 매칭 방식보다 교차 도메인 매칭 기술인 cross-view geo-localization 기술이 디지털 트윈과 현실 세계 간의 매칭에 더 효과적임을 확인할 수 있었다.
전통적으로 콘텐츠 기반 매칭 방법은 이미지의 외형적 특징을 학습하고 이를 도메인 간에 매칭하는 데 중점을 두었다. 그러나 최근 연구에서는 서로 다른 도메인 간의 이미지를 매칭하기 위해 더 높은 수준의 의미론적 특징을 사용하는 방법이 제안되고 있다. 이는 의미론적 정보가 시각적 외형이 크게 다른 경우에도 견고한 매칭 기준을 제공할 수 있기 때문이다[8-10]. 본 논문에서는 시각적 특징과 의미론적 특징을 활용하는 최신 cross-view geo-localization 기술들을 현실 세계와 디지털 트윈 간의 매칭에 적용하여, 현실 세계와 디지털 트윈 간 매칭의 효율성을 높이고자 한다.
본 연구는 디지털 트윈과 현실 세계에서 얻어진 데이터셋을 통해 제안된 기술의 성능을 평가하고, 현재 교차 도메인 사이에서 통용되는 최신 cross-view geo-localization 기술들의 적용 가능성을 확인한다. 이러한 비교 분석을 통해 각 접근 방식의 강점과 한계를 파악하고, 향후 연구 및 개발에 필요한 방향성을 제시하고자 한다.
본 논문의 구성은 다음과 같다. 2장은 cross-view geo-localization 기술과 관련된 기존 연구를 검토한다. 3장에서는 연구에 사용된 시각적 특징 매칭 시스템과 의미론적 특징 매칭 시스템의 구조와 프로세스를 상세히 설명한다. 4장에서는 연구에 사용된 데이터셋과 평가 지표를 포함한 실험 과정을 명시한다. 5장에서는 디지털 트윈과 현실 세계 데이터셋에 이러한 geo-localization 기술을 적용한 실험 결과를 제시하고, 결과에 대해 논의한다. 마지막으로 6장은 연구의 결론과 향후 연구 방향을 제시한다.
관련 연구
디지털 트윈과 현실 세계 간의 매칭은 두 환경의 표현 방식이 다르기 때문에 여러 도전적인 과제가 존재한다. 전통적인 geo-localization 방법은 동일한 도메인 내에서는 효과적으로 작동하지만, 교차 도메인에 적용될 때는 그 효과가 떨어지는 경우가 많다. 이러한 문제를 해결하기 위해 다양한 새로운 geo-localization 기술들이 제안되었다. 이전 연구에서는 지상 사진과 위성 사진과의 매칭 같은 교차 도메인에서의 매칭 기술이 디지털 트윈과 현실 세계 간의 매칭에 있어 동일한 도메인 내에서 사용되는 전통적인 매칭 기술보다 더 우수한 성능을 보인다는 사실이 확인되었다[7]. 이러한 배경을 바탕으로, 본 장에서는 cross-view geo-localization 기술에 관한 연구를 중심으로 분석하여 디지털 트윈과 현실 세계 간의 매칭에 어떻게 적용할 수 있을지 논의하고자 한다.
본 장에서는 이러한 방법들을 시각적 특징 매칭 기반 접근법과 의미론적 특징 매칭 기반 접근법으로 나누어 살펴보았다.
2.1 시각적 특징 매칭
시각적 특징 매칭 접근법은 이미지 간의 시각적 특징을 비교하여 유사성을 식별하는 방법이다. 이 접근법은 이미지 간의 차별화된 이미지 표현을 학습하는 데 중점이 있다. Hu 외(2018)[11]는 지상 사진과 위성 사진 간의 교차 시점에서 각각 지역적 특징을 추출하여 두 개의 NetVLAD[12] 레이어 간에 가중치 값을 공유함으로써 geo-localization을 수행하였으며, 큰 폭의 시점 변화에도 강건한 전역 디스크립터를 생성하였다.
어텐션 메커니즘의 발전과 함께, 이러한 기술들은 이미지 내 특정 영역에 집중하여 성능을 높이기 위해 cross-view geo-localization 기술에 도입되었다. 예를 들어, SAFA[13]는 다중 헤드 어텐션 모듈을 활용하여 정보가 풍부하고 다양한 임베딩 맵을 생성했다. L2LTR[14]은 cross-view geo-localization 기술에 트랜스포머(transformer)를 최초로 도입하였다. TransGeo[15]는 추가적인 신경망 구조 없이 트랜스포머의 셀프 어텐션 메커니즘과 피드포워드 네트워크로만 구성된 모델인 순수 트랜스포머(pure transformer) 구조를 활용하여 cross-view geo-localization 기술을 수행한 연구로 주목받고 있다.
2.2 의미론적 특징 매칭
의미론적 특징 매칭 접근법은 이미지의 세그멘테이션(segmentation), 라벨, 주석 등 의미론적 정보를 활용하여 매칭을 수행하는 방법이다. 최근에는 시각적 특징뿐만이 아니라 의미론적 정보까지 함께 사용하는 이미지 매칭 연구도 활발히 진행되고 있다.
Rodrigues와 Tani(2021)[8]는 의미적 분할(semantic segmentation)을 통해 얻은 이미지 세그멘테이션을 활용하여 교차 시점 이미지 매칭에 데이터 증강 접근법을 적용했다. 또한, Tian 외(2022)[9]는 교차 도메인 이미지 간의 의미론적 정보를 최대한 활용하기 위해 의미적 분할 기술을 도입했다. SemGeo[10]는 의미적 분할을 통해 장면에서 추출한 의미론적 키워드를 사용하여 cross-view geo-localization에 사용하는 프레임워크를 제안했다. 이 연구에서는 의미적 분할을 통해 얻은 의미론적 이미지와 OpenStreetMap에서 제공하는 지오 데이터를 의미론적 소스로 활용했다.
cross-view geo-localization 기술의 발전으로, 디지털 트윈과 현실 세계의 교차 도메인 맥락에서 더욱 다양한 기술들이 적용될 수 있을 것으로 기대된다.
다음 장에서는 디지털 트윈과 현실 세계 간의 매칭에 최신 cross-view geo-localization 기술 중 시각적 특징 매칭과 의미론적 특징 매칭 방법을 적용하는 것을 논의한다.
시각적 및 의미론적 특징 매칭 시스템 구현
3.1 시각적 특징 매칭
본 논문에서 구현한 시각적 특징 매칭 시스템의 전체 구조는 Fig. 1에 도식하였다. 먼저, 오프라인에서 레퍼런스 데이터셋의 특징을 추출하여 이를 특징 벡터 데이터베이스로 변환한다. 그 후, 위치 정보가 없는 이미지가 질의 이미지로 들어오면, 온라인에서 해당 이미지의 특징을 추출하여 질의 특징 벡터로 변환한다. 생성된 질의 특징 벡터와 특징 벡터 데이터베이스 간의 유사도를 계산한 뒤, 가장 유사한 이미지를 인덱싱하고 검색한다. 마지막으로, 검색된 이미지의 위치 정보를 활용해 질의 이미지의 위치를 결정하게 된다.
3.2 의미론적 특징 매칭
Fig. 2는 본 논문에서 구현한 의미론적 특징 매칭 시스템의 전체 구조를 보여준다. 이 시스템은 기본적으로 시각적 특징 매칭 방법과 유사한 구조로 되어 있다. 여기에 더해, 레퍼런스 데이터셋과 질의 이미지에 의미적 분할을 추가로 적용하여 분할된 이미지(segmented image)를 생성한다. 이 과정에서 추출된 의미론적 특징은 시각적 특징과 결합하여, 더욱 정교한 매칭을 가능하게 한다.
실 험
4.1 실험 환경
4.1.1 데이터셋
본 연구에서는 디지털 트윈과 현실 세계 간의 매칭을 위하여 실험 데이터셋을 수집하였다. 3DCityDB[16]에서 제공하는 API를 활용하여 위치 정보가 포함된 베를린 3D 스마트 시티 모델로부터 디지털 트윈 데이터셋을 구축했다. 3DCityDB는 가상 3D 도시 모델을 저장하고 시각화하는데 사용되는 지오데이터베이스이다.
이에 대응하는 현실 세계 데이터셋은 디지털 트윈 데이터셋에 포함된 위치 정보를 기반으로 Bing Maps 에서 이미지를 크롤링하여 수집했다.
본 연구에서는 디지털 트윈과 현실 세계 이미지 간 위치 기반 태그를 이용하여 서로 대응하는 데이터셋을 형성하였다. 디지털 트윈과 현실 세계 데이터셋은 모두 위치 정보를 포함하며, 이를 바탕으로 두 도메인 간 지오매칭 관계를 형성하였다.
본 연구에서는 베를린의 2 km × 2 km 범위 내의 디지털 트윈과 현실 세계에서 각각 10,587장의 이미지를 수집하여 실험에 사용하였고, 이 중 무작위로 선택한 각각의 1,059개의 이미지를 질의 이미지로 활용하였다. 실험은 디지털 트윈 도메인과 현실 세계 도메인 각각에 대해 진행한 후, 두 도메인의 매칭 결과를 종합하여 전체 성능을 평가하였다.
4.1.2 평가 지표
본 연구에서는 이미지 기반 geo-localization 방법의 성능을 평가하기 위해 geo-localization에서 사장 많이 사용되는 표준 지표 중 하나인 recall을 평가 지표로 사용했다. recall은 정확히 인식된 질의의 비율을 의미한다. 검색된 상위 k개의 결과에 대해 recall을 계산했으며, 여기서 k는 1, 5, 10, 1 %로 설정했다. 각 질의 이미지에 대해 데이터베이스에서 상위 1, 5, 10, 1 % 개의 가장 유사한 이미지를 검색한 후, 참조 이미지가 검색 결과 위치 태그를 활용하여 5m 내에 매칭된 이미지가 검색된 이미지 목록에 존재하면 매칭이 성공한 것으로 간주하였다.
4.2 구현 세부 사항
4.2.1 시각적 특징 매칭
시각적 특징 매칭 기술이 현실 세계와 디지털 트윈이라는 두 도메인 간 매칭에 얼마나 효과적인지를 평가하기 위해 성능 분석을 진행했다.
본 연구에서는 시각적 특징 매칭 기술로 L2LTR[14]를 사용했다. L2LTR은 트랜스포머 기반 모델로, 지상 사진과 위성 사진 간의 전역 컨텍스트와 위치 정보를 탐색하여 매칭하는 데 있어 뛰어난 성능을 보였기 때문에 선택하였다.
본 연구에서 사용한 L2LTR 모델은 두 도메인 간의 매칭 정확도를 높이기 위해 soft-margin triplet loss를 손실 함수로 사용한다. 이 손실 함수는 쿼리 이미지와 긍정적 페어(positive pair) 간의 거리를 줄이고, 쿼리와 부정적 페어(negative pair) 간의 거리를 증가시키는 방식으로 학습을 진행한다.
본 연구에서는 L2LTR의 기본 구조를 유지하되, L2LTR에서는 교차 도메인 이미지 간의 다른 사이즈를 고려하기 위하여 극좌표 변환을 사용하였으나, 본 연구의 데이터셋은 이미 두 도메인이 비슷한 레이아웃을 가지고 있었기 때문에 극좌표 변환은 적용하지 않고 이를 수정하여 디지털 트윈과 현실 세계 간의 매칭에 적합하도록 구성하였다.
본 연구에서는 L2LTR 모델의 구현에 PyTorch 라이브러리를 사용하였으며, GTX 3090 GPU에서 AdamW[17] 옵티마이저로 학습을 진행하였다. L2LTR은 초기 학습률로 0.001을 설정하였고, 가중치 감소는 0.03으로, 배치 크기는 24로 지정하였다.
4.2.2 의미론적 특징 매칭
의미론적 특징 매칭 기술의 효과를 검증하기 위해, 이를 두 도메인 간의 이미지 매칭에 적용하여 성능을 분석했다. 본 연구는 장면의 의미론적 지식을 활용하여 cross-view geo-localization 기술의 효과를 입증한 SemGeo[10]를 참고하여 모델을 구현하였다.
SemGeo는 의미론적 키워드를 기반으로 매칭하는 교차 도메인 매칭 기술로, 장면에서 추출한 의미론적 정보를 통해 매칭의 정확도를 높인다.
SemGeo는 OpenStreetMap의 지오 데이터를 통해 얻은 의미론적 태그를 키워드 소스로 사용했지만, 본 연구는 디지털 트윈과 현실 세계 도메인에서 기존의 사전 훈련된 의미적 분할 모델[18]을 활용하여 의미적 분할을 수행하여 새로운 의미론적 정보를 생성하였다. 생성된 세그멘테이션 이미지는 키워드 소스로 사용되었다.
본 연구에서 사용한 SemGeo 모델 역시 soft-margin triplet loss를 손실 함수로 사용하여 학습한다. 의미론적 특징과 시각적 특징이 결합한 상태에서, 쿼리 이미지와 긍정적 페어 간의 거리를 최소화하고 부정적 페어와의 거리를 최대화하는 방식으로 매칭 정확도를 최적화한다.
본 연구에서는 SemGeo 모델을 PyTorch로 구현하였으며, GTX 3090 GPU에서 AdamW[17]를 사용하여 학습하였다. SemGeo의 경우, 초기 학습률 0.001, 가중치 감소율 0.03, 배치 크기 24로 설정하여 실험을 진행하였다.
결과 및 논의
본 장에서는 디지털 트윈과 현실 세계 데이터셋 간의 매칭에 적용된 geo-localization 기술의 성능을 평가한다. 상위 1 (top@1), 5 (top@5), 10 (top@10), 1 % (top@1%)의 검색 결과에서의 recall을 성능 지표로 사용했다.
5.1 실험 결과
Table 1은 데이터셋에 대한 각 방법의 Recall R@k(%)을 비교한 것이다. 두 방법 모두 동일한 GTX 3090에서 테스트 되었다. “†”는 SemGeo[10]를 기반으로 본 연구에서 구현한 모델을 나타낸다.
Table 1.
Comparison of the methods in terms of Recall R@k(%) on the dataset(“†” indicates a model that was implemented by us, inspired by SemGeo[10])
| Recall | R@1 | R@5 | R@10 | R@1% |
|---|---|---|---|---|
| LTLTR[14] | 93.16 | 97.90 | 98.56 | 99.16 |
| † SemGeo[10] | 95.81 | 99.01 | 99.38 | 99.87 |
Table 1에서 볼 수 있듯이, 두 방법 모두 93 % 이상의 성능을 달성했다. 그러나 의미론적 정보를 활용하는 SemGeo[10]는 시각적 특징 매칭 방법인 L2LTR[14]보다 우수한 성능을 보였다. 특히, SemGeo는 모든 수준(R@1, R@5, R@10, R@1%)에서 더 높은 recall을 기록하며, 디지털 트윈과 현실 세계 간의 교차 도메인 간의 매칭에 있어서 뛰어난 성능을 입증했다.
이 결과는 의미론적 정보를 사용하는 것이 외형이 다른 디지털 트윈과 현실 세계 도메인 간의 매칭에서 더 나은 성능을 발휘할 수 있음을 시사한다.
결론 및 향후 연구
디지털 트윈 기술의 발전에 따라, 디지털 트윈에서 얻어진 다양한 이미지 데이터셋을 현실 세계의 대응 데이터셋과 매칭하는 것에 관한 관심이 점점 높아지고 있다.
본 논문에서는 디지털 트윈과 현실 세계 간의 기존 cross-view geo-localization 기술의 성능을 탐구하고 이를 실험을 통해 평가했다. 본 논문에서는 베를린 스마트 시티와 Bing Maps에서 수집한 데이터셋에 시각적 특징 매칭과 의미론적 특징 매칭 기술을 적용하였다. 실험 결과, 시각적 특징 매칭과 의미론적 특징 매칭 방법 모두 디지털 트윈과 현실 세계 간의 교차 도메인 매칭에서 우수한 성능을 보여주었으며, 특히 의미론적 특징 매칭이 더 나은 성과를 나타냈다. 이는 두 도메인의 표현 방식이 다를 경우, 의미론적 특징 매칭 접근법이 특히 효과적일 수 있음을 시사한다. 따라서, 본 연구의 평가 결과는 디지털 트윈과 현실 세계 간의 교차 도메인 매칭에서 의미론적 특징 매칭 접근법이 지닌 잠재력을 확인하는 데 중요한 의미를 지닌다.
본 연구는 현실 세계의 데이터를 디지털 트윈과 매칭하여 전투 시뮬레이션의 환경 재현, 장비 유지보수 최적화 등 다양한 군사적 시나리오에 적용될 가능성을 제시한다.
향후 연구에서는 이 기술이 수중 전장 환경을 다루는 디지털 트윈에서도 효과적으로 적용될 수 있는지 비교하고 분석할 필요가 있다. 수중 환경은 지상과는 다른 특수한 물리적 조건을 지니기 때문에, 이에 맞춘 디지털 트윈 구축이 필수적이다.
따라서, 본 연구에서 제안한 교차 도메인 매칭 기술이 수중 전장 디지털 트윈 시뮬레이션에서도 효과적으로 활용될 수 있는지를 평가하는 것이 중요하며, 이를 통해 수중 전장 환경에서도 현실적인 전술 계획 수립 및 장비 유지보수를 기대할 수 있다.
향후 연구는 디지털 트윈과 현실 세계의 특수한 환경적 요소를 반영한 새로운 교차 도메인 매칭 기술을 개발하고, 수중 전장을 포함한 다양한 전장 시뮬레이션에 이 기술을 적용하는 방향으로 확장될 것이다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation
