3.1 혼합현실 콘텐츠 생성 모듈 설계

지리공간정보 플랫폼은 대용량의 지리공간정보 데이터를 효율적으로 서비스하고자 타일 방식으로 분할하여 인덱스와 줌 레벨를 부여하고 인덱스와 줌 레벨을 기준으로 지리공간정보 데이터를 요청 시 해당 데이터를 제공하는 Web Map Tile Service(이하 WMTS) 방식을 사용한다. 혼합현실 콘텐츠 생성 기능은 사용자가 UI를 통해 로드할 시나리오를 선택하면 해당 시나리오의 위경도 값과 도시 반경을 WMTS 인덱스와 줌 레벨로 변환 후 해당 인덱스와 줌레벨을 입력 파라미터로 서버에 전달하여 지리공간정보 데이터를 요청하며, 클라우드 서버로부터 영상, 지형, 건물 데이터를 수신하여 혼합현실 콘텐츠로 변환하는 기능이다. 본 연구에서는 이를 위해 UIManager 클래스로부터 사용자 입력을 받도록 설계하였으며, TrainingManager 클래스에서 사용자 입력을 LoadTileTextureManager 클래스로 전달하면 입력받은 위경도 값과 도시 반경을 변환한 줌 레벨을 식 (1)과 식 (2)에서 사용하여 WMTS 의 X, Y 인덱스(I_x, I_y)로 변환하도록 설계하였다.

계산한 WMTS의 인덱스를 사용해 클라우드 서버에서 영상, 지형, 건물 데이터 및 상세 시나리오를 다운로드하여 파싱 후 혼합현실 콘텐츠로 변환하도록 설계하였다. 또한 상세 시나리오의 정보를 기반으로 고정익, 회전익, 전차, 장갑차 등의 객체(Target)를 생성하고 시나리오에 기록된 각 객체의 위경도 값을 사용하여 컴퓨터가 생성한 3차원 공간에 매핑하도록 설계하였다.

위경도 값을 사용하여 3차원 공간에 매핑하기 위해서는 몇 가지 단계를 거치는데 먼저 객체(Target)의 위경도 값(Target _lat, Target _lon)을 Earth-Centered, Earth-Fixed (이하 ECEF) 좌표계로 변환하여 벡터값(V _t)을 구한다. 이를 위해서 UnityGPSConverter 오픈소스 API (Coordinates)를 사용하였다^[8]. 다음 단계로는 로드한 지형 데이터의 중심 타일(CENTER)의 위경도 값(CENTER _lat, CENTER _lon)을 ECEF 좌표(V _c)를 계산하는데, 선택한 시나리오의 위경도 값을 한 번 더 사용한다. GPS 좌표계에서 ECEF 좌표계를 변환하여 사용하는 이유는 벡터 연산을 통해 객체와의 차를 구하여 로드한 지형데이터의 중심타일을 기준으로 객체를 정확하게 매핑하기 위함이다. 마지막으로 계산한 중심 타일 ECEF 벡터값와 객체의 ECEF 벡터값의 차를 줌 레벨을 기준으로 로드한 타일의 크기(TileSize)로 나눈 후 중심 타일의 컴퓨터가 생성한 3차원 공간 상의 위치 백터(Pos _c)를 더하여서 좌표(Pos _t)를 구하였다. Pos _c 는 3차원 좌표의 원점(0, 0, 0)을 사용하였다. 여기서 줌 레벨마다 타일의 크기(TileSize)가 다른데 줌 레벨별 타일의 크기는 Open Goopatial Consortium 표준^[9]에서 기술한 값을 사용하였다. 본 과정을 식으로 표현하면 아래와 같다.

이상의 과정을 거쳐 생성된 객체 전체는 TargetManager에서 관리하고 각 객체의 속성정보는 Target을 통해 관리하도록 설계하였다. Fig. 2는 혼합현실 콘텐츠 생성 클래스 다이어그램이다.

Fig. 2.

Class diagram for mixed reality contents generation

3.2 3D 확대/축소/회전/이동 모듈 설계

3D 확대/축소/회전/이동 기능은 사용자가 UI를 통해 확대/축소/회전 기능을 선택하거나 3D 이동 기능을 선택 후 제스쳐 인식을 통해 3차원 혼합현실 지형을 확대/축소/회전하거나 선택하여 다른 위치로 이동시킬 수 있다. 본 연구에서는 3D 확대/축소/회전 기능을 위해 Microsoft에서 제공하는 Mixed Reality Toolkit(이하 MRTK)^[10]의 BoundsControl API를 사용하고자 하며, MRTK의 ObjectManipulator API를 활용하여 생성한 3차원 지형을 선택하고 이동할 수 있도록 설계하였다. UIManager 클래스에서 사용자의 3D 확대/축소/회전과 3D 이동 명령을 입력으로 받도록 설계하였으며, TrainingManager 클래스에서 사용자 입력을 전달받은 후 LoadTileTextureManager 클래스의 BoundsControl API 또는 ObjectManipulator API를 호출해 해당 기능을 제공하도록 설계하였다. Fig. 3은 3D 확대/축소/회전/이동 클래스 다이어그램이다.

Fig. 3.

Class diagram for 3D scale, rotation and move

3.3 이미지 오버레이 모듈 설계

이미지 오버레이 기능은 사용자가 UI를 통해 이미지 오버레이 기능을 선택하면 전시된 3D 지형의 재질(texture)인 위성영상 이미지 위에 레스터 지도 이미지를 덮어씌우는 기능이다. 본 연구에서는 LoadOverlayImages 클래스에서 현재 전시되고 있는 3차원 혼합현실 지형과 동일한 지형을 로드하고 위성영상이 아닌 레스터 지도 이미지를 지형의 재질로 사용하도록 설계하였다.

3.4 거리 및 면적 측정 모듈 설계

거리 측정 기능은 사용자가 UI를 통해 거리 측정 기능을 선택 후 제스처 인식으로 혼합현실 지형 위의 두 점을 선택하면 두 점 사이의 거리를 계산하여 UI로 시현하는 기능이며 면적 측정 기능은 사용자가 UI를 통해 면적 측정 기능을 선택 후 혼합현실 지형 위의 네 점을 선택했을 때 네 점을 잇는 사각형의 면적을 계산하여 시현하는 기능이다. 거리 및 면적 측정 모두 선택한 점의 3차원 좌표를 위경도로 변환 후 위경도 값을 사용하여 거리/면적을 계산하였다. 본 연구에서는 ArrowHandlessHandler 클래스에서 사용자가 지형 위의 한 지점을 선택하는 것을 감지한 후 CalcDistanceArea 클래스에서 거리 측정 시에는 두 개의 지점을 연결하는 거리를 계산하며, 면적 측정 시에는 네 개의 지점을 잇는 사각형의 면적을 계산한다. 또한 계산한 결과값 뿐 아니라 사용자가 선택한 점을 잇는 선을 사용자가 볼 수 있도록 ArrowLineRender 클래스에서 선을 그리는 기능을 제공하도록 설계하였다.

Fig. 4는 이미지 오버레이, 거리 측정 및 면적 측정 클래스 다이어그램이다.

Fig. 4.

Class diagram for image overlay, distance measurement and area superficial measurement

3.5 지리공간정보 공유 모듈 설계

지리공간정보 공유 기능은 Hololens2를 착용한 두 명 이상의 사용자가 클라우드 서버에 저장된 동일한 시나리오를 로드하여 작전을 수행할 때 한 사용자가 객체 정보를 변경하면 클라우드 서버를 통해 변경된 정보를 공유, 다른 사용자에게도 변경된 정보가 동기화되어 참여자 모두가 동일한 작전 상황을 볼 수 있도록 하는 기능이다.

지리공간정보를 공유하기 전에 먼저 객체 이동, 삭제 등 객체 정보의 변경이 발생하는데 사용자가 손가락으로 혼합현실 지형 위의 객체를 선택하면 제스처 인식을 통해 선택한 객체를 식별하고 상호작용할 수 있도록 SelectObjectManager 클래스를 설계하였고 정보 변경 시 TargetManager 클래스와 Target 클래스를 통해 객체들을 관리하도록 설계하였다. 3차원 공간 상의 3D 객체의 이동 시 위경도 데이터가 변경되는데 변경된 위경도 값은 식 (3), 식 (4), 식 (5)를 역으로 계산하여 구하였다.

공유 데이터 형식은 사용의 편의성을 고려하여 개방형 교환 포맷인 JSON(Javascript Object Notation)을 사용하고자 하며, TCP/IP 기반의 소켓통신 방식으로 데이터 전송 시에는 직렬화를 수행하고 데이터 수신 시에는 역직렬화를 수행하고자 한다. 공유되는 정보는 고정익, 전차 등 객체의 이동, 삭제 및 속성 변경에 관한 정보이며 Table 2와 같이 패킷 프로토콜을 설계하였다.

Table 2.

Design of packet protocol for sharing geospatial information

패킷 프로토콜 중 상호작용 유형(type)은 객체 생성(1), 이동(2), 삭제(3) 발생 시 해당값을 나타내며, 객체 ID(id)는 운용 중인 시나리오의 각 객체들을 구분하는 고유 ID를 나타낸다. 구분(forceID)은 객체가 보병(1), 탱크(2), 항공기(3), 회전익(4) 인지를 나타낸다. 임무내용(mission)은 문자열로서 사용자가 시나리오를 작성하거나 임무 중 객체 생성 시 사용자가 부여한 각 객체별 임무를 나타낸다. 이동방향(direction)은 정북방향(0°)을 기준으로 객체의 방향을 나타내며 객체가 이동하거나 또는 객체의 이동방향만 변경되었을 시 변경된 값을 나타낸다. 상술한 데이터 공유와 관련한 데이터 전송, 수신 및 동기화는 ShareObjectInfo 클래스를 담당하여 처리하도록 설계하였다.

작전 종료 시에는 현재 상황을 저장하여 향후 로드 후 해당 상황을 이어서 진행할 수 있도록 SaveManager 클래스를 설계하였다. 이 때 저장되는 파일은 총 2개로 시나리오의 개략정보를 저장하는 ScenarioList과 시나리오 상세 정보 및 객체 속성을 저장하는 Scenario 파일인데 Json 형식으로 파일을 생성하고자 하며 저장한 파일은 클라우드 서버에 업로드하여 관리되도록 설계하였다. Fig. 5는 지리공간 공유 클래스 다이어그램이다.

Fig. 5.

Class diagram for sharing geospatial information

4.1 혼합현실 콘텐츠 생성 모듈 프로토타입 구현

시나리오 기반의 객체 생성 및 매핑을 검증하기 위해서 fbx 형식인 F-15K 고정익과 K-2 전차 객체를 사용하였다.

혼합현실 콘텐츠 생성의 성능 비교를 위해 전시 반경(Map range)를 3 km, 5 km로 변경하며 노트북과 Hololens2에서의 로딩시간을 측정하였다. 간 전시 반경 마다 10회씩 반복하여 수행하였으며 실험결과는 Table 4와 같다.

Table 4.

Test result of mixed reality contents creation Unit: msec

실험을 통해 노트북 환경에서는 전시 반경이 증가하더라도 로딩까지의 지연 시간이 1초 미만이 소요되나 Hololens2에서는 3 km 반경을 전시할 때 평균 6.39초, 5 km 반경 전시 시 평균 7.34초가 지연됨을 확인할 수 있었다. 이는 하드웨어의 성능 차이로 발생한 것으로 추정된다. 또한 위경도 값을 변환하여 매핑한 객체의 위치와 Google Map에서의 위경도 값을 입력했을 때의 위치를 비교하여 위치가 일치함을 확인할 수 있었다.

Fig. 6은 Hololens2에서 혼합현실 콘텐츠 생성 프로토타입을 동작한 화면이다.

Fig. 6.

Prototype for mixed reality contents generation

4.2 확대/축소/회전/이동 모듈 프로토타입 구현

3D 확대/축소/회전과 이동을 기능을 독립적으로 선택할 수 있도록 UI를 구현하였으며, 확대/축소/회전 시에는 MRTK의 BoundsControl API를 사용하여 혼합현실 지형 전체를 박스로 묶어서 하나의 영역으로 컨트롤할 수 있도록 구현하였는데 축소 시 지형 위의 객체들이 지형 위에서 떨어지는 것을 방지하기 위해 확대/축소/회전 시에는 객체들을 비활성화한 후 확대/축소/회전에 종료 시 활성화하도록 구현하였다. 이동 시에는 MRTK의 ObjectManipulator API를 사용하여 사용자가 손가락으로 혼합현실 지형을 잡고 이동할 수 있도록 구현하였다. Fig. 7은 3D 확대/축소/회전/이동 프로토타입 중 축소/이동 동작 화면이다.

Fig. 7.

Prototype for 3D scale, rotation and move

4.3 이미지 오버레이 모듈 프로토타입 구현

이미지 오버레이 기능은 혼합현실 지형의 재질 위에 레스터 지도 이미지를 덮어씌우는 기능으로 프로토타입 구현 시에서는 레스터 지도 대신 지형 재질과 동일한 위성영상 이미지를 사용하되 높이를 조절하여 기존 지형 재질과 비교할 수 있도록 하였다. 프로토타입을 통해 기존 지형 위에 이미지가 올라오는 것을 확인할 수 있었다. Fig. 8은 이미지 오버레이 프로토타입 동작 화면이다.

Fig. 8.

Prototype for image overlay

4.4 거리 및 면적 측정 모듈 프로토타입 구현

3장에서 서술한 설계 내용을 기반으로 거리 및 면적 측정 모듈 프로토타입을 구현하였으며 이를 Google Earth에서 제공하는 거리 및 면적 측정 기능과 결과값을 비교하였는데 거리 및 면적 측정 모두 5 % 이내의 차이가 있었으나 각 지도마다 점을 찍을 때 발생하는 위치 차이를 고려했을 때 정상적으로 기능이 동작함을 확인할 수 있었다. Fig. 9와 Fig. 10은 거리 및 면적 측정 프로토타입 동작 화면이다.

Fig. 9.

Prototype for distance measurement

Fig. 10.

Prototype for area superficial measurement

4.5 지리공간정보 공유 모듈 프로토타입 구현

지리공간정보 공유 모듈 프로토타입은 객체 정보 변경이 발생하는 객체 이동 및 삭제 기능을 구현하였으며, 패킷 전송의 동작을 확인하기 위해 테스트 서버를 구현하였다. 테스트 서버는 Python을 사용하여 멀티 쓰레드 기반으로 구현하였고 혼합현실 가시화 시스템에서 전송한 패킷을 가공하지 않고 서버와 접속한 다른 참여자에게 전달하도록 구현하였으며 정상적으로 동작함을 확인하였다.

시나리오 저장 기능은 UI를 통해 시나리오를 새로 저장하거나 기존 시나리오를 덮어쓸 수 있도록 프로토타입을 구현하였다. 저장한 개별 시나리오는 Fig. 11과 같으며 시나리오 저장 기능도 정상 동작함을 확인하였다.

Fig. 11.

Scenario JSON file of mixed reality visualization system