3.1 아키텍처

혼합 현실 기반의 자율무기체계 시험평가를 위한 라이다 증강 아키텍처가 Fig. 2에 나타나 있다. Fig. 2의 SSGMR로 표현된 증강 모듈에서 실질적인 실제-가상 연계 포인트 클라우드 증강 과정이 이루어진다. 혼합 현실 기반으로 증강을 수행하기 위해서는 실제 환경과 가상 환경을 동기화하기 위해 위치 인식 센서를 바탕으로 추출된 플랫폼의 자세 정보가 필요하다. 이때 자세 정보는 위치 및 방향 정보를 모두 포함한다. 해당 플랫폼의 자세 정보와 실제 측정된 라이다 신호를 기반으로 SSMGR 모듈에서 수행되는 일련의 증강 과정을 거쳐 실제와 가상이 적절히 혼합된 라이다 신호가 생성된다. 생성된 증강 신호를 플랫폼의 컨트롤러에 입력으로 전달함으로써 증강된 신호 기반의 자율적인 행동 특성을 확인할 수 있다. 이러한 자율적인 행동 특성은 사람이 직접 가시화된 증강된 신호를 보고 수동으로 조종한 결과와 비교함으로써 평가가 이루어질 수 있다. 본 논문에서는 자율무기체계의 플랫폼으로 소형 UGV(Unmanned Ground Vehicle)를 활용하였으며, 해당 플랫폼에는 라이다, IMU(Inertial Measurement Unit) 등의 센서 및 SSMGR 역할을 수행하는 신호처리 보드가 탑재되어 있다. 신호처리 보드에서 이루어지는 일련의 증강 과정은 ROS(Robot Operating System) 미들웨어 및 가제보(Gazebo) 시뮬레이터를 활용하여 구현되었다.

Fig. 2.

Architecture of the proposed LiDAR augmentation method with mixed-reality

3.2 실제-가상 라이다 동기화

실제 환경에서의 라이다 자세와 가상 환경에서의 라이다 자세를 동기화시킴으로써 실제 환경에서 측정된 포인트 클라우드의 좌표축과 가상 환경에서 측정된 포인트 클라우드의 좌표축을 동일시 할 수 있다. 그에 따라 실제 환경 지도를 활용하여 원하는 위치에 가상 객체를 배치 시 실제 라이다가 해당 위치에 도달하였을 때 가상 라이다에 의해 가상 객체가 인지되고, 해당 위치에서 실제 환경 포인트 클라우드와의 증강을 수행할 수 있다. 실제 환경의 라이다는 자율무기 체계의 특정 위치에 고정된 형상으로 탑재되어 있으며, 해당 자율무기체계가 구동됨에 따라 자세가 함께 변화될 것이다. 즉, 자율무기체계의 자세 데이터를 획득하고 이를 탑재된 라이다의 위치 및 형상에 맞게끔 변환해주면 실제 라이다의 자세를 추출할 수 있다. 본 논문에서는 휠 오도메트리 및 IMU 데이터를 바탕으로 확장칼만필터(Extended Kalman Filter, EKF)가 적용된 플랫폼의 합성 자세를 추출하여 활용하였다. 이 때 휠 오도메트리는 바퀴와 연동된 모터 인코더 데이터를 바탕으로 본 논문에서 사용된 UGV의 구동 형태인 differential-drive 모델에 따라 계산된 자세 데이터이다^[17]. IMU 데이터는 정밀한 방향 정보와 더불어 가속도 성분의 값을 제공해주며, 본 논문에서 사용된 IMU는 Xsens社의 MTi-630R 모델로 roll, pitch에 대해서는 0.2 deg RMS(Root Mean Square)의 정확도를, yaw에 대해서는 1 deg RMS 정확도를 가진다.

가제보에서 제공되는 플러그인 중 액터(Actor) 플러그인을 활용하면 실제 라이다의 자세 정보를 입력받아 가상 라이다 플랫폼의 자세를 가상 환경에서 동기화시킬 수 있다. 가상 라이다 플랫폼을 액터 유형의 적절한 형상으로 모델링하고, 자율 플랫폼에 탑재된 실제 라이다의 자세와 동기화시키는 장면을 실제 및 가상 라이다가 바라보는 환경과 함께 도시화한 그림이 Fig. 3에 나타나 있다.

Fig. 3.

Synchronization of real and virtual LiDAR

Fig. 3에서 보다시피 가상 환경에는 실제와 동기화된 자세가 반영된 가상 라이다 플랫폼과 가상 객체만이 존재한다. 만약 혼합 현실이 아닌 가상 환경에서 유사한 구성을 만들기 위해서는 실제 환경과 유사한 환경 모델, 자율 플랫폼 모델, 그리고 구동과 관련된 동역학 모델 등이 모두 필요할 것이다. 그러나 혼합 현실 환경을 이용하면 가상 환경에서의 이러한 일련의 모델링 과정이 대부분 생략되고 현실로 대체될 수 있다. 앞서 가상 라이다 플랫폼이라고 표현하여 실제 라이다 자세와의 동기화 과정을 설명하였는데, 실질적으로 가상 환경에서 가시화된 액터 플랫폼은 수신되는 자세 정보에 따라 변화되는 껍데기에 불과하다. 해당 가상 라이다 플랫폼에 실질적인 가상 라이다 역할을 수행하도록 만들기 위해서는 센서 플러그인 기능을 추가적으로 사용해야 한다. 가제보의 센서 플러그인 기능을 활용하면 가상 라이다에 대해 실제 라이다의 방위각 및 고각 분포 특성을 고려한 모델링이 가능하다.

본 논문에서 사용된 실제 라이다는 Velodyne社의 VLP-16으로 해당 모델의 대략적인 제원은 Table 1과 같다. Table 1에서 제시된 실제 라이다의 제원을 고려하여 가상 라이다의 수직 샘플 수는 16개, 고각 범위는 −15° ∼ 15°로 설정하였다. 수평 샘플 수는 실제 라이다에서 설정한 회전 속도 즉, RPM(Revolutions Per Minute)에 따라 결정되는 값으로 설정하고 방위각 범위는 전방향이기 때문에 -π ∼ -π (rad)으로 설정하였다. 이와 같이 실제 라이다 특성을 고려하여 가상 라이다를 모델링하여야 이를 활용하여 생성한 가상 객체 포인트 클라우드를 실제 포인트 클라우드와 혼합 시 자연스러운 결과를 획득할 수 있다. 이로써 혼합 현실 형태의 라이다 증강 환경이 구축되었다.

Table 1.

Specifications of VLP-16

3.3 가상 객체 포인트 클라우드 생성

가상 객체 포인트 클라우드를 생성하기 위해서는 우선 가상 환경에서 가상 객체를 생성해야한다. 가상 객체의 경우, 가상 라이다 플랫폼과 유사하게 액터 및 액터 플러그인을 활용하여 생성할 수 있다. 앞서 가상 라이다 플랫폼의 경우 실제 라이다의 자세 정보를 수신하여 변화시켰다면 가상 객체의 경우 정해진 경로에 따라 배치 및 이동되도록 구성하였다. 실제와 가상 라이다를 동기화하였기 때문에 실제 시험평가가 이루어질 장소의 지도를 참조하여 원하는 지점의 좌표 값을 획득하고 이를 활용하여 가상 환경에서 가상 객체를 생성 및 제어할 수 있다. 여기서 지도의 경우 SLAM(Simultaneous Localization And Mapping)을 통해서 획득이 가능하다.

앞서 생성한 가상 라이다의 위치가 가상 객체가 보이는 위치에 도달하게 되면 가상 라이다에 의해 가상 객체의 포인트 클라우드가 획득된다. 한편, 이렇게 획득된 가상 객체 포인트 클라우드는 기하학적인 정보인 x, y, z 값만 존재할 뿐 물리학적 정보인 강도 값은 누락되어 있다. 이를 보강하기 위해 가상 객체의 강도 값을 생성하는 과정이 추가적으로 필요하다. 가상 객체의 강도 값 생성을 위해 라이다 방정식 기반으로 강도 관계를 표현한 식 (1)을 이용하였다^[18]. 여 기서 I는 강도, P_r은 수신전력, η_LiDAR, η_all은 각각 라이다 상수 파라미터 및 이를 대기 전달 계수 등 수신 전력 표현 시 사용되는 각종 상수들과 통합한 상수 파라미터이다. R은 거리, ρ는 타겟 반사율, α는 입사각에 해당한다.

식 (1)에 따라 강도 값은 실질적으로 타겟 반사율, 거리, 입사각에 의해 변화된다는 점을 알 수 있으며, 이를 활용하여 가상 객체의 강도 값을 생성하였다. 한편, 라이다 제조사마다 자체 모듈에서 후처리 과정을 거쳐 제공되는 강도 값이 상이하다^[19]. 본 논문에서 사용된 VLP-16의 경우, 제조사 데이터 시트 상 타겟의 거리에 독립적으로 측정이 된다고 명시된 점과 실제 측정을 통해 거리에 대한 영향이 미미하다는 실험결과를 제시한 연구결과^[19]를 바탕으로 거리에 대한 영향은 가상 강도 값 생성 시 배제하였다. 결과적으로 여기서는 식 (1)에 의해 특정 타겟에 대한 입사각 0도일 때의 강도 값을 측정하고 이를 기반으로 객체 포인트 별 표면 법선 성분 추정에 따른 입사각을 산출하여 해당 포인트의 강도 값을 추출하였다. 이를 수식으로 표현하면 식 (2)와 같다.

식 (2)에서I₀는 입사각 0도일 때의 강도 값에 해당 하는데, 이는 타겟을 라이다를 향해 정면 형상으로 바라보도록 설치 후 측정을 통해 획득 가능하다. 이 때, 실제 라이다 반사 신호 측정 후 포인트 별 라이다와 표면 간의 입사각에 의한 영향을 식 (2)의 관계에 따 라 역으로 고려하여 I₀를 산출하였다. 단순히 측정된 값들의 평균을 내어 단일 값 형태의I₀를 사용할 수 도 있다. 그러나 실제 라이다를 통해 동일한 타겟 표면을 측정하더라도 단일 값으로 측정되는 것이 아닌 일정 값 범위 내에서 약간씩 상이한 값으로 나타난다. 이를 가상으로 생성된 강도 값에서도 반영하기 위해 측정된 값을 정규분포로 추정하고, 해당 확률분포를 활용하여 포인트 별I₀값을 추출하여 사용하였다. 최종적으로 식 (2)에 따라 계산된 값을 실제 표현되는 강도 값의 형태와 유사하도록 0 ∼ 255 범위의 값으로 제한하고 정수 형태로 반올림하여 출력함으로써 가상 강도 값 생성이 완료된다. 상기 과정을 순서도로 표현하면 Fig. 4와 같다. Fig. 4에서 표현하였듯이 타겟 별 입사각 0도일 때의 강도 값 분포를 테이블 형태로 만드는 작업은 사전에 오프라인으로 수행하고, 실시간으로 증강 시에는 해당 테이블 값을 이용하여 순서도에 따라 온라인으로 강도가 포함된 가상 객체 포인트 클라우드를 획득한다.

Fig. 4.

Flow chart of proposed point cloud generation for virtual objects

3.4 실제 및 가상 포인트 클라우드 혼합

실제-가상 라이다 동기화를 바탕으로 강도 값이 포함된 가상 객체 포인트 클라우드를 실제 라이다를 통해 측정된 배경 포인트 클라우드와 혼합함으로써 증강된 포인트 클라우드 획득이 이루어진다. 혼합 시 가상 객체 포인트 클라우드가 실제 배경 포인트 클라우드에 삽입됨에 따라 발생하는 가림 현상이 적절히 고려되어야 현실감 있는 증강이 가능하다. 가림 현상 구현과 관련하여 설명하기 위한 그림이 Fig. 5에 나타나 있다.

Fig. 5.

Illustration of occlusion phenomenon when mixing point clouds

Fig. 5에서 볼 수 있듯이 실제 측정된 배경 포인트 클라우드를 가상 객체 포인트 클라우드(O)를 기준으로 라이다와 가까운 쪽의 전방(B^fin)과 그 반대편의 후방(B^bin)으로 구분할 수 있다. 가림 현상은 두 가지 측면에서 모두 고려되어야 한다. 첫 번째는 가상 객체 포인트 클라우드(O)로 인한 후방 배경 포인트 클라우드(B^bin)의 가려짐이 있고, 두 번째는 전방 배경 포인트 클라우드(B^fin)에 의한 가상 객체 포인트 클라우드(O)의 가려짐이다. 상기 두 종류의 가림 현상이 모두 고려된 포인트 클라우드 혼합 알고리즘을 Fig. 6과 같이 제안하였다.

Fig. 6.

Proposed algorithm for mixing real and virtual point clouds

우선 가상 객체 포인트 클라우드의 방위각, 고각, 거리 범위를 탐색하여 단순화된 가상 객체 영역을 추출한다. 추출된 단순화된 가상 객체 영역을 바탕으로 이와 무관한 영역의 배경 포인트 클라우드는 따로 저장하여 가림현상을 고려하는 과정에서 배제한다. 단순화된 가상 객체와 관련된 영역의 배경 포인트 클라우드에 대해서 전방 및 후방으로 분리하여 추출 후, 상기 두 종류의 가림 현상을 판단하여 유효한 데이터만 추출한다. 추출된 유효한 데이터와 따로 저장해둔 가상 객체와 무관한 영역의 배경 데이터를 혼합하면 가림현상이 고려된 증강 포인트 클라우드가 획득된다. 이때, 방위각 방향으로 잘게 분할하여 각 분할된 영역에 대해 가림 현상을 판단함으로써 가림을 유발하는 형상에 맞는 가려짐이 구현될 수 있다. 또한 가상 객체와 무관한 배경 포인트 클라우드를 따로 배제하고 관련 있는 영역의 배경 포인트 클라우드에 대해서만 잘게 분할한 후 가림현상 판단 과정을 수행함으로써 실시간성을 확보하였다.

4.1 가상 객체 강도 생성 결과

제안된 가상 객체 포인트 클라우드 생성 시 동반되는 가상 강도 값 생성에 대한 검증을 위해 균일한 매질의 실제 상자에 대해 측정 후 비교를 수행하였다. 우선 상자의 한 면이 라이다를 향하는 정면 형상으로 배치하여 반사 신호를 측정한 후, 제안된 방식에 따라 I₀ 분포를 추출하여 가상 강도 값을 생성하는 데 활용하였다. 표면에 따른 입사각의 영향을 확인하기 위해 상자를 약간 회전 후 모서리가 라이다를 향하도록 배치하여 측정을 하고, 동일 형상에 대해 제안된 방식에 따라 생성한 강도 값과 비교하였다. 해당 결과는 Fig. 7을 통해 나타나 있다.

Fig. 7.

Comparison of real and virtual intensity for a cube

Fig. 7(a)는 포인트 클라우드를 실제 및 가상 강도 값에 따라 상이한 색상으로 가시화한 결과이다. 실제 측정된 결과와 유사하게 입사각이 0에 가까운 모서리 부근에서 가장 강한 강도 값이 형성되는 것을 확인할 수 있다. 이를 통해 제안된 강도 생성 방법이 입사각의 영향을 적절히 고려하였음을 알 수 있다. Fig. 7(b)는 실제 및 가상 강도 값을 정규분포로 추정한 결과이다. 실험에서 사용된 라이다를 통해 측정 시 반사 강도에 따라 0 ∼ 255 범위의 강도 값으로 표현되는데 측정된 데이터에서 비교적 균일한 매질로 구성된 상자 영역에 대한 데이터만 추출하였기에 Fig. 7(b)와 같이 일부 구간에서 강도 분포가 형성되어 나타난다. 추정된 두 분포의 평균 및 표준편차 값이 유사하게 나타나는 것을 차트 범례를 통해 확인할 수 있다. 정량적인 검증을 위하여 2-표본 K-S(Kolmogorov-Smirnov) 검정^[20-22]을 적용해보았다. 해당 검정은 두 개의 표본 데이터 분포에 대한 누적 분포 함수 간의 차이를 평가하는 비모수적 가설 검정으로 두 개의 표본 데이터가 동일한 분포에서 추출된다는 귀무가설에 대한 검정 결과를 반환한다. Matlab에서 kstest2 함수를 통해 검정을 수행할 수 있으며, 함수의 출력 값은 불리언 형태로 귀무가설을 기각하지 않을 시 0, 기각할 시 1로 출력된다. 해당 함수를 활용하여 검정 결과를 추출 시 5 % 유의수준에서 귀무가설을 기각하지 않음에 따라 두 추정된 분포의 표본 데이터가 동일한 분포에서 추출되었음이 정량적으로 확인되었다.

상기 과정을 사람에 대해서도 유사하게 정면 형상에서 추출한 I₀ 분포를 바탕으로 측면 형상의 사람에 적용하여 비교해 본 결과가 Fig. 8을 통해 나타나 있다. Fig. 8(a)를 통해 시각적으로 실제와 유사한 강도 값을 생성할 수 있음을 확인할 수 있다. Fig. 8(b)를 통해 강도 값을 정규분포로 추정한 결과, 평균 및 표준편차가 실제와 유사함이 확인된다. 이때 사람의 경우도 비교적 유사한 매질로 구성되기에 일부 구간에서 강도 분포가 형성된다. 또한 추정된 두 분포에 대하여 2-표본 K-S 검정을 적용해본 결과, 5 % 유의수준에서 동일한 분포임이 확인되었다.

Fig. 8.

Comparison of real and virtual intensity for a pedestrian

4.2 실제 및 가상 포인트 클라우드 혼합 결과

제안된 방식에 따른 실제-가상 라이다 동기화 기반의 실제 및 가상 포인트 클라우드 혼합 결과를 확인하기 위해 실제 환경 상의 유효한 위치에 가상 객체가 증강될 수 있도록 가상 환경에서 가상 객체를 생성 및 제어하였다. 가상 객체로는 정적인 상자와 동적인 사람을 활용하였으며, 가상 환경의 한 장면을 캡처한 그림이 Fig. 9를 통해 나타나 있다.

Fig. 9.

Virtual environment

해당 환경에서 가상 라이다를 통해 측정된 포인트 클라우드와 여기에 제안된 방법에 따라 생성한 가상 강도 값이 적용된 포인트 클라우드를 가시화하면 Fig. 10과 같다. 이 때 포인트 클라우드의 색상은 강도 값에 따라 상이하게 표현된다. Fig. 10(a)를 살펴보면 가상 라이다를 통해 측정된 포인트 클라우드의 경우 강도 값이 누락되어 모든 포인트가 단일 색상으로 표현되나, Fig. 10(b)에서는 포인트 별로 강도 값에 따라 상이한 색상으로 표현되는 것을 확인 할 수 있다.

Fig. 10.

Point cloud of virtual objects

실제 및 가상 라이다의 자세가 동기화된 환경에서 소형 UGV에 탑재된 라이다를 통해 측정된 실제 환경 포인트 클라우드의 한 장면이 Fig. 11에 나타나 있다. Fig. 10(b)에 해당하는 강도 값이 생성된 가상 객체 포인트 클라우드가 Fig. 11의 실제 환경 포인트 클라우드에 Fig. 6의 제안된 알고리즘에 따라 가림현상이 고려되어 증강이 이루어진 결과가 Fig. 12에 나타나 있다. Fig. 12에서 occ1이라고 표시된 영역을 살펴보면 가상 상자 포인트 클라우드가 실제 환경에 의해 일부 가려지고 증강되는 것을 확인할 수 있다. 또한 Fig. 12에서 occ2라고 표시된 영역을 살펴보면 실제 환경이 가상 사람의 형상에 맞게 가려지는 것을 확인할 수 있다.

Fig. 11.

Point cloud of real environment

Fig. 12.

Augmented point cloud

4.3 실시간 증강 가능성 검토

본 실험환경에서 소형 UGV를 주행시킴에 따라 변화되는 실제 라이다의 자세 기반으로 가상 라이다의 자세가 즉각적으로 동기화되고 그에 맞는 증강 결과가 Fig. 12와 같이 실시간으로 획득되는 것을 확인하였다. 정량적인 실시간성을 검토하기 위해 Fig. 9의 가상 환경을 바탕으로 증강 수행 시 각 처리 과정 별 평균적인 처리 시간을 추출한 결과가 Table 2에 나타나 있다.

Table 2.

Processing time for each process

각 처리 과정은 ROS 환경에서 노드 단위로 구성되며, 각 노드에서는 설정된 동작 속도(Hz)에 따라 주기적인 처리가 타 노드와는 독립적으로 이루어진다. 그에 따라 가장 긴 처리 시간을 갖는 과정의 동작 속도가 전체 처리 과정에 대한 동작 속도를 결정한다고 간주할 수 있다. Table 2를 통해 가장 긴 처리 시간인 40 ms를 동작 속도로 변환 시 25 Hz에 해당한다. 실제 라이다를 통해 측정된 포인트 클라우드의 발행 속도가 10 Hz인 점을 감안하였을 때, 25 Hz의 처리 동작 속도는 정량적으로 충분히 실시간으로 증강이 이루어진다는 점을 입증하는 결과이다.

만약 가상 환경에 존재하는 가상 객체의 수가 Fig. 9에서처럼 두 개가 아니라 더 늘어난다면 그에 따라 가제보 시뮬레이터의 컴퓨팅 자원 소모가 증가하고 실시간성에 문제가 발생할 가능성이 있다. 이러한 경우에는 본 실험에서 사용한 NVIDIA Jetson Xavier의 컴퓨팅 성능보다 뛰어난 보드로 대체하거나 다수의 보드를 병합한 클러스터 형태로 신호처리 환경을 구성하여 실시간성을 해결할 수 있을 것으로 예상된다. 예를 들어 보드 4대를 사용하는 상황을 가정하면 각 처리 과정을 각 보드에서 하나씩 수행하고 보드 간에 통신망을 구성하여 각종 데이터를 ROS 메시지 형태의 토픽으로 송수신함으로써 실시간 증강이 이루어질 수 있을 것이다.