기 호 설 명
API: Application Programming Interface
CG: Computer Graphics
DL: Deep Learning
DR: Domain Randomization
GAN: Generative Adversarial Networks
NR: Neural Rendering
1. 서 론
객체탐지(Object Detection) 및 심층신경망 적대적 공격(Adversarial Attack) 등의 딥러닝(DL) 연구를 위해서는 현실세계에서 발생하는 다양한 상황을 다룰 수 있는 수천에서 수천만개의 레이블링(Labeling)된 고품질의 대규모 학습 데이터를 필요로 한다. 실제 데이터의 레이블링은 딥러닝 알고리즘 학습을 위해 꼭 필요한 과정이지만, 이러한 접근방식은 대규모 학습용 데이터의 확보와 많은 비용과 시간이 소요되는 레이블링에 대한 비용감내가 필요하다. 이에 따라 최근 딥러닝 알고리즘의 개발을 보다 더 빠르고 효율적으로 수행하기 위한 방안의 하나로 컴퓨터 시뮬레이션이나 딥러닝 알고리즘을 통해 데이터를 생성하는 가상데이터(Synthetic Data) 생성 및 자동 레이블링 접근방안에 대한 연구[1∼5]가 활발히 진행되고 있다.
가상데이터(또는 합성데이터)는 실제 데이터를 모방한 데이터로 인공적으로 생성되어 실제세계의 사건이나 사물을 근사적으로 반영하는 모든 데이터를 말한다[1,2]. 가상데이터는 데이터에 레이블을 수동으로 지정하지 않아도 대규모로 딥러닝용 학습데이터를 생성할 수 있거나 규제 대상 데이터 또는 민감 데이터의 사용과 관련된 제한 사항을 줄일 수 있는 등의 주요 장점이 있으며 각 사용자 상황에 맞도록 데이터를 맞춤형으로 정의할 수 있다.
국방분야의 경우 분야의 특수성을 감안할 때 대규모 학습용 데이터의 확보가 어려운 경우가 대부분이며, 개발과정의 신속성 보장을 위해 시간 소요가 많고 사람의 개입이 필요한 수동방식 레이블링에 많은 제약이 발생한다. 또한 수동 레이블링의 오류 또는 Fig. 1에서와 같이 가림(Occlusions) 등에 따른 불완전한 정보로 인해 학습 데이터가 부정확해질 가능성도 있다. 특히 자율주행의 경우 수많은 자율주행차량과 테스트 드라이버가 데이터 획득을 위해 수천 킬로미터 이상을 운전해야 하고 Fig. 1에서와 같은 특수한 경우(기후/화재/사고)들에 대한 별도의 고려 등 매우 어렵고 많은 노력이 소요되는 일련의 학습데이터 구축과정이 필요하다. 가상데이터의 활용은 이러한 학습용 데이터 구축에 대한 대안을 제공할 수 있으며, 이러한 데이터 생성방식은 직접 가상의 데이터를 새롭게 생성(Generation)하는 방법과 기존의 실제데이터에 특정방식의 변형을 가해 증강(Augmentation)시키는 방법 등 크게 두 가지로 나눌 수 있다.
본 연구에서는 학습용 데이터 생성환경의 제어와 확장이 용이한 3차원 모델링과 고속 그래픽 렌더링 기술을 사용하여 딥러닝 학습용 이미지 데이터가 전혀 존재하지 않는 특수한 상황을 전제로 물체탐지 모델의 학습용 가상 이미지 데이터 생성 및 딥러닝 학습분야 적용을 위한 데이터 생성기술과 관련한 기술적 검토와 분석을 수행하고자 하였다. 또한 실제 환경에서 구현하기 어려운 여러 가지 조건을 가상환경에서 구현하여 객체탐지모델에 대한 적대적 공격 모델개발을 수행하는 시뮬레이션 적용연구도 함께 수행하고자 하였다.
2. 딥러닝용 가상데이터
가상데이터를 사용하는 딥러닝 연구분야의 가장 큰 어려움은 실제데이터와 가상데이터 간의 데이터 분포차이인 도메인 갭(Domain Gap)[1]이라고 할 수 있다. 이에 따라 가상데이터 연구분야는 실물 데이터분포를 잘 모사하기 위한 1) 가상데이터 생성기술과 가상데이터가 실물 데이터에 대해 잘 동작할 수 있도록 가상과 실제 데이터간의 도메인 차이를 줄이기 위한 2) 학습기술(Syn-Real Generalization) 등 크게 두 가지로 나눌 수 있다.
2.1 가상 이미지 데이터
가상데이터란 실제환경에서 수집되거나 측정되는 데이터가 아닌 실제데이터에 대한 대체재로서 디지털 환경에서 생성된 컴퓨터 시뮬레이션이나 알고리즘이 생성하는 가상의 데이터와 레이블 정보를 말한다. 이러한 가상데이터는 데이터가 필요할 때 언제 어디서나 어떤 규모로도 디지털 환경에서 인공적으로 생성할 수 있는 데이터로 잘 설계된 가상데이터의 경우 수학 및 통계적으로 실제데이터의 특성이 잘 반영되어 딥러닝 모델을 훈련시키는 데에 실제데이터 못지않은 성능을 보일 수 있다고 알려져 있다[5∼7].
머신러닝을 위한 지도학습(Supervise Learning)용 훈련데이터 생성분야로 범위를 한정할 때 가상데이터 생성기술은 Fig. 2에서와 같이 컴퓨터 그래픽(Computer Graphics, CG)이나 시뮬레이터를 사용하는 1) 컴퓨터 기반 생성기술과 생성적 적대 신경망(Generative Adversarial Networks, GAN)이나 뉴럴 렌더링(Neural Rendering, NR)과 같은 2) 알고리즘 기반 생성기술로 세분화할 수 있다. 본 연구에서는 컴퓨터 기반 생성기술 및 알고리즘 기반 생성기술 연구분야 중 이미지 생성조건의 제어와 확장이 용이한 CG 기반의 가상데이터 생성기술을 다룬다.
딥러닝 학습용으로 레이블링된 데이터를 구축하는 일반적인 절차와 방법은 Fig. 3에 나타나 있다. 딥러닝 프로세스에서는 딥러닝 학습목적에 맞는 특성과 다양성을 가진 실제 데이터를 수집하는 데에 매우 많은 비용과 시간이 소요되며 특히 Fig. 3의 레이블링(Annotation) 과정에서 레이블이 잘못 지정된 데이터는 심층신경망의 성능을 크게 저하시킬 수 있기 때문에 정확한 레이블로 주석을 표기하는 것이 매우 중요하다. 프로그램 방식으로 생성되는 가상데이터는 수동으로 데이터를 수집할 필요가 없으며 거의 완벽한 레이블을 획득할 수 있다. 인위적으로 생성된 가상데이터는 자동으로 레이블링을 수행하고 부족한 수량을 채울 수 있는 대량의 데이터 생성이 가능하여 심층신경망의 성능을 높일 수 있다. 또한, 실제 데이터를 수집할 때 개인 정보를 보호하고 오류를 제거하거나 다양한 형태의 데이터를 변환하는 것이 중요한 경우에 가상데이터는 실제 데이터의 중요 특성을 보존하면서 실제 사람에 대한 정보를 포함하지 않기 때문에 개인 정보 침해의 위험도 제거할 수 있다.
최근 가상데이터에 대한 관련 연구와 적용사례가 크게 늘고 있으며 특히 영상과 이미지를 다루는 컴퓨터 비전 분야에서는 떠오르고 있는 가장 유망한 기술 중 하나로 꼽히고 있다. 가상데이터를 주제로 한 1,000여 편의 논문을 인용한 주요문헌[1]에서는 가상데이터 생성기술이 딥러닝 연구개발에 매우 핵심적인 역할을 담당할 것이며 향후 더욱 많은 적용사례가 나올 것으로 전망하였다. 또한 가트너(Gartner)는 2030년에 이르면 인공지능개발에 사용되는 데이터 대부분이 규칙, 통계모델, 시뮬레이션 등에 의한 인공적으로 생성된 가상데이터일 것으로 보고 향후 가상데이터를 사용해 고품질의 인공지능모델을 만들 수 있을 것이라고 예측하였다[11,12].
가상데이터 단일 이미지를 인공적으로 생성할 때 레이블링 단계에서의 비용이 실물 이미지에 비해 약 1/100 가량 절감되는 것으로 추정[1,2]된다. 가상데이터는 가려짐, 기후, 화재, 사고 등의 특수한 경우를 의도적으로 학습데이터에 포함시킬 수 있고 현실세계를 대변하기 위한 데이터 다양성 확보 측면에서 데이터의 편향(bias)를 줄이고 실제데이터의 불충분한 분포를 보완하는 중요한 수단이 될 수 있다. 또한 현실세계에서는 획득하기 어렵거나 불가능한 영상의 깊이정보, 스테레오 이미지 정합, 3차원 공간 레이블 정보 등의 레이블링이 가능한 장점도 갖고 있으며 이미지넷이나 오픈이미지와 같은 공개된 데이터가 지원하지 못하는 특성이 다른 도메인과 카메라 세팅의 변동 및 특이형상 등에 대해서는 가상데이터의 활용성과 유효성이 더욱더 높아질 수 있다.
2.2 가상 이미지 데이터 생성
딥러닝 학습용으로 레이블링된 데이터를 구축하는 일반적인 절차를 기준으로 자율주행 차량을 예로 들게 되면 첫 번째 데이터 수집단계에서는 자료수집센서가 장착된 자율주행차량을 운행하고 여기서 얻어지는 데이터에 대한 수집과 저장이 이루어진다. 두 번째 데이터 레이블링 단계에서는 수집된 많은 데이터에서 알고리즘 개발에 필요한 데이터에 대한 검토와 선택이 이루어지고 관심있는 데이터에 대한 레이블링을 수행하게 된다. 마지막 단계에서는 레이블링된 데이터로 딥러닝 알고리즘을 훈련시키고 학습된 모델을 활용하는 단계로 이루어진다. 현실에서는 실제데이터를 대체할 수 있는 수준의 가상데이터를 만드는 것이 불가능하므로, 대신 컴퓨터 비전을 위한 가상데이터를 3차원 가상공간의 구성하거나 렌더링된 2차원 이미지 수준에서 수많은 변형을 통해 무작위화하여 가상데이터 생성데이터 분포가 충분히 폭넓고 다양하게 만드는 도메인 랜덤화(Domain Randomization, DR)를 주로 사용한다. 이러한 도메인 랜덤화 방법[14∼16]은 가상데이터 생성시에 전이학습(Transfer Learning) 효과를 높이기 위해 가상-실제 데이터 간의 간극을 줄이고 데이터의 분포 다양화를 이루는 가장 유용한 방안으로 꼽히고 있다.
본 연구에서 사용한 가상데이터 생성기(Fig. 4)는 대상물체에 대한 3차원 CAD 모델링과 CG 렌더링 과정을 통해 생성하였으며 도메인 랜덤화를 위해 객체탐지 대상 객체의 수량, 객체의 위치, 탐지방해물체(Distracter)의 수량과 형태, 장면구성용 배경 및 객체의 표면질감 등을 무작위하게 이미지 데이터를 생성하도록 하였다. 본 연구에서 생성된 이미지들은 Fig. 5에서와 같이 상당부분 비현실적이기는 하지만 객체탐지모델이 학습과정에서 다른 요소들에 상관없이 객체의 형태에만 집중할 수 있도록 그래픽 렌더링 과정을 통해 생성하였다. 객체탐지 연구를 위해 고안된 가상데이터 생성기는 실제상황을 잘 반영하고 생성된 가상데이터 만으로도 실제 데이터를 비교적 정확하게 예측할 수 있도록 CAD(Blender) 작업과 게임엔진(Unity 3D)의 라이브러리 기능들을 이용하여 제작하였다. 또한 Fig. 6에서와 같이 가상데이터 생성기는 생성된 장면(Scene)에서의 물체의 깊이, 반사, 거칠기와 같은 부가적인 정보도 함께 제공할 수 있도록 하였다.
2.3 가상 이미지 데이터 학습
가상데이터의 딥러닝 적용연구는 초기에 형태만 알아볼 수 있는 저수준의 가상데이터가 사용되었으며 이후 저수준의 가상데이터와 고수준의 실제 이미지 차이에서 발생하는 딥러닝 학습성능 저하를 막기 위한 방안의 하나로 새로운 클래스에 대한 전이학습 수행 시 심층신경망 앞쪽 하층부는 실제 이미지에 대한 기본적인 특성추출 기능이 남아있도록 고정하고 객체 분류기(Classifier)가 있는 마지막 최상층부는 미세조정(Fine-Tuning)하도록 하는 방법론이 개발되었다. 이러한 전이학습 방법은 점차 발전하여 심층신경망 각 레이어별로 맞춤형 학습을 수행하거나 하는 등의 도메인 일반화(Domain Generalization) 방법론으로 발전해왔다. 본 연구에서는 전이학습 수행시 사전학습된 모델에서 학습대상인 심층신경망의 특징추출 초기 레이어를 고정하여 기존 학습된 기능을 보존하고, 이후 레이어들만을 미세조정하여 객체탐지에 맞는 새로운 기능을 학습할 수 있도록 하였다.
3. 딥러닝 연구 적용사례
가상데이터를 효율적으로 생성하기 위해 도메인 분포 다양화(DR) 방법과 현실감 있는 데이터를 만들기 위해 고성능 그래픽 렌더링 기술을 사용하는 방법 및 실제 이미지 데이터와 3차원 형상 객체 데이터를 조합하여 새로운 가상데이터를 만드는 방법[17∼23]들을 함께 적용하였다. 도메인 랜덤화에 대한 파라미터 효과도 평가를 위해 광원세기 무작위화, 탐지방해물 추가 및 카메라 위치 무작위 배치 등의 기능을 하나씩 제외하면서 실험을 수행하였고 Fig. 7에서와 같이 시야각, 인공 방해물, 광원 조절 등의 효과를 확인할 수 있었다.
딥러닝 학습과정에는 MS-COCO Pre-Trained Faster R-CNN(Inception Resnet V2) 모델과 군용물체용 생성기에서 만들어진 객체탐지용 가상데이터가 사용되었으며, 성능평가에는 인터넷에서 수집된 실제 군용물체 1,000장의 레이블된 이미지 데이터가 사용되었다. Fig. 8은 딥러닝 학습용 가상데이터 수량 증가에 따른 성능평가결과이다. 실험결과로부터 AP50에서는 가상데이터의 수량 증가(5,000장)에 따른 성능변화가 작은 균일한 성능을 보였으나 AP75의 경우 가상데이터의 수량 증가에 따라 큰 폭의 성능향상 측정결과가 관측되었다. 이에 따라 가상데이터를 사용한 딥러닝 학습은 1,000장의 가상데이터만을 사용하여 전이학습 기반 미세조정을 수행하였으며 학습초기부터 실제데이터와 가상데이터를 혼합한 하이브리드 데이터셋 기반 학습을 수행하는 합동학습(Joint Training)도 함께 수행하였다.
군용물체 탐지연구를 위한 학습용 가상데이터를 사용한 탐지모델 추론결과는 Fig. 9와 Fig. 10에 나타나 있으며 실험결과로부터 가상데이터(Synthetic Alone), 실제데이터(Real Alone) 및 하이브리드 데이터(Synthetic + Real) 각각에 대한 학습성능 향상효과를 확인할 수 있었다. 객체탐지 모델 추론결과인 Fig. 11의 결과로부터 실제 데이터를 전혀 사용하지 않은 가상데이터 만으로 전이학습을 수행한 딥러닝 모델(Synthetic Alone)이 실제 군용물체를 잘 탐지하고 있음을 알 수 있다. 군용물체탐지용 가상데이터를 사용하여 딥러닝 모델을 학습시켰을 경우 단일물체 기반 물체탐지 정확도 85 %(AP50)와 64 %(AP75)를 얻을 수 있었다[15].
차량과 같은 3차원 형상의 객체탐지 딥러닝 모델을 공격하는 물리적 공격(Physical Adversarial Attacks)을 위해서는 2차원 패치를 부착하는 방법에 비해 3차원 텍스처 기반 물리공격 방법의 공격성능이 더 높은 것으로 알려져 있으며, 이러한 텍스처 조작 공격모델의 개발을 위한 컴퓨터 그래픽 시뮬레이션 관련 연구[24∼26]도 최근 활발히 진행되고 있다. 가상데이터를 활용하여 다양한 상황과 조건에 대한 적대적 공격수행이 가능하도록 하기 위해서는 실제환경과 유사한 그래픽 엔진 기반 가상 시뮬레이션 환경의 구성과 물리적 공격기술 개발을 위한 다양한 객체의 조작기능(텍스처 변경, 패치 부착 등)의 구현이 가능해야한다.
4. 결 론
군용물체탐지 연구용 학습데이터 구축을 위한 가상데이터 생성기술 연구를 수행하였다. 가상데이터 기반 딥러닝 연구를 통해 학습에 효과적인 다양한 조명조건, 물체위치 등의 여러 가지 변형조건울 생성할 수 있었으며 객체탐지 및 심층신경망 적대적 공격연구와 같은 응용분야의 데이터 생성과 딥러닝 모델의 학습이 가능함도 확인할 수 있었다. 군용물체 탐지용 가상데이터를 사용하여 딥러닝 모델을 학습시켰을 경우 단일물체 기반 물체탐지 정확도 85 %를 얻을 수 있었으며 가상데이터 기반 시뮬레이션 연구를 통해 심층신경망에 대한 적대적 학습을 위한 고품질의 데이터와 다양한 현실특성을 반영한 물리적 공격패턴을 생성연구가 가능함을 확인하였다. 향후 다중물체 및 소형물체 탐지 등을 위한 고도화된 가상데이터 학습 방법론에 대한 후속연구와 실제 데이터의 특성을 보다 더 잘 반영할 수 있도록 가상데이터의 분포를 최적화하여 도메인간의 차이(Domain Gap)를 줄이기 위한 추가연구가 필요할 것으로 판단된다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation
