Article information

Trans Abstract

1. 서 론

국방품질에 대한 패러다임이 규격충족에서 수요군 만족을 위한 개발, 양산, 배치 및 운용, 폐기의 총 수명주기로 확장되면서 정부 품질관리기관을 중심으로 품질보증 확보를 위한 다양한 품질보증 활동 및 정책연구가 활발히 진행되고 있다^[1]. 정부품질보증활동의 목표는 군수품의 총 수명주기에 걸쳐서 규정된 품질요구조건과의 일치성을 보장하는 것이고^[2], 국방기술품질원에서 방위사업청에 의하여 중앙 조달되는 국내 군수품에 대한 정부품질보증활동을 주도하고 있다^[3].

최근 들어 신형 전투화의 대량 하자 발생, 40 mm 탄약 폭발사고, K 계열 무기체계의 품질결함 등 군수품 전 분야에서 다양한 품질 문제가 발생하고 있으며^[4], 이러한 문제에 대한 신속한 대처 및 예방을 위하여 군수품에 대한 정부품질보증활동의 강화가 요구된다^[5]. 그럼에도 군수품의 성능, 신뢰성 등이 사용자 요구를 충족하지 못하여 사용자불만이 발생하고 있으며, 국방기술품질원의 대군기술지원팀 및 각 전문센터에서 소요군으로부터 수집한 사용자불만 발생 사항을 처리한다. 최근 5년간 평균 1,115건의 사용자불만이 발생하였고, 2020년 제기된 사용자불만은 1,040건이다.

사용자불만 데이터는 군수품 품질관리를 위해 국방기술품질원에서 운영하고 있는 대군 품질관리시스템인 품질정보서비스(IQIS, Integrated Quality Information Service for military supplies)와 항공센터에서 자체적으로 관리하는 사용자불만 세부현황(Excel)에 군수품 결함 및 원인 등이 다양한 형태의 비정형 데이터로 기록되어 있고, 이러한 군수품 품질정보 데이터는 현재 활용되지 못한 채로 다량 축적되고 있다.

국방산업 관련 데이터 증가 및 기술 성장에 따라 유의미한 정보를 추출하여 군수품 품질보증 활동, 국방연구개발 등에 활용하는 것이 요구되며^[6], 데이터 기반 경향 파악은 다수의 상황에 유연한 대처가 가능하도록 하여 업무의 생산성을 제고한다. 이에 군수품 품질 정보를 체계적으로 수집하고, 축적된 정보를 효과적으로 활용할 방안을 마련하여 데이터 기반 업무체계를 구축하는 것이 필수적이다. 또한, 군수품의 품질 개선을 유도하고 안정적인 후속 군수 지원 체계를 구축하기 위해서는 품질보증 활동 중 수집된 사용자 불만 데이터를 체계적으로 분석할 필요가 있다.

이에 본 연구에서는 2020년에 제기된 항공 분야의 사용자불만 데이터를 분석하여 항공무기체계의 사용자불만 발생 현황을 파악하고자 한다. 이를 위하여 KeyBERT를 활용하여 핵심 키워드를 추출하고, 추출된 키워드를 기반으로 네트워크 분석을 실시하고자 한다. 구체적으로 중심성 분석을 통해 사용자불만의 핵심 키워드와 향후 파급력이 클 것으로 예상되는 키워드를 파악하고, 응집구조 분석을 실시하여 주로 함께 발생하는 사용자불만 키워드들을 그룹핑한다. 또한 이원 속성 네트워크 분석을 통하여 항공무기체계의 중분류, 품류, 사용자불만 분류별 주요 사용자불만 키워드를 도출한다.

본 연구의 구성은 다음과 같다. 제2장에서는 사용자불만 및 네트워크 분석의 이론적 배경과 국방 품질보증 데이터 분석한 선행연구에 대해서 기술할 것이다. 제3장에서는 연구에서 제안하는 연구 방법에 대해 기술할 것이다. 제4장에서는 네트워크 분석 방법론을 활용하여 항공무기체계의 사용자불만 데이터의 실증 분석을 수행할 것이다. 마지막으로 제5장에서는 본 연구의 요약, 의의 및 한계에 대하여 기술할 것이다.

2. 이론적 배경 및 선행연구

2.1 사용자불만

국방기술품질원은 방위산업진흥국장의 조정·통제하에 각 군 및 업체와 협조하여 운영 중인 군수품에 대한 정기 및 수시 품질정보수집, 품질결함 확인 및 사용자불만 처리, 탄약오작용 조사, 성능개량 제안, 최초배치장비 기술지원 등의 대군 기술지원업무를 수행한다^[7]. 사용자불만이란 배치/운영단계에서 군수품의 성능, 신뢰성 및 사용 편의성 등이 사용자의 요구를 충족시키지 못하여 불만을 제기하는 사항을 의미하고^[8], 국방기술품질원에서는 소요군에서 제기한 불만사항을 분석·조치하는 사용자불만 처리 활동을 실시하고 있다. 사용자불만이 제기되면, 품질보증기관에서 기술조사 및 원인 규명을 실시하고 사용자불만 결과를 Table 1의 내용에 따라 하자, 규격 및 기술자료 미흡, 개선 요구, 계약착오, 사용자 운용미흡, 통보착오, 책임소재 불분명, 결함원인 분석불가, 기타로 분류한다. 단, 조사 결과 사용자불만의 원인이 명백하지 않은 경우에는 사용자불만 심의회를 통하여 하자 여부를 판단한다^[7].

Table 1.

Classification of user complaints^[9]

2.2 품질보증 데이터를 활용한 선행연구

국방 품질보증 활동 중 수집된 데이터를 활용한 선행연구를 조사하여 Table 2에 나타냈다.

Table 2.

Previous studies using quality assurance data

Kim&Lee(2018)는 국방기술품질원의 품질보증체계에 기록된 시정조치현황과 하자발생현황 데이터를 분석하여 QPI 제품품질 수준 평가 시 보다 정확한 평가를 위한 수학모델을 제안하였다^[10].

Lee&Yoon(2018)은 기계식시한신관 KM577A1의 저장탄약신뢰성평가를 통해 얻어진 데이터로부터 품목의 저장수명추정에 필요한 로트선별기준을 제시하였으며, 시한시간 신뢰성점수와 시산실패 데이터를 분석하여 저장수명을 추정하였다^[11].

Eom et al.(2023)는 운용단계에서 식별한 SW 결함들이 개발단계로 효과적인 환류가 가능하도록 위험관리맵을 제안하였다. 이를 위하여 각 무기체계와 관련된 SW 결함들을 쉽게 확인할 수 있는 기술변경 데이터베이스를 구축하고, SW 위험도를 한눈에 볼 수 있는 시각화 자료를 제시하였다^[12].

Huh et al.(2023)는 C5ISR 분야의 전술 통신과제 관련 2차 전지의 품질 문제를 해결하기 위하여 빅데이터 분석 기반 양품/불량품 분류 및 예측 모델을 제안하였다. 또한 품질 정보 시스템의 빅데이터 기반 구축 및 발전방안을 제시하였으며, 기존의 S-QIS 시스템을 고도화하여 협력사와의 데이터 활용방안을 제시하였다^[13].

Eom et al.(2024)는 운용 중인 무기체계에서 발생한 SW 결함을 데이터베이스로 구축하는 방안을 제시하고, SW 결함 현황을 분석하였다. 이를 통해 SW 결함의 주요 원인을 파악하였으며, 연도별 결함 발생 경향과 무기체계별 결함 분포를 확인하였다^[14].

Oh&Gwak(2024)은 시정조치, 사용자불만 품질 데이터를 분석하여 품질 문제 발생 횟수를 파악하고, 위험 발생 가능성을 평가하였다. 또한 함정 무기체계 품질관리의 효율성을 높이기 위하여 납품 업체별 품질 수준을 고려한 표준위험도 평가방안을 제시하였다^[15].

선행연구들은 품질보증 시 수집된 데이터를 체계적으로 분석하여 다양한 품질 문제를 해결하기 위한 방안을 제안하고 있으며, 이는 데이터 기반의 품질 관리가 효과적인 품질보증 활동을 가능하게 함을 시사한다. 그러나 이러한 연구들은 주로 정형화된 데이터에 집중되어 있었고, 비정형 데이터를 체계적으로 분석하여 군수품 품질보증 활동에 적용하려는 시도는 미흡했다. 특히 사용자불만 정보는 품질 문제의 결함내용 및 조치사항 등을 포함하고 있어 유용한 품질 정보를 확보할 수 있는 중요한 수단임에도 불구하고, 현재 사용자불만 데이터는 다양한 문서와 텍스트 형식으로 작성되어 축적만 되고 있으며 체계적인 관리와 분석이 이루어지지 않고 있다. 국방기술품질원에서는 매년 천여 건의 사용자불만을 처리하고 있으며, 이러한 사용자불만 정보는 유용한 품질정보 확보 수단으로 체계적인 분석과 관리가 필요하다. 이에 본 연구에서는 사용자불만 처리 시 작성된 내용을 심층 분석하여 유의미한 정보를 추출하고, 향후 품질보증 활동에 활용할 수 있는 방안을 마련하고자 한다.

2.3 KeyBERT

KeyBERT는 텍스트 임베딩 단계에서 BERT를 활용하고, 코사인 유사성을 계산하여 문서를 가장 잘 나타내는 키워드 또는 구문을 찾아주는 인공지능 모델이다. 유사성 계산 단계에서 MSS(Max Sum Similarity)를 사용하여 후보 간의 유사성을 최소화하면서 문서와의 후보 유사성을 극대화하고, MMR(Maximal Marginal Relevance)을 사용하여 텍스트 요약 작업에서 중복을 최소화하며 결과의 다양성을 극대화한다. 이러한 접근 방식 덕분에 해당 모델은 일부 성능 평가에서 인간보다 더 높은 정확도를 보이며, 범용 목적의 언어 이해 모델을 훈련시켜서 다양한 NLP 태스크에 적용될 수 있다^[16]. Fig. 1은 KeyBERT의 워크플로우를 시각적으로 나타낸 것이다.

Fig. 1.

KeyBERT workflow^[17]

3. 연구설계

본 연구에서는 항공무기체계의 사용자불만 발생 현황을 파악하기 위하여 Fig. 2와 같은 프로세스로 연구를 진행하였다.

Fig. 2.

Research process

먼저 국방기술품질원에서 관리하는 IQIS와 항공센터에서 자체적으로 작성한 사용자불만 세부현황(Excel)으로부터 2020년에 제기된 항공무기체계의 사용자불만 472건을 수집하였다. 수집된 사용자불만 데이터에는 사용자불만 처리시 작성된 재고번호, 품명, 형태, 무기체계 분류, 제기내용, 결함내용, 조치내용 등의 내용이 포함된다. 항공센터는 사용자불만 처리 시 IQIS 를 사용하지 않고 자체 데이터셋으로 관리하고 있어, IQIS 데이터와 일부 항목에서 차이가 존재하였고, 정보의 누락이 확인되었다. 이에 IQIS 데이터와 항공센터의 데이터를 통합하고 보완하는 작업을 수행하였으며, 항목별 명칭을 통일화하였다. 최종적으로 품류, 무기체계 분류, 무기체계 중분류, 결함원인 분류, 결함내용, 검토내용을 분석 대상으로 선정하였고, 이중 결함내용과 검토내용을 중심으로 분석을 진행하였다.

데이터 전처리 단계에서는 숫자 및 기호 제거, 조사 제거 등과 같은 기본적인 텍스트 정제를 진행하였다. 또한 ‘오링’, ‘O-ring’, ‘oring’, ‘o-ring’처럼 동일한 의미이지만 띄어쓰기나 표현의 차이로 다른 키워드로 인식될 경우를 대비하여 형태적으로 유사한 키워드와 의미적으로 유사한 키워드를 표준화하는 과정을 거쳤다. 이후 n-gram 분석, 키워드 빈도 분석 등을 통하여 불필요한 정보를 식별하고, 반복적인 검토를 통하여 ‘측정결과’, ‘점검결과’, ‘발생수량’, ‘고장내용’ 등과 같은 분석에 유의미한 정보를 제공하지 않는 키워드를 제거하는 불용어 처리를 진행하였다.

본 연구에서는 BERT를 기반으로 하고 코사인 유사성을 계산하여 문서를 대표하는 키워드를 찾아주는 모델인 KeyBERT를 활용하여 사용자불만 키워드를 추출하였다. 임베딩 모델로는 SKT에서 개발한 한국어 BERT 모델인 KoBERT를 사용하였다. 분석은 Python 3.11 환경에서 진행하였으며, 키워드 추출을 위한 파라미터는 MMR은 0.7로, MSS는 20으로 설정하여 키워드의 다양성과 적합성을 고려하였다. 또한 본 연구에서 사용한 데이터셋은 BERT 기반 대형 언어 모델(LLM)의 토큰 수 제한 문제에서 자유로워, 데이터 처리와 모델 적용에 제약 없이 분석을 진행하였다.

네트워크 분석은 KeyBERT로 추출한 사용자불만 키워드를 바탕으로 진행하였다. 사용자불만 키워드의 1-mode(동일 키워드 속성 간) 네트워크를 구축하여 중심성 분석을 수행하였으며, 응집구조(Cohesion Analysis)를 통하여 집단그룹을 도출하였다. 또한 항공무기체계의 중분류 및 품류 그리고 사용자불만 분류와 사용자 불만 키워드 간의 이원 속성 네트워크 분석을 통하여 분류별 사용자불만 주요 키워드를 도출하였다.

4. 분석결과

4.1 데이터 수집 결과

2020년 제기된 항공무기체계의 사용자불만은 회전익항공기 391건, 무인항공기 57건, 고정익항공기 15건 그리고 항공전투지원장비 9건으로 총 472건 발생하였으며, 결과는 Table 3과 같다. 회전익항공기, 무인항공기, 고정익항공기의 사용자불만은 대부분 하자에 의하여 발생하였으며, 항공전투지원장비의 경우 개선이 요구되는 사항에 대하여 다수 발생한 것으로 나타난다.

Table 3.

Current status of user complaints in air force weapon system

4.2 키워드 빈도 분석 결과

KeyBERT를 활용하여 항공무기체계의 사용자불만 키워드를 하였고, 사용자불만 건별로 5개의 핵심 키워드를 추출한 결과 총 859개의 키워드가 추출되었다. Table 4는 추출한 키워드 중 상위 30개의 키워드와 빈도를 나타낸 결과이고, 단풀불량, 결함코드, 손상, 시현, 결함, fail, 불량, 균열 순으로 발생 빈도가 높은 것으로 나타났다.

Table 4.

Frequency of top 30 keywords

‘단품불량’ 키워드는 108회로 가장 높은 빈도로 발생하였으며, 다양한 품목에서 문제가 발견되었다. 주요 품목으로는 seal, 합성기, 냉각팬, 센서, 유압호스, 배유호스, 백열등, 베어링 등이 있다. 이 사용자 불만들은 모두 하자인 것으로 나타났으며, 주로 성능/내구성/제품의 신뢰성 문제, 치수/조립/가공 불량, 재질 및 원자재 불량의 원인으로 발생한 것으로 나타난다.

‘결함코드’ 키워드는 67회로 두 번째로 많이 발생하였다. 주요 결함코드로는 hmw, mwr, apm, fdrm dau, hums, rwr, fqms, flir, dct 등이 있다. 이 사용자불만 또한 모두 하자인 것으로 나타났고, 성능/내구성/제품의 신뢰성 문제의 원인으로 사용자불만이 발생하였다. 이외에도 엔진, 회로카드, 케이블 등 다양한 품목에서 균열, 작동불량, 누유, 마모 등과 같은 여러 가지 사용자 불만이 발생하였다.

4.3 네트워크 분석 결과

4.3.1 중심성 분석

Table 5는 항공무기체계의 사용자불만 키워드의 연결, 매개, 위세 중심성 분석 결과이다. ‘결함코드’, ‘단품불량’은 연결중심성 지수가 높은 키워드로 다양한 결함 유형과 품목 키워드들과 연결되어 있다. 이 두 키워드는 항공무기체계의 사용자불만의 주요 원인으로 작용하고 있으며, 사용자불만을 발생시키는 데 있어 큰 비중을 차지하고 있다. 이러한 키워드들은 사용자들이 느끼는 불만의 핵심 요소로, 문제 해결을 위한 우선적 접근이 필요함을 강조한다.

Table 5.

Top 15 keywords by centrality index

마찬가지로 ‘단품불량’, ‘결함코드’가 매개중심성이 높은 키워드로 나타났으며, 이외에도 ‘손상’, ‘mr’ 등의 키워드가 네트워크 내에서 중요한 연결고리 역할을 하며, 얼마나 자주 중개 역할을 하는지 알 수 있다. 이처럼 매개중심성이 높은 핵심 키워드들이 향후 여러 사용자불만에서 중개 역할을 할 것으로 예상되며, 이들 키워드가 제거될 경우 네트워크 전체에서의 연결과 흐름에 큰 영향을 미칠 것으로 보인다. 이에 해당 사용자불만의 관리 및 개선을 통해 다양한 사용자불만을 방지할 수 있을 것이다.

다른 중심성 지수는 낮지만 근접중심성이 높은 ‘찢어짐’ 키워드는 다른 키워드들에 비해 발생 빈도나 중요성에서는 상대적으로 낮을 수 있지만, 다른 키워드들과 빠르게 연결될 수 있는 특성을 지니고 있다. 따라서 ‘찢어짐’과 관련된 결함이 다양한 영역에서 발생할 수 있는 가능성을 고려하여, 해당 키워드에 대한 지속적인 모니터링과 관리가 필요하다.

연결, 매개중심성은 다소 낮지만 위세중심성이 높은 ‘seal’, ‘tgb’, ‘누유’ 키워드는 영향력 있는 키워드들과 연결되어 있는 키워드로, 향후 더 큰 영향력을 행사할 수 있으며, 특정 결함이나 문제를 확산시킬 수 있는 주요한 키워드이다. 이에 관련 불만 사항의 개선이 이루어진다면 향후 이로부터 유발될 다양한 사용자불만을 예방할 수 있을 것이라 예상된다.

모든 중심성 지수에서 높은 순위를 차지하는 ‘결함코드’와 ‘단품불량’은 항공무기체계의 사용자불만 핵심 키워드로서 이에 대한 체계적이고 지속적인 관리가 항공무기체계의 사용자 만족도를 높이는 핵심 요소가 될 것이다. 따라서 해당 사용자불만의 원인을 신속하게 해결하는 것이 필수적이다. 이를 위해 정기적인 사용자의 피드백 수집과 데이터 분석이 필요하며, 체계적이고 지속적인 관리가 이루어져야 한다.

4.3.2 응집구조 분석

응집구조 분석(Cohesion Analysis)을 실시하여 주로 함께 발생하는 사용자불만 키워드들을 그룹화하였다. Community(Eigenvector) 분석 결과 총 총 134개의 그룹이 도출되었으며, 그중 비중이 큰 상위 7개의 그룹을 Table 6에 제시하였다.

Table 6.

Community group

결함코드 그룹은 비중이 가장 큰 그룹으로 mwr, cpm, hmd, emb, fail 등의 결함코드 종류 및 발생 원인과 관련된 키워드들로 구성된다. 결함코드 관련한 사용자불만의 예로 내부 cpm의 불량으로 인하여 hmd 결함코드가 다수 시현되었으며, 내부 mp 보드 불량에 따른 mwr 결함코드 시현, 신호처리기판 하위 소자의 손상에 따른 fqms 결함코드 시현 등이 있다.

단품불량 그룹은 seal, tgb, 누유, 드레인, 공기 등 총 14개의 키워드로 구성된다. 단품불량 관련한 사용자불만의 예로는 seal 단품불량에 따른 tgb 및 mbg 오일 누유, 드레인 호스 단품불량에 의한 드레인 호스 연결부 손상, cwp 단품불량에 따른 주의등 점등 등이 있다.

손상 그룹은 엔진, 손상, run, 미흡, 팽창시일, 찢어짐 등의 키워드로 구성되며, 손상 관련 사용자 불만 예로는 엔진 거동에 의한 엔진 팽창시일 찢어짐, 엔진 run 미흡에 따른 휠 부식 등의 사용자 불만 등이 존재한다.

mr 댐퍼 결함 그룹은 mr, 댐퍼, pu, 접착분리 등의 총 12개의 키워드로 구성된다. 이와 관련된 사용자 불만으로는 sealant 노후화에 따른 pu 와셔의 접착 분리, 피로 누적에 의한 파손, 온도충격 및 진동 등의 운용환경에 의한 손상현상 가속화 등이 있다.

충돌방지등 결함 그룹은 충돌방지등, 작동불량, 내부, 수분유입 등으로 구성되며, 관련하여 light 조립체의 내부에 수분이 유입되어 충돌방지등이 작동 불량한 사용자불만이 다수 제기되었다.

마지막 회로카드 결함 그룹은 결함, 컴퓨터, 회로카드, mps로 구성되며 관련 사용자불만으로 회로카드 조립체의 결함에 따른 mps 컴퓨터에서 dtc 인식 불가 사례가 제기되었다.

응집구조 분석 결과, 특정 키워드와 연결된 여러 품목, 현상, 원인들이 커뮤니티 그룹으로 묶여 나타났으며, Fig. 3과 같이 시각적으로 표현되었다. 각 노드는 특정 사용자불만의 품목, 현상, 원인을 나타내며, 노드의 크기는 해당 키워드의 중요도를 보여준다. 노드 간의 연결선은 결함 간의 연관성을, 링크의 두께는 결함 간의 연관 강도를 나타낸다.

Fig. 3.

Result of cohesion analysis

‘단품불량’, ‘손상’, ‘결함코드’ 등은 노드의 크기가 매우 크고 네트워크의 중심에 위치하며, 여러 다른 키워드들과 직접적으로 연결되어 있다. 이러한 키워드들은 다른 결함 및 현상들과 연관성이 크고 네트워크 전반에 걸쳐 중요한 역할을 하고 있으므로, 선제적 관리와 예방이 필요하다.

이 시각화 자료는 키워드들이 함께 발생하는 패턴과 한 결함이 다른 결함을 유발할 가능성을 보여주며, 키워드들의 상호 연관성을 파악하는 데 도움을 준다. 또한 각 결함의 원인과 결과 간의 연결을 시각적으로 이해하는 데 유용하다.

4.3.3 이원 속성 네트워크 분석

2-mode 분석을 통해 항공무기체계의 중분류, 품류, 사용자불만 분류와 사용자불만 키워드 간의 네트워크 분석을 실시하였다.

항공무기체계의 중분류는 회전익항공기, 무인항공기, 고정익항공기, 항공전투지원장비로 구분되며, 이 중분류와 사용자불만 키워드 간의 2-mode 네트워크를 도출하여 공동출현 빈도가 높은 키워드들을 바탕으로 Table 7과 같이 대상 및 품목 키워드/ 현상 및 결함 키워드로 구분하여 나타냈다. 예로 회전익항공기는 엔진, tgb, mgb, idmc, 댐퍼, seal, 회로카드, 충돌방지등의 대상 및 품목에서 사용자불만이 발생하였으며, 주요 현상과 원인으로는 단품불량, 결함코드 시현, 균열, 누유, 마모, 접촉분리 등이 있다. 무인항공기는 케이블, 통합대기자료센서, 비행체점검장비, 엔진 등에서 사용자불만이 발생하였으며, 결함, 소음, 접촉불량, 균열 등이 주요 현상으로 확인되었다.

Table 7.

User complaint keywords by subcategory of air force weapon system

항공무기체계의 품류는 항공기, 일반장비, 항공기타, 전자장비, 장륜차량, 소화기 및 화포, 유도무기로 구분되며, 이 품류와 사용자불만 키워드 간의 2-mode 네트워크를 도출하여 공동출현 빈도가 높은 키워드들을 바탕으로 Table 8과 같이 대상 및 품목 키워드/ 현상 및 결함 키워드로 구분하여 나타냈다. 예로 항공기의 엔진, seal, mgb에서 사용자불만이 다수 발생하였으며, 주요 현상 및 결함으로는 단품불량, 결함코드 시현, 균열, 누유, 마모 등이 있었다. 또한 일반장비 중 안정화구동장치, 탱크하부, joint 등에서 가스누출, 탄성미흡, pbit fail 등의 현상이 발생하여 사용자불만이 발생하였다.

Table 8.

User complaint keywords by type of air force weapon system

마지막으로 사용자불만의 분류와 사용자불만 키워드 간의 2-mode 네트워크를 도출하여 공동출현 빈도가 높은 키워드들을 바탕으로 Table 9과 같이 대상 및 품목 키워드/ 현상 및 결함 키워드로 구분하여 나타냈다. 사용자불만 중 가장 큰 비중을 차지한 하자의 대상 및 품목으로는 엔진, seal, tbg, mgb, pu 배터리, 발전기 등이 있었으며, 단품불량, 결함코드 시현, 균열, 누유, 노후화, 소음 등이 주요 현상 및 결함으로 도출되었다.

Table 9.

User complaint keywords by classification of user complaints

이원 속성 네트워크 분석을 실시하여 항공무기체계의 중분류, 품류 그리고 사용자불만의 분류별 사용자불만 발생 대상 및 품목, 현상 및 결함을 도출하였다. 이는 향후 품질보증 업무 처리 시 특정 항목 및 유형에 대하여 중점적으로 관리해야 할 주요 품목과 그 품목에서 발생할 수 있는 결함을 이해하는데 참고 자료로 활용 가능할 것이다.

5. 결 론

연구에서는 2020년에 처리된 항공무기체계의 사용자불만 데이터를 분석하여 항공무기체계의 사용자불만 발생 현황을 파악하였다. KeyBERT를 활용하여 사용자불만 키워드를 추출하였으며, 추출된 키워드를 바탕으로 네트워크 분석을 실시하여 사용자불만 키워드 간 관계를 분석하였다. 또한 이원화 속성 네트워크 분석을 통하여 항공무기체계의 중분류 및 품류, 사용자불만의 분류별 사용자불만 발생 대상 및 품목과 현상 및 결함 키워드를 도출하였다.

2020년 항공무기체계의 사용자불만은 회전익항공기 391건, 무인항공기 57건, 고정익항공기 15건 그리고 항공전투지원장비 9건으로 총 472건 발생되었으며, 대부분 하자에 의하여 발생하였다. KeyBERT를 활용하여 사용자불만 건별로 5개의 핵심 키워드를 추출한 결과, 총 859개의 키워드가 도출되었고, ‘단품불량’, ‘결함코드’의 발생빈도가 높은 것으로 나타났다. 중심성 분석을 통해 ‘결함코드’와 ‘단품불량’이 사용자불만의 주요 원인으로 네트워크 내에서 중요한 위치를 차지하고 있음을 확인하였으며, 이들의 체계적인 관리가 사용자의 만족도를 높이는 핵심 요소가 될 것이다. 응집구조 분석 결과 사용자불만의 대상 및 품목, 다양한 결함과 원인들이 그룹화되었으며, 상위 7개 그룹에 대하여 대상 및 품목별 다양한 결함과 원인을 시각적으로 파악할 수 있었다. 마지막으로 이원 속성 네트워크 분석을 통하여 다양한 분류별 주요 사용자불만 발생 대상 및 품목과 현상 및 결함 키워드를 확인하였다.

본 연구는 몇 가지 의의를 가지고 있다. 첫째, 그동안 사용자 불만 처리 후 활용되지 않고 축적된 데이터를 체계적으로 분석하여 의미 있는 정보를 추출하고, 축적된 정보를 활용하는 방안을 마련한 것에 의의가 있다. 둘째, 사용자불만 텍스트 데이터를 네트워크 분석을 통해 사용자불만 키워드의 중요성을 수치화하고, 키워드 간의 관계를 시각적으로 표현하였다. 또한 정성적 분석으로는 확인할 수 없는 숨겨진 패턴이나 키워드 간의 연관성을 발견한 것에 의미가 있다. 셋째, 연구 결과는 향후 품질보증 활동 및 사용자불만 처리 시 중요한 참고자료로 활용될 수 있을 것이다. 연구 결과를 바탕으로 자주 발생하는 문제 유형을 예측하고 예방 활동을 강화할 수 있으며, 품질 관리 가이드라인과 교육 프로그램에 반영함으로써 실질적인 품질 개선에 기여할 수 있다. 또한 운영부대에서 정비 단계를 설정할 때 유용하게 활용할 수 있으며, 동시조달수리부속(CSP) 설정 시에도 중요한 지침으로 사용될 수 있다.

본 연구는 위와 같은 의의가 존재하나 다음과 같은 한계점을 지닌다. 첫째, KeyBERT는 텍스트에서 핵심 키워드를 추출하는 데 유용하지만, 특정 맥락이나 주제에 따라 중요한 키워드가 달라질 수 있다. 이에 추출된 키워드가 실제 사용자불만의 핵심을 충분히 반영하지 못했을 가능성이 있으며, 해당 문제를 보완하기 위해서 향후에는 국방 분야에 맞게 훈련된 언어 모델을 활용하여 키워드 추출의 정확성을 높일 필요가 있다. 둘째, 본 연구에서는 2020년 데이터만을 활용하여 분석을 진행하였는데, 향후 시계열적 동향 분석을 통해 사용자불만 현황을 보다 정확하게 파악할 필요가 있다.

Article information Continued