커뮤니티
community

A Study on the evaluation method unmanned aerial vehicle response system through multi-criteria decision making method (Focusing on military security facilities) KIM JAE WOOK Department of Defense Acquisition Program Kwang-woon University Graduate School This dissertation is a study on evaluation methods related to the construction of an unmanned aerial vehicle(UAV) response system focusing on military security facilities in order to prepare for various attacks such as terrorism using UAVs that are being perpetrated around the world. The evaluation method presented here refers to evaluation items (second and third tier evaluation factors), evaluation indicators [weight (importance), priority], development of converted scorecards, evaluation points, etc. Currently, UAVs are increasingly used in various fields of civil, public, and military area due to rapid technological development and mass production. And UAVs are positioning themselves as asymmetric weapons by taking advantage of the advantages of low cost and high efficiency (low price, ease of use, stealth, etc.). Therefore, in order to prepare for UAVs attacks, it is necessary to present the required level (standard) for each evaluation element related to the construction of an UAV response system by experts by military security facility class (Class Ⅰ / Class Ⅱ / Class Ⅲ). A reviews of prior literature on UAVs has focused mostly on research overall technology trends, industry trends, and policy trends related to anti-drones (UAV response). It has also focused on what detailed equipment is needed for detection, identification, and neutralization, on which is the concept of joint air defense warfare. After all, there is no literature that studies the actual evaluation of the overall UAV response system-related requirements. In this dissertation, experts were questioned using the Delphi and AHP method. These are multi-criteria decision-making methods, to derive evaluation items and evaluation indicators. In order to apply the Delphi method, various prior literature were comprehensively analyzed to derive provisional evaluation factors. And the final evaluation items were derived through a questionnaire of a group of experts (30 people). Also, before deciding on the final evaluation item according to the results of the Delphi questionnaire, the content validity Ratio (CVR) of each evaluation element was checked to check for abnormalities. In addition, 30 experts questionnaires on the importance and priority of each evaluation factor (6 in the second tier and 26 in the third tier) were conducted using the AHP method. And the consistency ratio for the survey results was 0.1 or less, which is a reliable result. Composite weights were used to develop the conversion scorecard, which used the most common calculation method to calculate the relative importance by calculating the weights for each third tier using AHP (pairwise comparison) and then multiplying with the weights of the second tier.3) The weight of each second tier (6) is multiplied by 100% and then multiplied by the weight of each third tier (26) corresponding to the second tier [conversion score (composite weight) = (second tier weight ☓100%) ☓ third tier weight]. Military security facilities are the same concept as national important facilities, and are classified into class Ⅰ, class Ⅱ, and class Ⅲ according to the impact on national defense when destroyed or deprived by the enemy.4) As a result of analyzing whether there was a change in the perception of the expert group related to military security facilities "unclassified" and "classified" 3) Ahn, J. S, "Developing Evaluation Criteria for Historic Gardens Preservation Condition by Applying Delphi Techniqueand Analytic Hierarchy Process." Sungkyunkwan University Ph.D. thesis, 2010, p. 115. 4) R.O.K. MND, “Instruction No.2425 Defense Security Service Instructions”, 2020, p. 71, (Class Ⅰ / Class Ⅱ / Class Ⅲ) through an expert questionnaire, the following three things were identified. First, the priorities of the second tier (6) UAV response systems related to military security facilities were in the order of "detection > identification > neutralization > cyber protection > combat development support factors > integrated product support factors" regardless of "unclassified" and "classified" (Class Ⅰ / Class Ⅱ / Class Ⅲ) military security facilities. Second, according to the "unclassified" and "classified" (Class Ⅰ / Class Ⅱ / Class Ⅲ) of military security facilities, the weight value of each evaluation factor of the second tier (6) were analyzed in the order of 'Class Ⅰ > unclassified > Class Ⅱ > Class Ⅲ'. Third, the priorities of each evaluation element of the third tier (26) of each military security facility are also consistent, but the weight value of some evaluation factors are derived differently. For example, among the second tier detections by military security facilities (Class Ⅰ / unclassified / Class Ⅱ / Class Ⅲ), the value of the third tier small target evaluation factor was 8.145 / 8.336 / 7.827 / 7.509. The reason for this phenomenon is that the definition and facility standards for each military security facility were not informed in advance during the "unclassified" questionnaire of military security facilities using the converted scorecard (composite weight). So the expert group could not select accurate judgment criteria for the "target facilities" related to the construction of the UAVs response system. The academic contribution this disserations are thses "even if an expert group is formed so as not to be biased towards a specific group, the results differ depending on the importance of the facility when military security facilities are unclassified versus classified (Class Ⅰ / Class Ⅱ / Class Ⅲ)". The other practical contributions are "Presented a quantified evaluation method for building an UAVs response system. According to be protected the military security facilities (Class Ⅰ/Ⅱ/Ⅲ), the total sum of evaluation factors is derived differently that is Class Ⅰ > unclassified > Class Ⅱ > Class Ⅲ". It is necessary to establish a system so that expert opinions can be collected. Future research directions require in-depth research on cost-effective response systems (equipment deployment etc.) related to UAV response by military security facility class (Class Ⅰ / Class Ⅱ / Class Ⅲ) using quantified acquisition criteria such as importance and priority for each tier evaluation factors presented in this paper.
본 논문은 全 세계에서 자행되고 있는 무인항공기를 활용한 테러 등 각종 불법 공격에 대비하기 위해 군사보안시설을 중심으로 한 무인항공기 대응체계 구축 관련 평가방법 연구이다. 여기서 제시한 평가방법이란 평가항목(제2계층 및 제3계층 평가요소), 평가지표[가 중치(중요도), 우선순위], 환산점수표 개발, 평가배점 등을 의미한다. 현재 무인항공기는 비약적인 기술발전과 대량생산 등으로 민·관·군의 다양한 분야에 활용도가 증가하고 있으며, 가성비(저렴한 가격, 사용의 편의성, 은밀성 등)가 우수한 장점을 살려 비대칭 무기로 자리 매김하고 있다. 따라서, 무인항공기에 의한 공격 등에 대비하기 위해 군사보안시설 등급(가급/나급/다급)별 무인항공기 대응체계 구축을 위한 전문가들의 평가요소별 요구수준(기준) 제시가 필요하다. 무인항공기 관련 선행문헌을 고찰한 결과, 대부분 안티드론(무인 항공기 대응) 관련 전반적인 기술동향, 산업동향 및 정책동향 등에 대한 연구이거나 합동방공작전 개념인 탐지, 식별, 무력화 등을 위한 어떤 세부 장비들이 필요한지에 대해서만 집중되어 있다. 결국, 무인항공기 대응체계 관련 소요제기 전반의 실질적인 평가방법을 연구한 문헌은 찾아보기 힘들다. 본 논문에서는 평가항목과 평가지표 등을 도출하기 위해 다기준 의사결정방법인 델파이 기법과 AHP 방법을 사용해 전문가들에게 설문하였다. 델파이 기법을 적용하기 위해 각종 문헌을 종합분석하여 잠정평가요소를 도출한 후 전문가 집단(30명) 설문을 통해 최종 평가항목으로 선정하였다. 델파이 설문 결과에 따른 최종 평가항목으로 결정하기 전에 평가요소별 내용 타당도(CVR)를 점검하여 이상 유무를 확인하였다. 또한, AHP 방법을 이용해 평가요소(제2계층 6개, 제3계층 26개) 별 중요도와 우선순위에 대한 전문가 집단(30명)의 설문을 시행하였고, 설문 결과에 대한 일관성 비율(Consistency Ratio)이 신뢰할 수 있는 결과인 0.1 이하인지를 확인하였다. 환산점수표 개발을 위해 복합가중치를 사용하였는데, 이는 각 제3계층에 대한 가중치를 AHP(쌍대비교)를 이용해 산출한 다음 제2계층의 가중치와 곱하여 상대적 중요도를 계산하는 가장 일반적인 산출방법을 활용하였다.1) 각 제2계층(6개)별 가중치에 100%를 곱한 후 제2계층에 해당하는 제3계층(26개)별 가중치를 곱한 값[환산점수(복합가중치) = (제2계층 가중치 ☓ 100%) ☓ 제3계층 가중치]이다. 군사보안시설은 국가중요시설과 동일한 개념으로 적에게 파괴 또는 피탈 시 국방에 미치는 영향에 따라 ‘가’급, ‘나’급, ‘다’급2)으로 분류하고 있다. 전문가 설문을 통해 군사보안시설 ‘미구분’과 ‘구분’ (가급 / 나급 /다급) 관련 전문가 집단의 인식변화가 발생하였는지 분석한 결과 다음 3가지를 확인할 수 있었다. 첫째, 군사보안시설 관련 무인항공기 대응체계 제2계이 ‘탐지 > 식별 > 무력화 >사이버 방호 > 전투발전지원요소 > 통합 체계지원요소’ 순서로 나타났다. 둘째, 군사보안시설 ‘미구분’과 ‘구분’(가급 / 나급 /다급)에 따른 제 2계층의 각 평가요소(6개) 중요도는 ‘가급>미구분>나급>다급’ 순으로 분석되었다. 셋째, 군사보안시설에 무관하게 제2계층의 제3계층 각 평가요소(26개) 우선순위는 일치하지만, 평가요소별 중요도 값이 상이하게 도출된다는 점을 발견하였다. 예를 들면, 군사보안시설(가급 / 미구분 / 나급/ 다급)별 제2계층 탐지 중 제3계층 소형표적 평가요소의 중요도 값이 8.145/ 8.336 /7.827 / 7.509로 미구분이 가급보다 높게 나왔다. 이러한 현상은 군사보안시설 ‘미구분’ 설문 시 군사보안시설별 정의와 시설기준 등을 미리 알려주지 않아 전문가 집단이 무인항공기 대응 체계 구축 관련 ‘목표시설’에 대하여 정확한 판단기준을 선정할 수 없어서 전문가별 중요도(가중치)를 다르게 평가한 것으로 판단된다. 본 논문을 통해 확인된 학술적 기여는 ‘특정집단에 편중되지 않도록 전문가 집단을 구성하여 설문하더라도 군사보안시설 미구분 vs 구분(가급/나급/다급) 시 시설의 중요도에 따라 결과가 상이한 점’ 이며, 실무적 기여는 ‘무인항공기 대응체계 구축을 위한 정량화된 평가방법을 제시한 점과 보호하고자 하는 군사보안시설(가급/나급/ 다급)에 따라 평가요소의 전체 합계가 상이하게 도출(가급>미구분 >나급>다급)되므로 전문가들의 의견을 수렴할 수 있도록 체계 구 축이 필요하다 점’이 도출되었다. 향후 연구방향은 본 논문에서 제시한 각 계층별 평가요소에 대한 중요도, 우선순위 등 정량화된 획득기준을 사용하여 군사보안시설 등급(가급 / 나급 / 다급)별 무인항공기 대응 관련 가성비가 최적화된 대응체계(장비 배치 등) 관련 심층 연구가 필요하다.