- 권한신청
- P-ISSN1598-1487
- E-ISSN2671-7247
초록
본 연구의 목적은 새마을운동 기록물을 위한 개체기반 온톨로지 검색시스템의 설계와 그 성능평가이다. 개체기반 온톨로지 설계를 위하여 Protege editor4.1을 사용하였고, 새롭게 구현된 검색시스템의 성능은 단문5개, 장문10개의 질의유형으로 기존 나라기록의 키워드 기반 검색시스템과 정확률과 재현율을 비교하여 분석하였다. 분석결과 개체기반 온톨로지 검색시스템이 정확률과 재현율 모두 키워드 기반 시스템보다 우수한 성능을 보였다.
Abstract
The purpose of this study is to design and evaluate an individual instance-based ontology retrieval system for archival records of the “Saemaul Movement". We used Protege editor 4.1 to design an individual instance-based ontology. To evaluate the proposed ontology retrieval system, five short queries and ten narrative queries were used and compared their precision and recall against the NARA keyword-based retrieval system. The performance results showed that the individual-based ontology retrieval system outperformed the keyword-based retrieval system in terms of the measurement of precision and recall.
초록
기록을 관리하는 궁극적인 목적은 안전한 보존과 효율적 활용이다. 그러나 공공기록물 관리의 수장인 국가기록원의 검색서비스인 국가기록포털은 검색 시스템이 도입된 지 10년이 넘어 노후화되었고, 검색도구도 이원화되어 있다. 또한, 국가기록물을 열람하고자 하는 이용자의 검색 만족도를 충족시키지 못해 개선이 필요하다. 본 연구는 국가기록물 검색 고도화를 위한 사전 연구로, 현재의 국가기록원 검색시스템의 검색 품질 현황을 파악하는 것을 목적으로 한다. 이를 위해 국가기록원에서 사용 중인 검색도구인 CAMS와 국가기록포털의 현황을 분석하고 검색서비스 품질을 점검하기 위한 평가셋을 구축, 이용자 관점에서 국가기록포털의 검색 품질 평가를 실시하였다. 국가기록포털의 성능평가를 위한 척도로는 정확률과 재현율, F-score, MRR 등을 활용, 다양한 각도에서 분석하였다. 검색 품질 평가결과 전반적으로 검색 성능이 낮은 것으로 나타났으며, 특히 ‘주제별상세검색’의 경우 정확률, 재현율, MRR이 모두 낮게 나와 개선이 시급할 것으로 보인다. 본 연구를 통해 구축된 평가셋이 향후 국가기록원 검색시스템의 고도화 이후 시스템의 성능이 얼마나 개선되었는지를 객관적으로 측정할 수 있는 기틀로 활용되기를 기대한다.
Abstract
The ultimate record management’s purpose is preservation and utilization. However, the National Archives of Korea (NAK)s Portal has problems such as search system aging and search tools dualization. As a result, the users’ search satisfaction is not satisfied, and the improvement demand increases. This study aimed to evaluate the NAK’s search quality as a preliminary study for NAK search system advancement. To this end, we analyzed the current status of CAMS and NAK’s Portal. Then, we established the test sets and evaluated the NAK’s Portal quality from the user’s point of view. Evaluation results were analyzed using Precision, Recall, F-score, and MRR. The analysis results showed that the overall search performance was low, particularly in the “advanced subject search,” which showed low performance in Precision, Recall, and MRR. Thus, improvement is urgently needed. The test sets established for this study are expected to be used as a basis for objectively measuring the improvement of the search performance after the NAK search system advancement.
초록
국가기록원에서는 국민에게 소장하고 있는 공공기록물에 대한 접근점을 제공하기 위해 국가기록포털이라는 대국민 검색서비스를 운영 중이다. 그러나 지속적으로 검색 결과에 대한 이용자 만족도가 낮다는 의견들이 수렴되고 있으며, 그와 더불어 포털 이용률도 감소하고 있는 추세이다. 본 연구는 이러한 상황을 극복하기 위해 수행한 국가기록포털 검색서비스 품질 점검 연구의 후속 연구로, 국가기록포털의 문제점을 규명하고 그에 따른 개선안을 제안하고, 나아가 그 실효성을 검증하는 것을 목표로 한다. 선행된 품질 평가를 통해 국가기록포털의 주요 문제점으로 검색 도구의 저조한 성능, 검색 결과의 일관성 결여, 기본검색 기능 부재를 비롯한 6가지 문제점을 도출하였으며, 이에 대한 개선방안을 규명했다. 제안한 방안의 실효를 검증하기 위해 이 중에서 현실적으로 당장 도입 가능한 방안을 적용한 파일럿 시스템을 구축, 국가기록포털과 검색 성능 비교를 수행하였다. 평가 결과, 파일럿 시스템 검색 도구의 정확률, 재현율, MRR 모든 측면에서 유의미한 상승을 확인하였으며 그 효과를 입증하였다.
Abstract
The National Archives of Korea (NAK) operates the NAK Portal as a record search system. However, user search satisfaction is too low, and the number of visitors to the portal is gradually decreasing. This study identifies the portal’s issues, proposes feasible improvements, and constructs a pilot system to validate the solutions. The preliminary assessment revealed six major issues, such as poor search tool performance and the lack of consistency in search results. After clarifying the improvement measures, a pilot system was established and compared with the National Records Portal. The evaluation showed significant performance improvements in the pilot system, such as Precision, Recall, and Mean Reciprocal Rank (MRR).