- 권한신청
- P-ISSN1598-1487
- E-ISSN2671-7247
초록
본 연구는 표준 기록관리시스템이 공공기관에서 운영되는 것이 일반화되기 시작한 시점에서 시스템에 대한 전반적인 진단이 필요하다고 보고 기록관리시스템의 기능성과 인터페이스에 대한 만족도를 평가하였다. 이러한 평가를 통하여 표준 기록관리시스템의 문제점을 파악하고 더 나아가서 기능성을 향상시킬 수 있는 개선점을 밝히는 것이 본 연구의 목적이다. 이를 위하여 현재 표준 기록관리시스템을 사용하는 기록관리 전문요원은 시스템 기능성을 신뢰성, 효율성, 사용성면에서 평가하였고 인터페이스에 대해서는 사용성면에서 평가하였다. 그 결과, 기능 품질에 대해서는 보통정도의 만족도를 보였지만, 시스템 인터페이스에 대해서는 불만족한 것으로 나타났다. 또한 기록관리 전문요원은 시스템 신뢰성을 더 만족하였지만 효율성과 사용성과의 통계적인 차이는 없는 것으로 나타났다. 따라서 앞으로 표준 기록관리시스템 사용 용이성을 높여야 하고 대량 일괄작업과 기능의 모듈화를 통하여 시스템의 효율성을 높여야 할 것이다. 기록관리시스템이 계속적으로 발전하기 위해서는 중장기적인 계획 아래 표준을 먼저 재정비하고 이에 따라 시스템 수정 보완을 지속적으로 수행해야 할 것이다.
Abstract
It is necessary to diagnose the standard record management system when the system is being spread out to entire public organization and institutions. This study aims to analyze the standard record management system for improving system and revising the related standards in the future. This study evaluates the satisfaction on the interface and functional quality of the system through questionnaire survey on records managers. It is found that the satisfaction of functional quality is just above the line, but the interface fails to satisfy records managers. Also the reliability of the system appears to be higher satisfaction than efficiency and usability. Therefore, the study suggests that the standard records management systems should try to improve ‘easy of use’ and effectiveness and efficiency by implementing heavy batch job and promoting modulation of key function. And the study emphasizes that the standards will be revised with the long-term plan in order to develop standard records management system systematically and continuously.
초록
본 연구는 국가기록원에서 제공하는 기록정보콘텐츠 중 컬렉션 유형의 특성을 반영한 사용성 평가영역과 항목을 도출하고, 역사 전공자를 대상으로 ‘독립운동관련 판결문’ 컬렉션의 사용성 평가를 진행하였다. 이를 통해 사용성 평가영역 및 항목이 전체 만족도에 미치는 영향 관계와 중요도를 파악하였다. 연구 결과 ‘인터페이스, 콘텐츠, 검색’ 영역 순으로 전체 만족도에 긍정적인 영향을 미쳤으며 각 영역 별로 2개 평가항목이 유의미한 영향을 미치는 것으로 나타났다. 중요도는 ‘검색, 콘텐츠, 인터페이스’ 순으로 나타났으며, 인터페이스 영역의 중요도가 비교적 더 낮게 나타났다. 이를 토대로 국가기록원 기록정보콘텐츠 컬렉션 유형의 사용성 개선 방향을 제시하였다.
Abstract
The study aims to determine the areas and elements of usability evaluation that reflect the characteristics of the archival contents collections in the National Archives of Korea, and to evaluate the usability of the “Decisions Relating to the Independence Movement” collection for history majors. Through the findings, the relation and importance level that usability evaluation areas and elements have on overall satisfaction can be identified. As a result of this study, the areas of content, search, and interface all had positive effects on overall satisfaction. The interface area holds the greatest influence, and the two elements on each area were found to have a positive effect. On the other hand, users selected the order of importance as “search” first, “contents” second, and “interface” third, showing that interface was considered relatively less important. Based on this, we propose improving the usability direction of the archival contents collection of the National Archives of Korea.
초록
대통령기록관은 다양한 형태로 기록정보서비스를 제공하고 있다. 본 연구에서는 DigiQUAL을 활용하여 대통령기록관의 웹 기록정보서비스를 평가했다. 평가 방법은 이용자 설문조사를 실시했으며, 평가 영역은 기록 및 정보검색, 기록물 활용 서비스, 확장 서비스로 나누었다. 본 연구는 설문을 분석하기 위해서 기술 통계와 신뢰도 검정을 실시했다. 그 결과, 전반적인 만족도가 낮았다. 이러한 설문 결과를 바탕으로 대통령기록관 웹 기록정보서비스 개선 방안을 제시했다.
Abstract
The Presidential Archive of Korea provides archival information services in various forms. This study evaluated web-archival information services provided in The Presidential Archive of Korea using DigQUAL. To perform the study, this study conducted a descriptive statistic and confidence tests. The evaluation method was accomplished user survey. And the evaluation territory was classified with archives and information search, archives use service, expansion service. As a result, a general satisfaction was low, and this study suggested improvement method for web archival service in the Presidential Archive of Korea.
초록
기록관에서는 이용자의 요구사항에 대한 이해를 바탕으로 설계된 사용성이 높은 웹 기반 기록정보서비스를 제공할 필요가 있다. 이에 본 연구는 국가기록원 웹사이트 검색서비스의 사용성을 전문가 평가와 다양한 그룹의 이용자 대상 사용성 평가를 통해 분석하였고 이를 기반으로 개선방안을 제시하였다. 연구방법으로 문헌연구, 인터페이스 사용성 전문가 평가 중 하나인 휴리스틱 평가 및 이용자 대상 사용성 평가를 수행하였다. 전문가 평가 결과 정확성 영역에서 심각도가 가장 높았으며 에러대처 영역의 심각도가 가장 낮았다. 이용자 대상 사용성 평가에서는 이용자의 배경요인과 도움말 제공 여부가 사용성에 영향을 준다고 가정하였다. 따라서 기록관리학 전공자, 웹/앱 개발자 및 그러한 배경요인이 없는 일반인 등 총 22명을 대상으로 사용성 평가를 실시하였다. 사용성 평가는 사전 설문조사, 5초테스트, 검색과업 수행 순으로 진행하였다. ISO 9241-11:2018의 사용성 구성요소인 효과성, 효율성, 만족도를 기준으로 분석을 진행한 결과 웹/앱 개발자의 검색 효과성이 가장 높았고 기록관리학 전공자의 경우 기록정보콘텐츠 검색에서만 효과성이 높은 것으로 나타났다. 효율성에 있어 배경요인은 영향을 주지 않는 것으로 나타났으며 검색도구에 익숙해질수록 효율성이 향상되었다. 도움말 제공은 효과성과 만족도에 긍정적인 영향을 주는 것으로 나타났다. 개선방안으로 이용자에게 익숙한 인터페이스와 검색기능의 제공, 도움말 지원의 확대, 일관성 있는 웹 인터페이스 제공을 제안하였다.
Abstract
Archives should provide a web-based archival information service with good usability based on the understanding of users’ needs. Thus, this study analyzed the usability of the National Archives of Korea (NAK) website’s search service through expert and usability evaluations for various users and suggested improvement plans. A literature review, heuristic evaluation, one of the usability expert evaluation methods, and usability evaluation for users were performed. As a result of expert evaluation, the severity rating for the usability problem was highest regarding a match between the system and real world and the lowest in error prevention. In the usability evaluation, it was assumed that the user’s background and whether the website’s help was provided is associated with usability. Usability evaluation was conducted for 22 participants, including those majoring in records management, web/application developers, and people without such backgrounds. Furthermore, a presurvey, a five-second test, and search tasks were conducted in a row. The analysis based on usability components in ISO 9241-11: 2018, i.e., effectiveness, efficiency, and satisfaction, showed that web/application developers had the highest search effectiveness, and those majoring in records management showed high effectiveness only in the search for archival content services. Background factors did not affect efficiency, and the more familiar with the finding aids, the better the efficiency. Moreover, providing the website’s help was found to be positively associated with effectiveness and satisfaction. This study suggests that the NAK website will offer a user-friendly interface and search function, expand help support, and display a consistent web interface.
초록
기록을 관리하는 궁극적인 목적은 안전한 보존과 효율적 활용이다. 그러나 공공기록물 관리의 수장인 국가기록원의 검색서비스인 국가기록포털은 검색 시스템이 도입된 지 10년이 넘어 노후화되었고, 검색도구도 이원화되어 있다. 또한, 국가기록물을 열람하고자 하는 이용자의 검색 만족도를 충족시키지 못해 개선이 필요하다. 본 연구는 국가기록물 검색 고도화를 위한 사전 연구로, 현재의 국가기록원 검색시스템의 검색 품질 현황을 파악하는 것을 목적으로 한다. 이를 위해 국가기록원에서 사용 중인 검색도구인 CAMS와 국가기록포털의 현황을 분석하고 검색서비스 품질을 점검하기 위한 평가셋을 구축, 이용자 관점에서 국가기록포털의 검색 품질 평가를 실시하였다. 국가기록포털의 성능평가를 위한 척도로는 정확률과 재현율, F-score, MRR 등을 활용, 다양한 각도에서 분석하였다. 검색 품질 평가결과 전반적으로 검색 성능이 낮은 것으로 나타났으며, 특히 ‘주제별상세검색’의 경우 정확률, 재현율, MRR이 모두 낮게 나와 개선이 시급할 것으로 보인다. 본 연구를 통해 구축된 평가셋이 향후 국가기록원 검색시스템의 고도화 이후 시스템의 성능이 얼마나 개선되었는지를 객관적으로 측정할 수 있는 기틀로 활용되기를 기대한다.
Abstract
The ultimate record management’s purpose is preservation and utilization. However, the National Archives of Korea (NAK)s Portal has problems such as search system aging and search tools dualization. As a result, the users’ search satisfaction is not satisfied, and the improvement demand increases. This study aimed to evaluate the NAK’s search quality as a preliminary study for NAK search system advancement. To this end, we analyzed the current status of CAMS and NAK’s Portal. Then, we established the test sets and evaluated the NAK’s Portal quality from the user’s point of view. Evaluation results were analyzed using Precision, Recall, F-score, and MRR. The analysis results showed that the overall search performance was low, particularly in the “advanced subject search,” which showed low performance in Precision, Recall, and MRR. Thus, improvement is urgently needed. The test sets established for this study are expected to be used as a basis for objectively measuring the improvement of the search performance after the NAK search system advancement.
초록
국가기록원에서는 국민에게 소장하고 있는 공공기록물에 대한 접근점을 제공하기 위해 국가기록포털이라는 대국민 검색서비스를 운영 중이다. 그러나 지속적으로 검색 결과에 대한 이용자 만족도가 낮다는 의견들이 수렴되고 있으며, 그와 더불어 포털 이용률도 감소하고 있는 추세이다. 본 연구는 이러한 상황을 극복하기 위해 수행한 국가기록포털 검색서비스 품질 점검 연구의 후속 연구로, 국가기록포털의 문제점을 규명하고 그에 따른 개선안을 제안하고, 나아가 그 실효성을 검증하는 것을 목표로 한다. 선행된 품질 평가를 통해 국가기록포털의 주요 문제점으로 검색 도구의 저조한 성능, 검색 결과의 일관성 결여, 기본검색 기능 부재를 비롯한 6가지 문제점을 도출하였으며, 이에 대한 개선방안을 규명했다. 제안한 방안의 실효를 검증하기 위해 이 중에서 현실적으로 당장 도입 가능한 방안을 적용한 파일럿 시스템을 구축, 국가기록포털과 검색 성능 비교를 수행하였다. 평가 결과, 파일럿 시스템 검색 도구의 정확률, 재현율, MRR 모든 측면에서 유의미한 상승을 확인하였으며 그 효과를 입증하였다.
Abstract
The National Archives of Korea (NAK) operates the NAK Portal as a record search system. However, user search satisfaction is too low, and the number of visitors to the portal is gradually decreasing. This study identifies the portal’s issues, proposes feasible improvements, and constructs a pilot system to validate the solutions. The preliminary assessment revealed six major issues, such as poor search tool performance and the lack of consistency in search results. After clarifying the improvement measures, a pilot system was established and compared with the National Records Portal. The evaluation showed significant performance improvements in the pilot system, such as Precision, Recall, and Mean Reciprocal Rank (MRR).
초록
본 연구는 국내외 기록정보서비스의 연구 동향을 분석한 것으로 2003년부터 2022년까지 한국학술지인용색인(KCI)에 수록된 학술논문 136편과 LISTA(Library, Information Science & Technology Abstracts)에 수록된 학술논문 74편을 대상으로 연도별, 연구 유형별, 연구자 유형별, 연구 대상별, 연구목적별 현황을 살펴보았다. 또한 텍스트마이닝 기법을 적용하여 빈도분석, 동시출현 빈도분석, 중심성분석, 토픽모델링을 진행하였다. 연구의 결과 국내 논문은 특정 기관이나 기록물에 집중되었고 이용자 중심의 만족도조사 연구, 콘텐츠 중심의 연구 등이 진행되었다. 국외논문은 아키비스트와 이용자 간의 관계를 연구하는 흐름과 함께 평가 중심의 연구, 자료․자원․컬렉션 등의 정보제공 연구가 다수 진행되었음을 확인하였다. 정보자원의 관리는 국내외 논문 공통의 토픽으로 확인되었으나 국내는 정보자원의 품질 유지를, 국외는 정보의 저장과 검색에 집중된 연구 흐름을 파악할 수 있었다.
Abstract
The study analyzed the research trends of domestic and international record information services from 2003 to 2022. A total of 136 academic papers registered in the Korea Citation Index (KCI) and 74 from the Library, Information Science & Technology Abstracts (LISTA) were examined by quantitative and qualitative content analysis to understand the research status of 20 years from various angles, such as publication year, research type, researcher type, subject, and purpose. Frequency analysis, co-occurrence frequency analysis, centrality analysis, and topic modeling were performed by applying text mining techniques. Results showed that domestic papers demonstrated a research flow focused on specific institutions or records, and user-centered satisfaction surveys and content-centered studies were conducted. Moreover, foreign papers confirmed various evaluation-oriented and information provision studies, such as data, resources, and collections, along with the research trend focusing on the relationship between archivists and users. The management of information resources was identified as a common topic in both domestic and foreign papers, but it is possible to identify that domestic research focuses on maintaining the quality of domestic information resources, while foreign research focuses on the storage and retrieval of information.