- 권한신청
- P-ISSN1598-1487
- E-ISSN2671-7247
초록
본 연구는 국가기록원에서 제공하는 기록정보콘텐츠 중 컬렉션 유형의 특성을 반영한 사용성 평가영역과 항목을 도출하고, 역사 전공자를 대상으로 ‘독립운동관련 판결문’ 컬렉션의 사용성 평가를 진행하였다. 이를 통해 사용성 평가영역 및 항목이 전체 만족도에 미치는 영향 관계와 중요도를 파악하였다. 연구 결과 ‘인터페이스, 콘텐츠, 검색’ 영역 순으로 전체 만족도에 긍정적인 영향을 미쳤으며 각 영역 별로 2개 평가항목이 유의미한 영향을 미치는 것으로 나타났다. 중요도는 ‘검색, 콘텐츠, 인터페이스’ 순으로 나타났으며, 인터페이스 영역의 중요도가 비교적 더 낮게 나타났다. 이를 토대로 국가기록원 기록정보콘텐츠 컬렉션 유형의 사용성 개선 방향을 제시하였다.
Abstract
The study aims to determine the areas and elements of usability evaluation that reflect the characteristics of the archival contents collections in the National Archives of Korea, and to evaluate the usability of the “Decisions Relating to the Independence Movement” collection for history majors. Through the findings, the relation and importance level that usability evaluation areas and elements have on overall satisfaction can be identified. As a result of this study, the areas of content, search, and interface all had positive effects on overall satisfaction. The interface area holds the greatest influence, and the two elements on each area were found to have a positive effect. On the other hand, users selected the order of importance as “search” first, “contents” second, and “interface” third, showing that interface was considered relatively less important. Based on this, we propose improving the usability direction of the archival contents collection of the National Archives of Korea.
초록
본 연구는 표준 기록관리시스템이 공공기관에서 운영되는 것이 일반화되기 시작한 시점에서 시스템에 대한 전반적인 진단이 필요하다고 보고 기록관리시스템의 기능성과 인터페이스에 대한 만족도를 평가하였다. 이러한 평가를 통하여 표준 기록관리시스템의 문제점을 파악하고 더 나아가서 기능성을 향상시킬 수 있는 개선점을 밝히는 것이 본 연구의 목적이다. 이를 위하여 현재 표준 기록관리시스템을 사용하는 기록관리 전문요원은 시스템 기능성을 신뢰성, 효율성, 사용성면에서 평가하였고 인터페이스에 대해서는 사용성면에서 평가하였다. 그 결과, 기능 품질에 대해서는 보통정도의 만족도를 보였지만, 시스템 인터페이스에 대해서는 불만족한 것으로 나타났다. 또한 기록관리 전문요원은 시스템 신뢰성을 더 만족하였지만 효율성과 사용성과의 통계적인 차이는 없는 것으로 나타났다. 따라서 앞으로 표준 기록관리시스템 사용 용이성을 높여야 하고 대량 일괄작업과 기능의 모듈화를 통하여 시스템의 효율성을 높여야 할 것이다. 기록관리시스템이 계속적으로 발전하기 위해서는 중장기적인 계획 아래 표준을 먼저 재정비하고 이에 따라 시스템 수정 보완을 지속적으로 수행해야 할 것이다.
Abstract
It is necessary to diagnose the standard record management system when the system is being spread out to entire public organization and institutions. This study aims to analyze the standard record management system for improving system and revising the related standards in the future. This study evaluates the satisfaction on the interface and functional quality of the system through questionnaire survey on records managers. It is found that the satisfaction of functional quality is just above the line, but the interface fails to satisfy records managers. Also the reliability of the system appears to be higher satisfaction than efficiency and usability. Therefore, the study suggests that the standard records management systems should try to improve ‘easy of use’ and effectiveness and efficiency by implementing heavy batch job and promoting modulation of key function. And the study emphasizes that the standards will be revised with the long-term plan in order to develop standard records management system systematically and continuously.
초록
본 연구는 ‘역대 대통령 웹기록 서비스'에 대한 이용자들의 만족도를 조사하여 이용 만족도에 영향을 미치는 요인을 분석하고, 검증과정에서 나타난 웹기록 서비스의 문제점 지적 및 개선 방안 모색을 목적으로 한다. 이용자 만족도를 측정하기 위해서 정보품질, 서비스품질, 시스템품질, 이용자만족의 네 가지 기본적인 차원과 이용자충성도와 이용자불평의 두 가지 부가적인 차원으로 구성된 정보시스템 평가 모형을 사용하였다. 분석결과 정보품질과 시스템품질 만족도가 각각 이용자의 전반적인 만족도에 통계적으로 유의한 영향을 미치는 것으로 나타났고, 이용자들의 계속적인 이용과 관련하여서는 정보품질과 서비스품질, 이용만족도가 유의한 영향을 미치는 것으로 나타났다.
Abstract
The purpose of the study is to analyze the user satisfaction of ‘the Presidential Web Record Service' using a proposed model of the user satisfaction index which consists of contents quality, service quality, and system quality. In addition, user's royalty and compliant are also measured in this study. This study shows that satisfaction of contents quallity and system quality influence significantly on the user satisfaction. And contents quality, service quality, user satisfaction show a significant relationships to user's royalty.
초록
기록관에서는 이용자의 요구사항에 대한 이해를 바탕으로 설계된 사용성이 높은 웹 기반 기록정보서비스를 제공할 필요가 있다. 이에 본 연구는 국가기록원 웹사이트 검색서비스의 사용성을 전문가 평가와 다양한 그룹의 이용자 대상 사용성 평가를 통해 분석하였고 이를 기반으로 개선방안을 제시하였다. 연구방법으로 문헌연구, 인터페이스 사용성 전문가 평가 중 하나인 휴리스틱 평가 및 이용자 대상 사용성 평가를 수행하였다. 전문가 평가 결과 정확성 영역에서 심각도가 가장 높았으며 에러대처 영역의 심각도가 가장 낮았다. 이용자 대상 사용성 평가에서는 이용자의 배경요인과 도움말 제공 여부가 사용성에 영향을 준다고 가정하였다. 따라서 기록관리학 전공자, 웹/앱 개발자 및 그러한 배경요인이 없는 일반인 등 총 22명을 대상으로 사용성 평가를 실시하였다. 사용성 평가는 사전 설문조사, 5초테스트, 검색과업 수행 순으로 진행하였다. ISO 9241-11:2018의 사용성 구성요소인 효과성, 효율성, 만족도를 기준으로 분석을 진행한 결과 웹/앱 개발자의 검색 효과성이 가장 높았고 기록관리학 전공자의 경우 기록정보콘텐츠 검색에서만 효과성이 높은 것으로 나타났다. 효율성에 있어 배경요인은 영향을 주지 않는 것으로 나타났으며 검색도구에 익숙해질수록 효율성이 향상되었다. 도움말 제공은 효과성과 만족도에 긍정적인 영향을 주는 것으로 나타났다. 개선방안으로 이용자에게 익숙한 인터페이스와 검색기능의 제공, 도움말 지원의 확대, 일관성 있는 웹 인터페이스 제공을 제안하였다.
Abstract
Archives should provide a web-based archival information service with good usability based on the understanding of users’ needs. Thus, this study analyzed the usability of the National Archives of Korea (NAK) website’s search service through expert and usability evaluations for various users and suggested improvement plans. A literature review, heuristic evaluation, one of the usability expert evaluation methods, and usability evaluation for users were performed. As a result of expert evaluation, the severity rating for the usability problem was highest regarding a match between the system and real world and the lowest in error prevention. In the usability evaluation, it was assumed that the user’s background and whether the website’s help was provided is associated with usability. Usability evaluation was conducted for 22 participants, including those majoring in records management, web/application developers, and people without such backgrounds. Furthermore, a presurvey, a five-second test, and search tasks were conducted in a row. The analysis based on usability components in ISO 9241-11: 2018, i.e., effectiveness, efficiency, and satisfaction, showed that web/application developers had the highest search effectiveness, and those majoring in records management showed high effectiveness only in the search for archival content services. Background factors did not affect efficiency, and the more familiar with the finding aids, the better the efficiency. Moreover, providing the website’s help was found to be positively associated with effectiveness and satisfaction. This study suggests that the NAK website will offer a user-friendly interface and search function, expand help support, and display a consistent web interface.
초록
대통령기록관은 다양한 형태로 기록정보서비스를 제공하고 있다. 본 연구에서는 DigiQUAL을 활용하여 대통령기록관의 웹 기록정보서비스를 평가했다. 평가 방법은 이용자 설문조사를 실시했으며, 평가 영역은 기록 및 정보검색, 기록물 활용 서비스, 확장 서비스로 나누었다. 본 연구는 설문을 분석하기 위해서 기술 통계와 신뢰도 검정을 실시했다. 그 결과, 전반적인 만족도가 낮았다. 이러한 설문 결과를 바탕으로 대통령기록관 웹 기록정보서비스 개선 방안을 제시했다.
Abstract
The Presidential Archive of Korea provides archival information services in various forms. This study evaluated web-archival information services provided in The Presidential Archive of Korea using DigQUAL. To perform the study, this study conducted a descriptive statistic and confidence tests. The evaluation method was accomplished user survey. And the evaluation territory was classified with archives and information search, archives use service, expansion service. As a result, a general satisfaction was low, and this study suggested improvement method for web archival service in the Presidential Archive of Korea.
초록
연구기록의 보존 및 활용 가치가 부각되면서 그 중요성이 날로 커지고 있다. 이에 접근이 용이한 웹을 기반으로 연구기록을 서비스하는 기관 역시 양적으로 증가하고 있는 반면 그들이 제공하고 있는 연구기록정보서비스에 대한 만족도 및 품질에 대한 평가와 관련된 연구는 거의 없어 웹 기반 연구기록정보서비스의 현재 상황을 점검하고 향후 발전 방향을 논하기에는 어려움이 있다. 따라서 본 연구에서는 웹 기반 연구기록정보서비스에 대한 평가를 진행하고 그 결과를 통해 활성화 방안을 제시하고자 한다. 이를 위해 연구기록정보서비스 대표 포털인 NTIS와 NKIS를 중심으로 연구를 진행하였으며, 각 기관별 웹 기반 연구기록정보서비스의 특징을 알아보고 공통된 평가 지표를 적용하여 평가를 진행하였다. 평가 결과를 통해 각 사례별 장․단점을 분석함으로써 웹 기반 연구기록정보서비스의 활성화 방안을 제언하였다.
Abstract
Research records have become more important because of the increased significance of the preservation and use of such records. Therefore, many research institutions provide web-based research records archival information services. However, no evaluation of these research records services has been conducted, so problems arise that make discussing the current state of such services and their future improvement difficult. Therefore, this study evaluates web-based archival information services for research records and proposes ways to vitalize them. This study analyzes the characteristics of NTIS and NKIS, which are types of web-based archival information services for research records, and evaluates them using the same evaluation measures. Finally, this study recommends ways to improve web-based archival information services for research records.
초록
국가기록관은 국가적 보존가치가 높은 중요 기록물을 소장하고 있는 곳이며, 교육과 연구에 도움이 되는 다양한 자료와 정보를 보유하고 있는 곳이다. 따라서 웹사이트를 통해 기록물에 대한 서비스를 효과적으로 제공한다면 현재 이용자의 기록정보서비스 만족도를 높이고, 잠재적 이용자를 개발할 수 있다. 본 연구에서는 국가기록관 웹사이트 평가에 적합한 지표를 개발하고 이 지표를 이용하여 국내외 국가기록관 웹사이트를 평가해봄으로써 국가기록원 웹사이트의 개선안을 영역별로 제안하였다.
Abstract
This study is aimed to evaluate the national archives websites and to propose improvement schemes for National Archives of Korea(NAK)'s website. As the first step to develop the evaluation indicators, this study investigated the roles of national archives and features of national archives websites through literature review. Second, it developed the evaluation indicators for national archives websites to evaluate the websites on the basis of previous studies. The evaluation indicators are composed of 3 evaluation areas, 10 evaluation items, and 42 evaluation questions. Third, evaluation was conducted to examine the present state of national archives websites in United Kingdom, United States, Australia, Canada and Korea.
초록
디지털 아카이브는 디지털 자원을 보존하고 지속적으로 활용하기 위한 전자화된 저장소이다. 디지털 아카이브에 대한 이론적 연구는 활발하게 진행되고 있고, 다양한 도메인의 디지털 자원을 기록하기 위한 아카이브가 구축되어 서비스되고 있다. 그러나 디지털 아카이브의 자원은 디지털화라는 본래의 목적은 만족할 수 있지만, 자원의 검색과 재사용에 있어 여전히 제한이 있는 것이 현실이다. 본 연구는 FAIR 데이터 원칙을 자세히 살펴보고, 디지털 아카이브에 적용하기 위한 성숙도 평가 프레임워크를 제안한다. FAIR 데이터 원칙은 디지털 자원을 기계가 읽고 처리할 수 있게 만드는 일련의 지침으로 웹에 존재하는 모든 자원을 대상으로 적용할 수 있다. FAIR 데이터 원칙의 평가 모델은 계획 수립과 적용 단계를 구분해서 정의하고 있다. 그러나, 개별 원칙의 적용 여부를 평가하기 위한 명확한 기준이 모호하고, 디지털 아카이브 분야를 위한 평가 기준에 대한 논의가 미흡하다. 본 연구는 디지털 아카이브에 FAIR 데이터 원칙을 적용하기 위한 프레임워크를 제안하고, 향후 적용을 위한 이슈를 논의한다.
Abstract
Digital archives are electronic storages used to preserve and utilize digital resources sustainably. Theoretical research on digital archives is being conducted actively, and digital archives for recording various resources in heterogeneous domains are being built and serviced. However, although the original purpose of digitizing the resources of digital archives is achievable, the discovery and reuse are still limited. This study examines the Findable, Accessible, Interoperable, and Reusable (FAIR) data principles in detail and proposes a maturity assessment framework for digital archives. The FAIR Data Principles is a set of guidelines that enable machines to read and understand digital resources that are applied to any online resource. The evaluation model of the FAIR data principle defines the planning and application stages separately. However, criteria for evaluating the application of individual principles are still ambiguous, and discussions on evaluation criteria for the field of digital archives are insufficient. This study proposes a framework for applying the FAIR data principle to digital archives and discusses issues for future application.
초록
기록을 관리하는 궁극적인 목적은 안전한 보존과 효율적 활용이다. 그러나 공공기록물 관리의 수장인 국가기록원의 검색서비스인 국가기록포털은 검색 시스템이 도입된 지 10년이 넘어 노후화되었고, 검색도구도 이원화되어 있다. 또한, 국가기록물을 열람하고자 하는 이용자의 검색 만족도를 충족시키지 못해 개선이 필요하다. 본 연구는 국가기록물 검색 고도화를 위한 사전 연구로, 현재의 국가기록원 검색시스템의 검색 품질 현황을 파악하는 것을 목적으로 한다. 이를 위해 국가기록원에서 사용 중인 검색도구인 CAMS와 국가기록포털의 현황을 분석하고 검색서비스 품질을 점검하기 위한 평가셋을 구축, 이용자 관점에서 국가기록포털의 검색 품질 평가를 실시하였다. 국가기록포털의 성능평가를 위한 척도로는 정확률과 재현율, F-score, MRR 등을 활용, 다양한 각도에서 분석하였다. 검색 품질 평가결과 전반적으로 검색 성능이 낮은 것으로 나타났으며, 특히 ‘주제별상세검색’의 경우 정확률, 재현율, MRR이 모두 낮게 나와 개선이 시급할 것으로 보인다. 본 연구를 통해 구축된 평가셋이 향후 국가기록원 검색시스템의 고도화 이후 시스템의 성능이 얼마나 개선되었는지를 객관적으로 측정할 수 있는 기틀로 활용되기를 기대한다.
Abstract
The ultimate record management’s purpose is preservation and utilization. However, the National Archives of Korea (NAK)s Portal has problems such as search system aging and search tools dualization. As a result, the users’ search satisfaction is not satisfied, and the improvement demand increases. This study aimed to evaluate the NAK’s search quality as a preliminary study for NAK search system advancement. To this end, we analyzed the current status of CAMS and NAK’s Portal. Then, we established the test sets and evaluated the NAK’s Portal quality from the user’s point of view. Evaluation results were analyzed using Precision, Recall, F-score, and MRR. The analysis results showed that the overall search performance was low, particularly in the “advanced subject search,” which showed low performance in Precision, Recall, and MRR. Thus, improvement is urgently needed. The test sets established for this study are expected to be used as a basis for objectively measuring the improvement of the search performance after the NAK search system advancement.
초록
국가기록원에서는 국민에게 소장하고 있는 공공기록물에 대한 접근점을 제공하기 위해 국가기록포털이라는 대국민 검색서비스를 운영 중이다. 그러나 지속적으로 검색 결과에 대한 이용자 만족도가 낮다는 의견들이 수렴되고 있으며, 그와 더불어 포털 이용률도 감소하고 있는 추세이다. 본 연구는 이러한 상황을 극복하기 위해 수행한 국가기록포털 검색서비스 품질 점검 연구의 후속 연구로, 국가기록포털의 문제점을 규명하고 그에 따른 개선안을 제안하고, 나아가 그 실효성을 검증하는 것을 목표로 한다. 선행된 품질 평가를 통해 국가기록포털의 주요 문제점으로 검색 도구의 저조한 성능, 검색 결과의 일관성 결여, 기본검색 기능 부재를 비롯한 6가지 문제점을 도출하였으며, 이에 대한 개선방안을 규명했다. 제안한 방안의 실효를 검증하기 위해 이 중에서 현실적으로 당장 도입 가능한 방안을 적용한 파일럿 시스템을 구축, 국가기록포털과 검색 성능 비교를 수행하였다. 평가 결과, 파일럿 시스템 검색 도구의 정확률, 재현율, MRR 모든 측면에서 유의미한 상승을 확인하였으며 그 효과를 입증하였다.
Abstract
The National Archives of Korea (NAK) operates the NAK Portal as a record search system. However, user search satisfaction is too low, and the number of visitors to the portal is gradually decreasing. This study identifies the portal’s issues, proposes feasible improvements, and constructs a pilot system to validate the solutions. The preliminary assessment revealed six major issues, such as poor search tool performance and the lack of consistency in search results. After clarifying the improvement measures, a pilot system was established and compared with the National Records Portal. The evaluation showed significant performance improvements in the pilot system, such as Precision, Recall, and Mean Reciprocal Rank (MRR).