- 권한신청
- P-ISSN1598-1487
- E-ISSN2671-7247
초록
기록정보서비스에 대한 인식이 낮은 현실 속에서 이용자들의 기록정보서비스 평가는 기록관에서 이용자들의 실질적 요구를 파악함으로써 서비스 개선을 위해 도움이 되는 정보를 제공해줄 수 있다. 이에 본 연구는 비슷한 이용자군을 이루고 있으며 이용자 간 상호작용이 원활한 대학기록관의 이용자들을 대상으로 설문을 통한 서비스 평가를 실시하였다. 다양한 서비스 평가도구를 분석하여 설문지가 작성되었으며, 2015년 4월부터 10월까지 총 13개 대학기록관에서 113명이 설문에 응하였다. 설문결과는 적합성 검증을 통해 4개 영역(이용결과, 기록관정보제공, 기록관접근성, 상호작용)의 평가 척도로 재구성되었으며, 이에 대해 T검정, 상관분석, 회귀분석 등을 실시하였다. 이용자들은 상호작용영역에 대해서는 높게 평가한 반면, 기록관정보제공영역은 상대적으로 낮게 평가하였다. T검정 결과 검색 웹사이트를 구축한 기관 및 전자시스템으로 기록을 관리하는 기관이 세부영역에서 이용자에게 더 좋은 평가를 받았으며, 회귀분석 결과 상호작용영역 및 기록관정보제공영역에 대한 평가결과가 이용결과에 대한 평가에 영향을 미치는 것으로 확인되었다.
Abstract
In a situation where the recognition of archival services remains minimal, an evaluation of archival information services by users could provide a better understanding of users’ practical needs and present helpful information for improved services. A service evaluation by users using questionnaires was conducted in university archives, which can similarly categorize their user groups and have frequent interactions with the users for the provision of services. Questionnaires suitable for the evaluation of university archives were developed based on the review of the evaluation tools in archival information services. From April to October 2015, 113 users’ evaluation results were collected from 13 university archives. As a result of goodness of fit tests, the users’ service evaluation items were categorized into four parts: Use Results, Provision of Information on Archives, Accessibility to Archives, and Interaction. For those four parts, evaluation by descriptive statistics, T-test, correlation analysis, and regression analysis were conducted. Users evaluated Interaction parts highly while they were less satisfied with Provision of Information on Archives. T-test results showed that university archives with search engines and with electronic records management systems were evaluated higher than archives without such technology. In the regression analysis, the Interaction and Provision of Information on Archives parts were found to have an influence on the Use Results part.
초록
이 연구에서는 기록정보서비스의 평가항목들을 선정하여 작성하고, 이를 근거로 세 곳의 다양한 기록관을 선정하여 사례연구로 정보서비스 평가를 시행하였다. 대상 기록관에 대한 방문, 관찰을 통해 평가 항목별로 검토하여 서비스의 현황과 부족한 점, 문제점 등을 평가해 보았다. 기록관들은 전문직원 부족, 규정 등 체제 및 열람실 환경 미비, 서비스보다 보존 중심의 정책 및 홍보 부족 등의 문제를 보였다. 이 연구는 기초연구로, 이를 토대로 기록정보서비스에 대한 폭넓은 규모의 평가 및 실제 개별 기록관에서의 평가 실시, 평가항목 보완 등이 제안되었다.
Abstract
In this study, evaluation criteria of information services of records centers and archives were prepared. Using those criteria, service evaluation was conducted in three records centers and archives as a case study. By visiting and observing the records centers and archives, current status, weakness, and problems were identified. Identified problems include limited professional staff, lack of policy, systems and reading room facilities, emphasis on retention rather than services, and weak outreach program. This is a preliminary study, and larger scale evaluation is suggested as well as the application of evaluation in other centers and supplementary evaluation criteria.
초록
본 연구는 국가기록원에서 제공하는 기록정보콘텐츠 중 컬렉션 유형의 특성을 반영한 사용성 평가영역과 항목을 도출하고, 역사 전공자를 대상으로 ‘독립운동관련 판결문’ 컬렉션의 사용성 평가를 진행하였다. 이를 통해 사용성 평가영역 및 항목이 전체 만족도에 미치는 영향 관계와 중요도를 파악하였다. 연구 결과 ‘인터페이스, 콘텐츠, 검색’ 영역 순으로 전체 만족도에 긍정적인 영향을 미쳤으며 각 영역 별로 2개 평가항목이 유의미한 영향을 미치는 것으로 나타났다. 중요도는 ‘검색, 콘텐츠, 인터페이스’ 순으로 나타났으며, 인터페이스 영역의 중요도가 비교적 더 낮게 나타났다. 이를 토대로 국가기록원 기록정보콘텐츠 컬렉션 유형의 사용성 개선 방향을 제시하였다.
Abstract
The study aims to determine the areas and elements of usability evaluation that reflect the characteristics of the archival contents collections in the National Archives of Korea, and to evaluate the usability of the “Decisions Relating to the Independence Movement” collection for history majors. Through the findings, the relation and importance level that usability evaluation areas and elements have on overall satisfaction can be identified. As a result of this study, the areas of content, search, and interface all had positive effects on overall satisfaction. The interface area holds the greatest influence, and the two elements on each area were found to have a positive effect. On the other hand, users selected the order of importance as “search” first, “contents” second, and “interface” third, showing that interface was considered relatively less important. Based on this, we propose improving the usability direction of the archival contents collection of the National Archives of Korea.
초록
본 연구는 표준 기록관리시스템이 공공기관에서 운영되는 것이 일반화되기 시작한 시점에서 시스템에 대한 전반적인 진단이 필요하다고 보고 기록관리시스템의 기능성과 인터페이스에 대한 만족도를 평가하였다. 이러한 평가를 통하여 표준 기록관리시스템의 문제점을 파악하고 더 나아가서 기능성을 향상시킬 수 있는 개선점을 밝히는 것이 본 연구의 목적이다. 이를 위하여 현재 표준 기록관리시스템을 사용하는 기록관리 전문요원은 시스템 기능성을 신뢰성, 효율성, 사용성면에서 평가하였고 인터페이스에 대해서는 사용성면에서 평가하였다. 그 결과, 기능 품질에 대해서는 보통정도의 만족도를 보였지만, 시스템 인터페이스에 대해서는 불만족한 것으로 나타났다. 또한 기록관리 전문요원은 시스템 신뢰성을 더 만족하였지만 효율성과 사용성과의 통계적인 차이는 없는 것으로 나타났다. 따라서 앞으로 표준 기록관리시스템 사용 용이성을 높여야 하고 대량 일괄작업과 기능의 모듈화를 통하여 시스템의 효율성을 높여야 할 것이다. 기록관리시스템이 계속적으로 발전하기 위해서는 중장기적인 계획 아래 표준을 먼저 재정비하고 이에 따라 시스템 수정 보완을 지속적으로 수행해야 할 것이다.
Abstract
It is necessary to diagnose the standard record management system when the system is being spread out to entire public organization and institutions. This study aims to analyze the standard record management system for improving system and revising the related standards in the future. This study evaluates the satisfaction on the interface and functional quality of the system through questionnaire survey on records managers. It is found that the satisfaction of functional quality is just above the line, but the interface fails to satisfy records managers. Also the reliability of the system appears to be higher satisfaction than efficiency and usability. Therefore, the study suggests that the standard records management systems should try to improve ‘easy of use’ and effectiveness and efficiency by implementing heavy batch job and promoting modulation of key function. And the study emphasizes that the standards will be revised with the long-term plan in order to develop standard records management system systematically and continuously.
초록
최근 다양한 정보를 하나의 통합된 기관에서 제공받고자 하는 이용자들의 요구가 커짐에 따라 기록관, 도서관, 박물관의 기능과 서비스를 통합적으로 갖춘 ‘라키비움’이 만들어지고 있다. 따라서 통합된 형태로 제공되는 웹 정보서비스가 라키비움 웹사이트를 통해 제공되고 있다. 이 연구에서는 라키비움 웹사이트에서 어떤 정보서비스를 진행하고 있는지 자세히 분석해보고자 하였으며 이를 위해 일반 기록관, 도서관, 박물관의 웹사이트에서 제공하는 정보서비스와는 차별화된 라키비움의 특성을 반영한 웹 정보서비스 평가지표 개발의 중요성을 인식하고, 직접 평가지표를 개발하여 3개 기관을 대상으로 평가를 수행하였다. 평가를 통해 현재 운영되고 있는 라키비움의 웹사이트에서 기본적인 업무 소개 및 인터페이스의 내비게이션 등은 잘 제공되고 있으나, 정보 검색 영역의 검색 결과 활용 등이 미흡하였다. 이러한 부분에 대해서는 보완점을 제시하고, 추가적으로 운영되면 효과적일 방안에 대해서 제안하였다. 이 연구는 새로 설립될 라키비움의 웹 서비스 구성 및 제공에 실질적인 도움을 주는 것을 목적으로 하였으며, 앞으로 이 연구 평가지표가 적용되고, 보완되어 잘 활용되길 바란다.
Abstract
Recently, as user demand to receive various information through one integrated institution has increased, “Larchiveum,” which integrates the functions and services of archives, libraries, and museums, has been established. Thus, web information services are provided in an integrated manner through the Larchiveum website. This study attempted to analyze the information services on the Larchiveum website in detail. To this end, the researchers developed a web information service evaluation index reflecting the characteristics of Larchiveum that are differentiated from information services offered by websites of general archives, libraries, and museums. Recognizing the importance of evaluation indicators, the researchers developed evaluation indicators, and an evaluation of the three institutions’ websites was conducted. The assessment showed that the currently operating Larchiveum website provides ample basic business introduction and interface navigation, but the use of search results in the information search area was insufficient. Complementary points were presented in these areas, and measures that would be effective if additionally operated were also suggested. This research sought to provide practical assistance in configuring and providing web services for the newly established Larchiveum in hopes that the evaluation indicators used in this study will be applied, supplemented, and utilized well in the future.
초록
기록관에서는 이용자의 요구사항에 대한 이해를 바탕으로 설계된 사용성이 높은 웹 기반 기록정보서비스를 제공할 필요가 있다. 이에 본 연구는 국가기록원 웹사이트 검색서비스의 사용성을 전문가 평가와 다양한 그룹의 이용자 대상 사용성 평가를 통해 분석하였고 이를 기반으로 개선방안을 제시하였다. 연구방법으로 문헌연구, 인터페이스 사용성 전문가 평가 중 하나인 휴리스틱 평가 및 이용자 대상 사용성 평가를 수행하였다. 전문가 평가 결과 정확성 영역에서 심각도가 가장 높았으며 에러대처 영역의 심각도가 가장 낮았다. 이용자 대상 사용성 평가에서는 이용자의 배경요인과 도움말 제공 여부가 사용성에 영향을 준다고 가정하였다. 따라서 기록관리학 전공자, 웹/앱 개발자 및 그러한 배경요인이 없는 일반인 등 총 22명을 대상으로 사용성 평가를 실시하였다. 사용성 평가는 사전 설문조사, 5초테스트, 검색과업 수행 순으로 진행하였다. ISO 9241-11:2018의 사용성 구성요소인 효과성, 효율성, 만족도를 기준으로 분석을 진행한 결과 웹/앱 개발자의 검색 효과성이 가장 높았고 기록관리학 전공자의 경우 기록정보콘텐츠 검색에서만 효과성이 높은 것으로 나타났다. 효율성에 있어 배경요인은 영향을 주지 않는 것으로 나타났으며 검색도구에 익숙해질수록 효율성이 향상되었다. 도움말 제공은 효과성과 만족도에 긍정적인 영향을 주는 것으로 나타났다. 개선방안으로 이용자에게 익숙한 인터페이스와 검색기능의 제공, 도움말 지원의 확대, 일관성 있는 웹 인터페이스 제공을 제안하였다.
Abstract
Archives should provide a web-based archival information service with good usability based on the understanding of users’ needs. Thus, this study analyzed the usability of the National Archives of Korea (NAK) website’s search service through expert and usability evaluations for various users and suggested improvement plans. A literature review, heuristic evaluation, one of the usability expert evaluation methods, and usability evaluation for users were performed. As a result of expert evaluation, the severity rating for the usability problem was highest regarding a match between the system and real world and the lowest in error prevention. In the usability evaluation, it was assumed that the user’s background and whether the website’s help was provided is associated with usability. Usability evaluation was conducted for 22 participants, including those majoring in records management, web/application developers, and people without such backgrounds. Furthermore, a presurvey, a five-second test, and search tasks were conducted in a row. The analysis based on usability components in ISO 9241-11: 2018, i.e., effectiveness, efficiency, and satisfaction, showed that web/application developers had the highest search effectiveness, and those majoring in records management showed high effectiveness only in the search for archival content services. Background factors did not affect efficiency, and the more familiar with the finding aids, the better the efficiency. Moreover, providing the website’s help was found to be positively associated with effectiveness and satisfaction. This study suggests that the NAK website will offer a user-friendly interface and search function, expand help support, and display a consistent web interface.
초록
본 연구는 국가기록원의 분원인 서울기록정보센터의 방문이용자들을 대상으로 기록정보서비스에 대한 그들의 인식과 경험을 조사하는 것을 목적으로 하였다. 이를 위해 북미에서 수행된 아카이브 매트릭스 프로젝트(Archival Metrics Project)의 이용자 설문지를 수정 보완하여 설문 도구로 활용하였으며, 이용자와 직원에 대한 면담도 실시하였다. 47명의 설문 데이터와 이용자 1명 및 직원 2명에 대한 면담데이터 분석 결과, 이용자의 방문목적이 조상의 토지소유 확인을 위한 증거자료 수집에 집중되어 있으며 이용되는 기록의 유형도 토지․임야관련 자료에 편중되어 있음을 알 수 있었다. 직원에 대한 이용자의 인식은 긍정적인 편이었으며 직원이 기꺼이 도움을 제공하고 친절하다는 의견을 나타냈다. 그러나 기록의 소장여부에 있어 직원이 정확한 정보를 제공하지 못한다는 의견이 있었고 직원 역시 기록 부존재에 대한 사실 확인이 어렵다는 것을 문제점으로 인식하고 있었다. 나라기록포털의 유용성과 이용의 용이성에 대한 이용자 평가는 높지 않은 것으로 나타났으며 이용자들은 나라기록포털에서의 검색이 매우 불편하다는 의견을 보였다. 이용자들은 국가기록원 서비스에 대하여 전반적으로 만족한다고 응답하였으나 몇몇 이용자들은 보다 신속한 업무 처리와 비공개자료의 기준을 명확히 할 것을 제안하였다.
Abstract
This study investigated the perception and experience of users who visited in Seoul office of the National Archives, a branch of the National Archives of Korea(NAK). For collecting data, the study utilized the Researcher Survey Toolkit developed by Archival Metrics Project and revised the questionnaire to reflect services of NAK. Questionnaires completed by 47 users were collected and analyzed, and interviews with one survey respondent and two staff were performed. It was found that the purpose of the visit is mostly to identify records that prove land ownership of users' ancestors. Types of records frequently used were also those concerning lands and forests. User feedback on the staff was generally positive, and users perceived them to be helpful and kind. However, there was an opinion that the staff did not provide accurate information about whether NAK hold records that the user wanted to find. The staff also said that it was challenging to confirm where requested records are located when providing services for users. User evaluation on the usefulness and the ease of use of NAK portal services was not very positive, and it was perceived to be very inconvenient to search in the portal. Overall, users were satisfied with the services of NAK, although some users suggested that services need be provided efficiently, and NAK must clarify the criteria for the non-disclosure of public records.
초록
정보기술의 발달로 이용자들은 아키비스트의 개입 없이 자유롭게 기록을 검색할 수 있게 되었지만, 기존의 기록물 검색 시스템은 이용자의 의도를 파악하지 못하는 단편적인 결과를 제공하고 있다. 이런 문제를 극복하기 위해 시맨틱 웹 기술이 발전하고 있으며, ICA에서는 이를 반영하여 새로운 기록물 기술 표준인 RIC(Record In Context)을 개발하고 있다. RIC의 개념모델과 온톨로지는 시맨틱 검색을 구현하는 기반이 되기 때문에, 이것이 실제로 어떻게 이용자들에게 서비스될 수 있을지 고민해볼 필요가 있다. 따라서 본 연구에서는 온톨로지를 기반으로 하는 기록물 검색 시스템이 어떤 인터페이스를 통해 구현될 수 있을지 제안해보았다. 시맨틱 웹 기술을 기반으로 한 검색 시스템의 사례 3가지를 선정해 이용자들의 인터뷰를 통한 사용경험 평가를 진행하였고, 여기에서 얻은 시사점을 기반으로 하여 기록물 검색 시스템의 인터페이스를 4가지 측면으로 구성하여 제안하였다.
Abstract
With the development of information technology, users can freely search records and archives without the involvement of archivists. However, existing records retrieval systems show only partial search results, which do not consider the users’ intention. To overcome this problem, semantic web technology is being developed, and the International Council on Archives (ICA) is working to develop RIC (Records In Context), a new archival description standard, which reflects the trend. The conceptual model for archival description and its ontology of RIC are the basis for implementing semantic-based retrieval. In other words, it is necessary to consider the viewpoint of the users on how the records retrieval based on meaning should be designed and provided. Therefore, this study selected three cases of systems, which are built as semantic web technology, and conducted interviews of the users for the evaluation of the systems based on user experience. This study proposes the kind of interface that can be implemented for the ontology-based record retrieval system.
초록
대통령기록관은 다양한 형태로 기록정보서비스를 제공하고 있다. 본 연구에서는 DigiQUAL을 활용하여 대통령기록관의 웹 기록정보서비스를 평가했다. 평가 방법은 이용자 설문조사를 실시했으며, 평가 영역은 기록 및 정보검색, 기록물 활용 서비스, 확장 서비스로 나누었다. 본 연구는 설문을 분석하기 위해서 기술 통계와 신뢰도 검정을 실시했다. 그 결과, 전반적인 만족도가 낮았다. 이러한 설문 결과를 바탕으로 대통령기록관 웹 기록정보서비스 개선 방안을 제시했다.
Abstract
The Presidential Archive of Korea provides archival information services in various forms. This study evaluated web-archival information services provided in The Presidential Archive of Korea using DigQUAL. To perform the study, this study conducted a descriptive statistic and confidence tests. The evaluation method was accomplished user survey. And the evaluation territory was classified with archives and information search, archives use service, expansion service. As a result, a general satisfaction was low, and this study suggested improvement method for web archival service in the Presidential Archive of Korea.
초록
기록을 관리하는 궁극적인 목적은 안전한 보존과 효율적 활용이다. 그러나 공공기록물 관리의 수장인 국가기록원의 검색서비스인 국가기록포털은 검색 시스템이 도입된 지 10년이 넘어 노후화되었고, 검색도구도 이원화되어 있다. 또한, 국가기록물을 열람하고자 하는 이용자의 검색 만족도를 충족시키지 못해 개선이 필요하다. 본 연구는 국가기록물 검색 고도화를 위한 사전 연구로, 현재의 국가기록원 검색시스템의 검색 품질 현황을 파악하는 것을 목적으로 한다. 이를 위해 국가기록원에서 사용 중인 검색도구인 CAMS와 국가기록포털의 현황을 분석하고 검색서비스 품질을 점검하기 위한 평가셋을 구축, 이용자 관점에서 국가기록포털의 검색 품질 평가를 실시하였다. 국가기록포털의 성능평가를 위한 척도로는 정확률과 재현율, F-score, MRR 등을 활용, 다양한 각도에서 분석하였다. 검색 품질 평가결과 전반적으로 검색 성능이 낮은 것으로 나타났으며, 특히 ‘주제별상세검색’의 경우 정확률, 재현율, MRR이 모두 낮게 나와 개선이 시급할 것으로 보인다. 본 연구를 통해 구축된 평가셋이 향후 국가기록원 검색시스템의 고도화 이후 시스템의 성능이 얼마나 개선되었는지를 객관적으로 측정할 수 있는 기틀로 활용되기를 기대한다.
Abstract
The ultimate record management’s purpose is preservation and utilization. However, the National Archives of Korea (NAK)s Portal has problems such as search system aging and search tools dualization. As a result, the users’ search satisfaction is not satisfied, and the improvement demand increases. This study aimed to evaluate the NAK’s search quality as a preliminary study for NAK search system advancement. To this end, we analyzed the current status of CAMS and NAK’s Portal. Then, we established the test sets and evaluated the NAK’s Portal quality from the user’s point of view. Evaluation results were analyzed using Precision, Recall, F-score, and MRR. The analysis results showed that the overall search performance was low, particularly in the “advanced subject search,” which showed low performance in Precision, Recall, and MRR. Thus, improvement is urgently needed. The test sets established for this study are expected to be used as a basis for objectively measuring the improvement of the search performance after the NAK search system advancement.