바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

검색어: performance evaluation, 검색결과: 15
1
이병길(경북대학교 기록학과) ; 김희섭(경북대학교) 2013, Vol.13, No.3, pp.67-97 https://doi.org/10.14404/JKSARM.2013.13.3.067
초록보기
초록

본 연구의 목적은 새마을운동 기록물을 위한 개체기반 온톨로지 검색시스템의 설계와 그 성능평가이다. 개체기반 온톨로지 설계를 위하여 Protege editor4.1을 사용하였고, 새롭게 구현된 검색시스템의 성능은 단문5개, 장문10개의 질의유형으로 기존 나라기록의 키워드 기반 검색시스템과 정확률과 재현율을 비교하여 분석하였다. 분석결과 개체기반 온톨로지 검색시스템이 정확률과 재현율 모두 키워드 기반 시스템보다 우수한 성능을 보였다.

Abstract

The purpose of this study is to design and evaluate an individual instance-based ontology retrieval system for archival records of the “Saemaul Movement". We used Protege editor 4.1 to design an individual instance-based ontology. To evaluate the proposed ontology retrieval system, five short queries and ten narrative queries were used and compared their precision and recall against the NARA keyword-based retrieval system. The performance results showed that the individual-based ontology retrieval system outperformed the keyword-based retrieval system in terms of the measurement of precision and recall.

2
나정호(전북대학교) ; 소현기(전북대학교) ; 염경록(㈜ 아이와즈, 솔루션개발팀장) ; 이정옥(국가기록원) ; 오효정(전북대학교) 2022, Vol.22, No.4, pp.25-43 https://doi.org/10.14404/JKSARM.2022.22.4.025
초록보기
초록

기록을 관리하는 궁극적인 목적은 안전한 보존과 효율적 활용이다. 그러나 공공기록물 관리의 수장인 국가기록원의 검색서비스인 국가기록포털은 검색 시스템이 도입된 지 10년이 넘어 노후화되었고, 검색도구도 이원화되어 있다. 또한, 국가기록물을 열람하고자 하는 이용자의 검색 만족도를 충족시키지 못해 개선이 필요하다. 본 연구는 국가기록물 검색 고도화를 위한 사전 연구로, 현재의 국가기록원 검색시스템의 검색 품질 현황을 파악하는 것을 목적으로 한다. 이를 위해 국가기록원에서 사용 중인 검색도구인 CAMS와 국가기록포털의 현황을 분석하고 검색서비스 품질을 점검하기 위한 평가셋을 구축, 이용자 관점에서 국가기록포털의 검색 품질 평가를 실시하였다. 국가기록포털의 성능평가를 위한 척도로는 정확률과 재현율, F-score, MRR 등을 활용, 다양한 각도에서 분석하였다. 검색 품질 평가결과 전반적으로 검색 성능이 낮은 것으로 나타났으며, 특히 ‘주제별상세검색’의 경우 정확률, 재현율, MRR이 모두 낮게 나와 개선이 시급할 것으로 보인다. 본 연구를 통해 구축된 평가셋이 향후 국가기록원 검색시스템의 고도화 이후 시스템의 성능이 얼마나 개선되었는지를 객관적으로 측정할 수 있는 기틀로 활용되기를 기대한다.

Abstract

The ultimate record management’s purpose is preservation and utilization. However, the National Archives of Korea (NAK)s Portal has problems such as search system aging and search tools dualization. As a result, the users’ search satisfaction is not satisfied, and the improvement demand increases. This study aimed to evaluate the NAK’s search quality as a preliminary study for NAK search system advancement. To this end, we analyzed the current status of CAMS and NAK’s Portal. Then, we established the test sets and evaluated the NAK’s Portal quality from the user’s point of view. Evaluation results were analyzed using Precision, Recall, F-score, and MRR. The analysis results showed that the overall search performance was low, particularly in the “advanced subject search,” which showed low performance in Precision, Recall, and MRR. Thus, improvement is urgently needed. The test sets established for this study are expected to be used as a basis for objectively measuring the improvement of the search performance after the NAK search system advancement.

3
방기영(전북대학교) ; 이능금(전북대학교 기록관리학과) ; 이유진(전북대학교) ; 한아랑(전북대학교 기록관리학과) ; 김용(전북대학교) 2015, Vol.15, No.4, pp.25-48 https://doi.org/10.14404/JKSARM.2015.15.4.025
초록보기
초록

대통령기록관은 다양한 형태로 기록정보서비스를 제공하고 있다. 본 연구에서는 DigiQUAL을 활용하여 대통령기록관의 웹 기록정보서비스를 평가했다. 평가 방법은 이용자 설문조사를 실시했으며, 평가 영역은 기록 및 정보검색, 기록물 활용 서비스, 확장 서비스로 나누었다. 본 연구는 설문을 분석하기 위해서 기술 통계와 신뢰도 검정을 실시했다. 그 결과, 전반적인 만족도가 낮았다. 이러한 설문 결과를 바탕으로 대통령기록관 웹 기록정보서비스 개선 방안을 제시했다.

Abstract

The Presidential Archive of Korea provides archival information services in various forms. This study evaluated web-archival information services provided in The Presidential Archive of Korea using DigQUAL. To perform the study, this study conducted a descriptive statistic and confidence tests. The evaluation method was accomplished user survey. And the evaluation territory was classified with archives and information search, archives use service, expansion service. As a result, a general satisfaction was low, and this study suggested improvement method for web archival service in the Presidential Archive of Korea.

4
백지연(전북대학교 일반대학원 기록관리학과) ; 조애란(전북대학교 일반대학원 기록관리학과) ; 유신성(전북대학교 일반대학원 기록관리학과) ; 김택범(전북대학교 일반대학원 기록관리학과) ; 오효정(전북대학교) 2019, Vol.19, No.3, pp.123-153 https://doi.org/10.14404/JKSARM.2019.19.3.123
초록보기
초록

본 연구는 무형문화유산 기록정보자원을 디지털화한 결과의 품질을 평가하기 위한 평가요소와 항목을 개발하고, 이를 실제 디지털화 사례에 적용함으로써 그 유용성을 검증하는데 목적이 있다. 이에 본 연구에서는 기록정보자원의 디지털화 관련 지침과 국가기록원 표준, 선행연구와 함께 국립무형유산원과 유네스코아태무형유산센터의 디지털화 사례를 분석하여 평가영역과 요소를 도출하였다. 이후 개발된 평가요소 및 항목의 중요도를 선정하기 위해 무형문화유산 관련 기관의 실무자와 디지털화 업무 담당자를 대상으로 설문조사를 진행하였으며, 선정된 중요도를 바탕으로 배점 체계를 설정하였다. 나아가 이를 디지털화가 완료된 무형문화유산 기록정보자원 사례에 실제 적용하여 파일럿 평가를 진행하였으며, 평가 결과를 검증하기 위해 FGI(Focus Group Interview)를 실시하였다. 본 연구에서 개발한 평가요소 및 항목을 통해 기관에서 디지털화 시 미흡했던 부분들을 객관화․수치화하여 한눈에 파악할 수 있고, 이는 추후 실무자들이 기초자료로 활용할 수 있을 것으로 기대된다.

Abstract

The study aims to develop and verify evaluation factors and items for assessing the quality when digitizing intangible cultural heritage record information resources. To derive evaluation areas and factors, the study analyzes the digitalization cases of the National Intangible Heritage Center and International Information and Networking Centre for Intangible Cultural Heritage in the Asia-Pacific region (ICHCAP) under the auspices of UNESCO, along with digitalization-related guidelines, National Archives of Korea standards, and previous studies. Afterward, to select the importance of evaluation factors and items developed, the study conducted a survey on working-level officials of intangible cultural heritage-related organizations and those working on digitalization, and established an allocation system based on the selected importance. Furthermore, the study performed a pilot evaluation by applying it to a digitalized intangible cultural heritage record information resources and conducted a focus group interview (FGI) to verify the results of the evaluation. Through the evaluation factors and items developed in this study, the agency can objectify the deficiencies of digitalization at a glance and use them as basic data by practitioners in the future.

5
이효진(이화여자대학교 정책과학대학원 기록관리학전공) ; 김지현(이화여자대학교) 2021, Vol.21, No.3, pp.187-215 https://doi.org/10.14404/JKSARM.2021.21.3.187
초록보기
초록

기록관에서는 이용자의 요구사항에 대한 이해를 바탕으로 설계된 사용성이 높은 웹 기반 기록정보서비스를 제공할 필요가 있다. 이에 본 연구는 국가기록원 웹사이트 검색서비스의 사용성을 전문가 평가와 다양한 그룹의 이용자 대상 사용성 평가를 통해 분석하였고 이를 기반으로 개선방안을 제시하였다. 연구방법으로 문헌연구, 인터페이스 사용성 전문가 평가 중 하나인 휴리스틱 평가 및 이용자 대상 사용성 평가를 수행하였다. 전문가 평가 결과 정확성 영역에서 심각도가 가장 높았으며 에러대처 영역의 심각도가 가장 낮았다. 이용자 대상 사용성 평가에서는 이용자의 배경요인과 도움말 제공 여부가 사용성에 영향을 준다고 가정하였다. 따라서 기록관리학 전공자, 웹/앱 개발자 및 그러한 배경요인이 없는 일반인 등 총 22명을 대상으로 사용성 평가를 실시하였다. 사용성 평가는 사전 설문조사, 5초테스트, 검색과업 수행 순으로 진행하였다. ISO 9241-11:2018의 사용성 구성요소인 효과성, 효율성, 만족도를 기준으로 분석을 진행한 결과 웹/앱 개발자의 검색 효과성이 가장 높았고 기록관리학 전공자의 경우 기록정보콘텐츠 검색에서만 효과성이 높은 것으로 나타났다. 효율성에 있어 배경요인은 영향을 주지 않는 것으로 나타났으며 검색도구에 익숙해질수록 효율성이 향상되었다. 도움말 제공은 효과성과 만족도에 긍정적인 영향을 주는 것으로 나타났다. 개선방안으로 이용자에게 익숙한 인터페이스와 검색기능의 제공, 도움말 지원의 확대, 일관성 있는 웹 인터페이스 제공을 제안하였다.

Abstract

Archives should provide a web-based archival information service with good usability based on the understanding of users’ needs. Thus, this study analyzed the usability of the National Archives of Korea (NAK) website’s search service through expert and usability evaluations for various users and suggested improvement plans. A literature review, heuristic evaluation, one of the usability expert evaluation methods, and usability evaluation for users were performed. As a result of expert evaluation, the severity rating for the usability problem was highest regarding a match between the system and real world and the lowest in error prevention. In the usability evaluation, it was assumed that the user’s background and whether the website’s help was provided is associated with usability. Usability evaluation was conducted for 22 participants, including those majoring in records management, web/application developers, and people without such backgrounds. Furthermore, a presurvey, a five-second test, and search tasks were conducted in a row. The analysis based on usability components in ISO 9241-11: 2018, i.e., effectiveness, efficiency, and satisfaction, showed that web/application developers had the highest search effectiveness, and those majoring in records management showed high effectiveness only in the search for archival content services. Background factors did not affect efficiency, and the more familiar with the finding aids, the better the efficiency. Moreover, providing the website’s help was found to be positively associated with effectiveness and satisfaction. This study suggests that the NAK website will offer a user-friendly interface and search function, expand help support, and display a consistent web interface.

6
강혜경(전북대학교) ; 박재홍((주)유라클) ; 김용(전북대학교) 2010, Vol.10, No.2, pp.7-29 https://doi.org/10.14404/JKSARM.2010.10.2.007
초록보기
초록

본 연구에서는 온라인 기반의 기록정보유통의 활성화 및 개인화된 기록정보서비스 제공을 위하여 RSS 기반의 기록정보서비스 시스템의 구현 및 실험을 수행하였다. 이를 위하여 필요로 하는 서비스 항목을 선정하였으며 RSS 기반의 기록정보서비스 제공을 위하여 요구되는 XML문서 형식, 데이터베이스의 설계 및 구현을 수행하였다. 설계된 서비스 시스템의 기능에 대한 평가를 위하여 일반적으로 사용되고 있는 웹브라우저를 통하여 실험을 수행하였다.

Abstract

This study aims to design and implement RSS-based archival information service system for activating online-based archival information circulation and providing personalized archival information services. To achieve the goals, XML document formats and database schema for four selected items are designed and implemented. Also, an performance of the implemented service system is evaluated to with a general web browser.

7
홍명화(숙명여자대학교 문헌정보학과 박사과정) ; 이혜은(숙명여자대학교 문헌정보학과 부교수) 2023, Vol.23, No.2, pp.69-94 https://doi.org/10.14404/JKSARM.2022.23.2.069
초록보기
초록

본 연구는 지방자치단체가 수행한 지역 기록화 사업의 제도 및 운영 현황을 파악하고 사업의 지속가능성을 위한 시사점을 제시한 것이다. 정부의 국가균형발전 정책 이슈를 배경으로 지방자치단체의 도시‧문화 관계 부서는 도시‧문화 정책의 일환으로 지역 기록화 사업을 추진하였다. 각 지자체는 경관 조례, 도시역사문화 아카이브 구축 및 운영에 관한 조례를 제정하였고, 도시재생사업을 추진하였다. 이러한 조례 또는 정책에 근거하여 도시경관 기록화, 도시역사문화 아카이브, 도시재생사업 기록화가 수행되었으며, 본 연구는 총 55개 사례를 대상으로 조례 제정 유무, 예산, 기록의 수집, 관리, 활용 항목을 비교‧분석하였다. 연구의 결과 지자체에서 수행하는 지역 기록화 사업의 지속가능성을 위해 중요한 기반은 법령이었으며, 예산의 지속적인 확보를 위해 사업성과 평가, 지역민의 참여 활성화, 디지털 아카이브 구축·활용을 제안하였다. 본 연구는 특정 지역이나 사례가 아닌 지자체 도시·문화 관계 부서에서 도시‧문화 정책의 일환으로 수행한 지역 기록화 사업 전반을 조사‧분석하고, 지속가능성을 위한 보다 객관적이고 일반적인 시사점을 제시했다는 점에서 의의가 있다.

Abstract

This study analyzes the system and operational status of regional documentation programs conducted by local governments and aims to propose considerations for the sustainability of regional documentation programs. With the government’s balanced national development policy, the city or culture departments of local governments promoted regional documentation programs as part of their urban and cultural policies. Each local government enacted landscape ordinances and the ordinances concerning the establishment and operation of urban historical and cultural archives and promoted urban regeneration projects. Based on this, local governments performed urban landscape documentation, urban historical and cultural archives, and urban regeneration project documentation. Consequently, this study compared and analyzed ordinance enactment, budget, acquisition, management, and utilization of records for a total of 55 cases. The study has found that legislation is an essential factor in the sustainability of local governments’ regional documentation programs. In addition, it suggested that regional documentation programs should evaluate the performance of programs, ensure residents’ participation, and create digital archives to secure the budget continuously. This study is significant because it evaluates the overall regional documentation cases of local government city or culture departments as part of the city or culture policy rather than a specific region or case and presents more objective and general considerations for sustainability

초록보기
초록

공공기록물 관리에 관한 법률에 따른 기록물관리전문요원의 배치가 이루어지면서 기록물관리는 어느 정도 자리를 잡아가고 있으며, 법률에 따른 기록물관리를 이루기 위해 많은 노력을 기울이고 있다. 기록물관리는 기록물의 생산 · 분류 · 정리 · 이관 · 수집 · 평가 · 폐기 · 보존 · 공개 · 활용 및 이에 부수되는 제반업무를 말한다. 이중에서도 기록물 이관은 해당 기록물이 처리과에서 기록관으로 관리주체가 변경되는 최초 단계를 수행하는 중요한 업무라고 할 수 있다. 이에 따라 본 연구에서는 부산지역 16개 기초자치단체의 이관현황을 살펴보고, 기관의 기록물관리전문요원들의 인터뷰를 통해 이관진행과정에서 발생하는 문제점을 살펴보고 비전자기록물 이관업무 개선방안을 제시하였다.

Abstract

As records managers are assigned in accordance with act on public records management, the record management has settled down a bit, and also much effort is put to perform the record management in accordance with law. The record management includes all the works like production, classification, organization, transfer, collection, evaluation, disuse, preservation, opening to the public and application. Among them, the record transfer is an important work that performs the initial stage in which the main agent of management is changed from administration department to record center. Thus this study suggested the improvement measures for non-electronic record transfer after examining the current transfer state of 16 local governments in Busan region and also problems occurring in the process of transfer through interviews with institutional records managers.

9
소현기(전북대학교 일반대학원 기록관리학과 석사과정) ; 염경록(㈜ 아이와즈솔루션개발팀장) ; 오효정(전북대학교 문헌정보학과 교수, 문화융복합아카이빙연구소 공동연구원) 2023, Vol.23, No.2, pp.117-135 https://doi.org/10.14404/JKSARM.2023.23.2.117
초록보기
초록

국가기록원에서는 국민에게 소장하고 있는 공공기록물에 대한 접근점을 제공하기 위해 국가기록포털이라는 대국민 검색서비스를 운영 중이다. 그러나 지속적으로 검색 결과에 대한 이용자 만족도가 낮다는 의견들이 수렴되고 있으며, 그와 더불어 포털 이용률도 감소하고 있는 추세이다. 본 연구는 이러한 상황을 극복하기 위해 수행한 국가기록포털 검색서비스 품질 점검 연구의 후속 연구로, 국가기록포털의 문제점을 규명하고 그에 따른 개선안을 제안하고, 나아가 그 실효성을 검증하는 것을 목표로 한다. 선행된 품질 평가를 통해 국가기록포털의 주요 문제점으로 검색 도구의 저조한 성능, 검색 결과의 일관성 결여, 기본검색 기능 부재를 비롯한 6가지 문제점을 도출하였으며, 이에 대한 개선방안을 규명했다. 제안한 방안의 실효를 검증하기 위해 이 중에서 현실적으로 당장 도입 가능한 방안을 적용한 파일럿 시스템을 구축, 국가기록포털과 검색 성능 비교를 수행하였다. 평가 결과, 파일럿 시스템 검색 도구의 정확률, 재현율, MRR 모든 측면에서 유의미한 상승을 확인하였으며 그 효과를 입증하였다.

Abstract

The National Archives of Korea (NAK) operates the NAK Portal as a record search system. However, user search satisfaction is too low, and the number of visitors to the portal is gradually decreasing. This study identifies the portal’s issues, proposes feasible improvements, and constructs a pilot system to validate the solutions. The preliminary assessment revealed six major issues, such as poor search tool performance and the lack of consistency in search results. After clarifying the improvement measures, a pilot system was established and compared with the National Records Portal. The evaluation showed significant performance improvements in the pilot system, such as Precision, Recall, and Mean Reciprocal Rank (MRR).

초록보기
초록

본 연구에서는 해외 국가 웹 아카이빙 사례들을 인터페이스 유형 및 특성들을 항목별로 분석하고 살펴보았다. 이를 위하여 다섯 개의 인터페이스 영역과 열네 개의 평가 항목을 선정하였으며, 해외사례 및 국내 OASIS를 대조하여 분석한 결과, 국내의 경우에는 검색 인터페이스 및 지원기능 인터페이스 영역에의 보강이 필요함을 확인하였다. 또한 해외 사례의 참조를 통하여 국내의 경우 수집 대상 웹 콘텐츠 주제 영역의 다양화, 웹 자원 수집의 분담화, 특별 컬렉션의 구성, 아카이빙 시점 및 흐름의 시각화, 체계적인 아카이빙 전략 수행, 그리고 국제기구와의 적극적 협력 등이 강화되어야 함을 확인하였다.

Abstract

In this study, national web archiving cases were reviewed and interface types and characteristics were examined. Five interface categories and fourteen evaluation criteria were selected. As for the OASIS, Korean national web archiving project, functions of retrieval interface and user support interface were insufficient and need to be reinforced. Other recommended improvement plans were; diversifications of the subject area of web contents, sharing the web acquisition, make up the special collection, visualization of archiving time and trends, systematic performance of the archiving strategy, and active collaboration with international organization.

한국기록관리학회지