특별기고

KOICA 평가 체계 발전 과정과 향후 과제

김지윤 1 , *
Jiyoon Kim 1 , *
Author Information & Copyright
1한국국제협력단
1Korea International Cooperation Agency (KOICA)
*Corresponding author : 한국국제협력단 / june0619@koica.go.kr

© Copyright 2022 Korea International Cooperation Agency. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Oct 17, 2022; Revised: Nov 15, 2022; Accepted: Nov 24, 2022

Published Online: Nov 30, 2022

요 약

KOICA의 평가체계는 1996년 처음으로 평가 전담부서가 설치된 이후, KOICA의 사업 수행체계 및 정책의 변화에 맞추어 변화하고 고도화되어 왔다. 국내 무상원조 분야에서 KOICA가 선도주자이듯, 국제개발협력 사업의 평가도 KOICA가 가장 많은 경험과 노하우 를 축적하여 국내 개발협력생태계를 이끌어가고 있다. 이에 본 연구는 1996년부터 현재까 지의 KOICA 평가 체계의 발전과정을 돌아보고 2019∼2023년 평가 중기전략 수립 이후 최근의 KOICA 평가 체계 변화와 시사점을 집중적으로 분석하였다. 분석 결과, KOICA의 평가 체계는 2009년 한국 정부의 OECD/DAC 가입 이후로 체계적인 성과관리 및 평가 체계 구축에 대한 대내외 요구 증대에 부응하여 평가 제도 정비, 다양한 유형의 평가 수행, 평가의 환류 강화 노력을 기울여 급격한 발전을 이루었다. 2018년 이후에는 KOICA의 평가 체계 고도화 노력이 더욱 강화되어 평가실의 평가 총괄 기능이 강화되고, 국별협력사업에 대한 사업 등급제가 도입되었으며, 평가보고서의 품질을 검토하는 독립평가패널위원회가 전체 평가 대상 사업으로 확대되었다. 아울러, 평가 환류 강화를 위해 제언의 분류를 더욱 세분화하고, 사업 이해관계자에 대한 평가 결과 공유를 강화하였으며, KOICA 기관내 성 과관리 및 평가 역량 내재화를 위한 내부평가자 매칭 확대, 직원 교육 강화도 이루어졌다. 이러한 많은 성과에도 불구하고, KOICA 평가는 급격하게 증가한 평가 업무의 효율성 증 대 및 점진적인 평가 현장화, 국내 개발협력사업 평가 역량 강화 선도, 평가 환류 강화를 통한 증거기반 정책 수립 및 환류 체계 정착 등을 위해 지속 노력할 필요가 있다.

Abstract

KOICA (Korea International Cooperation Agency) established an evaluation department in 1996, which has, since, developed in conjunction with the Agency's systems and policies. As KOICA is one of the most specialized agencies in the field of international development in Korea, it is also playing a leading role in the monitoring and evaluation of international development cooperation. In this regard, this study examines the overall development process of KOICA's evaluation system from 1996, especially focusing on the recent change during 2019-2022, and attempts to determine its implications as well as the future challenges facing it. As a result, this study has learnt that KOICA's evaluation system has improved significantly since the Korean government joined OECD DAC (Development Assistance Committee). Once it became a member of DAC, the Korean government had to improve its overall ODA system, including the M&E system. KOICA has also put in a lot of efforts, such as setting up regulations, conducting various type of evaluation and strengthening utilization of evaluation lessons, to systematize evaluation. KOICA's evaluation is at the second-leap stage after its mid-term evaluation strategy for 2019-2023. The evaluation function has been centralized; additionally, the evaluation quality review process has been strengthened for improved accountability and quality. These efforts have enabled significant advancement of KOICA's evaluation system, however, certain challenges still remain in making it more effective. KOICA needs to decentralize the evaluation of individual programs in the long term and strengthen the evaluation capacity of both, its staff and external stakeholders. Moreover, it needs to improve the evaluation utilization in order to enhance evidence- based policies and programs.

Keywords: 개발협력사업 평가; 개발협력사업 성과관리; KOICA 평가; KOICA 성과관리
Keywords: KOICA; Evaluation System; M&E System; Evaluation of International Development Programs

Ⅰ. 서론

KOICA는 1991년 한국 정부의 무상원조 중점시행기관으로 설립된 이후, 한국 정부의 무상원조의 살아 있는 역사를 써오고 있다. 이제 30년을 지나 성숙기에 접어든 KOICA는 2010년 우리 정부의 OECD DAC 가입을 계기로 사업의 양적 성장을 넘어 질적 성장을 목표로 하여, 사업의 성과 도출을 위한 성과관리와 평가를 강조해왔다.

KOICA 평가 또한 KOICA의 발전사와 함께 해오고 있다. KOICA는 1996년 평가 전담부서를 설치, 약 25년간 다양한 ODA 사업 및 정책의 평가 경험을 축적하고, 동 평가 경험을 국내 개발협력 분야에도 공유해오면서 국내 개발협력사업의 성과관리 및 평가의 고도화를 통한 사업의 효과성 제고에 기여해오고 있다.

최근 국내에서 무상원조를 수행하는 부처 및 기관만 44개로 증가하는 등 국내개발협력 사업수행주체와 사업이 다양해지고, 한국 개발협력 규모가 급격하게 확대되면서 국무조정실 국제개발협력위원회 등 국내 개발협력 분야에서는 사업의 성과관리 등 질적 제고를 강조해오고 있다.

국무조정실 국제개발협력위원회는 2022년부터 국내 개발협력기관들의 성과관리역량과 자체 평가 역량을 평가하는 기관역량진단을 시행하고 있으며, 이렇게 국내 개발협력 최고 정책결정기관부터 성과관리와 평가를 강조하는 추세가 지속된다면 동 분야의 이해관계자들은 더욱더 성과관리와 평가의 고도화에 노력을 할 것으로 예상된다.

KOICA는 국내 개발협력사업 평가의 선도기관으로서 그간 축적되어온 평가 노하우를 국내 생태계에 적극 공유하면서 생태계의 역량강화에 기여해야 한다. 더 나아가, 한국보다 개발협력 역사 및 평가 경험이 더 많이 축적된 타 공여국의 평가 제도와 노하우를 지속적으로 학습하고 사업에 적용해가면서, 한국 개발협력평가 품질을 제고하고 고도화시켜야 할 미션을 가지고 있다.

이에 따라, 본 논문에서는 그간 KOICA 평가의 발전 현황과 2019년 이후, 평가 체계 개선 현황과 문제점을 알아보고, 앞으로 나아가야 할 방향성에 대해 연구해 보고자 한다.

II. 본론

1. KOICA 성과관리 및 평가 체계 발전 현황

평가는 성과관리의 큰 개념에 포함되어 이해되기도 하고, 성과관리와 평가가 다른 개념으로 분리되어 이해되기도 한다(정지선 · 이주영, 2021). 그간 KOICA에서는 성과관리와 평가는 조직체계 및 평가전담부서의 업무 분장 등을 볼 때 분리되지 않은 채 성과관리 전담 부서가 설치되기 전까지는 평가의 개념에 성과관리까지 포함되어 추진되어 왔다.

그러나 성과관리가 성과 중심의 사업 관리의 일환으로 인식되면서 별도의 전담부서가 설치되었으며, 이에 따라 현재는 성과관리는 사업 성과관리를 위한 표준 성과지표 수립, 성과 지표 점검을 위한 데이터 수집 및 관리, 분야별 모델 수립으로 평가는 사업별로 수립된 산출물 및 성과 지표의 달성여부와 정도를 확인하는 과정으로 구분하여 이해되고 있다. 따라서, 본 논문에서는 성과관리와 평가를 구분하여 기술하고자 한다.

1) KOICA 평가 착수 및 기틀 구축(1991∼2008년)

KOICA의 평가는 1996년 사업 평가 전담부서를 설치하고 평가 체계를 구축하여 1998년 최초로 사업 평가를 실시하였다(KOICA, 2013). 그러나 초기 KOICA의 평가는 이미 수행 중이거나 완료된 사업에 대한 진도 평가 위주로 수행되어와 사업의 성과나 결과를 확인하여 차기 유사사업 등에 반영하기 어려운 구조였다. 이 무렵 국제사회에서는 사업의 성과를 중시하는 Result Base Approach가 강조되었으며, 이에 따라 KOICA도 이러한 성과중심 사업 관리를 위한 평가의 중요성을 인식하게 되어 1998년 타 공여기관의 평가 체계 및 OECD DAC 평가 원칙 및 가이드라인 등을 반영하여 1999년 ‘사업평가 가이드라인’을 발간, 자체적인 평가 기반을 마련하였다. 아울러, 사전조사, 중간평가 · 종료평가 · 사후평가의 평가체계를 정착시키고 평가 제언으로 도출된 사항을 정책수립, 제도개선 및 사업 기획 등에 반영하는 환류체계를 구축하였다. 1999년에는 결과중심사업 관리를 위한 수단으로 최초로 PDM(project design matrix)을 사업 성과관리 모형으로 도입하였으며, 동 PDM을 사업의 기획과 평가의 tool로 활용하기 시작하였다. 이렇게 1990년대 후반 마련된 KOICA 평가 체계, 기준 등을 활용하여 본격적인 사업평가를 실시할 수 있었다(KOICA, 2021a).

2006년에는 사업평가실로 조직이 개편되면서 개별 사업 평가뿐만 아니라, 평가 대상을 정책, 전략, 분야 및 사업유형에 대한 통합 평가 등으로 확대해 왔다.

2) 평가 체계 성장기(2009∼2018년)

2009년 한국정부의 OCED DAC 가입 및 2012년 DAC의 한국에 대한 동료검토(Peer Review)는 한국 ODA 수행체계 전반의 한 단계 도약을 위한 이정표가 되었다. KOICA도 이러한 분위기에 따라 ‘KOICA 선진화 방안’이 마련되었으며, 이에 따라 KOICA의 평가도 한 단계 고도화되는 계기가 마련되었다. DAC Peer review와 KOICA 선진화 계획에서는 한국 ODA 사업의 평가 체계 강화를 요구하였고(OCED DAC, 2012), KOICA 평가실의 위상이 강화되어 이사장 직속부서인 평가실로 개편이 되었으며, 2010년 최초로 2011∼2015년 평가 중기전략을 수립하여 체계적인 평가 전략하에 다양한 평가 선진화 활동이 진행되었다. 또한, KOICA의 평가도 자체 평가 체계 선진화뿐만 아니라, 국내 관련 생태계의 평가 역량 강화에도 기여할 수 있는 다양한 지식공유 및 역량강화 활동이 진행되었다. 2010년에는 OCED DAC가 발간한 2012년에 ‘평가 길라잡이’를 발간하여 국내개발협력 평가 수행의 표준 기준을 제시하였으며, 최초로 ODA 교육원에 ‘모니터링 및 평가 교육’과정을 개설하고, ‘평가 세미나’ 개최 등을 개최하여 KOICA 직원 및 국내 개발협력 이해관계자들에게 성과관리 및 평가 관련 역량 강화 활동을 본격화하였다. 아울러, ‘에티오피아 아르시존 가족계획 및 모자보건 증진사업’에 대한 영향평가도 최초로 실시하여, 과학적 · 실증적 방법을 통한 KOICA 사업의 성과확인 노력도 시도하였다(KOICA, 2013).

3) 평가 관리 중앙 집중화 시기(2019∼현재)

평가실에서는 그 간 평가 가이드라인 수립, 평가 정책 수립, 평가 현황 및 실적 정리, 국무조정실 등의 평가 관련 외부 요구 자료 대응, 일부 사업 종료 평가 및 CPS 등 전략 평가 등 주로 평가 정책, 교육 기능을 수행해 왔으며, 개별 사업의 평가는 평가실에서 수립한 평가 가이드라인 등에 따라 각 사업부서에서 주로 수행해 왔다.

따라서, 사업의 평가 관련 예산도 사업 예산내 포함되어 있거나 사업의 타당성 조사, 평가 및 사후관리 등에 활용 가능한 예산 등을 활용해 왔다. 이렇게 사업별 종료평가는 대부분 사업부서에서 수행해오면서 평가의 수행 시기가 모두 다르고, 평가의 일관성이나 품질이 저하되는 등의 문제점이 생겨왔다. 아울러, 개별 부서별로 사업을 평가하면서 평가 정보가 산발적으로 흩어져 있어 KOICA 사업의 전체적인 성과나 문제점을 파악하기 어려운 구조였다.

이에, 평가실은 2018년 평가 중기전략을 수립하여 증거기반 의사결정을 위한 국별 평가 도입 및 평가 환류 체계 개선, ODA 사업 책무성 강화를 위한 평가실의 평가 총괄 기능 강화 및 국별협력사업 종료평가 등급제 도입, 우리 기관의 M&E 역량 강화 및 민간 평가 전문가 양성 기반 구축의 목표를 수립하였다(KOICA, 2018).

이러한 전략 목표에 따라, 평가의 품질 및 일관성 제고, 독립성 강화를 위해 모든 국별협력사업의 종료평가를 평가실에서 직접 수행하는 체계로 전환하여 평가실의 KOICA 평가 총괄 기능을 강화하였다.

또한, 2019년부터 평가 체계를 대대적으로 개편해 왔다. 첫째, 평가 품질의 일관성 제고 및 품질 관리 강화 등을 통한 평가 고도화를 위해 기존에 평가실에서는 평가 기준이나 가이드라인 교육 등을 수립하는 등 평가 기획에 중점을 두던 체계에서 변화하여 기존에 사업부서 위주로 수행해오던 국별협력사업의 종료평가를 2021년 하반기부터는 평가실에서 모두 수행하였다. 아울러 개별 국별협력사업뿐만 아니라, CPS(국가협력전략) 및 KOICA의 국별계획(CP) 등의 이행성과, 수원국 수요와의 적절성 등을 판단하기 위해 2019년, 2020년 25개국에 대한 국별 포트폴리오 평가를 수행해, 국별 사업의 연계성, 종합적인 성과, 중점 지원 분야의 적합성 등을 평가하여 우선순위별로 추진해야 할 분야를 선정하는 작업을 수행하였다.

또한, 2019∼2023년 평가 중기전략에 기반, 기존에 개별사업 평가가 국별협력사업에 집중되고, 민관협력사업, WFK 해외봉사단 사업 등 타 사업 유형이 평가에서 소외되어왔던 문제점을 개선하기 위해(한국국제협력단, 2018) 종료평가 대상 사업을 시민사회협력사업, 국제기구협력사업 등 프로젝트성 사업으로 확대하였다. 이에 따라 2021∼2022년 사이 평가실은 118개 사업의 종료평가를 수행하였으며, 이 중 시민사회협력사업, 기업협력사업이 74건을 차지하는 등 파트너십사업 평가도 본격적으로 시행하였다(KOICA 내부자료, 2021).

기존에 평가는 평가자의 정성적 평가에 주로 의존하여 객관적으로 사업의 성과를 판단할 수 있는 기준이 부족했다. 2013년부터 KOICA는 사업평가등급제를 사후평가에 활용하여 정량적 자료를 통해 객관적으로 사업을 평가하는 시도를 해왔으나, 사후평가는 평가실에서 일부 사업을 선정해 추진하면서 전반적인 KOICA 사업의 등급은 확인하기 어려웠다. 이에 따라, 2019∼2023년 사업 평가 중기 전략에서 국별 종료평가에 평가등급제를 도입하여 ① 매우 성공적(14점 이상), ② 성공적(11점 이상~14점 미만), ③ 부분 성공적(8점 이상~11점 미만), ④ 미흡(8점 미만)으로 등급을 구분, 사업의 전체적인 성과를 판단할 수 있는 계량적인 기준을 개별사업 평가 전반에 확대 적용하였다(KOICA, 2018).

또한, 평가보고서의 신뢰성, 객관성 등 전반적인 보고서의 품질 제고를 위해 2019년부터 평가 보고서의 확정 전에 평가보고서를 다시 한번 평가를 하는 평가품질검토위원회 즉 독립평가패널위원회를 거치고 있다. 이 전에도 평가보고서를 발간 전 간헐적으로 내부 관련 부서나 외부위원들의 의견과 자문을 받아 평가보고서의 객관성과 신뢰성을 높이려는 시도는 있었으나, 2019년 이후에 독립평가패널위원회는 품질 검토 위원과 위원장을 모두 외부 전문가로 구성해 품질 검토의 객관성과 독립성을 더욱 높였으며, 모든 종료평가서가 발간되기 이전에 품질검토위원회를 거치도록 하여 품질 검토가 평가의 필수 절차의 하나로 확립되었다는 점에서 의의가 있다.

2019∼2023년 중기전략에 맞추어 최근 평가실에서는 KOICA 내외부의 평가역량 강화를 위해서도 많은 노력을 기울였다. 2019년부터는 KOICA 직원들의 평가에 대한 인지도 제고 및 역량강화를 위해 ‘내부평가자 매칭 플랫폼’을 구축하여 KOICA 직원들이 직접 평가를 수행할 수 있는 제도를 구축하였다(KOICA, 2020). 이렇게 구축된 내부평가자1) 매칭 플랫폼에 의해, 현재까지 약 20여 건의 사업을 내부 평가자가 평가를 하였으며, 75명의 내부 평가자가 pool로 구축되어 있다. 아울러, 2021년부터는 이러한 내부평가자를 그룹화하여 Eval People 워크샵도 실시하여 우수 평가사례, 평가 이슈 등을 공유하여 내부 평가자간 상호 학습 및 역량 강화를 위해 노력하고 있다. KOICA 내부 직원뿐만 아니라, 외부 평가 생태계 육성을 위해 2021년부터는 국제개발협력 관련 대학의 국제개발협력 관련 M&E 과정을 개발하고 운영하는 것을 지원하는 사업을 시작하였다. 또한 평가 R&D 제도를 구축하여 다양한 평가 이슈, 평가 기법 등에 대해 연구하고 조사, 분석하여 국내 평가 관련 생태계의 고도화를 위한 지식 축적 및 공유를 도모하고 있다.

2020년 이후 평가 체계 개선은 환류 체계 강화에도 중점을 두고 있다. 평가 결과를 환류하는 것은 2011년 평가 중기전략에서도 언급되고 있듯이 2010년대 이후부터 지속적으로 강조되어 오던 것이었다. 다만, 기존에는 평가 결과상 나오는 제언을 관련 부서에 공유하여 필요시 이행계획을 접수하고 이를 모니터링하는 형식이었다면 2020년 이후에는 동 제언을 교훈, 환류과제로 분류하여 중요한 교훈은 교훈 리포트로 정리, 공유하여 유사 사업 관리에 반영하는 것으로, 환류과제는 반드시 이행하는 것으로 구분하여 중요도가 높은 제언은 좀 더 주의를 기울여 제언의 품질을 제고하고 집중하여 관리할 수 있도록 체계를 구축하였다.

또한, 사업 관련 다양한 이해관계자별로 사업의 평가 절차에 단계별로 참여하고 의견을 줄 수 있는 체계를 구축하였다. 즉, 사업수행부서는 사업 평가의 주요 보고회에 참여하면서 평가의 신뢰성 제고를 위한 평가 대상 사업의 정확한 정보나 문헌 등에 나타나 있지 않은 기타 정보를 공유하고 평가 제언이나 환류과제의 구체성, 현실성 등에 대한 의견을 개진할 수 있게 하였다. 아울러, 사업수행 파트너와 수원국에 대한 평가 결과 환류워크샵도 평가 절차에 정례화시켜 다양한 이해관계자들이 빠짐없이 평가의 수행과 환류에 참여할 수 있게 하였다.

2. 2019∼2022 KOICA 평가 체계 개선 결과

2019년 평가 중기전략 수립 및 이에 따른 평가 체계 개선은 1) 국별 포트폴리오 평가 등을 통해 정책 결정시 근거 기반 정책 수립 체계 마련, 2) 개별사업의 종료평가 체계 확립, 3) 다양한 이해관계자들의 환류 체계 확립, 4) 평가 부서의 독립성 확보, 평가 총괄기능 강화를 통한 평가 품질 제고 및 고도화 성과를 가져왔다.

그 중에서도 가장 돋보이는 KOICA 평가 체계의 변화는 평가실의 총괄 기능 강화 및 전사 평가 관리를 평가실에서 직접 수행하기 시작했다는 점이다. 기존에 평가실에서는 평가 관련 기준 수립, 국별 또는 분야별 평가, 정책적 의사결정의 기반이 될 수 있는 상징적 사업들의 사후 평가 등을 수행하면서 평가실의 역할은 사업부서에서 평가 수행에 필요한 제도적 틀 구축과 정책적 의사결정을 위한 근거 자료 제공 즉, 사업의 모니터링의 일환보다는 정책 수립 지원에 중점을 두어온 것을 알 수 있다.

그러나 평가실에서 평가 관련 제도 정비, 평가자 교육 강화 등의 평가 총괄 기능을 강화하면서도 직접 국별협력사업의 종료평가를 모두 관리하면서 평가 이론의 실무적용성을 높이고, 평가 수행을 사업과 관련 없는 독립부서에서 일괄 수행하면서 평가의 독립성, 객관성과 일관성이 모두 제고되는 효과를 가져왔다.

이러한 효과는 2021∼2022년 평가 및 품질검토위원회 검토 결과를 분석한 내용을 보면 잘 나타나 있다. 2021∼2022년 수행한 종료 평가의 품질 검토 등급은 2019∼2020년에 비해서 상향되어 보고서의 품질이 제고되었음을 알 수 있다. 또한, 평가실에서 직접 관리한 평가의 품질이 사업부서에서 수행한 평가보고서의 품질보다 품질검토 점수가 높아 평가 전문성을 가진 평가실에서 평가를 관리하면서 평가 품질이 제고되었음을 확인할 수 있다 (KOICA 내부자료, 2022a). 2021∼2022년 평가결과 분석은 우리에게 또 다른 시사점을 제시해 주는 데, 그것은 평가의 객관성 제고이다. 2019~2020년 평가시보다 사업평가 등급 평균이 다소 낮아져 사업부서에서 자체적으로 평가를 관리할 때보다 평가실에서 평가를 관리하면서 평가에 대한 엄정성이 높아진 것을 알 수 있다(<Figure 1>).

jidc-17-2-105-g1
Figure 1. 연도별 평가 품질검토 등급표2)
Download Original Figure

2019년 이후 평가의 또 다른 가장 큰 특징은 그 이전에 비해 종료평가에 집중해 있다는 점이다. 2019년 이전 50건 미만이었던 종료평가는 2021년부터 급격하게 증가해 2021∼2022년에는 연도별 진행 중인 종료평가가 평균 100건 이상임을 알 수가 있다. 이것은 2019년 종료평가 기준을 구체적으로 사업 종료 후 1년 이내로 하고, 모든 국별협력사업의 종료평가를 의무화하면서 나타난 현상으로 판단된다.

모든 국별협력사업의 평가를 의무화하고 사업 종료 후 1년 이내로 기준을 수립하면서 평가는 사업의 수행 절차의 하나로 확립이 되고, 성과관리와의 연계성이 강화되었다고 볼 수 있다.

2019∼2020년간 수행한 25개국에 대한 국별 포트폴리오 평가와 DEEP 사업 사후평가는 기존에 CPS 평가 지원, 2010년, 2016년에 수행했던 민관협력사업 평가 등 사업 유형별 평가와 맥락을 같이 하고 있다. 다만, 기존에 수행했던 국별 전략 평가와 사업의 유형별 평가와 달리 평가 결과 도출된 제언은 단순히 전략 수립시 참고용으로 활용되었던 과거와 달리 경영진까지 보고하여 경영진의 의사결정을 받아 후속조치를 취하거나 피평가부서의 수용 여부를 확인한 후, 이행계획까지 접수하여 평가 결과가 전략 수립 및 제도개선에 반영되도록 했다는 점에서 평가의 유용성 증대와 강화된 환류체계가 구축되었다는 점을 확인할 수 있다.

3. 향후 KOICA 평가 과제 및 방향성

2019년 새로운 평가 중기전략 수립에 따라, KOICA 평가 관리를 평가실이 직접 수행하면서 1996년부터 약 25년간 집약된 평가에 대한 이론적 노하우와 경험을 직접 평가 실무에 적용할 수 있게 되어 평가 절차와 품질이 고도화되는 효과를 가져올 수 있었다. 이 뿐만 아니라 평가 관련 모든 정보가 평가실에 집중되어 향후 더욱 효율적인 평가 체계를 구축할 수 있는 기반을 마련하는 계기를 가져왔다.

이러한 긍정적인 효과에도 불구하고, 향후 KOICA의 평가가 효과적이고 효율적으로 이루어지기 위해서는 다양한 난관과 과제를 가지고 있다.

첫 번째는 평가 수행의 분권화와 평가 전담부서의 효율적인 총괄 체계 구축이다. 2020년 이후 평가 정책 및 수행이 모두 평가실로 집중되는 평가의 중앙 입중화가 강화되었으나 이에 수반되는 소요 예산과 인력은 평가실로 이동하지 않고 여전히 기존에 사업부서에 분산되어 있어 향후 이러한 체계를 유지해 나가는 데는 다양한 제약과 한계가 예상된다.

즉, 기존에 평가 제도 수립, 주요 정책 수립을 위한 지식과 정보 제공의 업무는 지속적으로 수행하면서 평가 품질 관리 실무 및 평가실로 모두 수집되는 평가 정보 관리 업무가 급격하게 증가되었으며, 다양한 부서에 분산된 평가 관련 예산을 활용하기 위한 예산 조정업무까지 증대되었다. 이러한 평가 관리 중앙화에 필요한 예산과 인력이 평가실로 이전되지 않는 상황이 지속될 경우, 개선된 환류 체계, 평가 품질 검토 체계나 내외부 평가 역량강화 체계를 기계적으로 수행하면서 동 체계를 효과적으로 정착시키고 발전시켜 나갈 동력을 잃을 수도 있다는 우려가 있다.

KOICA와 유사하게 다양한 형태의 사업을 수행하고, 선진화된 평가 체계를 가지고 있는 USAID와 JICA는 개별사업의 평가 수행은 학습효과를 강조하여 사업부서나 현장에서 주로 수행하고(<Table 1>), 평가 전담부서는 주로 평가 제도 정비, 평가 수행 자문, 개별사업 평가 결과를 분석한 메타 평가를 통한 중요한 개선 과제 도출, 대내외 평가 역량 강화, 평가 통합 정보 관리 등에 집중을 하고 있는 것을 볼 수 있다(JICA, 2021; USAID, 2022).

Table 1. 2021년 JICA 사업평가 실시현황
구분 외부평가 내부평가
기술협력 (Technical cooperation) 17건 77건 94건
유상원조 차관 (ODA loans) 25건 0건 25건
무상원조 증여 (Grant aid) 31건 7건 38건
73건 84건 157건

Source: JICA (2021).

Download Excel Table

사업 소관 부서나 사무소 등 사업 관련 이해관계자가 직접 평가를 수행 또는 관리할 경우의 장점은 사업에 대한 이해가 높아서 깊이 있는 분석이 가능하며, 사업 자체뿐만 아니라 기관의 사업수행체계나 제도에 대한 이해도 깊어 평가 교훈이 사업 자체, 사업수행 체계, 전략 등 광범위한 부분에서 실질적이고도 깊이 있는 제언이 도출될 수 있다는 점이다. 실제로 KOICA 내부평가자 매칭 제도를 통해서 KOICA 직원이 직접 평가를 수행한 경우의 평가 품질 등급이 외부평가자 품질검토 등급 평균보다 높다는 것은 이러한 사실을 반증하는 것이기도 하다(KOICA 내부자료, 2022a).

사업 수행 당사자가 평가에 직접 관여할 경우의 또 다른 장점은 평가의 학습기능이 극대화된다는 점이다. 평가를 수행하고 관리하는 과정속에서 사업수행 과정과 결과에 대한 이해가 높아질 뿐만 아니라, 평가 제언과 교훈에 대한 수용성도 높아질 수밖에 없다. 이러한 평가를 통한 학습 기능을 강조하면서 USAID와 JICA는 평가를 현장화하고, 내부직원의 평가를 독려하고 있다.

반면, 사업수행 관련자가 평가에 관여하는 평가 분권화는 가장 큰 문제점은 독립성과 객관성을 담보할 수 없다는 문제일 것이다. USAID의 경우, 사무소 내 사업 수행부서가 아닌 기획 부서가 평가를 수행하고, JICA의 경우는 평가 후 외부 전문가로 구성된 평가심의회에서 평가에 대한 심의를 거치면서 최소한의 독립성을 확보하는 체계로 운영하고 있다(KOICA 내부자료, 2022b)3).

그러나 KOICA가 이렇게 평가를 현장에 위임하기에는 아직 여러 가지 문제점이 존재한다. 국무조정실 등 외부에서는 평가의 독립성, 객관성 확보를 위해 외부 평가를 시행할 것을 권고하고 있다4). 외부의 이러한 우려는 국내 관련 이해관계자들의 평가에 대한 이해나 인지도를 고려시, 타당성이 없는 것은 아니다. 따라서, 품질검토위원회 등 기관 내부의 자체 평가의 객관성 확인 절차의 존재 및 그 효과성을 증명하지 못할 경우에는 USAID나 JICA와 같이 사업수행당사자들이 직접 평가를 관리하는 체계로 전환하기에는 어려울 것으로 판단된다. 사업수행당사자가 평가를 수행하기에는 객관성이 확보되지 않는다는 인식이 지속될 경우에는 또한 USAID처럼 사업대상지의 사무소내에서도 사업과 관련되지 않는 독립적인 주체들이 확보가 되어야 하는데 현재 KOICA의 현장 사무소에는 그렇게 독립된 기능을 수행하는 각각의 인력이 확보되지 못한다는 현실적 어려움이 존재한다.

평가의 분권화를 위한 또 다른 걸림돌은 사업 관련 조직이 직접 평가를 관리하기에는 KOICA내 평가 역량이 모든 사업수행조직에 균일하게 축적되지 못했다는 점이다. 2020년 평가 중앙집중화 이후의 평가 결과를 분석해 보면, 평가 보고서의 품질이 제고된 사실은 아직은 평가 관련 이론적 전문성을 가진 주체가 일관되게 평가의 품질을 관리해줘야 하는 필요성을 보여주고 있다(KOICA 내부자료, 2022a). 또한, 평가 품질은 KOICA 내부의 평가 관리 역량도 중요하지만, 실제 평가를 수행하는 전문가와 기관들의 전문성도 어느 정도 균일한 수준으로 향상되었을 때 확보될 수 있을 것이다. 2019년 이후의 독립평가패널 결과를 보면 평가 수행 기관간, 평가 전문가간 평가 역량의 차이가 현저하게 나타나는 것을 알 수 있듯이 국내 개발협력사업 평가 생태계 내 역량 제고 및 균일화도 다양한 사업 수행 주체들이 평가를 직접 수행하기에는 아직 시기 상조라는 것을 알 수가 있다.

따라서, 평가의 중앙집중화는 USAID나 JICA와 같이 평가의 독립성보다는 평가를 통한 학습기능이 더욱 강조되는 분위기가 생기고, KOICA 내외부적으로 평가 역량이 일정 수준에 도달했다고 판단되는 시점까지는 유지할 필요가 있어 보인다.

다만, 평가실에서 직접 관리하는 평가의 규모와 수는 평가실의 예산과 인력으로 관리 가능한 수준으로 유지하면서 평가 수행은 점진적으로 분권화하고, 평가실은 평가 체계를 지속적으로 고도화하고, 전사에 안착시키는 본연의 역할에 충실할 필요가 있다. 예를 들면, 현재는 평가실에서 종료되는 모든 국별협력사업에 대해서 종료 평가를 실시 및 관리하고 종료평가가 의무화되어 있지 않은 파트너십사업의 수요도 최대한 수용하고 있지만, 향후에는 평가성 사정 등을 통해 평가실에서 직접 수행하는 평가의 규모를 조정하고, 평가 우선순위를 정하여 선택과 집중을 하는 효율적인 평가 체계를 구축할 필요가 있다.

두 번째는 다양한 평가를 균형 있게 수행하는 체계를 구축하는 것이다. 평가 체계가 갓 구비된 1990년대 말은 개별사업의 진도 평가와 사후평가가 위주였다면 2000년대 중반에는 분야별 종합평가, 국별 전략 평가 등을 위주로 수행하고, 2010년대 초반과 중반에는 다시 사후평가 집중하면서 일부 사업에 대한 영향평가도 시도했다. 2010년대 후반에는 KOICA내 분야별 사업 관리 체계가 구축되면서 분야별 사업모델 수립 및 성과 지표 개발 등을 위한 분야별 종합평가를 집중적으로 수행하였다. 2019∼2020년은 국별 포트폴리오 평가에 집중했으며, 2021∼2022년 이후에는 연간 100여 건이 넘는 개별사업 종료평가를 수행하였다.

연도별 집중적으로 수행해온 평가 유형을 분석해 보면 중장기적으로 일관된 방향성이 보이지는 않는다. 2011년 평가 중기전략, 2016년 평가 선진화 전략, 2019년 평가 중기전략을 수립하여, 평가 중점 과제들을 선정하기는 하였으나, 다양한 형태의 평가의 배분에 대해서는 이러한 전략에 포함되지 않았다. 개별 사업 평가의 시기별 경향성만 보더라도 중장기적인 방향성 없이 시기별 경영진과 관련 부서장의 판단에 따라서 특정 평가 유형에 집중되는 경향을 보인다. 이렇게 다양한 평가 유형의 배분에 대한 중장기 방향성의 부재는 평가의 기능과 역할에 대한 혼란도 가져올 수 있으며 평가의 예측 가능성을 약화시킬 가능성도 있다.

따라서, 향후에는 평가 중기전략에 평가 유형별 배분과 전략적 목표를 설정하여 평가가 기관의 전략과 방향성에 부합하면서도 시기나 리더십과 상관없이 평가의 역할과 기능에 대한 기관 차원에 이해가 안정적으로 확립될 수 있도록 해야 할 것이다.

다양한 평가 유형의 균형있는 배분과 중장기적인 방향성 설정 이외에도 평가 대상사업 유형을 다양화하고, 사업유형별 특성에 맞는 평가 기준 개발도 평가 고도화를 위해 중요한 과제로 손꼽을 수 있다. 2019년 신규 평가 중기전략 수립 이전에는 개별사업 및 분야별 사업 평가 대상은 주로 국별 협력사업이었다. 그러나 2020년 이후 평가 대상을 국별 협력사업 이외에도 시민협력사업, 국제기구협력사업, 기업협력사업으로 확대하고, 2021∼2022년에는 이러한 파트너십 사업에 대한 평가를 본격화하여 전체 평가대상사업의 64%를 시민사회협력사업과 기업협력사업이 차지하게 되었다. 시민협력사업과 기업협력사업을 본격적으로 평가하면서 기존에 KOICA 사업 평가 기준으로 이러한 유형의 사업의 성과를 정확하게 평가하기에는 다양한 한계점이 발견되었다(KOICA, 2021). 즉, 사업수행자간 관계나 사업의 목적 등이 국별 협력사업과 다른 부분들이 나타나, 기존에 평가 질문, 평가 항목 등으로는 사업의 당초 목적 달성 여부를 정확하게 파악하기 어려운 경우들이 나타났다.

이와 같이, 향후에는 타 프로젝트성 사업을 집중적으로 평가 후 평가 결과를 분석하여 다양한 사업 유형에 적합한 평가 기준과 가이드라인을 개발할 필요가 있다. 이뿐만 아니라 현재까지 평가는 프로젝트성 사업에 집중되어 왔으나, 초청연수나 봉사단 파견 등 기술협력사업의 성과 확인과 도출도 점점 강조되고 있는 추세로, 동 사업에 대한 평가 기준개발에도 노력을 기울일 필요가 있다.

세 번째로 KOICA 평가 체계에서 가장 중요하고도 지속적으로 강화해가야 할 것은 환류 체계이다. 평가의 환류는 평가의 가장 근본적인 목적인 전략과 사업의 성과, 문제점 확인을 통한 사업의 효과성 제고와 근거 기반 정책 결정을 도모하기 위함이다. 이러한 이유로, 1996년 KOICA는 평가 체계를 갖추면서부터 지속적으로 평가 환류 강화를 위해 다양한 노력을 펼쳐왔다. 다양한 전략과 사업을 종료평가, 사후평가, 영향평가 등 다양한 방법론을 동원해서 평가를 수행해오면서 직 · 간접적으로 KOICA의 전략 및 사업수행체계 개선에 기여해왔다. 그러나 평가 결과를 의사결정과 향후 사업 발굴, 기획 및 모니터링에 반드시 적용하게 하는 제도적 틀은 부족한 상황이다.

평가 결과에 대한 환류는 주로 평가 결과에 대해 주요 이해관계자들에게 공유하거나, 경영진에게 보고하거나 교육, 워크샵 등 대내외 논의의 장을 통해 학습을 통해 자발적으로 반영할 수 있게 노력하는 등의 활동이 환류의 주요 형태를 띄었다. 그러나 이러한 간접적이고도 자발적인 환류로는 효과적인 평가의 활용이 이루어지기 어려우며, 경영진이나 담당자의 의지와 인지도 등에 따라서 그 정도가 다양한 수준으로 나타날 수밖에 없다.

이제 대내외적으로 국무조정실 등에서도 평가의 고도화 및 특히 효과적인 환류를 강조하고 있으며, KOICA 사업의 규모와 사업발굴, 기획의 면밀함을 고려시, 사업의 성과관리와 평가도 KOICA 사업의 수준에 맞게 더욱 고도화되어야 하며, 특히 평가의 핵심 목적을 내포하고 있는 환류야말로 사업 평가 체계 및 사업수행체계에 필수적인 과정이 될 수 있도록 더욱 노력할 필요가 있다. 따라서, 향후에는 사업 발굴, 기획, 모니터링, 평가 각 단계별로 평가 결과가 환류될 수 있도록 제도적인 틀 구축에 노력해야 할 필요가 있다.

2020년부터는 평가의 제언을 환류과제, 교훈 등으로 분류하고, 이해관계자별 중요한 교훈과 환류과제에 대해 공유하는 계기를 마련하는 데 집중하여 평가 결과가 최대한 공유되고 학습될 수 있는 체계를 구축했으며, 2022년에는 이에 더 나아가 평가 결과 도출된 교훈과 체크리스트를 사업발굴지침에 첨부하여 신규사업 제안요청서 작성시 반드시 참고토록 하고, 신규사업 심사기준에도 이러한 평가결과를 참고했는지 여부를 확인할 수 있도록 심사항목에 추가하였다. 2023년부터는 2단계, 3단계 등 후속 사업을 발굴시, 전단계 사업의 평가 결과를 참고할 수 있도록 사업의 타당성조사 단계에서 전단계 사업을 신속하게 평가하는 Rapid 평가를 도입할 예정이다. 현재 이렇게 사업 수행 단계별로 평가 결과를 의무적으로 반영할 수 있게 하는 조치는 사업의 발굴 및 선정 단계에 집중되어 있지만, 향후 사업의 기획단계, 모니터링 등 사업 수행 전 단계로 확대될 필요가 있다.

마지막으로 KOICA 평가가 향후 지속적인 노력을 경주해가야 할 것은 KOICA 내외부 ODA 사업 이해관계자들의 평가 역량 강화이다. 2020년 이후 매년 100여 건의 종료평가와 전략 평가, 분야별 프로그램의 평가를 평가실에서 관리하면서 KOICA 내부와 외부의 관련 이해자들의 평가에 대한 이해와 역량에 편차가 있다는 문제가 도출되었다(<Figure 2>, (<Table 2>).

jidc-17-2-105-g2
Figure 2. 2019∼2022년 평가 품질검토 점수 분포5)
Download Original Figure
Table 2. 2019∼2022년 평가 품질검토 점수6)
연도 품질검토 점수 평균 표준 편차
2019 78.57 7.17
2020 78.06 9.07
2021 79.47 9.06
2022 79.13 8.54
Download Excel Table

평가 역량의 차이는 평가 품질의 차이를 불러왔으며, 사업평가 등급이나 평가 품질검토 등급 등에서의 개별 평가기관 또는 평가 전문가의 평가 결과 차이는 KOICA 평가 전반에 대한 신뢰성에 대한 문제제기까지 야기하기도 하였다(KOICA 내부자료, 2022a).

따라서, KOICA 평가의 고도화를 위한 기본적인 조건으로 KOICA 대내외의 평가 역량 강화가 중요한 과제로 제기되어 왔으며, 향후에도 가장 중요한 과제로 남아 있을 문제이다.

KOICA 직원의 평가 역량 강화는 KOICA내 평가가 내재화되고, 이를 통해 전략과 사업의 효과성 제고를 도모할 수 있기 때문이다. 또한, 평가를 관리하는 주요 주체로서 평가 품질 제고를 위해서도 KOICA 직원의 평가 역량 강화는 중요한 선결과제이다. 앞서 언급한 중장기적인 과제인 개별사업의 평가 분권화 또는 현장화를 위해서도 KOICA 직원의 평가 역량 강화는 필수적인 요소이다.

KOICA가 자체적인 성과관리 및 평가 체계를 지속적으로 고도화할 필요성이 있는 또 다른 이유는 KOICA는 국내에서 ODA 사업수행 및 평가 노하우를 가장 많이 축적한 기관으로서 국내 ODA 시행기관들의 평가 역량을 강화하는데 선도적인 역할을 할 수 있기 때문이다. KOICA 기관 차원에서 평가 역량이 축적되고 선진화되기 위해 기존의 평가 체계의 정착, 효과성 제고를 위해 더욱 노력할 필요가 있다.

III. 결론

평가는 정책과 사업이 지속적으로 발전하고 진화해 나갈 수 있게 해주는 사업수행과정에서 가장 중요한 단계이다. KOICA의 평가는 1996년 이후 지속적으로 발전하여 현재는 USAID, JICA 등의 선진 공여기관과 크게 차이가 없고, 평가 품질 검토 체계 등 어떤 부분에서는 더 고도화된 모습을 보일 정도로 체계적인 시스템이 구축되어 있다.

그러나 현재까지의 KOICA 평가를 세부적으로 분석해 보면 체계와 제도는 높은 수준에 이르렀으나, 실행이 따라 가지 못하고 있는 것으로 평가된다. 각 평가 단계 및 제도의 효과성은 KOICA 내외부적으로 평가의 중요성에 대한 인지 부족, 평가자 역량 부족, 장기적인 방향성 부족과 무엇보다도 평가의 환류와 활용 부족으로 구비된 제도의 효과성이 극대화되지 못하고 있다.

2022년 국무조정실의 ODA 시행기관에 대한 ‘기관진단역량’에 따라 KOICA는 다시 한번 자체 평가 체계의 완결성과 성과를 검증받는 계기가 될 것이다. 따라서, 이제는 기존에 잘 구비된 체계를 종합적으로 분석하여 작동되지 않는 부분은 개선하고, 작동이 잘 되는 부분은 안착을 시켜 KOICA 평가가 궁극적으로는 KOICA 사업과 더 나아가서는 한국의 개발협력사업 효과성 개선에 기여할 수 있도록 노력해야 할 것이다.

Notes

1) 영문명은 Eval People로 지칭.

2) 동 자료는 KOICA 평가실이 자체 관리 중인 평가 정보 데이터를 분석 도출한 자료임.

3) USAID와 JICA의 평가 중점 목적, 평가 현장화 이유 및 평가를 사업 관련 부서가 이행하게 되면서의 독립성, 객관성의 문제는 2022년 KOICA-USAID, KOICA-JICA 평가 실무협의 결과에서 논의된 사항이다.

4) 국무조정실 개발협력위원회의 다양한 문서와 관련 포럼, 평가 전문위원회 등 관련회의에서는 평가의 독립성을 강조하면서, 외부 평가를 권장하고 있다.

5) 동 자료는 KOICA 평가실이 자체 관리중인 평가 정보 데이터를 분석 · 도출한 자료임.

6) 2019∼2022년 KOICA 평가 보고서에 대한 품질검토 등급 점수 분석 결과, 연도별로 품질등급 평균 점수는 조금씩 상향되고 있으나, 표준편차는 매년 거의 유사한 수준을 유지하고 있다.

참고문헌

1.

정지선, 이주영. (2021). 한국 ODA 시행기관의 성과관리 체제에 대한 고찰: 유형별 사례 분석을 중심으로. 국제개발협력연구, 13(3), 1-21.

2.

Japan International Cooperation Agency [JICA]. (2021). JICA Annual Report. Shinichi Kitaoka. Japan: Japan International Cooperation Agency.

3.

KOICA. (2013). 2012년 평가 연보. 성남: 한국국제협력단.

4.

KOICA 내부자료. (2015). KOICA 평가체계 선진화 전략. 성남: 한국국제협력단.

5.

KOICA. (2018). 2019-2023 중기 사업평가 전략 및 추진과제(안). 성남: 한국국제협력단.

6.

KOICA. (2020). 2019 평가 연보. 성남: 한국국제협력단.

7.

KOICA. (2021a). KOICA 30년사. 성남: 한국국제협력단.

8.

KOICA. (2021b). 2020년 평가 연보. 성남: 한국국제협력단.

9.

KOICA 내부자료. (2022a). KOICA 평가실 종합환류워크샵 결과보고. 성남: 한국국제협력단.

10.

KOICA 내부자료. (2022b). 2022년 KOICA-JICA 평가협력 실무협의 결과보.성남: 한국국제협력단.

11.

KOICA 평가실. (2021). 2020년 평가 연보. 성남: 한국국제협력단.

12.

ODA Korea. (2022). 대한민국 ODA 통합누리집. Retrieved from https://www.odakorea.go.kr

13.

OECD DAC. (2012). Korea: DAC Peer review. Paris: OECD.

14.

USAID [United States Agency for International Development]. (2022). Evaluation. Retrieved from https://www.usaid.gov/evaluation

KCI 신규 등재후보학술지로 선정

코이카가 발간하는 학술지인 '국제개발협력'이 한국연구재단의 2023년도
학술지 평가에서 KCI 신규 등재후보학술지로 선정되었습니다.

국제개발협력은 국내 국제개발분야 대표 학술지로서, 2025년 등재학술지로의
승급을 위해 더욱 노력하겠습니다. 

등재후보지 선정을 위해 힘써주신 모든 분들께 감사드리며, 앞으로도
'국제개발협력' 논문 투고에 대한 지속적인 관심과 적극적인 참여를 부탁드립니다.

감사합니다.

I don't want to open this window for a day.