연구논문

메타평가 모형을 활용한 ODA 국별평가 비교분석 연구1)2)

김은주 1 , *
Eunju Kim 1 , *
Author Information & Copyright
1한국행정연구원 부연구위원
1Korea Institute of Public Administration
*Corresponding author: Eunju Kim (eunjukim@kipa.re.kr)

© Copyright 2019 Korea International Cooperation Agency. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Oct 23, 2019; Accepted: Nov 07, 2019

Published Online: Dec 31, 2019

요 약

개발효과성이 강조되면서 최근 ODA 평가는 프로젝트나 프로그램 평가에서 더 나아가 분석단위를 국가로 설정하는 국별평가(Country Program Evaluation)의 중요성이 커지고 있다. 이러한 배경에서 본 연구는 우리나라의 국별평가 현황과 해외 공여기관들의 사례를 비교분석하여 정책적 시사점과 개선방안을 도출하고자 하였다. 평가체계 개선을 위한 메타평가 연구에서 착안하여 ‘평가환경-평가투입-평가과정-평가결과 및 활용’으로 비교분석틀을 구성하고, 세부 항목과 평가기준을 설정하여 한국과 일본, 영국, 독일, 아시아개발은행(ADB) 등 사례를 비교분석하였다. 분석 결과, 평가결과 및 활용 측면에서 특히 우리나라가 다른 공여국에 비해 평가체계가 미비한 것으로 나타났다. 연구결과를 바탕으로 4가지 메타평가 모형 구성요소별로 정책대안을 제시하면서 특히 평가결과 환류를 위해 평가정보관리시스템 구축과 수원국 이해관계자와 결과공유 절차 확립 등을 강조하여 제안하였다.

Abstract

Recently, the discourse of the international community on ODA evaluation has been focused more on country program evaluations rather than on project and program evaluations for development effectiveness. In this context, this study aimed to suggest policy implications by comparing and analyzing the current status of Korea to that of other donor countries. Based on a meta-evaluation study aiming to improve the evaluation system itself, we set up a comparative analysis framework, the “evaluation environment-evaluation input-evaluation process-evaluation result and utilization.” We also defined details of evaluation criteria in order to compare the Korean case to that of Japan, the UK, Germany, and the Asia Development Bank. The analysis found that the evaluation system in Korea is weaker than that of other donors, especially in terms of evaluation results and utilization. Based on the results of the study, we propose policy alternatives for each of the four meta-evaluation model components and then strongly emphasize the establishment of an evaluation information management system and the official procedures for sharing results with stakeholders in the partner country.

Keywords: ODA 평가; 국별프로그램평가; 메타평가
Keywords: ODA Evaluation; Country Programme Evaluation; Meta-evaluation

Ⅰ. 서론

최근 공적개발원조(이하 ODA) 평가에 관한 국제사회의 논의동향은 프로젝트나 프로그램 평가에 더하여 점차 ‘국가별 원조프로그램 평가(Country Program Evaluation, 이하 CPE)’의 중요성이 커지고 있는 추세이다. 1990년대에는 ODA 사업이 개별 프로젝트에서 프로그램 단위로 재편됨으로써 평가대상도 자연히 프로젝트 중심에서 프로그램이나 분야(sector) 중심으로 확대되게 되었다. 2000년대에는 새천년개발목표(MDGs)가 각 수원국 단위로 분야별 지표를 설정하게 되면서, 선진 공여국 및 다자간 국제기구들 사이에서 국가단위 프로그램 평가에 대한 논의가 활성화 되었다(Cracknell, 2000:38). 특히, 수원국에 대한 국가별 협력전략을 수립하여 원조의 방향성과 목표를 설정하고, 이에 근거하여 사업을 운영하는 관행이 정착되면서 수원국을 분석단위로 하는 성과관리와 평가의 중요성이 강화되기 시작했다(정지선·오태현, 2013:36-39). 국제사회에서 개발원조의 규범을 전파하는 OECD 개발원조위원회(이하 OECD/DAC)는 최근 프로젝트, 프로그램 평가뿐만 아니라 국가 및 지역단위의 평가, 그리고 메타평가 및 주제별(thematic) 평가, 전략적 평가 등을 중앙본부나 지역사무소 등에서 역할 분담하여 실시할 것을 권고하고 있다(OECD, 2016:34).

‘국가별 원조프로그램 평가’란 수원국에 대한 국가협력전략의 적절성에 대한 평가뿐만 아니라, 해당 기간 내에 수행된 개발원조 활동 및 정책 대화(Policy Dialogue) 등에 대한 총체적인 평가를 의미한다(UNDP, 2016; ADB, 2018).3) 다시 말해 원조체계의 각 층위와 여러 공여국 활동을 총체적으로 고려한 통합적 평가로서의 의미를 갖는다. 한편, 우리나라에서는 이를 ‘국별평가’라고 명명하며, 그 개념을 특정 국가에 대한 원조 전략의 통합평가 혹은 그 국가 내에서 수행된 프로그램에 대한 전반적인 평가라고 정의하고 있다(www.odakorea. go.kr).4) 그러나 실제 우리나라 국별평가의 평가 범주는 국제적으로 통용되는 국가별 프로그램 평가보다 협소하며, 원조활동의 성과평가의 종합에 머무르는 경우가 대부분이다. 그 이유는 아직까지 우리나라에서 국별평가를 시행하는 목적과 활용방안이 분명하지 않고, 보다 근본적으로는 상위 전략에 기반을 두고 운용되는 국별 프로그램을 2010년 이후에 수립하여 아직은 수원국을 대상으로 한 전략적 접근이 초기 단계에 머물러 있기 때문이다. 또한, 국가 수준 혹은 섹터 수준의 성과를 평가하기 위한 목표가 명확하게 설정되어 있지 않아 프로젝트 단위를 넘어선 수준의 목표 달성도를 측정하기 어렵다는 현실적인 이유도 있다(한국수출입은행 경협평가팀, 2013:7). 따라서 지금까지 우리나라에서 실시한 국별평가는 국별프로그램에 대한 평가라기보다는 해당 수원국 내에서 해당 원조기관에 의해 시행된 활동의 총체적인 점검 및 성과의 측정이라고 볼 수 있다. 하지만 앞서 살펴본 바와 같이 국별평가의 필요성이 대두되고 있는 상황에서 향후에는 국제사회의 평가 패러다임 변화에 발맞추고, 국가협력전략에 입각하여 국가를 단위로 성과를 관리할 수 있도록 대안 마련이 필요하다.

그런데 지금까지 ODA 국별평가에 관한 국내 선행연구는 크게 두 가지로 나뉜다. 첫째, 국별전략 자체의 적절성에 대한 평가 연구이다(강인수 외, 2014; 김세원 외, 2014). 이들 연구는 수원국의 수원정책과 우리나라 CPS를 검토하여 적절성, 효율성, 효과성 관점에서 평가한 뒤 원조효과성 제고를 위한 CPS 체계에 대한 시사점을 제시하였다. 둘째, CPS 성과관리 및 국별평가체계 개선방안 연구이다(강경재, 2013; 정지선 외, 2013). 주요 공여국과 다자기구의 국별평가 방법론, 성과측정, 환류체계 개선 등 평가제도 자체에 대해 개선방안을 제시하였다. 선행연구를 살펴본 결과, 국별평가를 직접 실시한 연구들과 국별전략수립이나 국별평가체계 설계를 위한 시사점을 도출하기 위한 연구들은 있었지만, 현재 운영 중인 우리나라의 국별평가체계 전반에 대해 분석하는 연구는 없었다.

이러한 배경에서 본 연구는 평가체계 개선을 위한 메타평가 연구에서 착안하여 우리나라의 ODA 국별평가 제도 및 운영현황을 다른 해외 공여기관들과 비교분석하고자 한다. 체제론적 관점에서 ‘평가환경-평가투입-평가과정-평가결과 및 활용’으로 메타평가 분석틀을 구성하고, 세부 항목과 평가기준을 설정하여 비교한다. 해외사례 조사대상은 국가별 ODA 추진체계의 특징과 평가체계의 특징 등을 고려하여 일본, 영국, 독일, 아시아개발은행(ADB)을 사례연구의 대상으로 삼았다. 비교분석 결과를 바탕으로 우리나라의 국별평가 제도 개선을 위한 시사점을 도출하고, 나아가 국별평가제도에 대한 정책대안을 제시하고자 한다.

Ⅱ. 메타평가 이론에 기반한 연구분석틀 및 방법론

본 연구는 평가체계에 대한 비교분석을 위해서 메타평가 모형과 구성요소를 활용하여 연구분석틀을 구성하였다. 메타평가는 평가에 대한 평가(evaluation of evaluations)(노화준, 2007:48)로서 전체적인 평가체계 및 절차에 대한 분석을 통해서 궁극적으로는 평가체계를 개선하는 것이 주요 목적이다. 메타평가가 지향하는 목적에 따라 연구자들은 메타평가를 위한 다양한 모델을 제시하였다. 예를 들어, Larson & Berliner(1983)는 메타평가를 세 가지 단계로 구분하였다. 먼저 평가투입, 평가과정, 평가결과 등 세 가지로 구분하여, 각각의 평가항목을 제시하였다. 또, 다른 메타평가 모형으로는 환경-투입-과정-결과 및 활용의 4단계로 구성하는 모형이 있다. 이는 기존 3단계 방식에 비해서 평가 환경을 기준으로 활용하여 실제 메타평가 현장에서 나타나는 환경적 영향요인을 반영한 점에 의의를 가진다. 메타평가의 구성요소에서 대해서는 메타평가 대상이 되는 정책 분야의 특징과 연구자들의 견해에 따라 차이가 있을 수 있다. 기존 국내연구를 살펴보면, 메타평가의 구성요소를 크게 ‘평가환경-평가투입-평가과정 및 평가방법-평가결과 및 평가결과 활용’ 등 4단계로 구분하는 연구들이 주를 이룬다(이환성, 2010:41). 이는 체제론적 관점에 따라 전반적인 평가단계에 대해 평가하는 것으로 국내의 메타평가 연구들은 주로 이러한 모형을 사용하고 있다. 다만 평가의 대상이 되는 정책과 사업의 특성을 고려하여 세부 구성요소와 평가기준을 설정한다(정홍상 외, 2013). 따라서 본 연구 역시 체제론적 관점에서 ‘평가환경-평가투입-평가과정-평가결과 및 활용’ 등 4가지 단계별 구성요소에 따라 메타평가 모형을 구성하되, <표 1>과 같이 한국의 ODA 국별평가 실태와 해외사례와 비교분석에 적합한 세부항목과 구체적 기준을 설정하였다.

표 1. 연구의 분석틀
요소 세부 항목 구체적 기준
평가 환경 평가제도 법제도적 근거가 명확한가
평가지침 또는 규정이 구비되어 있는가
평가기획 평가목표가 구체적이고 명확한가
국가협력전략(CPS)의 평가목표를 반영하고 있는가
평가추진체계 평가를 위한 별도의 추진체계가 있는가
추진체계 내 참여기관 역할이 명확한가
평가 투입 평가시기 및 기간 평가시기 및 주기 적정한가
평가기간이 충분한가
평가인력 및 예산 평가인력 규모가 적정한가
평가인력의 전문성이 충분한가
평가예산이 충분한가
평가조직 평가조직이 제도화 되었는가
평가조직 효율성, 공정성, 중립성을 갖췄는가
수원국 및 이해관계자 참여 수원국 및 이해관계자가 평가에 참여하는가
평가 과정 평가방법 평가방법을 타당하게 설정하였는가
평가지표에 OECD/DAC 기준을 반영하였나
평가지표 구성이 적절한가
평가를 위한 현지조사를 충실하게 수행하였는가
평가자료 평가자료가 충분히 제공되었나
평가자료의 시기적, 장소적 접근 용이한가
평가수행절차 평가절차의 구성 및 의견수렴의 합리적인가
평가 결과 및 활용 평가결과 평가결과 공개 여부 및 공개범위의 적정한가
평가결과의 수원국 및 이해관계자 공유하는가
평가결과 환류 평가결과의 국가협력전략(CPS) 환류 적정한가
평가결과를 사업계획 및 예산 등에 활용하는가
Download Excel Table

예를 들어, 평가환경은 평가제도가 법제도적 근거를 명확히 갖고 있는지, 평가목표가 구체적으로 설정되어 있는지, 평가추진체계가 적정하게 구성되어 있는지 등을 기준으로 비교한다. 평가투입은 평가 시기 및 기간, 인력 및 예산, 조직, 수원국 및 이해관계자 참여 등을 세부 기준으로 설정하여 분석한다. 평가과정은 평가방법, 평가자료 등을 적절하게 활용하였는지 여부와 평가수행절차 수립 시 이해관계자 의견수렴 여부에 대해 비교한다. 끝으로 평가결과 및 활용은 평가결과 공유와 평가결과 환류 등을 분석한다.

본 연구의 연구방법론은 다음과 같다. 우리나라 ODA 국별평가의 현황을 파악하기 위해서 기존에 수행한 국별평가 중에서 15개 국별평가보고서를 선정하여 분석하였다.5) 또한 ODA 평가업무 주무부처 및 관계기관의 담당자와 국제개발협력 전문가 등을 대상을 심층 인터뷰를 실시하였다. 실제 국별평가에 참여한 평가전문가들에 대한 반구조화된(semi-structured) 인터뷰를 실시하여 국별평가 운영실태와 관련된 쟁점과 이를 개선하기 위한 방향 등을 파악하였다. 인터뷰 대상은 총 17명으로 국별평가 업무를 담당하고 있는 중앙부처 및 시행기관 담당자, ODA 국별평가를 실시한 경험이 있는 평가전문가, 국제개발협력 및 평가분야 전문가, ODA 관련 시민사회 및 현장의 전문가 등을 누적표본추출 방식으로 선정하였다. 2018.3. 12.∼6.29까지 심층인터뷰를 통해서 국가 단위 원조 전략 수립과 추진과정에서 애로점, 실제 국별평가 수행 시 평가과정에서의 경험과 문제점 등에 대해 질문하였다.

해외사례 분석을 위한 조사 대상은 일본, 영국, 독일, 아시아개발은행 등으로 선정하였다. 비교대상은 유상원조와 무상원조 등과 관련된 ODA 추진체계와 평가와 관련된 추진체계의 두 가지 특징을 고려하여 선정하였다. 한국은 유상원조와 무상원조가 분리되어 있고, 이를 국제개발협력위원회를 통해 총괄조정하며, 평가는 각 시행기관들이 자체적으로 실시한다. 일본은 유무상 원조기관이 분리되어 있다가 최근 JICA로 통합되었고, 시행기관이 자체적으로 평가를 하되 제3자 평가기관을 선정하여 평가한다. 영국은 유무상을 통합하여 주무부처인 국제개발협력부(DFID)가 주도하며 시행기관이 자체적으로 평가하되 의회에 독립적인 평가위원회(ICAI)를 설치하여 평가를 체계적으로 실시하고자 노력하고 있다. 독일은 유무상 시행기관과 별도의 개발협력전담부처(BMZ)가 있고, 이를 종합적으로 평가하기 위해 최근 평가전담기관(DEval)을 설치하였다. 국제기구 중에서는 다자은행들의 추진체계와 평가체계가 대체로 유사한데, 기관 내에 독립적 조직으로 평가부서(Independent Evaluation Division)을 운영하여 독립성을 철저하게 보장한다. 따라서 다자은행의 국별평가에 대한 상세한 연구를 위해서 아시아 국가들을 대상으로 사업을 수행하고 있는 아시아개발은행(ADB) 등을 사례 연구대상으로 삼았다. 이는 한국이 주로 원조를 제공하는 지역이 아시아에 집중되어 있으므로 유의미한 정책적 시사점 도출을 위한 목적도 있었다.

해외사례 연구를 위해서 먼저 각 기관이 보유하고 있는 국별평가 보고서와 국별평가 매뉴얼 등의 문헌 자료를 검토하였다.6) 이후 주요 공여기관을 방문하여 실제 운영현황에 대해 인터뷰를 실시하였다. 현지조사 대상국 및 대상기관은 일본과 아시아개발은행(ADB)으로 선정하였다. 최근 일본은 원조사업의 책무성을 강조하면서 ODA에 대한 평가를 강화하고 있는데, 일본 외무성 관계자 및 국제개발협력 평가전문가 면담을 통해서 국별평가 현황에 대해 파악하였다. 또한, 국제기구 중 아시아 국가들을 대상으로 사업을 수행하고 있으며, 독립적 평가체계가 구축된 아시아개발은행(ADB)을 방문하여 독립평가부서(IED)의 국별평가 전문가를 면담하여 국별평가 제도 개요 및 평가조직 운영현황 등을 파악하였다(<표 2> 참조).

표 2. 비교분석 대상 및 조사방법
한국 일본 영국 독일 아시아개발은행
원조추진체계 유무상 분리 유무상 통합 유무상 통합 유무상 분리 유무상 통합
평가추진체계 시행기관 자체평가 (제3자 위탁) 시행기관 자체평가 (제3자 위탁) 부처내 평가부서, 독립평가위원회 (ICAI) 독립 평가기관 (DEval) 기관 내 독립평가부서 (IED)
조사방법 문헌연구 (국별평가보고서 및 평가지침) 인터뷰 문헌연구 (국별평가보고서 및 평가지침) 인터뷰 문헌연구 (국별평가보고서 및 평가지침) 문헌연구 (국별평가보고서 및 평가지침) 문헌연구 (국별평가보고서 및 평가지침) 인터뷰
Download Excel Table

Ⅲ. ODA 국별평가 비교분석

1. 평가환경

평가환경 요소는 평가제도가 법제도 및 지침에 근거하여 구비되어 있는지, 평가기획 항목에서 평가목표를 국가협력전략과 연계하여 명확하게 설정하고 있는지, 평가추진체계 항목에서 명확한 추진체계를 갖추고, 참여기관간의 역할이 적정하게 설정되었는지를 비교분석하였다.

1) 평가제도

평가제도는 법제도적 근거가 명확하게 갖춰지고 평가지침 등이 구비되어 있는지 여부를 비교한다. 우리나라의 국별평가는 국제개발협력법과 통합평가지침(6조) 등에 의해 실시되고 있어 법적 근거는 갖추어졌다고 할 수 있다. 하지만 평가종류별로 평가대상과 평가방법 등에 대한 차별화된 규정이나 지침이 필요하지만, 이에 대한 상세한 내용을 제시하지는 않는다. 국별평가를 시행해야 하는 주체나 국별평가의 주기나 시행시기 등에 대해서는 별도의 규정으로 제도화되지 않았기 때문에 국제개발협력위원회 평가소위의 결정에 따라 대상국가 및 평가 시기 등을 결정하여 국별평가를 실시하고 있다.

일본은 2003년 개정된 ODA 헌장(ODA Charter)에서부터 객관적이고 전문적인 평가를 강조하였으며(MOFA, 2003:7), 2015년 개정된 개발협력헌장(Development Cooperation Charter)에서 국별평가를 비롯하여 ODA 평가의 중요성을 다시 한 번 강조하였다(MOFA, 2015:12). 또한, 외무성은 2003년부터 ODA 평가가이드라인을 발간하고 있는데, 최근 개정판으로 2016년에 발간한 평가지침에서 국별평가에 대한 평가목적, 평가기준, 평가방법 등 세부적으로 필요한 사항에 대해 상세하게 설명하고 있다(MOFA, 2016:17-33).

영국은 2001년부터 국가별 전략에 대한 검토 및 평가(Country and Regional Strategy Reviews)를 실시해 왔다. 이는 사업운영부서나 지역사무소에서 직접 전략 수행결과에 대해 평가하는 것이었다(DFID, 2004:29). 이와 별도로 평가부서에서 독립적으로 2003년 3개 국가에 대해 국별프로그램평가(Country Programme Evaluation)을 시범 실시하였고(DFID, 2004), 이후 국별평가와 관련된 가이드라인에 근거하여 매년 5∼6개의 국별평가를 실시하고 있다(DFID, 2009).

독일은 별도의 개발협력전담부처가 있고, 이를 시행하기 위해 유상원조 및 무상원조 전담 시행기관이 분리되어 있다. 이러한 한계를 극복하기 위해 최근 별도의 평가전담조직인독일개발협력평가연구소(DEval)를 설립하였고, 이 기관에서 국별평가를 실시하고 있다.

아시아개발은행(ADB)은 보통 5년 주기의 국가별 협력전략(CPS)을 운영하고 있는데, 국별평가는 두 종류로 나눠 실시하고 있다. 해당 국가에서 협력전략에 따라 실시한 프로그램에 대해 총괄적으로 평가하는 국별 프로그램 평가(Country Assistance Programme Evaluation, 이하 CAPE)는 독립평가부서(IED)에서 실시하고, 국별전략의 운용 전반에 대해서는 사업운영부서에서 자체평가로서 국가협력전략 최종평가(Country Partnership Strategy Final Review, 이하 CPSFR)를 실시한다. 국별평가의 대상과 시기 등은 ADB 이사회 산하 개발효과성위원회(Development Effectiveness Committee)의 결정에 따라 실시한다.7) 또한, 국별평가를 실시하기 위한 상세한 절차와 방법론 등은 지침서를 제정하여 운영하고 있다(ADB, 2015). 2006년 제정된 국별평가 매뉴얼을 2010년 1차 개정, 2015년 2차 개정 등으로 통해 수정하면서 가이드라인에 따라 표준화된 방법론을 준용하여 객관적으로 평가를 실시하도록 하였다.8)

우리나라를 비롯하여 비교분석의 대상으로 한 해외 주요 공여기관 모두 법제도 및 지침에 근거하여 국별평가를 실시하고 있다. 한국은 국제개발협력기본법, 일본은 ODA 헌장, 영국, 독일, ADB 등은 기관 내부의 지침 등에 근거하여 국별평가를 실시하고 있다.

2) 평가기획

평가기획 항목은 국가협력전략을 평가목표에 반영하고, 평가대상과 범위를 명확하게 설정하였는지를 비교하였다. 우리나라에서 실시한 15개의 기존의 국별평가들을 살펴본 결과, 평가별로 각 평가연구의 목적과 평가 매트릭스 등은 잘 제시하고 있었지만, 근본적으로 국별평가를 실시하는 목적에 대해서는 아직 공통적으로 합의된 바가 없는 것으로 분석되었다. 국별평가와 분야별, 주제별 평가의 차이점에 대한 구분이 없었고, 국가단위의 개발 효과성에 대한 심층적인 분석을 하기보다는 대표적인 사업들에 대해서만 점검하는 차원에 그치고 있다는 지적이 있었다.9)

한편, 각 공여기관들은 국별평가의 목표는 국가협력전략의 유효성과 실효성을 높이기 위한 것으로 명확하게 설정하고 실시하고 있다. 일본은 수원국의 발전에 기여한 정도를 살펴보는 개발의 관점과 일본의 국익에 증진하였는지의 여부를 살펴보는 외교적 관점에서 평가항목을 살펴보고 있다(MOFA, 2016:28). ODA 정책을 외교정책의 수단임과 동시에 무역, 국내산업 육성, 지방개발 등 국가 정책의 측면에서 종합적으로 평가하려는 의도라 할 수 있다. 특히 2018년 이루어진 ODA평가 가이드라인에서는 외교적인 측면이 더욱 깊은 논의를 통해서 평가 방법 및 지표에 관한 개편이 이루어졌다.10)

영국 역시 5년 주기로 국가별로 실행한 사업들의 포트폴리오를 점검하고 향후 전략 및 사업계획에 필요한 교훈을 도출하기 위해 새로운 국별전략을 수립하기 1년 전에 국가사무소 등이 참여한 가운데 국별평가를 실시하고 있다(DFID, 2009). DFID 국별프로그램 운용자체에 대한 효율성(internal performance)과 수원국에 미친 영향력으로써 개발효과성(development effectiveness)을 평가하는 것이 국별평가의 목적이다(DFID, 2007a).

ADB의 경우, 국가협력전략이 종료되는 주기에 맞춰 국별평가를 실시하고 있으며, 국별평가를 통해 해당 국가에서 이루어진 국가별 원조사업의 성과에 대해 독립적인 평가결과를 확인하고, 이를 바탕으로 다음 국가협력전략 수립을 위한 교훈 및 제언을 도출하는 것을 목적으로 하고 있다(ADB, 2015:4). 국별평가가 없으면 다음 차수의 국가협력전략이 이사회 승인이 되지 않는다고 말할 정도로 평가의 목적을 명확히 설정하고 엄격하게 시행하고 있다.11) 또한 ADB는 공여기관으로서 지향하는 바를 주제별 평가(thematic)로 점검한다. 예를 들어, 포용적 성장, 환경·지속가능한 성장, 지역개발, 지식전수, 민간부문 개발, 젠더 등 ADB가 중요하게 생각하는 기관 차원의 전략적 방향이 국별전략 및 그에 따른 사업을 통해 잘 집행되었는지를 평가한다.12)

따라서 다른 나라의 사례와 비교해 볼 때, 우리나라는 국별평가의 목표에 대해 보다 명확하게 재설정할 필요가 있다.

3) 평가추진체계

평가추진체계 항목에 대해서는 평가를 실시하는 주관기관을 비롯하여 추진체계가 구성되어 있고, 그 안에서 역할과 권한이 명확하게 설정되었는지 등에 대해 비교하였다. 2012년부터 국가협력전략을 시행된 이후 유무상 시행기관에서 국별평가를 더 이상 실시하지 않고 국제개발협력위원회 평가소위에서 국별평가를 실시하고 있다. 그러나 국별전략의 수립, 집행 및 평가 등 전반적인 과정에서 각 기관들이 긴밀하게 협력해야 함에도 불구하고 전략 수립, 집행, 평가를 담당하는 기관들이 각각 분리되어 있어서 일관성이 부족하고, 총괄적으로 책임지는 기관이 없다는 의견이 있었다.13)

한편, 일본의 경우, 외무성령인 외무성 조직규칙에 근거하여 개별 프로젝트 및 프로그램에 대한 평가는 집행기구인 JICA에서 실시하며, 정책레벨(ODA 정책 및 국별원조방침 등) 및 프로그램 레벨(섹터별, 형태별)의 평가는 외무성에 실시한다. 국별평가는 외무성의 주관 하에 제3자 평가를 통해 평가의 투명성과 객관성을 제고하고 있다(MOFA, 2017:6). 특히 외무성 장관 직속기관이자 독립된 부서로서 설치된 ODA 평가실에서 국별평가를 담당함으로써(MOFA, 2016:3), 일본의 외교전략 및 ODA 정책에 국별평가의 결과가 반영될 수 있는 구조를 확보하고 있었다. 하지만 독립적인 구조는 갖추도 있지만 평가결과가 실질적으로 사업운영부서를 견제하는 것에는 한계가 있다는 의견도 있었다.14)

영국은 국제개발협력부(DFID)의 평가부서(Evaluation Department)에서 직접 국별평가를 실시한다. 평가부서는 ‘연구 및 증거 부서(Research and Evidence Division)’에 속해 있는데, 이는 기본적으로 평가결과를 정책결정에 활용하기 위한 목적에서 부서가 편재되어 있는 것이다. 평가에 대한 전략적인 결정을 내리는 ‘평가 및 증거 전략 그룹(Evaluation and Evidence Strategy Group)’이 주요한 평가의 방향성을 결정하고, 이는 다시 그 상위의 투자위원회(Investment Committee)에 평가결과를 보고하여 중요한 재정배분의 원칙으로 삼고 있었다. 영국의 평가결과는 부처 차원의 이사회(Departmental Board)뿐만 아니라, 의회에 속한 독립적인 위원회인 ICAI(Independent Commission for Aid Impact)에 보고되어 부처 및 국가적 차원에서 전략적 의사결정을 내릴 때 근거자료로 활용되도록 하고 있다(DFID, 2014a: 8).

독일은 ODA 평가체계가 정책일관성이 낮고 분절화로 인해 전략적인 차원의 평가가 이루어지지 않다는 지적을 바탕으로 2012년 독일개발평가연구소(DEval)를 설립하였다. 또한, 평가에 참여하는 기관들의 역할을 구분되어 있다. 예를 들어, 기술협력을 담당하는 통합기관인 국제협력공사(GIZ)는 기술협력 관련 프로젝트 사업의 평가를 담당하고, 기관차원의 전략에 대해서도 평가한다. 유상원조를 담당하는 독일재건은행(KfW)은 프로젝트 평가 위주로 실시하며 주제별 평가, 범분야 평가를 실시하기도 한다(OECD, 2016:132). 반면, 독일개발평가연구소는 전략적인 차원에서 범분야 주제(cross-cutting issue) 및 국별평가, 섹터평가, 전략 및 정책평가 등을 담당하고 있다(국제개발협력위원회 평가소위원회, 2018: 26).

ADB 역시 독립적인 평가부서인 IED(Independent Evaluation Division)를 ADB 총재 직속으로 편재하고, 국별평가를 비롯한 평가 결과는 이사회에 직접 보고하도록 하여 진행상황을 점검할 뿐만 아니라 전략적 의사결정의 근거로 삼고 있었다.15)

요약하자면 우리나라는 국제개발협력위원회 산하 평가소위원회에서 국별평가를 결정하고, 외부 연구기관에 위탁하여 실시하고 있다. 이는 외무성의 책임하에 제3자 기관을 선정하는 일본과 유사하다. 독일은 별도의 평가전담기관을 설치하였다. 반면, 영국과 ADB는 내부의 전담 평가조직에서 국별평가를 직접 실시하거나, 전담 평가조직의 책임 하에 제 3자 기관을 선정하여 실시한다는 차이점이 있다(<표 3> 참조).

표 3. 각국의 국별평가 관련 평가환경 요소 비교
한국 일본 영국 독일 ADB
평가 제도 ▪ 국제개발협력법과 통합평가지침(6조) 근거하여 운영 ▪ 2015년 개정 개발협력대강 (Development Cooperation Charter)에 근거하여 운영 ▪ 국별평가 가이드라인 근거하여 매년 5∼6개의 국별평가를 실시 ▪ 개발평가연구소(DEval) 설립하여 국별평가 가이드라인에 따라 평가 ▪ 이사회 및 개발효과성위원회 결정에 근거하여 국별평가 가이드라인에 근거하여 실시
평가 기획 ▪ 수원국 국가협력전략 전반 및 사업들을 점검하기 위한 목적 ▪ 수원국의 발전에 기여하고, 일본의 국익에 기여한 정도를 살펴보기 위해 평가 ▪ 국별프로그램의 효율성과 개발효과성을 평가. 사업들의 포트폴리오를 점검하고 향후 전략 및 사업계획에 필요한 교훈도출 ▪ 수원국에서 진행한 개발협력사업 총체적 평가 후 차기 전략 포트폴리오 작성 시 반영하려는 목표 ▪ 국가협력전략이 종료되는 주기에 맞춰 성과확인 및 다음 국가협력전략의 새로운 방향성을 설정
평가 추진 체계 ▪ 국제개발협력위원회 의결로 실시 ▪ 외무성 ODA 평가실-장관 직속기관 독립부서(제3자 평가방식) ▪ DFID 평가부서(Evaluation Department) ▪ 독일개발평가연구소(DEval) ▪ 독립평가부서 IED (Independent Evaluation Division)
Download Excel Table
2. 평가투입

평가투입 요소는 평가시기 및 기간을 적정하게 설정하였는지, 평가인력 및 예산을 충분히 확보하여 운영하는지, 평가조직을 공정하고 효율적으로 구성하였는지, 수원국 및 이해관계자 참여를 충분히 보장하였는지 등을 비교하였다.

1) 평가 시기 및 기간

평가투입 요소로서 먼저 평가 시기 및 주기가 적정하게 설정되었는지, 그 기간은 충분한지 등을 비교하였다. 우리나라의 국별평가는 그 시기 및 기간에 대해 명확한 규정이나 표준적인 기준에 의해 시행되고 있지는 않다. 2012년 이전에 각 기관별로 국별평가를 실시할 당시에 KOICA는 매 5년을 평가주기로 설정한 바 있으며, 수출입은행에서 실시한 국별평가에서 규정화된 주기가 없었다(KOICA, 2016; 재정경제부·한국수출입은행, 2007). 2012년 이후 국제개발협력위원회 평가소위의 결정에 의해 국별평가를 실시하고 있으나, 평가를 몇 년 단위로 실시할 것인지에 대한 기준이나 국별평가를 실시하는 데 들어가는 평가기간에 대한 기준은 파악하기 어려웠다.

해외사례를 평가주기 측면에서 보면 일본은 과거 5년간 상위수원국 중에서 국별평가를 실시하고 있지만, 최소한 5년에 한 번씩은 국별평가를 실시할 수 있도록 평가대상을 설정하여 운영하고 있었다. 영국 역시 5년 단위로 국가별 협력전략을 운영하고, 이에 맞춰 매년 5∼6개의 국별평가를 실시하고 있다. ADB는 국가협력전략이 5년 단위로 시행되고 있기 때문에 국별평가도 5년 단위로 실시하고 있었다. 운영부서에서 실시하는 자체평가인 국가협력전략 최종평가(CPSFR)는 반드시 5년에 한 번씩 하도록 하고 있었으며, 종합적인 국별 프로그램 평가(CAPE)의 경우 2개 내지 3개의 CPS를 실시하고 난 이후, 즉 10년에 한 번씩 독립적인 종합평가를 실시하고 있다.

평가기간의 경우, 국별평가에 소요되는 기간은 일본 8∼9개월, 영국 1년, ADB 1년 등으로 편차가 존재하지만, 개별 프로젝트보다 비교적 장기간에 걸친 평가를 실시하고 있다. ADB는 종합적인 국별평가인 CAPE(Country Assistance Program Evaluation)의 경우 1년에 걸쳐 평가를 하는데, 준비기간까지 포함하면 약 1년 6개월 정도 평가가 진행된다, 운영부서에 실시하는 자체평가인 국가협력전략 최종평가(Country Partnership Strategy Final Review)는 5개월 내외에 걸쳐 평가를 하고 있었다(ADB, 2015: 12).

2) 평가인력 및 예산

평가인력은 적절한 전문성을 갖춘 인력이 충분하게 투입되었는지, 평가를 수행하기 위한 예산은 충분한지를 비교한다. 기존에 수행한 국별평가를 살펴보면, 투입인력에 대한 기준이나 규정이 없는 가운데 평가예산의 범위 내에서 연구진을 구성하여 운영하였다. 기존의 15개 국별평가를 분석한 결과, 연구진은 3명에서 9명까지 평가예산 규모에 따라 다양하게 나타났고, 평균 4.7명의 인력이 투입되었다. 국별 평가예산의 경우, 평가범위가 방대함에도 불구하고 일반적인 사업 평가예산과 유사한 수준(4천∼5천만 원)으로 책정되어 평가를 충실히 수행하기 어렵다는 의견이 있었다.16)

해외사례의 경우, 국별평가의 예산규모는 공여국 혹은 국제기구별로 다르기 때문에 일률적으로 적용할 수 있는 적정한 예산규모를 산출하기는 어렵다. 하지만 대체로 국별평가를 위해 우리나라보다 큰 규모의 예산을 할당하고 있다. 일본은 1,500만 엔으로 설정하여 우리나라 평가예산의 약 3배에 달했다. 영국은 간단한 종합평가의 경우 약 10만 달러, 복잡한 영향평가까지 포함하는 경우 약 50만 달러의 예산이 투입되었다(DFID, 2004:36). 특히, ADB의 경우 IED가 실시하는 종합적 국별 프로그램 평가(CAPE)를 위해 약 20만 달러(2018년 환율 기준 약 2억 2천만 원)에서 최대 약 40만 달러(약 4억 5천만 원)을 집행하고 있고, 사업운영부서에서 실시하는 국가협력전략 최종평가(CPSFR)에도 약 10만 달러(약 1억 1천만 원) 투입하고 있다.17)

평가인력 규모의 경우, 일본은 평가책임자 외에 평가국가나 평가분야에 대한 전문가를 자문위원으로 선정하고, 실제 평가를 수행하는 3∼5명의 컨설턴트 등 총 5∼7명으로 평가인력을 구성한다. 외교부에서 평가팀을 관리하되 영국은 4∼6명으로 평가인력을 구성한다. ADB는 국별 프로그램 평가(CAPE)는 6∼12명으로 평가팀을 구성한다,18) 예를 들어 가이드라인에서 전문인력의 구성과 역할에 대해 제시하고 있는데, 평가를 총괄하는 팀 리더 1명과 섹터별 평가를 수행하는 4∼6명의 팀원이 있으며, 국가 사무소에서 현지 직원 1명과 행정보조원 1명 등이 참여하도록 명시되어 있다(ADB, 2015:5).

3) 평가조직

평가조직의 적절성 측면에서 평가팀을 효율적이고 중립적으로 구성하는지에 대해 비교하였다. 우리나라의 국별평가는 제3자 기관을 선정하여 국별평가를 실시하고 있는데, 주무부처나 시행기관 내에 국별평가만을 관리하는 별도의 평가전문 인력이 있지는 않다.

일본의 경우, 우리나라와 유사하게 외무성의 주관 하에 제3자 기관에 평가를 의뢰한다. 평가기관의 독립성을 확보하기 위해 노력하는 한편, 현지 조사 이전에 외무성 및 JICA 관계자와 검토회를 실시하여 평가대상 및 방법을 결정한다(MOFA, 2016). 독일은 2014년 신설된 개발협력평가연구소(DEval)에서 실시하기도 하지만, 그 이전에는 외부의 전문적인 평가연구팀에 위임하여 평가를 실시한 바 있다(DEval, 2014).

영국의 DFID는 평가부서(Evaluation Department, EvD)에서 국별평가를 수행하는 독립적인 평가팀을 관리한다. 평가팀은 평가와 개발분야에 대해 역량을 갖춘 4∼6명의 독립적인 전문가들이 실시한다. 협력국가에 대한 평가를 실질적으로 진행하기 위해서 해당 국가 언어 가능한 전문가를 반드시 포함하도록 하며, 현지에서 자문위원을 1명 이상 포함하도록 한다(DFID, 2009). 분야 전문성이나 기술적인 전문성은 외부 전문가의 도움을 받더라도 평가의 전반적인 방향과 방법론 등의 주요 사항을 결정하는 것은 조직 내부의 직원들이 제시할 때 양질의 평가가 가능하다는 점에서 영국의 사례를 주목할 필요가 있다(DFID, 2014b).

ADB는 IED 직원이 책임자로 평가팀을 이끌고, 평가 및 분야 전문가, 국가 전문가 등을 고용하여 평가팀을 구성한다. 평가팀 1명이 10개월간 풀타임으로 국별평가를 총괄하고, 해당 국별평가가 수행되는 기간 중에 4∼6명의 팀원이 파트타임으로 4개월간 섹터 평가를 수행, 행정보조원 1명 10개월 근무하도록 하는 등 투입인력의 역할과 전문성에 대해 지침을 통해 상세하게 규정하고 있다(ADB, 2015).

4) 수원국 및 이해관계자 참여

수원국 및 이해관계자가 평가과정에 적절하게 참여하는지를 비교하였다. 우리나라의 기존 국별평가는 수원국 및 이해관계자가 인터뷰, 설문, 공동워크숍 등의 형식으로 참여하였다. 수원총괄부처는 평가기획 단계에서 참여한다기보다는 평가과정에서 제한적으로 참여한다고 볼 수 있다. 또한, 현지 인력은 평가와 관련된 행정업무를 지원하는 평가보조자로 참여하였다. 수원국 내의 다른 공여기관이나 국제기구를 방문하여 이해관계자들의 의견을 청취하기도 하나, 평가과정에서 협력하여 공동평가를 실시하는 경우는 없었다.

일본은 수원국, 타 공여국 정부 및 기관 관계자, 국제기구, 시민사회 등과 함께 평가하는 것으로 언급하고 있으나(JICA, 2003:7), 실제로는 현지 조사 시 수원국 관계기관의 의견을 듣는 방식으로 수원국이 참여하고 있어 우리나라와 유사한 점이 있었다.19) 하지만 일본은 국별평가를 공동평가 방식으로 실시하는 등의 시도를 통해 수원국이 평가기획 단계에서부터 참여하는 기회를 확대하고 있다(Tanaka, 2018).

영국은 착수조사를 3주 정도 실시하면서 DFID의 해외 공관직원들이 평가기획단계에 참여하여 평가목표와 대상을 결정하는 데 관여한다. 또한, 평가단에 현지 자문위원을 포함시켜서 현장방문을 계획하도록 하며, 현장방문 중에 수원국의 정부, 다자기구, 기타 공여기관의 파트너들과 인터뷰를 실시한다(DFID, 2009).

독일의 경우, 아프가니스탄에서 실시한 국별평가의 사례를 보면 독일뿐만 아니라 다른 나라가 실시한 전략 수준의 평가를 비교분석하고, 공여국 간에 공유하는 회의 등에 참여하면서 수원국 내 다른 기관의 이해관계자들과 협력하기도 한다(DEval, 2014:28).

ADB는 국별평가 보고서 작성 중에 수원국 정부, 수혜집단, 다자기관 및 양자기관, NGO, 민간부문 등 주요 이해관계자 등을 대상으로 인식조사를 실시하여 그 결과와 제안사항 등을 국별평가에 별도로 포함시킨다(ADB, 2015:9). 또한, 평가과정에서 해당 국가의 현지 전문가를 고용하여 수원국 관계부처 및 이해관계자 회의 등을 개최하여 ADB의 사업 운영에 대한 의견을 청취한다.20)

다른 공여기관들의 사례에 비교해 볼 때 평가 투입요소 중에 특히 수원국 및 이해관계자 참여에 있어서는 우리나라는 보다 많은 개선이 필요하다고 볼 수 있다(<표 4> 참조).

표 4. 각국의 국별평가 관련 평가투입 요소 비교
한국 일본 영국 독일 ADB
평가 시기 및 기간 ▪ 과거 시행기관 별 평가 시 KOICA는 매 5년 단위 실시
▪ 최근 국별평가에 대해서는 시기나 주기에 대한 규정 없음
▪ 4∼7개월
▪ 최소한 5년에 한 번씩은 국별평가를 실시할 수 있도록 평가대상을 설정
▪ 매년 3∼4건 정도의 평가가 진행
▪ 8∼9개월
▪ 5년 단위로 국가별 협력전략을 운영하고 이에 맞춰 국별평가 실시
▪ 1년
- ▪ 자체평가 CPSFR은 5년 단위로 실시
▪ 종합평가인 CAPE는 10년 내외 주기로 실시
▪ CAPE 1년(최소 8∼최대 1년 6개월)
▪ CPSFR 5개월
평가 인력 및 예산 ▪ 인력 규모 및 전문성에 대해 별도 규정이 없음
▪ 평가인력은 평균 4.7명
▪ 국별평가와 일반평가 예산 차이가 크지 않음
▪ 평가주임, 컨설턴트, 자문위원 등 5∼7인
▪ 평균적으로 건당 1,500만엔 정도
▪ DFID의 평가부서(Evaluation Department, EvD)에서 관리하되 4∼6명의 분야 및 지역 전문가 투입
▪ 최소 10만 달러∼최대 50만 달러
- ▪ CAPE는 6∼12명 평가팀 구성
▪ 분야 전문가, 현지전문가 투입에 대해 지침을 통해 상세규정
▪ 약 10만 달러(1억 1천만 원)∼약 40만 달러(4억 5천만 원)
평가 조직 ▪ 제3자 기관 위탁 ▪ 제3자 기관에 입찰을 통해 평가용역기관을 선정하여 외부 평가 실시 ▪ DFID의 평가부서(Evaluation Department, EvD) 중심으로 독립적인 전문가 구성 ▪ 독일개발평가연구소
▪ 외부 대학 연구팀 위임
▪ 독립평가부서(IED) 중심으로 평가단 구성
▪ 분야 및 지역 전문가 컨설턴트 고용
수원국 및 이해 관계자 참여 ▪ 설문, 인터뷰, 공동워크숍 형식으로 참여
▪ 현지전문가는 평가보조자로 제한적 참여
▪ 현지조사 시 인터뷰 등으로 평가 참여
▪ 수원국 공동평가 시도
▪ 현지 자문위원을 통한 현장방문 계획 수립 및 현장방문 시 이해관계자 인터뷰 실시 ▪ 협력국가 내에서 타 공여기관과 협의 ▪ 수원국 정부, 수혜집단, 다자기관 및 양자기관, NGO, 민간부문 등 주요 이해관계자 등과 협의

주) 평가투입요소에 대한 독일사례는 자료접근성 제한으로 인해 비교하지 못함.

Download Excel Table
3. 평가과정

평가과정은 평가방법과 평가지표를 제대로 구성하였는지, 특히 현지조사를 충실하게 수행하였는지, 평가자료를 충분히 확보하여 평가하였는지, 평가절차 수립 시 협의를 충분히 하였는지 등을 비교하였다.

1) 평가방법

먼저 평가방법에 대해서는 OECD/DAC의 5대 평가기준을 반영하였는지 적절한 평가방법과 평가지표를 구성하였는지, 현지조사를 어떻게 수행하는지 등을 비교하였다. 기존의 우리나라 국별평가들은 비록 명확한 지침이나 공통의 기준이 없는 상태에서 연구자들이 각각의 평가목표 달성을 위해서 주로 OECD/DAC의 5대 평가기준인 적절성, 효과성, 효율성, 영향력, 지속가능성을 활용하되, 인터뷰, 현장방문, 설문조사, 2차 문헌자료 활용 등 다양한 방법론을 활용하고 있었다.

일본은 평가의 주요 항목을 ‘개발의 관점’과 ‘외교의 관점’ 두 가지로 구분한다. 개발의 관점에서 평가할 때는 OECD/DAC의 5개 평가기준인 등을 골고루 적용하여, 정책의 타당성, 결과의 유효성, 과정의 적절성 등을 평가한다. 2011년부터 외교의 관점에서 평가를 신설하여 외교적 중요성과 외교적인 파급효과 등을 평가하고 있는 점은 다른 나라에서 볼 수 없는 독특한 것이다. 외교적 관점의 평가를 위해서 정량적 자료 이외에도 정성적 평가방법을 활용하여 양국 관계에 기여, 수원국 국민들의 인식 변화, 경제적 효과 등을 별도로 평가하고 있다(MOFA, 2016:25-28).

영국은 OECD/DAC 5대 기준을 활용한 국별평가 매트릭스를 제정하여 이에 따라 국별평가를 실시한다. 다만 국가별 특수성과 평가대상 사업 등을 고려하여 세부적인 평가질문은 연구팀이 수정하여 사용한다(DFID, 2007a).

독일이 실시한 아프가니스탄 국별평가의 경우 기존 평가에 대한 재평가를 하는 메타평가방식으로 실시하였다. 먼저 기존의 프로젝트 단위 평가보고서를 메타평가한다. 또한, 국별평가에 대해 메타평가를 실시한다. 끝으로 각 평가보고서 제언에 대한 평가를 하였다(DEval, 2014).

ADB의 경우, 국가협력전략의 효과적 집행 여부를 다각적으로 검토하기 위해 분야별 평가, 주제별 평가를 혼합하여 평가방법을 활용하고 있다(ADB, 2017a:5). ADB 관계자 인터뷰 결과, OECD/DAC 5대 기준은 기본적인 체크리스트로 준용하여 점검하고, 그보다 더 심화된 평가방법론은 국가별 상황에 맞춰 평가팀에서 결정해서 사용하고 있었다. 예를 들어 주요 분야(섹터)에 대한 평가, 그리고 주제(thematic) 평가를 교차하여 진행하거나 직접 수혜자 대상 별도의 평가 실시하기도 한다. 예전에는 평가팀에 따라 개별적으로 방법론을 사용했지만, 최근에는 평가의 객관성과 공정성을 확보하기 위해 표준화된 가이드라인을 신설하여 평가방법의 통일성을 도모하고 있다.21)

요컨대 평가방법과 관련하여 평가기준은 국제규범인 OECD/DAC 평가지표를 준용하지만, 각 공여국 및 공여기관의 원조철학과 수원국 국가협력전략(CPS)에 기초하여 기준을 설정하여 실시하고 있다는 점을 알 수 있다.

현지조사에 대해서도 각 국가별로 차이가 있었다. 우리나라 기존의 국별평가들도 다 실시하였지만, 대표적인 사업지를 한 두 곳 방문하는 것으로 대체하였고, 현지조사 기간은 7일에서 10일 이내로 진행하였다.

일본은 현지조사 운영체계가 우리나라와 유사하게 10일 이내로 상대적으로 짧은 편이다(あずさ監査法人, 2017:8). 그러나 현지조사 이전에 평가팀이 외무성 ODA 평가실과 현지조사를 위한 일정조율과 검토회의를 2회 개최하여 조사계획을 공동으로 수립한다. 현지조사에서는 일본 정부관계자(MOFA, JICA), 수원국 정부관계자, 타 공여국, 현지 NGO 등을 방문하여 조사를 실시한다(MOFA, 2016:19).

영국의 경우는 국별평가를 위해 1주일의 착수방문을 실시하여 현지 공관관계자들과 평가목표 및 방법을 공유한 뒤 본격적인 평가를 위해서 착수 1개월 후 3∼6명의 평가위원단이 3주 정도의 현지조사를 실시한다. 현지조사 결과는 현지공관 및 수원국 관계자와 반드시 공유한 뒤 현지조사를 마무리하도록 한다(DFID, 2009).

ADB는 종합적 국별 프로그램 평가(CAPE)를 실시할 때는 평가팀 리더가 수행하는 현지조사 2∼3회와 각 섹터 평가 팀원이 수행하는 현지조사 1회를 실시한다. 해당 국가의 전문가를 고용하여 현지 이해관계자 회의, 관계부처 회의 등을 개최하여 수원국 현지의 상황을 반영하도록 한다. 뿐만 아니라 해당 국가에서 중요한 섹터나 사업에 대해서는 수혜자들을 대상으로 한 조사를 국별평가 내에서 별도로 실시하기도 한다. 예를 들어, 인도의 국별평가 당시에는 교통분야에서 해당 지역의 주민들을 대상으로 이중차분법(Difference in Difference) 방식으로 수혜자 조사를 실시하였다(ADB, 2017b:12-13).22)

요약하면 우리나라는 국별평가를 위한 방법론을 전적으로 외부 연구기관의 역량에 의존하는 반면, 다른 나라들은 기본적인 평가방법론에 대한 지침을 준수하되 연구팀의 상황에 맞게 운영하고 있다. 또한, 현지조사의 경우 우리나라보다 더 긴 시간과 현지 전문인력을 투입하고 있다는 차이점이 있다.

2) 평가자료

평가자료 항목에서는 평가자료를 충분히 제공하는지 평가자료 접근이 용이한지 등을 비교하였다. 우리나라의 기존 국별평가들은 관계 기관의 협조를 얻어 사업과 관련된 자료들을 제공받는다. 실태조사 인터뷰 당시 국별평가에 참여한 전문가들은 과거의 자료들이 DB로 구축되어 있지 않아 접근이 어려웠고, 시행기관에서 제공하는 자료에 의존할 수밖에 없었다는 문제점을 지적하였다.23)

영국 역시 평가를 실시하는 DFID의 평가부서에서 평가단에게 제공한다는 점에서는 우리와 유사하다. 하지만 전략, 사업정보, 수원국에 관한 정보자료로 구성된 방대한 양의 증거자료를 각 평가단에 제공하고, 실제 평가에 들어가기 전에 이를 숙지하게 한다는 점에서는 차이가 있다(DFID, 2009).

독일의 아프가니스탄 국별평가 사례를 보면, 자료 접근성의 제한을 방지하기 위해서 각 사업의 자료를 데이터베이스로 구축하고 있다. 아프가니스탄에서 활동하는 독일의 여러 원조관련 부처들과 각 시행기관 등 약 40개의 기관들이 있는데 이들이 규칙적으로 데이터베이스에 정보를 제공한다. 사업 진행현황에 대한 기본적인 데이터를 입력함으로써 프로젝트의 집행현황을 모니터링하고 산출(output)에 대한 정보를 손쉽게 취합할 수 있는 체계를 갖추고 있다. 독일개발협력공사(GIZ)가 책임기관으로서 온라인 DB를 활용하여 아프가니스탄에서 활동하는 정부부처와 시행기관들의 활동을 종합하여 반년 주기로 아프가니스탄 경과보고서를 하원에 제출하기 위한 데이터를 생성한다(DEval, 2014:24). 우리나라도 독일과 유사하게 유무상 원조 주무부처가 분리되어 있고, 국가별로 많은 시행기관이 참여하고 있으므로 이에 관한 정보를 통합 관리하는 독일사례에서 시사점을 얻을 수 있다.

3) 평가수행절차

평가수행절차에 대해서는 평가절차를 구성할 때 관계기관의 의견수렴을 충분히 하는지 등에 대해 국가별 사례를 비교하였다. 우리나라의 기존 국별평가 15개 중 10개 보고서에서 국내외 이해관계자와 소통을 통해 평가절차를 수립하였고, 논의 내용에 대해서도 기술하고 있다.

일본은 평가절차를 수립하기 위해 외무성 ODA 평가실 담당자와 계획을 수립하고, 외무부 주도로 2회 이상 평가계획에 대한 검토회의를 실시한다. 또한, 본격적인 조사 이전에 먼저 국내 조사를 사전에 실시하여 외무성, JICA, 국제기구 전문가 등과 인터뷰를 통해 평가방법 등을 설정하는 등 평가절차에 이해관계자 의견을 수렴한다.

독일은 평가전담기관인 DEval에서 무상원조 시행기관인 국제협력공사(GIZ)와 유상원조 시행기관인 독일재건은행(KfW) 등에 프로젝트 수준의 평가자료를 모두 제공하도록 요청하여 평가계획을 수립한다. 이 과정에서 평가에 대한 협의를 실시한다.

영국의 경우, 분권화된 평가모델(decentralised model)이라고 자평하는데, 평가의 기본적인 전략과 기준 등은 본부에서 결정하지만, 평가의 세부 계획이나 방법은 사업을 운영하는 부서나 지역사무소의 의견을 반영하여 최종 결정한다(DFID, 2009). 현지 착수조사를 통해서 평가목적, 운영방식을 공유하고, 해외/지역 직원들이 평가에서 다루었으면 하는 핵심질문들을 제시하도록 한다. 또한, 평가 프레임워크를 작성하면 해외공관이 승인하도록 한다.

ADB의 종합적 국별 프로그램 평가(CAPE)의 경우에도 평가 착수보고와 평가계획 수립 시 해당 국가를 담당하는 본부의 지역담당 부서의 의견과 해당 국가사무소의 의견을 반드시 청취하여 세부사항을 결정한다. 평가방법론, 평가 기간 및 평가대상이나 평가범위에 대해 협의하여 평가부서와 운영부서가 합의한 뒤 평가를 실시한다(ADB, 2015:3-4, ADB IED 관계자 B 인터뷰, 인터뷰 일시: 2017.7.11.).

우리나라의 국별평가를 해외 공여기관들의 국별평가와 비교한 결과, 실제 사업을 시행하는 시행기관들의 국가별 사무소와 보다 긴밀한 협조관계를 유지하면서 국가협력전략 실행과정에 참여한 기관들의 의견을 바탕으로 평가계획을 수립하고, 평가절차를 구성하려는 노력이 필요하다는 점을 알 수 있다(<표 5> 참조).

표 5. 각국의 국별평가 관련 평가과정 요소 비교
한국 일본 영국 독일 ADB
평가 방법 ▪ OECD/DAC 5대 기준 활용
▪ 평가자에 따라 설문조사, 인터뷰, 현장조사 등 평가방법을 다양하게 활용
▪ 평가기준이나 방법에 대한 일관됨 지침은 없음
▪ 7∼10일 이내 현지조사 실시
▪ OECD/DAC 5대 기준 준용
▪ 개발의 관점에서 정책의 타당성, 결과의 유효성, 과정의 적절성 평가
▪ 외교적 관점에서 외교적인 중요성, 외교적 파급효과등 평가
▪ 현지 조시기간은 약 10일 내외
▪ OECD/DAC 5대 평가 기준으로 표준적인 평가 매트릭스
▪ 세부기준들은 개별연구에 맞게 조정
▪ 1주일 착수조사 1개월 후 3∼6명의 평가위원단이 3주간 현지조사 진행
▪ 프로젝트 단위의 사업평가자료를 활용하여 메타평가 실시
▪ 현지에서 사업운영하는 기관 및 이해관계자 인터뷰 실시
▪ DAC 5대 평가기준 활용하여 표준 프레임 워크 준수
▪ 심화된 평가방법론이나 평가기준은 각 평가팀에서 결정하여 다양한 방법론을 활용
▪ 현지조사는 2∼3회 실시
평가 자료 ▪ 평가대상 시행기관이 제공하는 문헌자료 활용
▪ 현지조사를 통해 자료 수집
▪ 정부기관이 제공하는 자료 및 현지조사를 통해 자료 수집 ▪ DFID의 평가부서는 전략, 사업정보, 수원국에 관한 정보자료로 구성된 방대한 양의 증거자료를 평가단에 제공 ▪ 각 기관의 원조사업 자료를 온라인 DB 관리
▪ GIZ 사무소가 M &E 부서를 운영하여 모니터링 체계를 담당
▪ 전략, 정책에 대한 문서 및 사업운영부서의 사업자료 활용
▪ 평가계획에 따라 자료 수집
평가 절차 ▪ 국내 사전준비 및 조사-평가설계-데이터 수집-데이터 분석-보고 등 단계로 진행
▪ 국내외 이해관계자와 소통
▪ 평가팀과 외무성 ODA 평가실의 일정조율을 마친 후 2번의 검토회를 개최하여 현지조사 계획 공유 ▪ 착수조사를 통해서 현지 사무소 의견 반영한 평가 프레임워크를 작성하고 해외공관이 승인 ▪ DEval에서 관계기관에 자료협조요청하여 평가 실시 ▪ 평가의 대상과 내용은 각 지역사무소와 ADB 전략정책 담당부서와 협의
▪ 운영부서의 의견을 청취하여 평가 세부사항에 대해 합의
Download Excel Table
4. 평가결과 및 활용

평가결과 및 활용은 평가결과를 공개하고, 수원국과 공유하는지의 여부, 평가결과를 차기 전략과 사업에 환류하는지 여부 등을 비교하였다.

1) 평가결과

먼저 평가결과 공개 여부와 공개범위가 적정한지 여부, 그리고 수원국과 평가결과를 공유하는지 여부 등에 대해 비교하였다. 우리나라의 기존 국별평가는 KOICA, 수출입은행 홈페이지와 ODA KOREA 홈페이지를 통해 공개된다. 그러나 공개범위가 보고서별로 차이가 있는데, 상세자료나 참고자료는 공개되지 않으며, 요약보고서만 공개되는 경우가 있었다.

평가결과에 대한 정보는 대부분의 공여기관들이 공개하고 있지만, 국별평가에 관한 정보에 접근하는 것은 용이한 일이 아니다. 예를 들어 영국의 경우, 평가는 영국 정부부처 홈페이지 공개원칙에 의해 Development Tracker 및 Gov.UK 웹사이트에 공개되고 있다.24) 하지만 그 접근성에 있어서는 다소 한계가 있는데, 국별평가의 경우 특정한 평가가 존재하는지 여부를 알고 검색해야 쉽게 자료를 찾을 수 있다.

한편, 국별평가 정보를 제공하는 주요대상을 누구로 설정하느냐도 중요하다. 일본은 주요한 평가대상을 수원국 국민이나 타 공여국 관계자로 설정하지 않고, ODA 재원을 제공하는 납세자 즉 일본국민으로 설정하고 있다. 국민에 대한 책무성을 높이기 위해 전문용어보다 알기 쉬운 표현을 사용하고 시각적인 효과를 높일 것을 권고하고 있다(MOFA, 2016:8). 하지만 일본어로 된 보고서는 상세내용을 제공하고 있지만 영어로 된 보고서는 요약본만 제공되고 있다.

또한, 수원국과 결과를 공유하는 절차와 관련하여, 우리나라는 국별평가 이후 수원국에 공식적으로 평가결과를 공유하는 절차를 수립하고 있지 않았다. 일본의 경우, 재외공관을 통해서 평가결과를 전달하고, 외무성 홈페이지를 통해서 공개한다.25) 영국 역시 평가결과를 현지공관을 통해서 적시에 전달하고, 보고서 최종 출판 이전에 현지공관에서는 조사결과에 대해 오류가 있는지 여부 등을 검토한다(DFID, 2009). 독일의 경우 아프가니스탄에서 활동하는 다른 공여기관 및 국제기구와 서로 평가내용을 공유하고, 교훈을 학습하기 위한 워크숍을 개최하기도 하였다(DEval, 2014).

ADB는 국제기구이므로 수원국의 이해관계자와 일반 대중과 정보공유를 중요하게 본다. 예를 들어 보고서 초안을 작성한 후 7단계에 거쳐 단계별로 공여기관의 담당자와 수원국 주요 부처 그리고 현지의 이해관계자들과 공람하여 내용을 조정한다. 특히 7단계 중 5단계에서 수원국 정부와 공동 회의를 개최하여 평가결과를 공유하고 제언사항을 도출한다. 독립평가부서(IED)에서 별도로 수원국의 관계부처와 회의 등을 통해 ADB 사업의 운영과정에 대한 수원국의 의견을 청취한다. 또한, 평가보고서 본문뿐만 아니라, 평가의 후속조치에 대해서도 홈페이지를 통해 공개하고 있다(ADB, 2012:19).

우리나라와 일본, 독일은 자국민을 대상으로 한 정보공개는 많은 반면, 수원국을 대상으로 한 정보공개는 많지 않다는 특징이 있다. 영국과 ADB 등은 일반 대중을 대상으로 정보를 최대한 많이 공개한다는 점에서 우리나라와 차이가 있다. 또한, 일본, 영국, 독일, ADB는 수원국 이해관계자와의 결과공유 절차를 별도로 갖고 있다는 점에서 우리나라와 차이가 있다.

2) 평가결과 환류

국별평가의 가장 궁극적인 목적은 평가결과를 향후 국가단위의 원조전략 및 프로그램과 관련 정책에 환류시키는 것에 있다. 평가결과 환류의 적정성은 각국이 환류체계를 구축하고, 나아가 실제 차기 국가협력전략 수립이나 차년도 사업계획 수립 시 반영하는지에 대해 비교하였다.

우리나라의 기존 국별평가는 ODA 통합평가체계에 따라 평가결과를 평가소위에 보고하여 반영계획을 수립하도록 하고 있다. 그러나 1기 국가협력전략 종료 이후 시범평가를 실시하였으나, 2기 국가협력전략 수립시 평가의 교훈을 반영하여 새로운 전략을 수립한 것은 아니었다. 형식적 체계는 갖추고 있지만 국별평가를 차기 국가협력전략이나 차년도 사업계획에 반영하려는 실질적인 노력에는 개선이 필요하다고 볼 수 있다.

일본의 경우, 국별평가결과의 정보공개와 국가협력전략 수립의 연계를 강조하며 단계별 절차를 수립하여 운영하고 있다. 1단계로 ODA 평가보고회를 통해 국별평가의 결과를 공표한다. 2단계로 국별평가에서 제언한 내용을 원조기관뿐만 아니라, 재외공관, 관계 기관과 대응책을 협의하고, ODA 평가 보고서에 기재한다. 3단계, 국별평가 결과 및 대응책을 반영한 국별개발협력방침을 새롭게 수립한다. 마지막 4단계로, 위의 모든 과정을 다음 연도 ODA 평가보고서에 정리하고 있다. 이러한 과정은 2년에 걸쳐 이루어지고 있다(MOFA, 2016:9). 하지만 외무성 평가담당자와 전문가 인터뷰 결과, 실제로 연 3회 검토회를 열고 평가대상 기관들이 보고서 초안에 대해 격렬한 비판과 논쟁을 벌이기도 한다. 평가결과를 외교부 국제협력국, JICA 등에 전달하고 대응책을 마련하도록 하고 있지만 실제 이후 이것이 집행으로까지 이어졌는지 여부까지는 강제하거나 추적하고 있지는 않다.26) 평가의 목적으로 국민에 대한 책무성을 더욱 강조하기 때문에 실제 프로젝트 개선으로 이어지는 데는 한계가 있다는 의견도 있었다.27)

영국은 평가 결과를 바탕으로 차후 사업의 전략 및 예산 결정에 반영되도록 하고 있다. 국별평가를 실시한 이후 이와 관련된 사업운영부서가 핵심적인 조사내용, 결론 및 제언에 대해 동의하는지 여부를 밝히고, 그 이유를 작성하도록 한다. 또한, 국별평가의 교훈을 어떻게 반영할 것인지에 대해 응답(management response)하고, 동의한 제언은 반영계획을 밝히고, 현실적 제약으로 반영이 어려운 제언에 대해서는 그 사유를 밝힌다(DFID, 2007b).

독일은 2007년 이래 아프가니스탄에서 실시한 원조사업의 장기적 영향과 전략 포트폴리오에 대해 평가하고, 이에 근거하여 2014∼2017 아프가니스탄 국가협력전략 수립에 반영하였다.

ADB의 경우는 평가 결과를 공유하기 위해 별도의 내부 정보시스템(Management Action Record System)을 운영하고 있다. 실제 평가결과를 반영할 수 있도록 본부의 지역부서 담당자를 데이터 관리 담당자로 지정하여 평가결과의 제언을 정책화한 비율, 그 정책의 실제 집행율 등을 구체적으로 관리하고 있다(ADB IED 관계자 A, B 인터뷰, 인터뷰 일시: 2017. 7.11.). 또한 평가연보를 통해서 평가결과가 실제 정책이나 프로그램에 반영된 비율을 별도로 관리하며, 대중에게도 공개되는 Lessons database를 운영하여 주제별, 국가별 보고서를 공개하여 향후 평가를 수행할 경우 이를 참고하도록 한다(ADB, 2012:19).

요컨대 평가결과, 환류체계에 있어서 실제 개선상황을 추적하도록 의무화하고 있다는 점에서 우리나라와 해외 공여기관들의 차이가 크다는 점을 알 수 있다(<표 6> 참조).

표 6. 각국의 국별평가 관련 평가결과 및 활용 요소 비교
한국 일본 영국 독일 ADB
평가 결과 ▪ 시행기관 홈페이지, ODA KOREA 홈페이지 등을 통해 공개(한글본)
▪ 일부 보고서는 요약본만 제공
▪ 공식적인 수원국과의 공유절차는 없음
▪ 외교부가 공개, 평가 연차보고서 별도 공개
▪ 일본어 원문/요약본, 영문 요약본
▪ 재외공관 통해 전달하고 수원국과 공유
▪ 모든 DFID 평가보고서는 Development Tracker 및 Gov. UK 외부웹사이트에 공개
▪ 해외공관을 통해 현지조사결과 1차 보고
▪ 공관을 통해 최종결과보고서 공유
▪ DEval 평가결과서를 공개
▪ 주요본문은 독일어, 요약문 영어로 제공
▪ 수원국 내 다른 공여기관과 결과 공유
▪ ADB 및 IED 홈페이지를 통해 일반 대중에게 공개
▪ 수원국 공유절차 7단계로 운영. 수원국 정부와 공동 회의를 개최하여 평가결과를 공유하고 제언사항을 도출
평가 결과 환류 ▪ DA 통합평가체계에 따라 기본적인 환류체계는 구축됨
▪ 기 CPS는 시범평가 실시하였으나 그 결과를 2기 CPS 수립에 반영하지는 못함
▪ 가결과 환류를 위한 가이드라인에 따라 환류 계획 수립 및 점검 ▪ FID 평가에는 담당자가 공식적인 관리자 답변을 달아야 함
▪ 심 조사내용, 결론 및 제언에 대한 의견 및 조치계획을 기록하도록 함
▪ 가 결과를 차기 국가협력전략 수립에 반영 ▪ 가결과를 환류하기 위해 평가정보화시스템을 운영
▪ 담당 직원이 환류 계획 및 실행조치 업데이트
▪ 가결과 반영비율을 별도로 관리
Download Excel Table
5. 종합분석

본 연구는 메타평가의 분석틀을 활용하여 평가환경, 평가투입, 평가과정, 평가결과 및 활용 등으로 구분하여 한국과 다른 나라들을 비교분석하였다. 분석결과를 종합하여 <표 7>에서 제시하였다.

표 7. 분석결과 종합
요소 세부 항목 한국 일본 영국 독일 ADB
평가 환경 평가제도 법적 근거 있음 법적 근거 있음 지침 근거 있음 지침 근거 있음 지침 근거 있음
평가기획 목표 미합의 목표 명확 (전략에 반영) 목표 명확 (전략에 반영) 목표 명확 (전략에 반영) 목표 명확 (전략에 반영)
평가추진체계 국제개발협력위원회, 시행기관 간 협력 미흡 외무부 중심 개발협력전담부처 중심 독립평가기관 중심. 시행기관과 협력 독립평가부서 중심. 사업부서와 협력
평가 투입 평가시기 및 기간 일관된 기준 없음 4∼7개월 5년 주기 8∼9개월 5년 주기 1년 5년 주기 5∼10년 주기 1년∼1년 6개월
평가인력 및 예산 5명 내외 5천만 원 내외 5∼6명 1,500만 엔 4∼6명 10만$∼50만$ 6∼12명 10만$∼40만$
평가조직 제3자 위탁 인력관련 지침 미비 제3자 선정 독립평가팀 분야, 지역전문가 독립평가기관 독립평가부서, 분야, 지역전문가 지침으로 규정
수원국 및 이해관계자 참여 제한적 참여 제한적 참여 수원국과 공동평가 도입 현지공관 중심으로 수원국 참여 수원국 이해관계자 협의 수원국 이해관계자 의견 적극청취
평가 과정 평가방법 OECD/DAC 5대 기준 표준방법론 미비 현지조사 1회 7일 OECD/DAC 5대 기준, 개발 및 외교적 관점 추가 현지조사 1회 10일 OECD/DAC의 5대 평가 기준 표준 평가매트릭스, 구체적 방법론 추가 현지조사 2회, 4주 OECD/DAC의 5대 기준 활용 메타평가 OECD/DAC의 5대 평가 기준, 고급 방법론 추가 현지조사 2∼3회 이상
평가자료 정부기관 자료제공, 불충분 정부기관 자료제공 평가부서에 평가단에 방대한 자료전달 사업자료 온라인 DB 활용 사업운영부서 에서 필요한 자료 전달
평가수행절차 별도 이해관계자 협의 절차 미비 조사 전 이해관계자간 절차 협의 현지공관 중심 이해관계자간 절차 협의 평가전담기관 중심 이해관계자 절차 협의 지역사무소, 운영부서와 절차 협의
평가 결과 및 활용 평가결과 결과 일부 공개, 수원국 공유 미비 결과 공개 수원국 공유 결과 적극 공개 수원국 공유 결과 공개 결과 적극 공개 수원국 공유
평가결과 환류 환류체계는 있으나 반영하지 않음 환류체계 있음 반영여부 공표 제언 반영여부 반드시 응답 차기 국가협력전략 반영 평가제언 반영 및 추적관리
Download Excel Table

평가환경 요소 중 한국은 평가제도의 법적근거는 있으나, 다른 나라에 비해 볼 때 평가추진체계 측면에서 국별평가를 위한 독립된 평가전담부서나 기관이 없다는 점이 다르다. ADB 등은 부처나 기관 내에 별도의 독립적인 평가부서가 있어서 국별평가를 주도하였다. 일본도 최근 외무부 내에 독립성을 강조한 ‘과’ 단위 평가부서를 신설하여 국별평가를 실시하고 있다. 독일은 여러 시행기관들이 나눠서 운영되는 점을 보완하기 위해 별도의 평가전담기관을 신설하여 국별평가를 실시하고 있다.

이처럼 평가를 독립적으로 전담하는 추진체계가 미비한 점이 다른 평가요소인 평가투입, 평가과정의 문제점과도 연결될 수 있다. 국별평가를 주도적으로 전담하는 기관이 없다보니 평가투입 요소 중 평가시기 및 기간, 평가예산, 평가인력 및 조직 등이 표준화되지 않고, 제3자 위탁기관의 재량에 따라 달라지게 되는 것이다.

예를 들어 평가투입 측면에서는 다른 나라들은 평가시기 및 기간을 국가협력전략에 맞춰 5년 내지 10년으로 실시하고 있는데 반해서 우리나라는 일관된 기준이 없이 운영되고 있었다. 평가기간 역시 다른 나라들이 1년 내외로 다소 길게 국별평가를 실시하는 반면, 한국은 프로젝트 단위의 평가기간과 차별점 없이 4 내지 7개월 단위로 운영되었다. 평가예산의 경우, 일본, 영국, ADB 등은 10만 달러에서 최대 50만 달러 규모로 국별평가를 실시하지만 우리나라는 국별평가라고 해서 추가로 예산을 배정하는 것이 아니라, 다른 평가연구의 예산과 비슷하게 5천만 원 내외의 예산으로 운영하고 있었다. 수원국 및 이해관계자의 경우, 한국은 제한적 참여, 보조적 역할을 하는 반면에 영국, ADB 등은 현지 재외공관이나 현지 평가과정 요소 중 평가방법과 관련하여 한국은 다른 나라들에 비해서 현지조사를 강화할 필요가 있는 것으로 보인다. 다른 기관들은 2∼3회 이상 장기간 현지조사를 실시하는 반면, 한국은 1회, 7일 이내의 현지조사만을 실시하고 있어 개선이 필요하다. 평가자료의 경우에도 사업별로 자료가 충분히 축적되어 있어야 내실 있는 평가가 가능하지만, 다른 나라에 비해 자 료가 충분하지 못하고, 접근성도 제한적으로 분석되었다. 평가수행절차에 대해서도 수원국 및 이해관계자들과 협의하여 진행하고, 특히 현지 재외공관을 중심으로 협의를 진행하는 타 국가 사례에 비해 한국은 시행기관 간의 협의나 수원국 정부, 수원국 내 이해관계자와의 협의가 부족하였다.

평가결과 공개는 영국, ADB 등은 적극적으로 공개하는데 반해서 한국, 일본, 독일은 일부 자료만 공개하고 있었다. 일본, 독일은 자국어로 된 보고서는 전체공개, 영어보고서는 일부 공개하는데 반해 한국은 영어보고서를 공개하지 않아 수원국과 결과공유가 미비하였다. 실제로 다른 나라들은 수원국과 공유절차를 제도적으로 보장하고, 현지 재외공관을 중심으로 결과를 수원국 정부와 공유하는 데 반해서 우리나라는 수원국과 공유절차가 제도화되어 있지 않고 실제 공유하는 사례도 미비하였다.

평가결과를 차기 국가협력전략에 환류하는 절차는 모든 나라들이 갖추고 있지만, 실제 평가결과가 차기 국가협력전략에 반영되거나, 사업과 예산에 반영되는지 여부는 국가별로 달랐다. 영국, ADB 등은 평가결과 및 제언이 반영되는지 여부를 추적관리할 정도로 평가결과의 환류를 강조하였다. 일본도 형식적으로는 평가결과, 환류체계가 잘 갖춰져 있고 환류계획을 잘 수립하기는 하지만 실제 강제적으로 이행하고 추적관리하는 것까지는 이뤄지지 않았다. 반면, 한국은 평가결과를 국내 시행기관 간에 공유하여 사업이나 예산에 반영하거나, 이후 차기 국가협력전략에 반영하는 것이 제대로 이뤄지지 않는 것으로 드러났다.

그런데 이와 같은 현상이 나타나는 것은 평가환경 요소 중에서 국별평가의 목적을 명확히 합의하여 시행하지 못하는 것과도 관련이 있다. 평가환경 요소 중 평가목표를 명확히 설정하였는지 여부를 비교분석한 결과, 다른 나라들은 국가협력전략의 이행 여부와 전략 수정을 위해서 국별평가를 실시하는 반면, 우리나라는 평가목표가 뚜렷하지 않다는 문제점이 있었다. 이로 인해 국별평가 결과를 차후 전략에 반영하도록 환류가 제대로 일어나지 않는 문제점이 발생하는 것이다.

Ⅳ. 결론: 정책적 시사점 및 제언

국제사회의 개발협력 패러다임이 원조효과성에서 개발효과성으로 변화하면서 평가 패러다임 역시 국가를 단위로 하는 평가를 강조하는 추세이다. 그러나 우리나라는 아직 프로젝트 수준의 사업성과 평가에 초점을 맞추고 있는 가운데 최근에서야 비로소 분야별, 주제별 평가 등을 시도하고 있다. 또한, 2010년을 전후하여 국별평가를 실시한 적이 있지만 시행기관의 관심에 따라 원조사업의 총체적 성과를 측정하는 정도에 그쳤다. 이러한 배경에서 본 연구는 국별평가의 현황을 분석하고 이를 해외사례와 비교함으로써 평가체계를 개선하기 위한 시사점과 대안을 도출하고자 하였다. 이를 위해 메타평가 모형을 활용하여 평가환경-평가투입-평가과정-평가결과 및 활용 등 전반적인 평가체계에 대해 일본, 영국, 독일, ADB 사례와 우리나라의 현황을 비교분석하였다.

분석 결과, 특히 평가결과 및 활용 측면에서 우리나라가 다른 공여국에 비해 평가체계 개선의 여지가 큰 것으로 나타났다. 다른 3가지 측면에서는 비록 다른 나라와 차이가 있지만 기본적인 체계는 갖추고 있기 때문이다. 예를 들어, 평가환경 측면에서 다른 나라와 마찬가지로 제도적 기반을 갖추고 있고, 평가투입 측면의 요소들은 자원의 한계로 인력 및 예산이 부족하지만, 이는 전반적인 자원의 한계에서 기인하는 것이다. 평가과정 측면에서도 방법론 및 현지조사, 평가절차 확립 등이 부족하기는 하지만 형식적인 요건은 갖추고 있다. 이에 반해 평가결과를 국내에 공개하고 수원국과 공유하고 궁극적으로 차기 전략이나 사업에 환류하는 체계는 전무하다고 해도 과언이 아니다. 따라서 이하의 결론에서는 메타평가의 각 구성요소별로 대안을 제시하되, 평가결과 및 활용 측면의 제언을 중심으로 정책적 시사점과 대안을 제안하고자 한다.

첫째, 평가환경 요소와 관련하여 국별평가의 목표를 명확히 하는 것이 필요하다. 해외 공여기관들은 국가협력전략에 따라 국별프로그램들이 잘 이행되었는지를 평가하는 것을 국별평가의 목표로 설정하고 있었다. 궁극적으로는 평가결과에 기반하여 차기 국가협력전략을 수립할 때 교훈을 얻고 개선하는 것이 국별평가의 목표라 할 수 있다. 이러한 점을 반영하여 통합평가매뉴얼의 국별평가에 대한 정의와 목표를 개정할 필요가 있다. “국별 평가는 국가협력전략에 따른 국제개발협력 사업의 집행과정 적절성 및 성과의 개발효과성을 종합적으로 평가하는 것을 말한다.”로 명확히 설정할 때, 평가범위와 평가대상 등도 확정할 수 있다.

또한, 평가목표를 명확히 설정하고 이해관계자 간에 공유하기 위해서는 국가협력전략을 수립할 때부터 평가목표와 성과관리방안을 포함하여 전략을 수립하는 것이 필요하다. 이후 전략 이행과정에서는 성과관리방안이 실제 연간 사업계획, 연간 예산운용계획과 연계되어야 하며, 특히 지표를 지속적으로 관리할 수 있도록 모니터링과 평가 프레임워크가 별도로 관리되어야 한다.

둘째, 평가투입 요소와 관련하여 국별평가를 위한 평가기간 확대, 평가예산 현실화 등 평가를 위한 자원을 확충할 필요가 있다. 우리나라는 국별평가라는 방대한 평가를 진행함에도 불구하고, 평균 평가기간이 5개월에 불과하다. 다른 공여기관들은 최소 8개월 내지 1년으로 국별평가를 실시하는 것에 비해서 평가주기가 짧았다. 이는 단년도 예산으로 운영되는 통합평가체계의 구조적인 요인에서 기인한다. 다행히도 2018 년 6월 의결된 통합평가체계 개선방안에 따르면 평가소위의 평가운용절차 개선을 통해 최대 10개월 정도의 평가기간을 확보할 수 있게 되었다. 통합평가체계 개선안의 변화에 발맞추어 국별평가 기간도 8∼9개월 이상 최대 10개월까지 충분히 확보하여 내실 있는 평가가 가능하도록 해야 한다.

또한, 국별평가는 사업별, 분야별 전문가가 포함되어야 하고 현지조사를 위한 경비가 상당액 필요하다는 점에서 예산 부족은 평가의 질 자체를 저하시키는 요인이 될 수 있다. 해외사례 비교결과, 일본은 우리나라 평가예산의 3배 수준, 영국은 2배에서 최대 8배, ADB도 2배에서 최대 9배 수준이었다. 국별평가를 위해 투입해야 하는 적정규모의 예산에 대해서는 실현가능성을 고려하여 결정해야 한다. 위와 같은 제언대로 국별평가를 실시한다고 가정했을 때, 투입인력의 규모, 연구기간 등을 고려하여 향후 국별평가의 내실화와 활용도 제고를 위해서는 우리나라 국별평가 건당 예산 규모를 최소 두 배 이상(약 1억 원)으로 확대할 필요가 있다.

셋째, 평가과정 요소와 관련하여 국별평가에 적용할 수 있는 보편적인 평가프레임워크를 제정할 필요가 있다. 표준적인 평가틀을 만들고 난 뒤 실제 평가를 수행할 때 국가별, 분야와 사업의 특수성 등을 감안하여 평가틀의 구성을 수정할 수는 있다. 예를 들어, 평가는 국가협력전략의 형성과 집행과정 그 결과 등 세 가지로 구분하여 OECD/DAC의 5대 평가기준을 활용하여 평가틀을 구성할 수 있다.

먼저 ‘국가협력전략의 형성’은 적절성 및 일관성을 기준으로 수원국의 개발수요와 한국의 ODA 전략에 부합하는지, 전략이 수원국 내에서 적절하기 위치선정을 했는지 등을 점검한다. 또한 ‘국가협력전략 집행과정’에 대해서는 효율성, 효과성, 적절성을 기준으로 하여 평가할 수 있다. 예산이 제때 지원되었고 최저 비용으로 집행하기 위해 노력하였는지 등 효율성을 평가하고, 집행과정에서 전략의 변화가 필요한 경우는 효과적으로 상황변화에 대응하였는지 등도 평가할 수 있다. 끝으로 ‘국가협력전략의 결과’에 대해 성과가 애초에 목표했던 바를 충분히 달성했는지를 평가한다. 이는 효과성, 지속가능성, 영향력 측면에서 다룬다. 산출물과 성과에 대한 점검뿐만 아니라, 장기적으로 수원국의 발전에 기여하였는지 개발효과성 차원에서 점검한다.

또한, 국별평가를 위한 매뉴얼을 제정하여 단계별 국별평가 절차도 표준화해야 한다. 국별평가를 실시하는 기관들이 제3자 외부기관이라는 점을 고려할 때 평가를 기획하고 실시하며, 종료에 이르는 단계별 절차에 대해 가이드라인을 제시하여 필요한 절차는 공통적으로 수행하도록 해야 한다. 평가기획, 평가실시, 평가종료, 평가결과 심의 및 공표 등 4단계로 구분하여 평가하도록 하되, 국가별, 사업별로 평가실시과정에서 자율성을 가지도록 재량권을 부여한다.

넷째, 평가결과 및 활용 요소와 관련하여 국별평가에서 얻은 교훈을 정책으로 환류시키는 장치를 제도화하려는 노력이 필요하다. 국별평가의 가장 궁극적인 목적은 평가결과를 향후 국가단위 원조전략 및 프로그램에 환류시키는 것이다. 따라서 우리나라에 국별평가를 본격적으로 도입한다면 평가결과를 환류할 수 있도록 정보관리시스템을 통해 지속적으로 추적관찰 해야 한다. 독립적인 평가를 통해 제안한 개선 권고사항에 대해서 ODA 시행기관들은 의견을 제시하거나 혹은 이를 반영하기 위한 개선계획을 수립한다. 이후 이를 실제 이행하고 이행결과 또한 공개하도록 한다. 즉, 평가 연차보고서를 발간하여 국별평가 결과가 차기 국가협력전략에 반영된 비율, 그리고 반영된 정책제언이 실제 집행된 비율 등을 공표할 수 있다. 정보공개를 통해서 관련 부처 및 시행기관들이 평가결과를 환류하려는 노력을 제고할 수 있으리라 기대된다.

국별평가의 활용도를 높이고 평가에서 도출된 교훈이 다른 사업과 차기 국가협력전략에 반영되도록 하기 위해서는 무엇보다 평가종료 단계에서 이해관계자들과 공유하는 것이 필요하다. 특히 수원국과 공유되기 위해서는 평가 최종결과보고서가 나오기 전에 수원국 정부 주요한 이해관계자들과 공식 협의를 통해 정보를 공유할 필요가 있다. 또한, 국가 단위로 평가를 하는 것이므로 협력대상국 내에서 활동하는 국내 부처 및 공공기관들도 평가결과 초안을 검토하도록 하여 필요시 의견을 개진하거나 이후 사업에 반영하도록 할 수 있다. 이처럼 국별평가, 정보공개, 정책환류과정을 연계한다면 원조 투명성을 제고하는데도 기여할 수 있을 것이다. 또한, 국별평가 결과를 국제개발협력위원회에서 진지하게 논의하여 차후 전략 설정 및 차년도 사업예산 배분 등에 반영하기 위해 노력해야 한다.

이상과 같은 정책대안을 제시하였지만 실제로 국별평가의 평가체계를 개선하기 위해서는 ODA 평가와 관련된 전반적인 평가추진체계와 평가환경이 동시에 개선되어야 한다. ODA 정책에 대한 총괄적인 조정권한을 가진 국제개발협력위원회를 지원하는 국무조정실의 평가역량과 평가전문성을 강화해야 할 뿐만 아니라, 주관기관인 외교부와 기획재정부 역시 평가에 대한 역량과 전문성을 어떻게 강화할 것인지에 대한 논의가 전제되어야 한다. 각 국가가 처한 상황이 다르기 때문에 해외사례를 우리나라에 적용할 때 주의가 필요하지만, 유무상이 분리되어 운영되고 있는 독일은 별도의 평가연구기관을 2012년 신설하였고, 일본은 외무성에 평가를 전담하는 ‘과’ 단위 조직을 갖고 있었다는 점을 주목해야 한다. 또한, 평가에 대한 인식과 문화개선도 동반되어야 한다. 무엇보다 평가를 통해 도출된 결과를 유사한 사업에 참고하고, 다음 국가협력전략에 반영하여 개선하도록 하는 학습의 기능이 더욱 중요하다는 점을 인식해야 한다.

본 연구는 국내에서는 평가체계 개선을 위해 메타평가 연구의 분석틀을 활용하여 해외사례와 비교분석을 실시함으로써 향후 ODA 분야, 보다 세부적으로는 국별평가 분야와 관련된 이론적·실천적 논의를 활성화시키는데 기여할 것으로 기대한다. 아직 국내에서 ODA의 메타평가 연구가 초기단계로서 그동안 각 기관들이 수행한 자체평가 결과에 대한 메타평가 연구만 진행되었다. 따라서 본 연구가 제시한 메타평가의 모형이 향후 ODA 정책분야의 메타평가 모형 구성을 위한 이론적 논의의 기초자료가 될 것으로 기대한다. 다만 연구범위의 제한으로 인해서 일본과 ADB를 제외한 영국과 독일 사례는 문헌자료에 의존하여 비교분석을 실시하였다. 후속연구를 통해 1차 자료를 보다 많이 확보하여 균형 잡힌 시각을 보완하는 연구가 필요하다.

Footnote

1) 본 연구는 한국행정연구원 2018년 기본연구과제 <ODA 국별평가제도 개선을 위한 메타평가연구> 중 해외사례 연구 부분을 논문으로 발췌·수정보완한 것이다

2) 본 연구를 수행하는 과정에서 일본 사례조사를 위해 이환성, 강우철의 도움을 받았다. 지면을 빌어 감사를 전한다

4) http://odakorea.go.kr/ODAPage_2012/T02/L03_S04_01.jsp (접속일: 2018.06.05). 수원국을 분석단위로 하는 ‘국가별 원조프로그램 평가’라는 것이 독자들이 이해하기에 보다 용이할 것이다. 그러나 본 논문에서는 우리나라 정부가 공식적으로 사용하는 용어인 ‘국별평가’로 통일하여 사용하고자 한다.

5) 메타평가 대상은 총 15개의 국별평가보고서이다. 국무총리 소속 국제개발협력위원회가 수행한 캄보디아(국제개발협력위원회 평가소위원회, 2011), 미얀마(서울대학교 산학협력단, 2015) 국별평가, KOICA가 수행한 과테말라(한국국제협력단, 2008a), 탄자니아(한국국제협력단, 2008b), 베트남(한국국제협력단, 2009a), 인도네시아(한국국제협력단, 2009b), 우즈베키스탄(한국국제협력단, 2010a), 이집트(한국국제협력단, 2010b), 필리핀(한국국제협력단, 2010c), 파라과이(한국국제협력단, 2012) 국별평가, EDCF가 수행한 베트남(한국수출입은행, 2010), 인도네시아(한국수출입은행, 2011), 방글라데시(한국수출입은행 경협평가팀, 2012), 필리핀(한국수출입은행 경협평가팀, 2013) 국별평가, 대외경제정책연구원에서 수행한 스리랑카(강인수 외, 2014) 국별평가 등을 평가대상으로 하였다.

6) 독일의 경우 영어로 작성된 자료가 제한적이어서 독일 개발평가연구소(DEval)가 최근 실시한 아프가니스탄 국별평가 사례를 참고하였다. 이로 인해 독일 사례는 모든 항목에 대해 분석하지는 못하고 평가 추진체계를 비롯하여 자료접근이 가능한 일부 항목에 대해서만 비교하였다. 이는 본 연구의 한계로써 후속연구 과제로 남겨둔다.

7) ADB IED 관계자 A 인터뷰, 인터뷰 일시: 2018.7.11.

8) ADB IED 관계자 B 인터뷰, 인터뷰 일시: 2018.7.11.

9) 면접자 8, 인터뷰 일시: 2018.6.14.

10) 일본 평가 전문가 C, 인터뷰 일시: 2018.7.10.

11) ADB IED 관계자 A 인터뷰, 인터뷰 일시: 2018.7.11.

12) ADB IED 관계자 B 인터뷰, 인터뷰 일시: 2018.7.11.

13) 면접자 7, 인터뷰 일시: 2018.6.14.

14) 일본 평가전문가 B 인터뷰, 인터뷰 일시: 2018.7.9.

15) ADB(n.d.b) https://www.adb.org/site/evaluation/ied (접속일: 2018.6.5.)

16) 면접자 5, 인터뷰 일시: 2018.6.29.

17) ADB IED 관계자 A 인터뷰, 인터뷰 일시: 2018.7.11.

18) ADB IED 관계자 A 인터뷰, 인터뷰 일시: 2018.7.11.

19) 일본 외무성 평가전문가 A 인터뷰, 인터뷰 일시: 2018.7.9.

20) ADB IED 관계자 B 인터뷰, 인터뷰 일시: 2018.7.11.

21) ADB IED 관계자 B 인터뷰, 인터뷰 일시: 2018.7.11.

22) ADB IED 관계자 B 인터뷰, 인터뷰 일시: 2018.7.11.

23) 면접자 16, 인터뷰 일시: 2018.5.21.

24) 영국 DFID(n.d.a)(https://www.gov.uk/government/organisations/department-for-international-development)(접속일: 2018.7.15.), 영국 DFID 원조정보 공개 사이트(n.d.b)(https://devtracker.dfid.gov.uk/)(접속일 2018.11.19.).

25) 일본 외무성 평가전문가 A 인터뷰, 인터뷰 일시: 2018.7.9.

26) 일본 외무성 평가담당자 A, 인터뷰 일시: 2018.7.9.

27) 일본 평가 전문가 C, 인터뷰 일시: 2018.7.10.

References/참고문헌

1.

강경재. (2013). 국가협력전략과 결과평가 틀 개선방안. 성남: 한국국제협력단.

2.

강인수, 이호생, 송유철. (2014). 스리랑카 국가협력전략(CPS) 이행 증진을 통한 원조효과성 제고방안 연구. ODA 정책연구 14-01. 세종: 대외경제정책연구원.

3.

국제개발협력 평가소위원회. (2011). 캄보디아 ODA 지원 종합 평가결과. 세종: 국제개발협력 평가소위원회.

4.

국제개발협력 평가소위원회. (2015). 베트남 동티모르 종료평가. 세종: 국제개발협력 평가소위원회.

5.

국제개발협력위원회 평가소위원회. (2018). ODA 통합평가체계 개선방안(안). 국제개발협력 평가소위원회.

6.

김세원, 김종섭, 이은석. (2014). 볼리비아의 국가협력전략(CPS) 이행 증진을 통한 원조효과성 제고방안 연구. ODA 정책연구 14-02. 세종: 대외경제정책연구원.

7.

노화준. (2007). 정책평가론: 프로그램성과와 정책혁신의 효과 평가(제4판). 파주: 법문사.

8.

서울대학교 산학협력단. (2015). 미얀마 ODA 사업 종합평가. 서울: 서울대학교 산학협력단.

9.

이환성. (2010). 복권기금사업 메타평가에 관한 연구: 자체평가의 상위평가와 사업 재평가를 중심으로. 한국행정연구, 19(2), 39-63.

10.

정지선, 오태현. (2013). ODA 국별 성과관리체제 및 평가방법에 관한 연구. 세종: 대외경제정책연구원.

11.

정홍상, 하혜수, 김부철 (2013). 메타 평가 모형 개발에 대한 시론적 논의. 한국행정논집, 25(2), 455-479.

12.

재정경제부・한국수출입은행. (2007). 대외경제협력기금 20년사. 서울: 한국수출입은행.

13.

한국국제협력단. (2008a). 과테말라 지원사업 국별평가 보고서. 성남: 한국국제협력단.

14.

한국국제협력단. (2008b). 탄자니아 지원사업 국별평가 보고서. 성남: 한국국제협력단 사업평가실.

15.

한국국제협력단. (2009a). 베트남 국별지원전략 및 지원사업 평가결과보고서. 성남: 한국국제협력단.

16.

한국국제협력단. (2009b). 인도네시아 국가지원전략 및 지원사업 종합평가. 성남: 한국국제협력단.

17.

한국국제협력단. (2010a). 우즈베키스탄 국별지원전략 및 지원사업 종합평가. 성남: 한국국제협력단.

18.

한국국제협력단. (2010b). 이집트 국별지원전략 및 지원사업 종합평가. 성남: 한국국제협력단.

19.

한국국제협력단. (2010c). 필리핀 국별지원전략 및 지원사업 종합평가. 성남: 한국국제협력단 사업평가실.

20.

한국국제협력단. (2012). CPS 성과관리를 위한 국별 평가방안 연구: 시범국-파라과이. 성남: 한국국제협력단.

21.

한국국제협력단. (2016). 2016 KOICA 평가연보. 성남: 한국국제협력단.

22.

한국수출입은행. (2010). EDCF 베트남 국별지원 종합평가 보고서. 서울: 한국수출입은행.

23.

한국수출입은행. (2011). 인도네시아 국가지원전략 및 지원사업 평가. 서울: 한국수출입은행.

24.

한국수출입은행 경협평가팀. (2012). 방글라데시 국별평가보고서. 서울: 한국수출입은행.

25.

한국수출입은행 경협평가팀. (2013). 필리핀 국별평가 보고서. 서울: 한국수출입은행.

26.

ADB. (n.d.a) Country Assistance Program Evaluations (CAPE). Retrieved from https://www.adb.org/documents/series/country-assistance-program-evaluations

27.

ADB. (n.d.b). Independent Evaluation Department. Retrieved from https://www.adb.org/site/evaluation/ied

28.

ADB [Asian Development Bank]. (2012). Introduction to ADB’s management action record system (MARS) and lessons database. Mandaluyong, Philippines: ADB.

29.

ADB. (2015). Guidelines for the preparation of country assistance program evaluations and country partnership strategy final review validations. Mandaluyong, Philippines: ADB.

30.

ADB. (2017a). Country assistance program evaluation for India (2007-2015) (Presentation). Mandaluyong, Philippines: ADB.

31.

ADB. (2017b). Country assistance program evaluation for India (2007-2015). Mandaluyong, Philippines: ADB.

32.

ADB. (2018). Annual evaluation review. The quality of project design and preparation for efficiency and sustainability. Mandaluyong, Philippines: ADB.

33.

Cracknell, B. E. (2000). Evaluating development aid: Issues, problems and solutions. Sri Lanka Journal of Social Science, 23(1-2), 67-71.

34.

DEval. (2014). Report: A review of evaluative work of German development cooperation in Afghanistan. Bonn, Germany: German Institute for Development Evaluation.

35.

DFID. (n.d.a). Department for International Developmen. Retrieved from https://www.gov.uk/government/organisations/department-for-international-development

36.

DFID. (n.d.b). Development tracker. Retrieved from https://devtracker.dfid.gov.uk/

37.

DFID [Department for International Development]. (2004). Evaluation of DFID country programmes synthesis report. London, UK: DFID.

38.

DFID. (2007a). Evaluation of DFID country programmes country study: Indonesia final report (Evaluation report EV680). London, UK: DFID.

39.

DFID. (2007b). Evaluation of DFID country programmes: Indonesia, 2000-2006. (EVSUM EV680). London, UK: DFID.

40.

DFID. (2009). Evaluation of DFID country programmes: Cambodia. (Evaluation Report EV703). London, UK: DFID.

41.

DFID. (2014a). DFID evaluation strategy 2014-2019. London, UK: DFID.

42.

DFID. (2014b). Rapid review of embedding evaluation in UK department for international development. London, UK: DFID.

43.

Larson, R. C., & Berliner, L. (1983). On evaluating evaluations. Policy Science, 16(2), 147-163.

44.

JICA [Japan International Cooperation Agency]. (2003). 事業評価年次報告書. Tokyo, Japan: JICA

45.

MOFA [Ministry of Foreign Affairs]. (2003). 政府開発援助大綱. Tokyo, Japan: MOFA.

46.

MOFA. (2015). Cabinet decision on the development cooperation charter. Tokyo, Japan: MOFA.

47.

MOFA. (2016). ODA評価ガイドライン第10版. Tokyo, Japan: MOFA.

48.

MOFA. (2017). ODA評価年次報告書 2017. Tokyo, Japan: MOFA.

49.

OECD. (1999). Evaluating country programmes. Development Assistance Committee. Paris: OECD Publishing.

50.

OECD. (2016). Evaluation systems in development cooperation: 2016 Review. Paris: OECD.

51.

Tanaka, Y. (2018). Joint evaluation making evaluation work at the country level, presentation at 2018 Asian Evaluation Week Conference, 10-14 September 2018, Chengdu, China.

52.

UNDP [United Nations Development Programme]. (2016). Challenges and opportunities for country programme evaluations use in UNDP. New York, NY: UNDP.

53.

あずさ監査法人. (2017). タンザニア国別評価(第三者評価). Tokyo, Japan: 外務省.