메타평가 모형을 활용한 ODA 국별평가 비교분석 연구¹⁾²⁾

평가제도는 법제도적 근거가 명확하게 갖춰지고 평가지침 등이 구비되어 있는지 여부를 비교한다. 우리나라의 국별평가는 국제개발협력법과 통합평가지침(6조) 등에 의해 실시되고 있어 법적 근거는 갖추어졌다고 할 수 있다. 하지만 평가종류별로 평가대상과 평가방법 등에 대한 차별화된 규정이나 지침이 필요하지만, 이에 대한 상세한 내용을 제시하지는 않는다. 국별평가를 시행해야 하는 주체나 국별평가의 주기나 시행시기 등에 대해서는 별도의 규정으로 제도화되지 않았기 때문에 국제개발협력위원회 평가소위의 결정에 따라 대상국가 및 평가 시기 등을 결정하여 국별평가를 실시하고 있다.

일본은 2003년 개정된 ODA 헌장(ODA Charter)에서부터 객관적이고 전문적인 평가를 강조하였으며(MOFA, 2003:7), 2015년 개정된 개발협력헌장(Development Cooperation Charter)에서 국별평가를 비롯하여 ODA 평가의 중요성을 다시 한 번 강조하였다(MOFA, 2015:12). 또한, 외무성은 2003년부터 ODA 평가가이드라인을 발간하고 있는데, 최근 개정판으로 2016년에 발간한 평가지침에서 국별평가에 대한 평가목적, 평가기준, 평가방법 등 세부적으로 필요한 사항에 대해 상세하게 설명하고 있다(MOFA, 2016:17-33).

영국은 2001년부터 국가별 전략에 대한 검토 및 평가(Country and Regional Strategy Reviews)를 실시해 왔다. 이는 사업운영부서나 지역사무소에서 직접 전략 수행결과에 대해 평가하는 것이었다(DFID, 2004:29). 이와 별도로 평가부서에서 독립적으로 2003년 3개 국가에 대해 국별프로그램평가(Country Programme Evaluation)을 시범 실시하였고(DFID, 2004), 이후 국별평가와 관련된 가이드라인에 근거하여 매년 5∼6개의 국별평가를 실시하고 있다(DFID, 2009).

독일은 별도의 개발협력전담부처가 있고, 이를 시행하기 위해 유상원조 및 무상원조 전담 시행기관이 분리되어 있다. 이러한 한계를 극복하기 위해 최근 별도의 평가전담조직인독일개발협력평가연구소(DEval)를 설립하였고, 이 기관에서 국별평가를 실시하고 있다.

아시아개발은행(ADB)은 보통 5년 주기의 국가별 협력전략(CPS)을 운영하고 있는데, 국별평가는 두 종류로 나눠 실시하고 있다. 해당 국가에서 협력전략에 따라 실시한 프로그램에 대해 총괄적으로 평가하는 국별 프로그램 평가(Country Assistance Programme Evaluation, 이하 CAPE)는 독립평가부서(IED)에서 실시하고, 국별전략의 운용 전반에 대해서는 사업운영부서에서 자체평가로서 국가협력전략 최종평가(Country Partnership Strategy Final Review, 이하 CPSFR)를 실시한다. 국별평가의 대상과 시기 등은 ADB 이사회 산하 개발효과성위원회(Development Effectiveness Committee)의 결정에 따라 실시한다.⁷⁾ 또한, 국별평가를 실시하기 위한 상세한 절차와 방법론 등은 지침서를 제정하여 운영하고 있다(ADB, 2015). 2006년 제정된 국별평가 매뉴얼을 2010년 1차 개정, 2015년 2차 개정 등으로 통해 수정하면서 가이드라인에 따라 표준화된 방법론을 준용하여 객관적으로 평가를 실시하도록 하였다.⁸⁾

우리나라를 비롯하여 비교분석의 대상으로 한 해외 주요 공여기관 모두 법제도 및 지침에 근거하여 국별평가를 실시하고 있다. 한국은 국제개발협력기본법, 일본은 ODA 헌장, 영국, 독일, ADB 등은 기관 내부의 지침 등에 근거하여 국별평가를 실시하고 있다.

평가기획 항목은 국가협력전략을 평가목표에 반영하고, 평가대상과 범위를 명확하게 설정하였는지를 비교하였다. 우리나라에서 실시한 15개의 기존의 국별평가들을 살펴본 결과, 평가별로 각 평가연구의 목적과 평가 매트릭스 등은 잘 제시하고 있었지만, 근본적으로 국별평가를 실시하는 목적에 대해서는 아직 공통적으로 합의된 바가 없는 것으로 분석되었다. 국별평가와 분야별, 주제별 평가의 차이점에 대한 구분이 없었고, 국가단위의 개발 효과성에 대한 심층적인 분석을 하기보다는 대표적인 사업들에 대해서만 점검하는 차원에 그치고 있다는 지적이 있었다.⁹⁾

한편, 각 공여기관들은 국별평가의 목표는 국가협력전략의 유효성과 실효성을 높이기 위한 것으로 명확하게 설정하고 실시하고 있다. 일본은 수원국의 발전에 기여한 정도를 살펴보는 개발의 관점과 일본의 국익에 증진하였는지의 여부를 살펴보는 외교적 관점에서 평가항목을 살펴보고 있다(MOFA, 2016:28). ODA 정책을 외교정책의 수단임과 동시에 무역, 국내산업 육성, 지방개발 등 국가 정책의 측면에서 종합적으로 평가하려는 의도라 할 수 있다. 특히 2018년 이루어진 ODA평가 가이드라인에서는 외교적인 측면이 더욱 깊은 논의를 통해서 평가 방법 및 지표에 관한 개편이 이루어졌다.¹⁰⁾

영국 역시 5년 주기로 국가별로 실행한 사업들의 포트폴리오를 점검하고 향후 전략 및 사업계획에 필요한 교훈을 도출하기 위해 새로운 국별전략을 수립하기 1년 전에 국가사무소 등이 참여한 가운데 국별평가를 실시하고 있다(DFID, 2009). DFID 국별프로그램 운용자체에 대한 효율성(internal performance)과 수원국에 미친 영향력으로써 개발효과성(development effectiveness)을 평가하는 것이 국별평가의 목적이다(DFID, 2007a).

ADB의 경우, 국가협력전략이 종료되는 주기에 맞춰 국별평가를 실시하고 있으며, 국별평가를 통해 해당 국가에서 이루어진 국가별 원조사업의 성과에 대해 독립적인 평가결과를 확인하고, 이를 바탕으로 다음 국가협력전략 수립을 위한 교훈 및 제언을 도출하는 것을 목적으로 하고 있다(ADB, 2015:4). 국별평가가 없으면 다음 차수의 국가협력전략이 이사회 승인이 되지 않는다고 말할 정도로 평가의 목적을 명확히 설정하고 엄격하게 시행하고 있다.¹¹⁾ 또한 ADB는 공여기관으로서 지향하는 바를 주제별 평가(thematic)로 점검한다. 예를 들어, 포용적 성장, 환경·지속가능한 성장, 지역개발, 지식전수, 민간부문 개발, 젠더 등 ADB가 중요하게 생각하는 기관 차원의 전략적 방향이 국별전략 및 그에 따른 사업을 통해 잘 집행되었는지를 평가한다.¹²⁾

따라서 다른 나라의 사례와 비교해 볼 때, 우리나라는 국별평가의 목표에 대해 보다 명확하게 재설정할 필요가 있다.

평가추진체계 항목에 대해서는 평가를 실시하는 주관기관을 비롯하여 추진체계가 구성되어 있고, 그 안에서 역할과 권한이 명확하게 설정되었는지 등에 대해 비교하였다. 2012년부터 국가협력전략을 시행된 이후 유무상 시행기관에서 국별평가를 더 이상 실시하지 않고 국제개발협력위원회 평가소위에서 국별평가를 실시하고 있다. 그러나 국별전략의 수립, 집행 및 평가 등 전반적인 과정에서 각 기관들이 긴밀하게 협력해야 함에도 불구하고 전략 수립, 집행, 평가를 담당하는 기관들이 각각 분리되어 있어서 일관성이 부족하고, 총괄적으로 책임지는 기관이 없다는 의견이 있었다.¹³⁾

한편, 일본의 경우, 외무성령인 외무성 조직규칙에 근거하여 개별 프로젝트 및 프로그램에 대한 평가는 집행기구인 JICA에서 실시하며, 정책레벨(ODA 정책 및 국별원조방침 등) 및 프로그램 레벨(섹터별, 형태별)의 평가는 외무성에 실시한다. 국별평가는 외무성의 주관 하에 제3자 평가를 통해 평가의 투명성과 객관성을 제고하고 있다(MOFA, 2017:6). 특히 외무성 장관 직속기관이자 독립된 부서로서 설치된 ODA 평가실에서 국별평가를 담당함으로써(MOFA, 2016:3), 일본의 외교전략 및 ODA 정책에 국별평가의 결과가 반영될 수 있는 구조를 확보하고 있었다. 하지만 독립적인 구조는 갖추도 있지만 평가결과가 실질적으로 사업운영부서를 견제하는 것에는 한계가 있다는 의견도 있었다.¹⁴⁾

영국은 국제개발협력부(DFID)의 평가부서(Evaluation Department)에서 직접 국별평가를 실시한다. 평가부서는 ‘연구 및 증거 부서(Research and Evidence Division)’에 속해 있는데, 이는 기본적으로 평가결과를 정책결정에 활용하기 위한 목적에서 부서가 편재되어 있는 것이다. 평가에 대한 전략적인 결정을 내리는 ‘평가 및 증거 전략 그룹(Evaluation and Evidence Strategy Group)’이 주요한 평가의 방향성을 결정하고, 이는 다시 그 상위의 투자위원회(Investment Committee)에 평가결과를 보고하여 중요한 재정배분의 원칙으로 삼고 있었다. 영국의 평가결과는 부처 차원의 이사회(Departmental Board)뿐만 아니라, 의회에 속한 독립적인 위원회인 ICAI(Independent Commission for Aid Impact)에 보고되어 부처 및 국가적 차원에서 전략적 의사결정을 내릴 때 근거자료로 활용되도록 하고 있다(DFID, 2014a: 8).

독일은 ODA 평가체계가 정책일관성이 낮고 분절화로 인해 전략적인 차원의 평가가 이루어지지 않다는 지적을 바탕으로 2012년 독일개발평가연구소(DEval)를 설립하였다. 또한, 평가에 참여하는 기관들의 역할을 구분되어 있다. 예를 들어, 기술협력을 담당하는 통합기관인 국제협력공사(GIZ)는 기술협력 관련 프로젝트 사업의 평가를 담당하고, 기관차원의 전략에 대해서도 평가한다. 유상원조를 담당하는 독일재건은행(KfW)은 프로젝트 평가 위주로 실시하며 주제별 평가, 범분야 평가를 실시하기도 한다(OECD, 2016:132). 반면, 독일개발평가연구소는 전략적인 차원에서 범분야 주제(cross-cutting issue) 및 국별평가, 섹터평가, 전략 및 정책평가 등을 담당하고 있다(국제개발협력위원회 평가소위원회, 2018: 26).

ADB 역시 독립적인 평가부서인 IED(Independent Evaluation Division)를 ADB 총재 직속으로 편재하고, 국별평가를 비롯한 평가 결과는 이사회에 직접 보고하도록 하여 진행상황을 점검할 뿐만 아니라 전략적 의사결정의 근거로 삼고 있었다.¹⁵⁾

요약하자면 우리나라는 국제개발협력위원회 산하 평가소위원회에서 국별평가를 결정하고, 외부 연구기관에 위탁하여 실시하고 있다. 이는 외무성의 책임하에 제3자 기관을 선정하는 일본과 유사하다. 독일은 별도의 평가전담기관을 설치하였다. 반면, 영국과 ADB는 내부의 전담 평가조직에서 국별평가를 직접 실시하거나, 전담 평가조직의 책임 하에 제 3자 기관을 선정하여 실시한다는 차이점이 있다(<표 3> 참조).

평가투입 요소로서 먼저 평가 시기 및 주기가 적정하게 설정되었는지, 그 기간은 충분한지 등을 비교하였다. 우리나라의 국별평가는 그 시기 및 기간에 대해 명확한 규정이나 표준적인 기준에 의해 시행되고 있지는 않다. 2012년 이전에 각 기관별로 국별평가를 실시할 당시에 KOICA는 매 5년을 평가주기로 설정한 바 있으며, 수출입은행에서 실시한 국별평가에서 규정화된 주기가 없었다(KOICA, 2016; 재정경제부·한국수출입은행, 2007). 2012년 이후 국제개발협력위원회 평가소위의 결정에 의해 국별평가를 실시하고 있으나, 평가를 몇 년 단위로 실시할 것인지에 대한 기준이나 국별평가를 실시하는 데 들어가는 평가기간에 대한 기준은 파악하기 어려웠다.

해외사례를 평가주기 측면에서 보면 일본은 과거 5년간 상위수원국 중에서 국별평가를 실시하고 있지만, 최소한 5년에 한 번씩은 국별평가를 실시할 수 있도록 평가대상을 설정하여 운영하고 있었다. 영국 역시 5년 단위로 국가별 협력전략을 운영하고, 이에 맞춰 매년 5∼6개의 국별평가를 실시하고 있다. ADB는 국가협력전략이 5년 단위로 시행되고 있기 때문에 국별평가도 5년 단위로 실시하고 있었다. 운영부서에서 실시하는 자체평가인 국가협력전략 최종평가(CPSFR)는 반드시 5년에 한 번씩 하도록 하고 있었으며, 종합적인 국별 프로그램 평가(CAPE)의 경우 2개 내지 3개의 CPS를 실시하고 난 이후, 즉 10년에 한 번씩 독립적인 종합평가를 실시하고 있다.

평가기간의 경우, 국별평가에 소요되는 기간은 일본 8∼9개월, 영국 1년, ADB 1년 등으로 편차가 존재하지만, 개별 프로젝트보다 비교적 장기간에 걸친 평가를 실시하고 있다. ADB는 종합적인 국별평가인 CAPE(Country Assistance Program Evaluation)의 경우 1년에 걸쳐 평가를 하는데, 준비기간까지 포함하면 약 1년 6개월 정도 평가가 진행된다, 운영부서에 실시하는 자체평가인 국가협력전략 최종평가(Country Partnership Strategy Final Review)는 5개월 내외에 걸쳐 평가를 하고 있었다(ADB, 2015: 12).

평가인력은 적절한 전문성을 갖춘 인력이 충분하게 투입되었는지, 평가를 수행하기 위한 예산은 충분한지를 비교한다. 기존에 수행한 국별평가를 살펴보면, 투입인력에 대한 기준이나 규정이 없는 가운데 평가예산의 범위 내에서 연구진을 구성하여 운영하였다. 기존의 15개 국별평가를 분석한 결과, 연구진은 3명에서 9명까지 평가예산 규모에 따라 다양하게 나타났고, 평균 4.7명의 인력이 투입되었다. 국별 평가예산의 경우, 평가범위가 방대함에도 불구하고 일반적인 사업 평가예산과 유사한 수준(4천∼5천만 원)으로 책정되어 평가를 충실히 수행하기 어렵다는 의견이 있었다.¹⁶⁾

해외사례의 경우, 국별평가의 예산규모는 공여국 혹은 국제기구별로 다르기 때문에 일률적으로 적용할 수 있는 적정한 예산규모를 산출하기는 어렵다. 하지만 대체로 국별평가를 위해 우리나라보다 큰 규모의 예산을 할당하고 있다. 일본은 1,500만 엔으로 설정하여 우리나라 평가예산의 약 3배에 달했다. 영국은 간단한 종합평가의 경우 약 10만 달러, 복잡한 영향평가까지 포함하는 경우 약 50만 달러의 예산이 투입되었다(DFID, 2004:36). 특히, ADB의 경우 IED가 실시하는 종합적 국별 프로그램 평가(CAPE)를 위해 약 20만 달러(2018년 환율 기준 약 2억 2천만 원)에서 최대 약 40만 달러(약 4억 5천만 원)을 집행하고 있고, 사업운영부서에서 실시하는 국가협력전략 최종평가(CPSFR)에도 약 10만 달러(약 1억 1천만 원) 투입하고 있다.¹⁷⁾

평가인력 규모의 경우, 일본은 평가책임자 외에 평가국가나 평가분야에 대한 전문가를 자문위원으로 선정하고, 실제 평가를 수행하는 3∼5명의 컨설턴트 등 총 5∼7명으로 평가인력을 구성한다. 외교부에서 평가팀을 관리하되 영국은 4∼6명으로 평가인력을 구성한다. ADB는 국별 프로그램 평가(CAPE)는 6∼12명으로 평가팀을 구성한다,¹⁸⁾ 예를 들어 가이드라인에서 전문인력의 구성과 역할에 대해 제시하고 있는데, 평가를 총괄하는 팀 리더 1명과 섹터별 평가를 수행하는 4∼6명의 팀원이 있으며, 국가 사무소에서 현지 직원 1명과 행정보조원 1명 등이 참여하도록 명시되어 있다(ADB, 2015:5).

평가조직의 적절성 측면에서 평가팀을 효율적이고 중립적으로 구성하는지에 대해 비교하였다. 우리나라의 국별평가는 제3자 기관을 선정하여 국별평가를 실시하고 있는데, 주무부처나 시행기관 내에 국별평가만을 관리하는 별도의 평가전문 인력이 있지는 않다.

일본의 경우, 우리나라와 유사하게 외무성의 주관 하에 제3자 기관에 평가를 의뢰한다. 평가기관의 독립성을 확보하기 위해 노력하는 한편, 현지 조사 이전에 외무성 및 JICA 관계자와 검토회를 실시하여 평가대상 및 방법을 결정한다(MOFA, 2016). 독일은 2014년 신설된 개발협력평가연구소(DEval)에서 실시하기도 하지만, 그 이전에는 외부의 전문적인 평가연구팀에 위임하여 평가를 실시한 바 있다(DEval, 2014).

영국의 DFID는 평가부서(Evaluation Department, EvD)에서 국별평가를 수행하는 독립적인 평가팀을 관리한다. 평가팀은 평가와 개발분야에 대해 역량을 갖춘 4∼6명의 독립적인 전문가들이 실시한다. 협력국가에 대한 평가를 실질적으로 진행하기 위해서 해당 국가 언어 가능한 전문가를 반드시 포함하도록 하며, 현지에서 자문위원을 1명 이상 포함하도록 한다(DFID, 2009). 분야 전문성이나 기술적인 전문성은 외부 전문가의 도움을 받더라도 평가의 전반적인 방향과 방법론 등의 주요 사항을 결정하는 것은 조직 내부의 직원들이 제시할 때 양질의 평가가 가능하다는 점에서 영국의 사례를 주목할 필요가 있다(DFID, 2014b).

ADB는 IED 직원이 책임자로 평가팀을 이끌고, 평가 및 분야 전문가, 국가 전문가 등을 고용하여 평가팀을 구성한다. 평가팀 1명이 10개월간 풀타임으로 국별평가를 총괄하고, 해당 국별평가가 수행되는 기간 중에 4∼6명의 팀원이 파트타임으로 4개월간 섹터 평가를 수행, 행정보조원 1명 10개월 근무하도록 하는 등 투입인력의 역할과 전문성에 대해 지침을 통해 상세하게 규정하고 있다(ADB, 2015).

수원국 및 이해관계자가 평가과정에 적절하게 참여하는지를 비교하였다. 우리나라의 기존 국별평가는 수원국 및 이해관계자가 인터뷰, 설문, 공동워크숍 등의 형식으로 참여하였다. 수원총괄부처는 평가기획 단계에서 참여한다기보다는 평가과정에서 제한적으로 참여한다고 볼 수 있다. 또한, 현지 인력은 평가와 관련된 행정업무를 지원하는 평가보조자로 참여하였다. 수원국 내의 다른 공여기관이나 국제기구를 방문하여 이해관계자들의 의견을 청취하기도 하나, 평가과정에서 협력하여 공동평가를 실시하는 경우는 없었다.

일본은 수원국, 타 공여국 정부 및 기관 관계자, 국제기구, 시민사회 등과 함께 평가하는 것으로 언급하고 있으나(JICA, 2003:7), 실제로는 현지 조사 시 수원국 관계기관의 의견을 듣는 방식으로 수원국이 참여하고 있어 우리나라와 유사한 점이 있었다.¹⁹⁾ 하지만 일본은 국별평가를 공동평가 방식으로 실시하는 등의 시도를 통해 수원국이 평가기획 단계에서부터 참여하는 기회를 확대하고 있다(Tanaka, 2018).

영국은 착수조사를 3주 정도 실시하면서 DFID의 해외 공관직원들이 평가기획단계에 참여하여 평가목표와 대상을 결정하는 데 관여한다. 또한, 평가단에 현지 자문위원을 포함시켜서 현장방문을 계획하도록 하며, 현장방문 중에 수원국의 정부, 다자기구, 기타 공여기관의 파트너들과 인터뷰를 실시한다(DFID, 2009).

독일의 경우, 아프가니스탄에서 실시한 국별평가의 사례를 보면 독일뿐만 아니라 다른 나라가 실시한 전략 수준의 평가를 비교분석하고, 공여국 간에 공유하는 회의 등에 참여하면서 수원국 내 다른 기관의 이해관계자들과 협력하기도 한다(DEval, 2014:28).

ADB는 국별평가 보고서 작성 중에 수원국 정부, 수혜집단, 다자기관 및 양자기관, NGO, 민간부문 등 주요 이해관계자 등을 대상으로 인식조사를 실시하여 그 결과와 제안사항 등을 국별평가에 별도로 포함시킨다(ADB, 2015:9). 또한, 평가과정에서 해당 국가의 현지 전문가를 고용하여 수원국 관계부처 및 이해관계자 회의 등을 개최하여 ADB의 사업 운영에 대한 의견을 청취한다.²⁰⁾

다른 공여기관들의 사례에 비교해 볼 때 평가 투입요소 중에 특히 수원국 및 이해관계자 참여에 있어서는 우리나라는 보다 많은 개선이 필요하다고 볼 수 있다(<표 4> 참조).

먼저 평가방법에 대해서는 OECD/DAC의 5대 평가기준을 반영하였는지 적절한 평가방법과 평가지표를 구성하였는지, 현지조사를 어떻게 수행하는지 등을 비교하였다. 기존의 우리나라 국별평가들은 비록 명확한 지침이나 공통의 기준이 없는 상태에서 연구자들이 각각의 평가목표 달성을 위해서 주로 OECD/DAC의 5대 평가기준인 적절성, 효과성, 효율성, 영향력, 지속가능성을 활용하되, 인터뷰, 현장방문, 설문조사, 2차 문헌자료 활용 등 다양한 방법론을 활용하고 있었다.

일본은 평가의 주요 항목을 ‘개발의 관점’과 ‘외교의 관점’ 두 가지로 구분한다. 개발의 관점에서 평가할 때는 OECD/DAC의 5개 평가기준인 등을 골고루 적용하여, 정책의 타당성, 결과의 유효성, 과정의 적절성 등을 평가한다. 2011년부터 외교의 관점에서 평가를 신설하여 외교적 중요성과 외교적인 파급효과 등을 평가하고 있는 점은 다른 나라에서 볼 수 없는 독특한 것이다. 외교적 관점의 평가를 위해서 정량적 자료 이외에도 정성적 평가방법을 활용하여 양국 관계에 기여, 수원국 국민들의 인식 변화, 경제적 효과 등을 별도로 평가하고 있다(MOFA, 2016:25-28).

영국은 OECD/DAC 5대 기준을 활용한 국별평가 매트릭스를 제정하여 이에 따라 국별평가를 실시한다. 다만 국가별 특수성과 평가대상 사업 등을 고려하여 세부적인 평가질문은 연구팀이 수정하여 사용한다(DFID, 2007a).

독일이 실시한 아프가니스탄 국별평가의 경우 기존 평가에 대한 재평가를 하는 메타평가방식으로 실시하였다. 먼저 기존의 프로젝트 단위 평가보고서를 메타평가한다. 또한, 국별평가에 대해 메타평가를 실시한다. 끝으로 각 평가보고서 제언에 대한 평가를 하였다(DEval, 2014).

ADB의 경우, 국가협력전략의 효과적 집행 여부를 다각적으로 검토하기 위해 분야별 평가, 주제별 평가를 혼합하여 평가방법을 활용하고 있다(ADB, 2017a:5). ADB 관계자 인터뷰 결과, OECD/DAC 5대 기준은 기본적인 체크리스트로 준용하여 점검하고, 그보다 더 심화된 평가방법론은 국가별 상황에 맞춰 평가팀에서 결정해서 사용하고 있었다. 예를 들어 주요 분야(섹터)에 대한 평가, 그리고 주제(thematic) 평가를 교차하여 진행하거나 직접 수혜자 대상 별도의 평가 실시하기도 한다. 예전에는 평가팀에 따라 개별적으로 방법론을 사용했지만, 최근에는 평가의 객관성과 공정성을 확보하기 위해 표준화된 가이드라인을 신설하여 평가방법의 통일성을 도모하고 있다.²¹⁾

요컨대 평가방법과 관련하여 평가기준은 국제규범인 OECD/DAC 평가지표를 준용하지만, 각 공여국 및 공여기관의 원조철학과 수원국 국가협력전략(CPS)에 기초하여 기준을 설정하여 실시하고 있다는 점을 알 수 있다.

현지조사에 대해서도 각 국가별로 차이가 있었다. 우리나라 기존의 국별평가들도 다 실시하였지만, 대표적인 사업지를 한 두 곳 방문하는 것으로 대체하였고, 현지조사 기간은 7일에서 10일 이내로 진행하였다.

일본은 현지조사 운영체계가 우리나라와 유사하게 10일 이내로 상대적으로 짧은 편이다(あずさ監査法人, 2017:8). 그러나 현지조사 이전에 평가팀이 외무성 ODA 평가실과 현지조사를 위한 일정조율과 검토회의를 2회 개최하여 조사계획을 공동으로 수립한다. 현지조사에서는 일본 정부관계자(MOFA, JICA), 수원국 정부관계자, 타 공여국, 현지 NGO 등을 방문하여 조사를 실시한다(MOFA, 2016:19).

영국의 경우는 국별평가를 위해 1주일의 착수방문을 실시하여 현지 공관관계자들과 평가목표 및 방법을 공유한 뒤 본격적인 평가를 위해서 착수 1개월 후 3∼6명의 평가위원단이 3주 정도의 현지조사를 실시한다. 현지조사 결과는 현지공관 및 수원국 관계자와 반드시 공유한 뒤 현지조사를 마무리하도록 한다(DFID, 2009).

ADB는 종합적 국별 프로그램 평가(CAPE)를 실시할 때는 평가팀 리더가 수행하는 현지조사 2∼3회와 각 섹터 평가 팀원이 수행하는 현지조사 1회를 실시한다. 해당 국가의 전문가를 고용하여 현지 이해관계자 회의, 관계부처 회의 등을 개최하여 수원국 현지의 상황을 반영하도록 한다. 뿐만 아니라 해당 국가에서 중요한 섹터나 사업에 대해서는 수혜자들을 대상으로 한 조사를 국별평가 내에서 별도로 실시하기도 한다. 예를 들어, 인도의 국별평가 당시에는 교통분야에서 해당 지역의 주민들을 대상으로 이중차분법(Difference in Difference) 방식으로 수혜자 조사를 실시하였다(ADB, 2017b:12-13).²²⁾

요약하면 우리나라는 국별평가를 위한 방법론을 전적으로 외부 연구기관의 역량에 의존하는 반면, 다른 나라들은 기본적인 평가방법론에 대한 지침을 준수하되 연구팀의 상황에 맞게 운영하고 있다. 또한, 현지조사의 경우 우리나라보다 더 긴 시간과 현지 전문인력을 투입하고 있다는 차이점이 있다.

평가자료 항목에서는 평가자료를 충분히 제공하는지 평가자료 접근이 용이한지 등을 비교하였다. 우리나라의 기존 국별평가들은 관계 기관의 협조를 얻어 사업과 관련된 자료들을 제공받는다. 실태조사 인터뷰 당시 국별평가에 참여한 전문가들은 과거의 자료들이 DB로 구축되어 있지 않아 접근이 어려웠고, 시행기관에서 제공하는 자료에 의존할 수밖에 없었다는 문제점을 지적하였다.²³⁾

영국 역시 평가를 실시하는 DFID의 평가부서에서 평가단에게 제공한다는 점에서는 우리와 유사하다. 하지만 전략, 사업정보, 수원국에 관한 정보자료로 구성된 방대한 양의 증거자료를 각 평가단에 제공하고, 실제 평가에 들어가기 전에 이를 숙지하게 한다는 점에서는 차이가 있다(DFID, 2009).

독일의 아프가니스탄 국별평가 사례를 보면, 자료 접근성의 제한을 방지하기 위해서 각 사업의 자료를 데이터베이스로 구축하고 있다. 아프가니스탄에서 활동하는 독일의 여러 원조관련 부처들과 각 시행기관 등 약 40개의 기관들이 있는데 이들이 규칙적으로 데이터베이스에 정보를 제공한다. 사업 진행현황에 대한 기본적인 데이터를 입력함으로써 프로젝트의 집행현황을 모니터링하고 산출(output)에 대한 정보를 손쉽게 취합할 수 있는 체계를 갖추고 있다. 독일개발협력공사(GIZ)가 책임기관으로서 온라인 DB를 활용하여 아프가니스탄에서 활동하는 정부부처와 시행기관들의 활동을 종합하여 반년 주기로 아프가니스탄 경과보고서를 하원에 제출하기 위한 데이터를 생성한다(DEval, 2014:24). 우리나라도 독일과 유사하게 유무상 원조 주무부처가 분리되어 있고, 국가별로 많은 시행기관이 참여하고 있으므로 이에 관한 정보를 통합 관리하는 독일사례에서 시사점을 얻을 수 있다.

평가수행절차에 대해서는 평가절차를 구성할 때 관계기관의 의견수렴을 충분히 하는지 등에 대해 국가별 사례를 비교하였다. 우리나라의 기존 국별평가 15개 중 10개 보고서에서 국내외 이해관계자와 소통을 통해 평가절차를 수립하였고, 논의 내용에 대해서도 기술하고 있다.

일본은 평가절차를 수립하기 위해 외무성 ODA 평가실 담당자와 계획을 수립하고, 외무부 주도로 2회 이상 평가계획에 대한 검토회의를 실시한다. 또한, 본격적인 조사 이전에 먼저 국내 조사를 사전에 실시하여 외무성, JICA, 국제기구 전문가 등과 인터뷰를 통해 평가방법 등을 설정하는 등 평가절차에 이해관계자 의견을 수렴한다.

독일은 평가전담기관인 DEval에서 무상원조 시행기관인 국제협력공사(GIZ)와 유상원조 시행기관인 독일재건은행(KfW) 등에 프로젝트 수준의 평가자료를 모두 제공하도록 요청하여 평가계획을 수립한다. 이 과정에서 평가에 대한 협의를 실시한다.

영국의 경우, 분권화된 평가모델(decentralised model)이라고 자평하는데, 평가의 기본적인 전략과 기준 등은 본부에서 결정하지만, 평가의 세부 계획이나 방법은 사업을 운영하는 부서나 지역사무소의 의견을 반영하여 최종 결정한다(DFID, 2009). 현지 착수조사를 통해서 평가목적, 운영방식을 공유하고, 해외/지역 직원들이 평가에서 다루었으면 하는 핵심질문들을 제시하도록 한다. 또한, 평가 프레임워크를 작성하면 해외공관이 승인하도록 한다.

ADB의 종합적 국별 프로그램 평가(CAPE)의 경우에도 평가 착수보고와 평가계획 수립 시 해당 국가를 담당하는 본부의 지역담당 부서의 의견과 해당 국가사무소의 의견을 반드시 청취하여 세부사항을 결정한다. 평가방법론, 평가 기간 및 평가대상이나 평가범위에 대해 협의하여 평가부서와 운영부서가 합의한 뒤 평가를 실시한다(ADB, 2015:3-4, ADB IED 관계자 B 인터뷰, 인터뷰 일시: 2017.7.11.).

우리나라의 국별평가를 해외 공여기관들의 국별평가와 비교한 결과, 실제 사업을 시행하는 시행기관들의 국가별 사무소와 보다 긴밀한 협조관계를 유지하면서 국가협력전략 실행과정에 참여한 기관들의 의견을 바탕으로 평가계획을 수립하고, 평가절차를 구성하려는 노력이 필요하다는 점을 알 수 있다(<표 5> 참조).

먼저 평가결과 공개 여부와 공개범위가 적정한지 여부, 그리고 수원국과 평가결과를 공유하는지 여부 등에 대해 비교하였다. 우리나라의 기존 국별평가는 KOICA, 수출입은행 홈페이지와 ODA KOREA 홈페이지를 통해 공개된다. 그러나 공개범위가 보고서별로 차이가 있는데, 상세자료나 참고자료는 공개되지 않으며, 요약보고서만 공개되는 경우가 있었다.

평가결과에 대한 정보는 대부분의 공여기관들이 공개하고 있지만, 국별평가에 관한 정보에 접근하는 것은 용이한 일이 아니다. 예를 들어 영국의 경우, 평가는 영국 정부부처 홈페이지 공개원칙에 의해 Development Tracker 및 Gov.UK 웹사이트에 공개되고 있다.²⁴⁾ 하지만 그 접근성에 있어서는 다소 한계가 있는데, 국별평가의 경우 특정한 평가가 존재하는지 여부를 알고 검색해야 쉽게 자료를 찾을 수 있다.

한편, 국별평가 정보를 제공하는 주요대상을 누구로 설정하느냐도 중요하다. 일본은 주요한 평가대상을 수원국 국민이나 타 공여국 관계자로 설정하지 않고, ODA 재원을 제공하는 납세자 즉 일본국민으로 설정하고 있다. 국민에 대한 책무성을 높이기 위해 전문용어보다 알기 쉬운 표현을 사용하고 시각적인 효과를 높일 것을 권고하고 있다(MOFA, 2016:8). 하지만 일본어로 된 보고서는 상세내용을 제공하고 있지만 영어로 된 보고서는 요약본만 제공되고 있다.

또한, 수원국과 결과를 공유하는 절차와 관련하여, 우리나라는 국별평가 이후 수원국에 공식적으로 평가결과를 공유하는 절차를 수립하고 있지 않았다. 일본의 경우, 재외공관을 통해서 평가결과를 전달하고, 외무성 홈페이지를 통해서 공개한다.²⁵⁾ 영국 역시 평가결과를 현지공관을 통해서 적시에 전달하고, 보고서 최종 출판 이전에 현지공관에서는 조사결과에 대해 오류가 있는지 여부 등을 검토한다(DFID, 2009). 독일의 경우 아프가니스탄에서 활동하는 다른 공여기관 및 국제기구와 서로 평가내용을 공유하고, 교훈을 학습하기 위한 워크숍을 개최하기도 하였다(DEval, 2014).

ADB는 국제기구이므로 수원국의 이해관계자와 일반 대중과 정보공유를 중요하게 본다. 예를 들어 보고서 초안을 작성한 후 7단계에 거쳐 단계별로 공여기관의 담당자와 수원국 주요 부처 그리고 현지의 이해관계자들과 공람하여 내용을 조정한다. 특히 7단계 중 5단계에서 수원국 정부와 공동 회의를 개최하여 평가결과를 공유하고 제언사항을 도출한다. 독립평가부서(IED)에서 별도로 수원국의 관계부처와 회의 등을 통해 ADB 사업의 운영과정에 대한 수원국의 의견을 청취한다. 또한, 평가보고서 본문뿐만 아니라, 평가의 후속조치에 대해서도 홈페이지를 통해 공개하고 있다(ADB, 2012:19).

우리나라와 일본, 독일은 자국민을 대상으로 한 정보공개는 많은 반면, 수원국을 대상으로 한 정보공개는 많지 않다는 특징이 있다. 영국과 ADB 등은 일반 대중을 대상으로 정보를 최대한 많이 공개한다는 점에서 우리나라와 차이가 있다. 또한, 일본, 영국, 독일, ADB는 수원국 이해관계자와의 결과공유 절차를 별도로 갖고 있다는 점에서 우리나라와 차이가 있다.

국별평가의 가장 궁극적인 목적은 평가결과를 향후 국가단위의 원조전략 및 프로그램과 관련 정책에 환류시키는 것에 있다. 평가결과 환류의 적정성은 각국이 환류체계를 구축하고, 나아가 실제 차기 국가협력전략 수립이나 차년도 사업계획 수립 시 반영하는지에 대해 비교하였다.

우리나라의 기존 국별평가는 ODA 통합평가체계에 따라 평가결과를 평가소위에 보고하여 반영계획을 수립하도록 하고 있다. 그러나 1기 국가협력전략 종료 이후 시범평가를 실시하였으나, 2기 국가협력전략 수립시 평가의 교훈을 반영하여 새로운 전략을 수립한 것은 아니었다. 형식적 체계는 갖추고 있지만 국별평가를 차기 국가협력전략이나 차년도 사업계획에 반영하려는 실질적인 노력에는 개선이 필요하다고 볼 수 있다.

일본의 경우, 국별평가결과의 정보공개와 국가협력전략 수립의 연계를 강조하며 단계별 절차를 수립하여 운영하고 있다. 1단계로 ODA 평가보고회를 통해 국별평가의 결과를 공표한다. 2단계로 국별평가에서 제언한 내용을 원조기관뿐만 아니라, 재외공관, 관계 기관과 대응책을 협의하고, ODA 평가 보고서에 기재한다. 3단계, 국별평가 결과 및 대응책을 반영한 국별개발협력방침을 새롭게 수립한다. 마지막 4단계로, 위의 모든 과정을 다음 연도 ODA 평가보고서에 정리하고 있다. 이러한 과정은 2년에 걸쳐 이루어지고 있다(MOFA, 2016:9). 하지만 외무성 평가담당자와 전문가 인터뷰 결과, 실제로 연 3회 검토회를 열고 평가대상 기관들이 보고서 초안에 대해 격렬한 비판과 논쟁을 벌이기도 한다. 평가결과를 외교부 국제협력국, JICA 등에 전달하고 대응책을 마련하도록 하고 있지만 실제 이후 이것이 집행으로까지 이어졌는지 여부까지는 강제하거나 추적하고 있지는 않다.²⁶⁾ 평가의 목적으로 국민에 대한 책무성을 더욱 강조하기 때문에 실제 프로젝트 개선으로 이어지는 데는 한계가 있다는 의견도 있었다.²⁷⁾

영국은 평가 결과를 바탕으로 차후 사업의 전략 및 예산 결정에 반영되도록 하고 있다. 국별평가를 실시한 이후 이와 관련된 사업운영부서가 핵심적인 조사내용, 결론 및 제언에 대해 동의하는지 여부를 밝히고, 그 이유를 작성하도록 한다. 또한, 국별평가의 교훈을 어떻게 반영할 것인지에 대해 응답(management response)하고, 동의한 제언은 반영계획을 밝히고, 현실적 제약으로 반영이 어려운 제언에 대해서는 그 사유를 밝힌다(DFID, 2007b).

독일은 2007년 이래 아프가니스탄에서 실시한 원조사업의 장기적 영향과 전략 포트폴리오에 대해 평가하고, 이에 근거하여 2014∼2017 아프가니스탄 국가협력전략 수립에 반영하였다.

ADB의 경우는 평가 결과를 공유하기 위해 별도의 내부 정보시스템(Management Action Record System)을 운영하고 있다. 실제 평가결과를 반영할 수 있도록 본부의 지역부서 담당자를 데이터 관리 담당자로 지정하여 평가결과의 제언을 정책화한 비율, 그 정책의 실제 집행율 등을 구체적으로 관리하고 있다(ADB IED 관계자 A, B 인터뷰, 인터뷰 일시: 2017. 7.11.). 또한 평가연보를 통해서 평가결과가 실제 정책이나 프로그램에 반영된 비율을 별도로 관리하며, 대중에게도 공개되는 Lessons database를 운영하여 주제별, 국가별 보고서를 공개하여 향후 평가를 수행할 경우 이를 참고하도록 한다(ADB, 2012:19).

요컨대 평가결과, 환류체계에 있어서 실제 개선상황을 추적하도록 의무화하고 있다는 점에서 우리나라와 해외 공여기관들의 차이가 크다는 점을 알 수 있다(<표 6> 참조).