KOICA 평가 체계 발전 과정과 향후 과제

평가는 성과관리의 큰 개념에 포함되어 이해되기도 하고, 성과관리와 평가가 다른 개념으로 분리되어 이해되기도 한다(정지선 · 이주영, 2021). 그간 KOICA에서는 성과관리와 평가는 조직체계 및 평가전담부서의 업무 분장 등을 볼 때 분리되지 않은 채 성과관리 전담 부서가 설치되기 전까지는 평가의 개념에 성과관리까지 포함되어 추진되어 왔다.

그러나 성과관리가 성과 중심의 사업 관리의 일환으로 인식되면서 별도의 전담부서가 설치되었으며, 이에 따라 현재는 성과관리는 사업 성과관리를 위한 표준 성과지표 수립, 성과 지표 점검을 위한 데이터 수집 및 관리, 분야별 모델 수립으로 평가는 사업별로 수립된 산출물 및 성과 지표의 달성여부와 정도를 확인하는 과정으로 구분하여 이해되고 있다. 따라서, 본 논문에서는 성과관리와 평가를 구분하여 기술하고자 한다.

2019년 평가 중기전략 수립 및 이에 따른 평가 체계 개선은 1) 국별 포트폴리오 평가 등을 통해 정책 결정시 근거 기반 정책 수립 체계 마련, 2) 개별사업의 종료평가 체계 확립, 3) 다양한 이해관계자들의 환류 체계 확립, 4) 평가 부서의 독립성 확보, 평가 총괄기능 강화를 통한 평가 품질 제고 및 고도화 성과를 가져왔다.

그 중에서도 가장 돋보이는 KOICA 평가 체계의 변화는 평가실의 총괄 기능 강화 및 전사 평가 관리를 평가실에서 직접 수행하기 시작했다는 점이다. 기존에 평가실에서는 평가 관련 기준 수립, 국별 또는 분야별 평가, 정책적 의사결정의 기반이 될 수 있는 상징적 사업들의 사후 평가 등을 수행하면서 평가실의 역할은 사업부서에서 평가 수행에 필요한 제도적 틀 구축과 정책적 의사결정을 위한 근거 자료 제공 즉, 사업의 모니터링의 일환보다는 정책 수립 지원에 중점을 두어온 것을 알 수 있다.

그러나 평가실에서 평가 관련 제도 정비, 평가자 교육 강화 등의 평가 총괄 기능을 강화하면서도 직접 국별협력사업의 종료평가를 모두 관리하면서 평가 이론의 실무적용성을 높이고, 평가 수행을 사업과 관련 없는 독립부서에서 일괄 수행하면서 평가의 독립성, 객관성과 일관성이 모두 제고되는 효과를 가져왔다.

이러한 효과는 2021∼2022년 평가 및 품질검토위원회 검토 결과를 분석한 내용을 보면 잘 나타나 있다. 2021∼2022년 수행한 종료 평가의 품질 검토 등급은 2019∼2020년에 비해서 상향되어 보고서의 품질이 제고되었음을 알 수 있다. 또한, 평가실에서 직접 관리한 평가의 품질이 사업부서에서 수행한 평가보고서의 품질보다 품질검토 점수가 높아 평가 전문성을 가진 평가실에서 평가를 관리하면서 평가 품질이 제고되었음을 확인할 수 있다 (KOICA 내부자료, 2022a). 2021∼2022년 평가결과 분석은 우리에게 또 다른 시사점을 제시해 주는 데, 그것은 평가의 객관성 제고이다. 2019~2020년 평가시보다 사업평가 등급 평균이 다소 낮아져 사업부서에서 자체적으로 평가를 관리할 때보다 평가실에서 평가를 관리하면서 평가에 대한 엄정성이 높아진 것을 알 수 있다(<Figure 1>).

2019년 이후 평가의 또 다른 가장 큰 특징은 그 이전에 비해 종료평가에 집중해 있다는 점이다. 2019년 이전 50건 미만이었던 종료평가는 2021년부터 급격하게 증가해 2021∼2022년에는 연도별 진행 중인 종료평가가 평균 100건 이상임을 알 수가 있다. 이것은 2019년 종료평가 기준을 구체적으로 사업 종료 후 1년 이내로 하고, 모든 국별협력사업의 종료평가를 의무화하면서 나타난 현상으로 판단된다.

모든 국별협력사업의 평가를 의무화하고 사업 종료 후 1년 이내로 기준을 수립하면서 평가는 사업의 수행 절차의 하나로 확립이 되고, 성과관리와의 연계성이 강화되었다고 볼 수 있다.

2019∼2020년간 수행한 25개국에 대한 국별 포트폴리오 평가와 DEEP 사업 사후평가는 기존에 CPS 평가 지원, 2010년, 2016년에 수행했던 민관협력사업 평가 등 사업 유형별 평가와 맥락을 같이 하고 있다. 다만, 기존에 수행했던 국별 전략 평가와 사업의 유형별 평가와 달리 평가 결과 도출된 제언은 단순히 전략 수립시 참고용으로 활용되었던 과거와 달리 경영진까지 보고하여 경영진의 의사결정을 받아 후속조치를 취하거나 피평가부서의 수용 여부를 확인한 후, 이행계획까지 접수하여 평가 결과가 전략 수립 및 제도개선에 반영되도록 했다는 점에서 평가의 유용성 증대와 강화된 환류체계가 구축되었다는 점을 확인할 수 있다.

2019년 새로운 평가 중기전략 수립에 따라, KOICA 평가 관리를 평가실이 직접 수행하면서 1996년부터 약 25년간 집약된 평가에 대한 이론적 노하우와 경험을 직접 평가 실무에 적용할 수 있게 되어 평가 절차와 품질이 고도화되는 효과를 가져올 수 있었다. 이 뿐만 아니라 평가 관련 모든 정보가 평가실에 집중되어 향후 더욱 효율적인 평가 체계를 구축할 수 있는 기반을 마련하는 계기를 가져왔다.

이러한 긍정적인 효과에도 불구하고, 향후 KOICA의 평가가 효과적이고 효율적으로 이루어지기 위해서는 다양한 난관과 과제를 가지고 있다.

첫 번째는 평가 수행의 분권화와 평가 전담부서의 효율적인 총괄 체계 구축이다. 2020년 이후 평가 정책 및 수행이 모두 평가실로 집중되는 평가의 중앙 입중화가 강화되었으나 이에 수반되는 소요 예산과 인력은 평가실로 이동하지 않고 여전히 기존에 사업부서에 분산되어 있어 향후 이러한 체계를 유지해 나가는 데는 다양한 제약과 한계가 예상된다.

즉, 기존에 평가 제도 수립, 주요 정책 수립을 위한 지식과 정보 제공의 업무는 지속적으로 수행하면서 평가 품질 관리 실무 및 평가실로 모두 수집되는 평가 정보 관리 업무가 급격하게 증가되었으며, 다양한 부서에 분산된 평가 관련 예산을 활용하기 위한 예산 조정업무까지 증대되었다. 이러한 평가 관리 중앙화에 필요한 예산과 인력이 평가실로 이전되지 않는 상황이 지속될 경우, 개선된 환류 체계, 평가 품질 검토 체계나 내외부 평가 역량강화 체계를 기계적으로 수행하면서 동 체계를 효과적으로 정착시키고 발전시켜 나갈 동력을 잃을 수도 있다는 우려가 있다.

KOICA와 유사하게 다양한 형태의 사업을 수행하고, 선진화된 평가 체계를 가지고 있는 USAID와 JICA는 개별사업의 평가 수행은 학습효과를 강조하여 사업부서나 현장에서 주로 수행하고(<Table 1>), 평가 전담부서는 주로 평가 제도 정비, 평가 수행 자문, 개별사업 평가 결과를 분석한 메타 평가를 통한 중요한 개선 과제 도출, 대내외 평가 역량 강화, 평가 통합 정보 관리 등에 집중을 하고 있는 것을 볼 수 있다(JICA, 2021; USAID, 2022).

사업 소관 부서나 사무소 등 사업 관련 이해관계자가 직접 평가를 수행 또는 관리할 경우의 장점은 사업에 대한 이해가 높아서 깊이 있는 분석이 가능하며, 사업 자체뿐만 아니라 기관의 사업수행체계나 제도에 대한 이해도 깊어 평가 교훈이 사업 자체, 사업수행 체계, 전략 등 광범위한 부분에서 실질적이고도 깊이 있는 제언이 도출될 수 있다는 점이다. 실제로 KOICA 내부평가자 매칭 제도를 통해서 KOICA 직원이 직접 평가를 수행한 경우의 평가 품질 등급이 외부평가자 품질검토 등급 평균보다 높다는 것은 이러한 사실을 반증하는 것이기도 하다(KOICA 내부자료, 2022a).

사업 수행 당사자가 평가에 직접 관여할 경우의 또 다른 장점은 평가의 학습기능이 극대화된다는 점이다. 평가를 수행하고 관리하는 과정속에서 사업수행 과정과 결과에 대한 이해가 높아질 뿐만 아니라, 평가 제언과 교훈에 대한 수용성도 높아질 수밖에 없다. 이러한 평가를 통한 학습 기능을 강조하면서 USAID와 JICA는 평가를 현장화하고, 내부직원의 평가를 독려하고 있다.

반면, 사업수행 관련자가 평가에 관여하는 평가 분권화는 가장 큰 문제점은 독립성과 객관성을 담보할 수 없다는 문제일 것이다. USAID의 경우, 사무소 내 사업 수행부서가 아닌 기획 부서가 평가를 수행하고, JICA의 경우는 평가 후 외부 전문가로 구성된 평가심의회에서 평가에 대한 심의를 거치면서 최소한의 독립성을 확보하는 체계로 운영하고 있다(KOICA 내부자료, 2022b)³⁾.

그러나 KOICA가 이렇게 평가를 현장에 위임하기에는 아직 여러 가지 문제점이 존재한다. 국무조정실 등 외부에서는 평가의 독립성, 객관성 확보를 위해 외부 평가를 시행할 것을 권고하고 있다⁴⁾. 외부의 이러한 우려는 국내 관련 이해관계자들의 평가에 대한 이해나 인지도를 고려시, 타당성이 없는 것은 아니다. 따라서, 품질검토위원회 등 기관 내부의 자체 평가의 객관성 확인 절차의 존재 및 그 효과성을 증명하지 못할 경우에는 USAID나 JICA와 같이 사업수행당사자들이 직접 평가를 관리하는 체계로 전환하기에는 어려울 것으로 판단된다. 사업수행당사자가 평가를 수행하기에는 객관성이 확보되지 않는다는 인식이 지속될 경우에는 또한 USAID처럼 사업대상지의 사무소내에서도 사업과 관련되지 않는 독립적인 주체들이 확보가 되어야 하는데 현재 KOICA의 현장 사무소에는 그렇게 독립된 기능을 수행하는 각각의 인력이 확보되지 못한다는 현실적 어려움이 존재한다.

평가의 분권화를 위한 또 다른 걸림돌은 사업 관련 조직이 직접 평가를 관리하기에는 KOICA내 평가 역량이 모든 사업수행조직에 균일하게 축적되지 못했다는 점이다. 2020년 평가 중앙집중화 이후의 평가 결과를 분석해 보면, 평가 보고서의 품질이 제고된 사실은 아직은 평가 관련 이론적 전문성을 가진 주체가 일관되게 평가의 품질을 관리해줘야 하는 필요성을 보여주고 있다(KOICA 내부자료, 2022a). 또한, 평가 품질은 KOICA 내부의 평가 관리 역량도 중요하지만, 실제 평가를 수행하는 전문가와 기관들의 전문성도 어느 정도 균일한 수준으로 향상되었을 때 확보될 수 있을 것이다. 2019년 이후의 독립평가패널 결과를 보면 평가 수행 기관간, 평가 전문가간 평가 역량의 차이가 현저하게 나타나는 것을 알 수 있듯이 국내 개발협력사업 평가 생태계 내 역량 제고 및 균일화도 다양한 사업 수행 주체들이 평가를 직접 수행하기에는 아직 시기 상조라는 것을 알 수가 있다.

따라서, 평가의 중앙집중화는 USAID나 JICA와 같이 평가의 독립성보다는 평가를 통한 학습기능이 더욱 강조되는 분위기가 생기고, KOICA 내외부적으로 평가 역량이 일정 수준에 도달했다고 판단되는 시점까지는 유지할 필요가 있어 보인다.

다만, 평가실에서 직접 관리하는 평가의 규모와 수는 평가실의 예산과 인력으로 관리 가능한 수준으로 유지하면서 평가 수행은 점진적으로 분권화하고, 평가실은 평가 체계를 지속적으로 고도화하고, 전사에 안착시키는 본연의 역할에 충실할 필요가 있다. 예를 들면, 현재는 평가실에서 종료되는 모든 국별협력사업에 대해서 종료 평가를 실시 및 관리하고 종료평가가 의무화되어 있지 않은 파트너십사업의 수요도 최대한 수용하고 있지만, 향후에는 평가성 사정 등을 통해 평가실에서 직접 수행하는 평가의 규모를 조정하고, 평가 우선순위를 정하여 선택과 집중을 하는 효율적인 평가 체계를 구축할 필요가 있다.

두 번째는 다양한 평가를 균형 있게 수행하는 체계를 구축하는 것이다. 평가 체계가 갓 구비된 1990년대 말은 개별사업의 진도 평가와 사후평가가 위주였다면 2000년대 중반에는 분야별 종합평가, 국별 전략 평가 등을 위주로 수행하고, 2010년대 초반과 중반에는 다시 사후평가 집중하면서 일부 사업에 대한 영향평가도 시도했다. 2010년대 후반에는 KOICA내 분야별 사업 관리 체계가 구축되면서 분야별 사업모델 수립 및 성과 지표 개발 등을 위한 분야별 종합평가를 집중적으로 수행하였다. 2019∼2020년은 국별 포트폴리오 평가에 집중했으며, 2021∼2022년 이후에는 연간 100여 건이 넘는 개별사업 종료평가를 수행하였다.

연도별 집중적으로 수행해온 평가 유형을 분석해 보면 중장기적으로 일관된 방향성이 보이지는 않는다. 2011년 평가 중기전략, 2016년 평가 선진화 전략, 2019년 평가 중기전략을 수립하여, 평가 중점 과제들을 선정하기는 하였으나, 다양한 형태의 평가의 배분에 대해서는 이러한 전략에 포함되지 않았다. 개별 사업 평가의 시기별 경향성만 보더라도 중장기적인 방향성 없이 시기별 경영진과 관련 부서장의 판단에 따라서 특정 평가 유형에 집중되는 경향을 보인다. 이렇게 다양한 평가 유형의 배분에 대한 중장기 방향성의 부재는 평가의 기능과 역할에 대한 혼란도 가져올 수 있으며 평가의 예측 가능성을 약화시킬 가능성도 있다.

따라서, 향후에는 평가 중기전략에 평가 유형별 배분과 전략적 목표를 설정하여 평가가 기관의 전략과 방향성에 부합하면서도 시기나 리더십과 상관없이 평가의 역할과 기능에 대한 기관 차원에 이해가 안정적으로 확립될 수 있도록 해야 할 것이다.

다양한 평가 유형의 균형있는 배분과 중장기적인 방향성 설정 이외에도 평가 대상사업 유형을 다양화하고, 사업유형별 특성에 맞는 평가 기준 개발도 평가 고도화를 위해 중요한 과제로 손꼽을 수 있다. 2019년 신규 평가 중기전략 수립 이전에는 개별사업 및 분야별 사업 평가 대상은 주로 국별 협력사업이었다. 그러나 2020년 이후 평가 대상을 국별 협력사업 이외에도 시민협력사업, 국제기구협력사업, 기업협력사업으로 확대하고, 2021∼2022년에는 이러한 파트너십 사업에 대한 평가를 본격화하여 전체 평가대상사업의 64%를 시민사회협력사업과 기업협력사업이 차지하게 되었다. 시민협력사업과 기업협력사업을 본격적으로 평가하면서 기존에 KOICA 사업 평가 기준으로 이러한 유형의 사업의 성과를 정확하게 평가하기에는 다양한 한계점이 발견되었다(KOICA, 2021). 즉, 사업수행자간 관계나 사업의 목적 등이 국별 협력사업과 다른 부분들이 나타나, 기존에 평가 질문, 평가 항목 등으로는 사업의 당초 목적 달성 여부를 정확하게 파악하기 어려운 경우들이 나타났다.

이와 같이, 향후에는 타 프로젝트성 사업을 집중적으로 평가 후 평가 결과를 분석하여 다양한 사업 유형에 적합한 평가 기준과 가이드라인을 개발할 필요가 있다. 이뿐만 아니라 현재까지 평가는 프로젝트성 사업에 집중되어 왔으나, 초청연수나 봉사단 파견 등 기술협력사업의 성과 확인과 도출도 점점 강조되고 있는 추세로, 동 사업에 대한 평가 기준개발에도 노력을 기울일 필요가 있다.

세 번째로 KOICA 평가 체계에서 가장 중요하고도 지속적으로 강화해가야 할 것은 환류 체계이다. 평가의 환류는 평가의 가장 근본적인 목적인 전략과 사업의 성과, 문제점 확인을 통한 사업의 효과성 제고와 근거 기반 정책 결정을 도모하기 위함이다. 이러한 이유로, 1996년 KOICA는 평가 체계를 갖추면서부터 지속적으로 평가 환류 강화를 위해 다양한 노력을 펼쳐왔다. 다양한 전략과 사업을 종료평가, 사후평가, 영향평가 등 다양한 방법론을 동원해서 평가를 수행해오면서 직 · 간접적으로 KOICA의 전략 및 사업수행체계 개선에 기여해왔다. 그러나 평가 결과를 의사결정과 향후 사업 발굴, 기획 및 모니터링에 반드시 적용하게 하는 제도적 틀은 부족한 상황이다.

평가 결과에 대한 환류는 주로 평가 결과에 대해 주요 이해관계자들에게 공유하거나, 경영진에게 보고하거나 교육, 워크샵 등 대내외 논의의 장을 통해 학습을 통해 자발적으로 반영할 수 있게 노력하는 등의 활동이 환류의 주요 형태를 띄었다. 그러나 이러한 간접적이고도 자발적인 환류로는 효과적인 평가의 활용이 이루어지기 어려우며, 경영진이나 담당자의 의지와 인지도 등에 따라서 그 정도가 다양한 수준으로 나타날 수밖에 없다.

이제 대내외적으로 국무조정실 등에서도 평가의 고도화 및 특히 효과적인 환류를 강조하고 있으며, KOICA 사업의 규모와 사업발굴, 기획의 면밀함을 고려시, 사업의 성과관리와 평가도 KOICA 사업의 수준에 맞게 더욱 고도화되어야 하며, 특히 평가의 핵심 목적을 내포하고 있는 환류야말로 사업 평가 체계 및 사업수행체계에 필수적인 과정이 될 수 있도록 더욱 노력할 필요가 있다. 따라서, 향후에는 사업 발굴, 기획, 모니터링, 평가 각 단계별로 평가 결과가 환류될 수 있도록 제도적인 틀 구축에 노력해야 할 필요가 있다.

2020년부터는 평가의 제언을 환류과제, 교훈 등으로 분류하고, 이해관계자별 중요한 교훈과 환류과제에 대해 공유하는 계기를 마련하는 데 집중하여 평가 결과가 최대한 공유되고 학습될 수 있는 체계를 구축했으며, 2022년에는 이에 더 나아가 평가 결과 도출된 교훈과 체크리스트를 사업발굴지침에 첨부하여 신규사업 제안요청서 작성시 반드시 참고토록 하고, 신규사업 심사기준에도 이러한 평가결과를 참고했는지 여부를 확인할 수 있도록 심사항목에 추가하였다. 2023년부터는 2단계, 3단계 등 후속 사업을 발굴시, 전단계 사업의 평가 결과를 참고할 수 있도록 사업의 타당성조사 단계에서 전단계 사업을 신속하게 평가하는 Rapid 평가를 도입할 예정이다. 현재 이렇게 사업 수행 단계별로 평가 결과를 의무적으로 반영할 수 있게 하는 조치는 사업의 발굴 및 선정 단계에 집중되어 있지만, 향후 사업의 기획단계, 모니터링 등 사업 수행 전 단계로 확대될 필요가 있다.

마지막으로 KOICA 평가가 향후 지속적인 노력을 경주해가야 할 것은 KOICA 내외부 ODA 사업 이해관계자들의 평가 역량 강화이다. 2020년 이후 매년 100여 건의 종료평가와 전략 평가, 분야별 프로그램의 평가를 평가실에서 관리하면서 KOICA 내부와 외부의 관련 이해자들의 평가에 대한 이해와 역량에 편차가 있다는 문제가 도출되었다(<Figure 2>, (<Table 2>).

평가 역량의 차이는 평가 품질의 차이를 불러왔으며, 사업평가 등급이나 평가 품질검토 등급 등에서의 개별 평가기관 또는 평가 전문가의 평가 결과 차이는 KOICA 평가 전반에 대한 신뢰성에 대한 문제제기까지 야기하기도 하였다(KOICA 내부자료, 2022a).

따라서, KOICA 평가의 고도화를 위한 기본적인 조건으로 KOICA 대내외의 평가 역량 강화가 중요한 과제로 제기되어 왔으며, 향후에도 가장 중요한 과제로 남아 있을 문제이다.

KOICA 직원의 평가 역량 강화는 KOICA내 평가가 내재화되고, 이를 통해 전략과 사업의 효과성 제고를 도모할 수 있기 때문이다. 또한, 평가를 관리하는 주요 주체로서 평가 품질 제고를 위해서도 KOICA 직원의 평가 역량 강화는 중요한 선결과제이다. 앞서 언급한 중장기적인 과제인 개별사업의 평가 분권화 또는 현장화를 위해서도 KOICA 직원의 평가 역량 강화는 필수적인 요소이다.

KOICA가 자체적인 성과관리 및 평가 체계를 지속적으로 고도화할 필요성이 있는 또 다른 이유는 KOICA는 국내에서 ODA 사업수행 및 평가 노하우를 가장 많이 축적한 기관으로서 국내 ODA 시행기관들의 평가 역량을 강화하는데 선도적인 역할을 할 수 있기 때문이다. KOICA 기관 차원에서 평가 역량이 축적되고 선진화되기 위해 기존의 평가 체계의 정착, 효과성 제고를 위해 더욱 노력할 필요가 있다.