PDF Download
PubReader
Export Citation
Email the Author
Share Facebook
Share Twitter
Cited by 0 Article
Metrics (View:4,931)
Ⅰ. 서론
2000년대 들어 개발협력 효과성 논의에서 시작된 성과평가의 중요성은 보다 과학적이고 객관적인 성과평가를 요구하는 수요와 함께 평가자의 자질에 대한 논의로 이어져 왔다. OECD DAC 평가네트워크는 꾸준히 평가자의 자질 검증방법을 묻고 있으며, 각 개발협력 수행기관 및 평가학회 등은 각자 실정에 맞는 평가자 역량 기준을 제시하고 있다.
국내의 경우, 개발협력 분야에서 평가자 역량이 정의되거나 기준이 제시된 적이 없으나, 평가의 품질관리를 위해 메타평가 또는 평가 품질관리, 평가자의 윤리 준수도 평가 등을 실시하여 평가의 전 과정에 걸쳐 평가자의 역량을 간접적으로 측정하고 있다(한국국제협력단, 2019). 평가자 역량은 특히 선발과정에서 필수로 요구되나, 객관적으로 평가자 역량을 측정할 수 있는 기준이 부재하기 때문에 분야(sector) 전문가 선발 기준과 같이 전문가의 실적과 평가자가 제안하는 과업 수행계획만을 바탕으로 평가자를 선발하고 있는 실정이다. 평가 역량에 대한 기준 부재는 역량 있는 평가자의 선정을 어렵게 하고, 이는 우수한 품질의 평가결과 및 제언 도출을 어렵게 한다. 또한, 장기적으로는 내실 있는 평가 교육의 부재로 이어져 역량을 갖춘 평가자가 지속적으로 배출되기 어려운 결과를 초래하기도 한다.
Stevahn et al.(2005)은 평가자 역량이 표준화되어 있지 않아 발생되는 문제점을 다음과 같이 지적하였다. 첫째, 표준화된 기준 또는 자격증이 없으면 누구나 자신을 평가자라고 주장할 수 있으며, 이로 인해 지식이나 기술이 없음에도 노련한 전문가로 통과할 수 있는 가능성이 있다. 둘째, 평가자를 고용해야 하는 프로그램(사업) 관리자는 평가 업무 역량과 자격을 갖춘 전문 인력을 구분하는 데 어려움을 가지게 된다. 셋째, 평가 역량 개발에 관심을 가지고 있는 개인이 필요한 학습 내용을 결정하는 데 어려움을 가지게 된다. 넷째, 평가 직무 역량이 표준화되어 있지 않기 때문에 평가 교육 프로그램을 제공하는 기관은 평가 인력 양성을 위한 전문적인 커리큘럼보다는 단순히 인식된 필요성이나 개인적인 선호에 기반한 커리큘럼을 제공하게 된다. 마지막으로, 가장 큰 문제는 평가의 효과적인 실무를 위해 평가 모델을 개발하고 검증하는 평가 연구가 부실해진다는 점이다.
따라서 해외의 개발협력 수행기관 및 평가학회에서는 90년대 이후 지속적으로 평가자 역량에 대한 기준을 마련하고 개선해 오고 있다. 이에, 본 연구는 평가자 역량 기준에 대한 해외 사례를 분석하고, 현재 국내에서 적용되고 있는 현황을 분석하고자 한다. 이를 위하여 국내에서 개발협력 프로젝트 평가를 가장 많이 수행하고 있는 한국국제협력단(KOICA)에서 평가자 선정 시 해당 평가자 역량 기준이 얼마나 반영되고 있는지 분석하였다. 향후 본 연구를 기반으로 평가자 선발 기준의 체계화뿐만 아니라, 최근 신규로 개설되고 있는 평가 및 모니터링 교육과정의 학습내용 구성에도 기여할 수 있을 것으로 기대한다.
Ⅱ. 이론적 배경
역량의 개념은 사전적 의미로 어떤 일을 해낼 수 있는 힘으로 정의되고 있고, 인적자원개발 분야에서는 특정한 상황이나 직무에서 성공적인 업무성과를 내는데 필요한 지식, 기술, 태도 등의 조합으로 정의되고 있다(Boyatzis, 1982; Dubois & Rothwell, 2004; McLagan, 1989; Rothwell, 1999; Spencer & Spencer, 1993). 더 나아가 역량의 개념을 확대하여, 삶을 영위하는데 기본적으로 필요한 ‘삶 살이 능력’, 노동시장에 진입하여 기본적인 업무를 수행할 수 있는 ‘기본 노동 능력’, 그리고 고(高)성과자들의 행동특성으로 규정하는 ‘성공적인 성과창출 능력’ 등의 세 가지로 분류하는 경우도 있다(박용호, 2018).
인적자원 개발 분야 외에 개발평가에 한정한 평가자의 역량이 정의되기도 하였다. 평가 지식을 공유하는 국제 비영리 기관인 Better Evaluation은 평가의 목적에 따라 평가자의 자질을 정의하였다. 구체적으로는 책임성 확보의 목적에 있어서는 방법론적인 기술과 독립성 확보 등의 태도, 학습의 목적에 있어서는 방법론적 기술 외에 성인교육자로서의 자질, 혁신의 목적으로는 리더십과 분석 능력으로 평가자의 자질을 정의하였다(Better Evaluation, n.d.).
Wilcox & King(2014)은 역량의 개념이 지식과 기술, 태도와 관련하여 정의된 기존 연구를 바탕으로 평가 역량을 <그림 1>과 같이 정의하였다. ‘평가 예산을 이해하는 것’은 지식의 영역이고, ‘평가예산 제안을 위해 평가 예산 수립 이해도를 활용하는 것’은 지식을 활용하는 역량이다. ‘평가 계약을 협상’하는 것은 기술이지만, ‘다양한 지역에서의 연구 수행을 위한 계약 체결’은 기술 역량이다. 마찬가지로 ‘우수한 평가 수행을 하고자 하는 것’은 태도이며, ‘모든 업무를 적시에 완료하는 것’은 역량에 속한다. 종합하면 평가에서의 역량이란, 평가직무를 성공적으로 수행하기 위하여 지식과 기술, 태도를 활용하는 능력이라고 할 수 있다.
Goremucheche(2017)는 남아프리카공화국에 적용할 평가자 역량을 연구하면서 평가 표준(standards)과 역량(competencies), 그리고 윤리의 정의를 구분하였다. 그에 따르면 평가 표준은 실무자에게 수용할 수 있는 특성이고, 평가 역량은 기술과 지식, 그리고 능력이다. 윤리는 상위 개념으로서 그 아래에서 평가자의 역량이 적용된다.
평가자 역량에 대한 본격적인 연구는 미국과 캐나다에서 각각 40년 및 30년 이전에 평가전문가 자격제도 도입을 연구한 것이 시작이라고 볼 수 있다(Becker & Kirkhart, 1981; Love, 1994). 실제로 캐나다 평가협회와 일본 평가협회는 평가 자격제도를 도입하였다(Wilcox & King, 2014).
이후 국가별 또는 대륙별 형성된 평가협회들에서 본격적인 평가자 역량 기준에 대한 연구가 실시되었다. 미국에서는 1986년도에 설립된 미국 평가협회가 1993년 들어 평가자를 위한 원칙(guiding principles for evaluators)을 수립하였다. 가장 처음 발표된 초안에서 체계적 조사(systematic inquiry), 능숙도(competence), 진실성(integrity/honesty), 사람 존중(respect for people), 일반적이고 공적인 복지 책임감(responsibilities for general and public welfare)의 다섯 가지 영역으로 구분된 평가자 역량을 제시하였다(AEA, 2004). 이후 1999년 패널 검토 및 2004년도의 개정을 거치면서 수정 및 보완되었고, 최근에는 5개 영역에서 49개의 평가자 역량을 제시하고 있다. 2004년도 아프리카 평가협회의 케이프타운 회의를 계기로 창설된 남아프리카 평가협회(SAMEA)는 2007년부터 평가자 역량 논의에 대한 필요성을 인식하고, 2009년에 첫 평가자 역량 기준을 제시하였다(Podems et al., 2014). 남아공 정부는 이러한 평가자의 각 역량에 대하여 프로그램 담당자와 평가 자문가, 그리고 평가자로 구분하여 해당 역량을 다시 제시하기도 하였다(The Presidency Republic of South Africa, 2012). 이후 남아프리카 평가협회(SAMEA)는 각종 세미나를 통해 직무 역량을 구체화 및 개선해 나가고 있다. 캐나다 평가협회는 캐나다 실정에 맞는 평가 실무를 위해 2008년과 2009년에 평가자 역량에 대한 연구를 수행하였으며, 2018년에 평가자 역량가이드를 발간하였다(CES, 2018). 뉴질랜드 평가 협회는 우수한 품질의 윤리적 평가 관행을 안내하고, 평가자 고용 기준 제공 및 평가 기준에 대한 지침과 책무성 제고의 목적뿐만 아니라, “우수한 평가”에 대한 대중의 인식 제고를 위해 평가자 역량을 제시하였다(ANZEA, 2011). 호주 평가 협회는 평가 지식과 전문성 향상, 평가 실무의 품질 향상을 위해 평가자의 전문 학습역량 프레임워크(Evaluators’ Professional Learning Competency Framework)를 개발하였다(AES, 2013).
개발협력 시행기관인 UN의 평가그룹 역시 평가자로서 강점을 평가하고 개발이 필요한 영역을 결정하며, 평가자의 지속적인 전문성 개발을 위한 프레임워크를 제공하고 있다(UNEG, 2016). 미국의 질병통제예방센터는 평가자 스스로의 자체 평가를 위한 평가자 자가진단(evaluator self-assessment)을 제시하며, 평가자들이 평가품질을 위해 자신의 역량을 체계적으로 성찰해야함을 강조하였다(CDC, 2018).
한편, 연구자 King et al.(2001)은 평가자의 핵심 역량 식별과 합의의 필요성을 언급하며, 이전 기준들을 분류하는 틀을 제안하였다. 평가자 역량을 크게 네 개의 영역으로 나누고, 영영 내에서 하위 범주를 두고 다시 세부역량을 기술하였다. 이후 Stevahn et al.(2005)은 King의 기존 분류법이 실제 적용하기 어려운 한계가 있음을 지적하고, 평가 역량 분류법을 1) 전문 실무, 2) 체계적 조사, 3) 상황 분석, 4) 평가 프로젝트 관리, 5) 자기 성찰, 6) 대인 관계와 같이 전체 여섯 개의 영역으로 개선하고, 세부 역량을 설정하였다. 이후, Ghere et al.(2006)은 Stevahn의 분류를 바탕으로 평가자의 역량 개발 교육 방안을 제안하였다. 이때 기존 6개 영역이 평가 대상의 분야나 환경에 따라 중요도가 다르게 적용될 수 있다는 점에 대하여 <그림 2>와 같이 교육 분야 내부 평가자와 사회복지 분야 외부 평가자로 구분하여 예시를 제시하기도 하였다.
Ⅲ. 연구 절차 및 방법
본 연구는 평가자 선발 및 평가 품질관리 등에서 활용할 수 있는 평가자의 역량 기준의 근거 마련을 목적으로 수행되었다. 이를 위하여 먼저 평가자 역량 기준을 분류할 틀을 개발하였다. King et al.(2001)과 Stevahn et al.(2005)에 걸쳐 개발된 평가자 역량 분류법에 해외의 평가협회와 기관들이 추가로 제시하고 있는 평가자 역량 기준을 새로 반영하였다.
이후 8개의 해외평가 협회 및 기관(미국 평가협회1), 뉴질랜드 평가협회2), 호주 평가협회3), 캐나다 평가협회4), 미국 질병통제예방센터5), 국제 개발평가협회6), 남아프리카 모니터링 및 평가 협회7), UN 평가그룹8))의 평가자 역량 기준을 분석하였다. 그리고 그 결과를 평가자 역량 분류법에 반영하였다. 각 기관에서 영문으로 발표된 평가자 역량 기준 문서에 한하여 분석하였으며, 같은 언어라 할지라도 각 기관마다 서로 다른 용어를 사용하는 경우가 있을 수 있기 때문에 2명의 연구자가 교차 비교하여 검토하였다. 분류법에 반영한 이후에는 이를 역량의 요소인 지식, 기술, 태도로 구분하여 그 빈도를 확인하였다.
마지막으로 KOICA에서 평가자 역량을 심사9)하는 기준을 본 연구가 분류한 평가자 역량과 비교하였다. 이를 위하여 KOICA의 외부 평가자 선발을 위한 공모와 입찰, 평가 종료 이후에 실시되는 평가 품질관리, 평가자 윤리 준수도 평가의 기준을 적용하였다. 본 연구에서 중점적으로 다루어지지는 않았지만, KOICA에서 최근 게시한 평가팀10) 선정을 위한 제안요청서를 참조하면서 KOICA에서 평가자에게 요구하는 사항을 검토하고, 이를 최종 결론 도출에 반영하였다.
이 비교를 위해 분석한 해외 사례들은 평가자 자가 진단 및 교육 프로그램 기획까지 고려한 보다 넓은 용도로 개발된 역량 기준이다. 그러나 KOICA의 사례는 평가자 선발 및 품질관리를 위해 개발된 기준이기 때문에 단순히 비교분석하는 데에는 한계가 있다. 다만 현재 KOICA에서 적용하는 기준들의 우수한 점이나 미흡한 점을 찾아내는데 객관적인 근거 제공에 의의가 있다. 한편, KOICA의 경우 평가 대부분이 외부 평가로 수행되는 특징이 있는 바, 외부 평가에 한하여 분석하고 결론을 도출하였다.
Ⅳ. 연구 틀 개발
Stevahn et al.(2005)이 개선한 평가자 역량 분류 및 각 영역의 세부적인 역량은 <표 1>과 같다. King의 분류와 비교하여 2.6. 프로그램 이론 구체화, 2.11. 데이터 타당도 평가, 2.12. 데이터 신뢰도 평가, 3.1. 프로그램 설명, 3.2. 프로그램 평가성 결정, 3.3. 이해관계자들의 관심사 식별, 3.5. 갈등을 다룸, 4.4. 평가 전반에 걸쳐 평가 의뢰자와의 의사소통, 4.6. 구해야 하는 정보의 비용 정당화와 같은 항목들이 추가되어 있다.
Stevahn이 제안한 평가자 역량 분류법 첫 번째 영역인 ‘전문 실무’ 영역은 평가 표준 및 윤리 준수와 같은 연구자로서의 자질에 중점을 두고 있다. 그러나 다수의 평가협회 및 기관들이 공통적으로 제시하는 ‘해당 국가의 평가 가이드라인 준수’, ‘독립성 유지’, ‘조직의 M&E 시스템 구축에 기여’, ‘평가 종류를 구분하고 각 방법을 적용’에 대한 역량이 부재하여 이를 추가하였다. UNEG 외 일부 기관에서는 평가 전문가들이 전반적인 평가 실무 가이드라인과는 별도로 평가가 수행되고 있는 국가의 평가 가이드라인을 파악하고, 준수할 것을 강조하고 있다. 또한, 모든 기관이 제시하고 있는 ‘윤리적인 행동’과 별개로 다수의 기관에서 ‘평가의 독립성’을 구체적으로 명시하고 있다. 이에, 일반적인 연구윤리 준수 내용과는 별도로 강조할 필요성이 있다고 판단되어 독립성 유지 기준을 추가하였다. UNEG와 IDEAS는 평가 의뢰기관이 M&E 시스템을 구축하는 데에도 평가자가 기여할 수 있는 역량을 제시하고 있다. 평가자로서 평가 과업의 완수 이외에도 평가 문화 정착에 기여할 수 있는 보다 넒은 의미에서 평가 전문성을 강조하고 있기에 ‘조직의 M&E 시스템 구축에 기여’를 추가하였다. 한편, 호주 평가협회 외 다수의 기관에서 평가와 심사를 구분할 수 있고, 영향평가 및 비용편익분석 등의 다양한 평가방법으로 적용하는 역량을 제시하고 있다. 이에 전문 실무 영역에서 ‘평가 종류를 구분하고 각 방법을 적용’하는 역량을 추가하였다(<표 2> 참조).
두 번째, ‘체계적 조사’ 영역은 조사 설계, 데이터 수집과 분석, 평가 해석 및 보고와 같이 평가 실무에 필요한 기술적인 측면을 강조하고 있다. 본 연구에서는 해당 영역에 ‘평가방법 결정’, ‘기존 데이터 활용’, ‘평가 전반에 이해관계자의 참여 촉구’ 역량을 추가하였다. 평가의 체계적인 조사를 위해서는 양적 및 질적 방법론 등의 조사방법에 대한 지식을 활용하기에 앞서 타당한 평가방법을 결정하는 역량이 요구되며, 실제로 다수의 기관들이 적절한 평가방법을 결정하는 역량을 제시하고 있다. 더불어, 평가방법을 결정하고 데이터 수집 전략을 수립하는데 있어 다수의 기관들은 평가자가 기존 데이터 유무를 조사하고, 활용 가능성을 판단하는 역량도 갖출 것을 제시하였다. 또한, 평가의 계획부터 최종 결론 도출까지 전반에 걸쳐 다양한 이해관계자의 참여가 요구되며, 이에 이해관계자의 참여를 독려하는 역량이 필요하므로 ‘평가 전반에 이해관계자의 참여 촉구’를 추가하였다.
세 번째, ‘상황 분석’ 영역은 프로젝트와 관련하여 보다 넓은 관점에서 평가대상을 대할 수 있는 식견을 강조한다. 주어진 평가와 관련된 이해관계자들의 고유한 관심사를 식별하고, 문제나 상황 분석, 그리고 평가 자체에 대한 외부 압력 등의 모든 이슈를 고려할 것을 제안하고 있다. 이 영역에서는 모든 역량들이 기존 Stevahn이 제시한 역량에 분류될 수 있어 새롭게 추가한 역량은 없었다.
네 번째, 평가업무도 하나의 프로젝트로 간주하기 때문에 ‘프로젝트 관리’ 영역이 있다. 이 영역은 평가예산 수립과 필요한 자원을 식별하는 역량뿐만 아니라, 평가팀원을 감독하고 훈련하는 등 평가를 수행하는 데 실제로 요구되는 행정 혹은 공동 작업 역량의 필요성을 보여준다. 그러나 다수의 기관이 공통적으로 제시한 ‘평가 절차 모니터링 및 품질/위험관리’를 추가해야 했고, ‘정보, 전문가, 인적자원, 도구 등 평가에 필요한 자원 판단’ 역량을 ‘정보, 전문가, 인적자원, 도구 등 평가에 필요한 자원 판단 및 관리’로 수정하여 자원 관리 역량에 관한 내용을 포함해야 했다. 한편, ‘구해야 하는 정보 비용 정당화’는 조사 계획에 따른 예산 수립 능력과 평가 의뢰자의 협상 능력이 복합된 것으로 보고, 본 연구에서 제시하는 개선안에서 제외하였다.
다섯 째, ‘자기 성찰’ 영역의 경우, 평가자로서 자신이 가지고 있는 지식, 기술, 성향을 인지하고, 더 나아가 지속적인 평가 전문성을 개발하는 역량을 포함한다.
마지막으로 평가업무가 다양한 사람을 대하는 특성을 반영하여, 관련된 이해관계자들과의 의사소통, 협상, 갈등 해결, 협력 및 범문화 이해 등 평가를 수행하는데 필요한 ‘대인 관계’ 역량이 있다. 대인관계 영역도 자기 성찰 영역과 마찬가지로 새로운 역량의 추가 없이 기존 분류법을 그대로 사용하였다.
V. 연구 결과
8개의 학회 및 기관이 제시하는 평가자 역량을 앞에서 개발한 평가자 분류법에 따라 분류하면 <표 3>과 같다. 주요 평가 학회 및 기관들의 역량 기준은 대체로 조사 및 연구 기법과 같은 기술적인 역량 외에, 평소에 유지해야 하는 평가 기본 소양, 전후 맥락을 파악하려고 하는 노력, 평가 의뢰자의 수요를 파악하고, 실제 적용 가능한 업무 범위를 한정하는 능력 등 기술 및 지식, 태도 모두 비중 있게 다루고 있다.
AEA는 많은 세부 역량들에서 해당 기술 및 지식을 ‘적절한 때(when appropriate)’에 적용하고 활용할 수 있는지에 초점을 두었다. 즉, 해당 지식을 아는 것에서 더 나아가 적절한 상황을 판단하고 선택하는 역량을 요구한다고 볼 수 있다. 한편, 조사 방법론에 대한 역량을 함축적으로 제시한 것과는 대조적으로 이해관계자 참여 촉구, 범문화 역량과 같이 태도와 관련된 역량은 다른 기관에 비하여 구체적으로 제시하였다.
AES는 평가에 영향을 끼치는 조직적 상황, 평가 주변 권력 관계 등 평가가 놓여있는 주변 상황에 주의를 기울이는 역량을 세분화하였다. 특히, 다양한 문화를 이해하는 범문화 입증 역량은 다른 기관들에 비해 가장 세부적으로 역량을 제시하였다. 또한, 평가 프로젝트 관리에 있어서 평가 의뢰자의 수요 분석 및 계약 범위를 결정하는 역량과 평가 의뢰자와의 의사소통 역량 등을 구체적으로 제시함으로써 평가를 컨설팅 관점에서 바라보고 있다는 것을 알 수 있었다. 한편, 대부분의 평가 프로젝트 관리 역량이 강조된 것과 대조적으로 평가의 품질관리 역량은 제시되지 않고 있다.
ANZEA는 평가 지식 기반을 이해하고 다른 평가자의 역량을 개발하는데 기여할 수 있는 역량을 강조하는 것이 다른 기관과의 차별점이다. 이외에도 다양한 민족이 평가 이해관계자가 될 수 있는 지역적 특성을 고려하여, 원주민 등 민족 문화를 이해하고 평가에 반영하는 역량을 제시하고 있다.
미국 CDC는 평가자 역량 6가지 영역 중, 데이터 수집부터 분석, 관리 능력을 포함한 ‘체계적 조사’ 역량에 집중하고 있다. 특히 프로그램 이론을 구체화하고 평가를 디자인하는 역량을 강조하였다. 한편, 소프트웨어 사용 능력을 구체적으로 언급하기도 하였다. 양적 및 질적 데이터를 분석할 때의 소프트웨어 사용 능력과 더불어 평가 결과를 보고할 때 데이터 시각화를 위한 적절한 기술을 사용하는 역량을 제시하였다. 이는 다른 기관들이 결과 보고 역량에 있어 다양한 이해관계자 및 비전문가를 고려하는 역량만 제시한 것에서 더 나아가 구체적인 기술 역량을 제시하고 있다고 볼 수 있다. 한편, 체계적 분석 외에는 평가자로서 실무를 통해 학습한 내용을 지속적으로 배우고, 개인 혹은 관계 구축을 통해 평가 전문성을 개발하는 것에 중점을 두고 있다.
CES에서 수립한 평가자 역량은 AEA와 거의 유사하나, 여러 역량들에 복합적으로 요구되는 역량들을 보다 넓은 의미로 포함하여 다른 기관에 비해 역량 기준을 간단명료하게 분류하였다. 전체 역량을 36개로 표현하여 전체 8개 기관 중 가장 함축적으로 역량을 제시하고 있다.
IDEAS는 미국 CDD와 같이 ‘체계적 조사’ 역량에 집중하고 있으나, 세부적으로 중점을 두고 있는 역량에 차이가 있다. 예를 들어, IDEAS는 평가 질문 설계와 평가에서 활용할 데이터 출처 식별 능력 및 기존 데이터 활용 능력을 구체화 하였다. 특히, 데이터를 기반으로 평가 전반에 걸쳐 결론의 근거를 제공하고, 평가 절차와 결과를 투명하고 효과적으로 제시하는 역량에 대하여 다른 기관에 비하여 중점을 두었다. 결과 보고 역량에 있어서는 결과 보고서의 주요 목차별로 역량을 구분하여 제시하기도 하였다.
SAMEA는 전체 역량을 44개로 제시하여 CES와 같이 대체적으로 함축적으로 제시하고 있다. 그러나 평가지식과 데이터 분석에 있어서는 다른 기관에 비하여 구체적으로 언급하고 있다. 특히, SAMEA는 여러 기관 중 양적 및 질적 데이터 분석 시 활용하는 구체적인 통계 소프트웨어 종류를 유일하게 제시하기도 하였다.
<표 3>의 협회 및 기관별 제시하고 있는 역량의 개수를 종합하면 각 기관별로 평가자의 역량에 대해 최소 36개에서 최대 113개까지 세부분화하고 있다. 전체로는 6개 영역에서 총 563개의 세부 역량이 제시되고 있으며, 이 중 40%인 228개가 ‘체계적 조사’ 영역에 집중되어 있다. 이는 실제 평가 과업 수행 시, 조사 단계에 자원이 가장 많이 투입되는 것과 연관지어 설명할 수 있다.
한편, 각 세부 역량을 다시 앞의 <그림 1>에서 제시한 지식, 기술, 태도 3가지 분류에 따라 구분하면 <표 4>와 같다. 563개의 평가자 세부 역량 중, 약 60% 이상인 336개 역량이 기술적인 측면에 해당함을 알 수 있다. 기술적인 측면 다음으로 평가자의 태도와 관련된 역량이 구체적으로 제시되고 있다. 태도 역량은 전반적으로 6개 모든 영역에서 평가자가 갖추어야 할 태도에 대해 고르게 제시하면서 지식에 해당되는 역량보다 2배 이상의 세부적인 역량을 제시하고 있다.
| 역량 분류 | 심사 내용 | |||
|---|---|---|---|---|
| 지식 | 기술 | 태도 | 소계 | |
| I. 전문 실무 | 22개 | 11개 | 51개 | 84개 |
| II. 체계적 조사 | 31개 | 185개 | 12개 | 228개 |
| III. 상황 분석 | - | 44개 | 34개 | 78개 |
| IV. 평가 프로젝트 관리 | 9개 | 54개 | 4개 | 67개 |
| V. 자기 성찰 | 6개 | - | 37개 | 43개 |
| VI. 대인관계 | - | 42개 | 21개 | 63개 |
| 계 | 68개 | 336개 | 159개 | 563개 |
KOICA에서 평가자 선발 과정과 품질관리 및 윤리 준수도 심사에서 적용하는 기준은 <표 5>와 같다. 전 과정에 걸쳐 평가자 역량이 분포하고 있으나, 각 단계별로는 일부 역량을 중점적으로 심사하고 있다.
공모와 입찰로 나뉘는 평가자 선발의 경우, 공모보다 입찰에서 보다 다양한 평가 역량을 고르게 반영하고 있다. 그러나 전문 실무 영역은 공모와 입찰 모두 심사 기준이 부재하다. 다만 평가팀 선발을 위한 제안서 작성 지침에서 품질 관리방안 중 ‘공정하고 객관적, 신뢰성을 갖춘 품질관리 계획’을 작성하게 하여, 전문 실무의 일부 내용을 보완하고 있다. 대신 평가 세부실행 방안이나 평가 방법론을 중점적으로 심사하고 있다. 그러나 외부 평가자 공모 선정 시에는 평가방법론에 대하여 ‘과업범위 이해도’라는 포괄적인 기준으로 심사하기 때문에 입찰을 통한 심사에서보다 평가자의 평가계획에 대한 심사 기회가 다소 적은 것으로 나타났다. 한편, 본 연구에서 분석한 해외 사례에서는 서면보고 역량 이외에도 평가 결과를 다수의 이해관계자들에게 효과적으로 전달하는 구두 보고 역량에 대해서도 주요 역량으로 포함하고 있다. KOICA의 평가자 심사 항목에는 구두 보고 역량에 대한 평가가 부재하지만, 제안 요청서를 통해 핵심 및 주요 평가팀원의 ‘평가보고회 참석’을 의무 과업으로 제시하고 있어, 구두 보고 역량에 대한 중요성을 인식하고 있는 것으로 알 수 있다.
KOICA는 평가자가 제시하는 과업 대상지 분석과 과업 목표 제시, PDM 타당성 및 적절성에 대한 검토 내용과 평가성(evaluability) 의견 및 평가 표준결과물에 대한 이해도 여부를 심사하면서 ‘상황 분석’ 영역 내의 ‘프로그램 설명(묘사)’ 및 ‘프로그램 평가성 결정’ 역량을 판단하고 있다. ‘대인 관계’ 영역은 단순한 이해관계자간의 대인 관계보다 전략적이고 건설적인 의사소통과 상호작용을 촉진하는 역량을 포함하고 있다. 하지만 KOICA는 ‘국내외 네트워크 구축’에 대해서만 판단하고 있다.
KOICA 종료평가 용역 공모 심사의 기준이 되는 평가 배점을 살펴보면, 평가에 대한 이해도(10점) 및 평가세부 실행방안(25점)을 포함하는 기술부문이 35점, 평가 사업관리 부문(인력운용 계획 20점, 평가관리방안 및 국내외 협력체계 구축과 범분야 평가계획 20점)이 40점으로 배정되어 있다. 전체적으로 보면 용역 공모는 평가 팀을 선발하는 만큼 평가자 역량 영역 중 ‘평가 프로젝트 관리’ 영역에 비중을 조금 더 두고 있음을 알 수 있다.
반면, KOICA의 외부 평가자 공모 시, 사업에 대한 이해도를 포함한 과업 이해도가 30점인 반면, 자격사항 또는 외국어 능력을 포함한 자격요건 부함도 30점, 해당분야 근무경력 20점, ODA를 포함한 유사사업 참여 실적을 20점으로 배정함에 따라 평가자의 평가 계획이나 평가에 활용할 방법론 등에 대한 심사보다는 평가 지원자의 경력을 심사하는 데에 집중하고 있음을 알 수 있다.
평가 수행 이후에는 보고서에 대한 전문가 검토가 있으며, 이때 평가품질관리 기준을 활용하는데, 이 검토의 목표는 평가 산출물에 대한 품질평가이기 때문에 체계적 조사 영역을 주로 점검한다. 평가윤리 준수도는 그 목적상 전문 실무 영역 또는 대인관계 영역이 주로 평가된다.
전문 실무 영역의 경우 <표 3>의 모든 기관들이 공통적으로 ‘평가 가이드라인 준수 여부’를 제시하는 것과 대조적으로 KOICA에서는 ‘평가 수행의 성실성 및 진실성’이 유일하게 연관성이 있는 기준으로, 평가 가이드라인 준수 여부를 폭넓게 측정할 수 없는 한계가 있다. 다만 KOICA는 평가 과업 지침으로 OECD/DAC의 평가 가이드라인을 준수할 것, 평가원칙을 준수할 것 등을 제시하고 있어 선발된 평가자에게 해당 가이드라인을 준수할 것을 요구하고 있다.
OECD/DAC은 평가 보고서 내에 평가 사업 대상지의 정책 환경, 사회경제적·정치적·문화적 요인과 같이 상황 분석에 해당하는 내용들을 포함하도록 하고 있으며(OECD, 2010), 사업의 논리성과 함께 사용된 정보(데이터)의 적정성·타당성·신뢰도, 분석 결과를 통해 결론의 입증, 제언 및 교훈 도출의 논리성, 평가의 제한점과 장애요소를 포함한 평가 과정의 모든 것을 기술해야 함을 명시하고 있다. 이에, OECD/DAC의 품질관리를 준수하도록 하면서 해당 영역을 보완하고 있다.
VI. 결론 및 제언
평가품질에 직접적으로 영향을 끼치는 평가자의 자질과 직무역량에 대하여 해외 평가학회 및 개발협력 수행기관들의 평가자 역량 기준을 분석하고, 국내 적용 현황을 진단한 결과, 다음과 같은 시사점을 얻을 수 있었다.
먼저 해외 사례를 분석한 결과는 다음과 같이 요약할 수 있다. 첫째, 대체적으로 공통된 평가 역량을 제시하고 있었으며, 각 기관별로 강조하는 역량에 대해서는 이를 세부적으로 제시하고 있는 것으로 보여진다. 둘째, 해외 사례들로부터 평가자의 역량이 기술이나 지식적인 측면 이외에 태도까지 고르게 요구될 수 있다는 점을 알 수 있다. 이러한 특징은 기존 평가 교육에서 지식이나 기술에 한정하여 교육과정이 구성되어 있는 상황에 시사점을 준다. 셋째, 간혹 평가가 연구의 일종으로 구분되기도 하는데, 이해관계자와의 의사소통 능력, 평가대상지에서의 대인관계, 전략적인 결과 보고 등의 역량은 평가가 분명히 연구 업무와 구분된다는 것을 의미한다. 넷째, 평가 업무가 일반 개발협력 프로젝트와 동일한 접근방법으로 수행되기도 하지만, 평가자 스스로의 반성을 요구하는 자기성찰, 평가 결과가 정치적으로 활용될 수 있다는 점을 고려할 수 있는 역량 등은 평가자가 프로젝트 전문가와 차별되는 역량을 보유해야 함을 의미한다.
KOICA에서 평가자의 역량을 심사하는 과정에 대하여 해외의 평가자 기준 사례에 근거하여 분석하고 얻은 시사점은 다음과 같다. 먼저, 평가자 역량에 대한 정의나 각각의 역량을 구분하는 분류법은 없지만, 평가 업무 전반에 걸쳐 평가자 역량을 심사하고 있다. 그러나 평가자를 선발하는 과정에서는 조사방법에 대한 계획이나 프로젝트 관리 등에 집중하고, 품질관리에서는 조사방법론에 집중하는 등 주로 검토하는 영역에 차이가 있다. 둘째, 모든 해외 기관이 체계적 조사 영역에 비중을 두고 특히 데이터와 관련한 역량을 세분화하여 제시한 것과 대조적으로 KOICA는 품질관리 단계에서 ‘조사내용 분석 수행’이라는 항목으로만 제한하여 포괄적으로 제시하고 있다. 체계적 조사 영역은 입찰을 통한 평가자 선발에서 보다 비중 있게 다루어지고 있지만, 실제 계획과 같이 데이터를 수집하고, 분석 및 결과를 도출하는 역량에 대해서는 평가 이후에 심사할 기준이 부재하다.
본 연구는 국내에서의 평가자 역량 정의 및 기준 마련을 제안하고자, 해외 유사 사례를 분석하고 현재 KOICA에서 적용되고 있는 역량 기준들을 분석하였다. 해외 사례로부터 KOICA에서 아직 적용하지 않고 있는 역량들을 찾아내는 것에 한정된 연구였기 때문에, 구체적인 기준 마련 및 적용을 위해서는 후속연구가 필요하다. 예를 들어, 국내 개발평가 관련자들을 대상으로 국내에서 적용이 시급한 역량들을 선별할 수 있다. 이후 각 평가자 역량에 대하여 객관적인 심사 기준을 제시할 수 있다. 역량 심사 기준이 마련된다면 현재의 공모나 입찰 제도에서 보다 객관적으로 역량 있는 평가자를 선발하는데 기여할 수 있을 것이다. 또한, 이 결과는 해당 평가자에게 고지됨으로써, 이 기준을 평가자 스스로 자가 진단용으로 활용할 수도 있을 것으로 기대한다.
한편, 본 연구는 국내 사례를 KOICA에 한정하여 분석하였으나, 향후 국내 모든 개발협력 평가 시행 기관들의 평가자 선발 기준에 대해서도 분석할 수 있을 것이다. 공모나 용역 입찰의 형태로 평가자를 선발하는 KOICA와는 다르게, 평가를 연구 용역으로 구분하여 평가자를 선발하는 개발협력 시행기관들이 있다. 이에, 이러한 사례들의 비교 분석을 통해 평가자의 역량 심사를 보다 효율적으로 실시할 수 있는 방안을 도출할 수 있다.
또한, 향후 평가자 역량에 대한 연구가 지속적으로 수행된다면 평가 교육 커리큘럼을 개발하는 데에도 유용한 가이드가 될 수 있다. 체계적인 교육 프로그램의 개발을 통하여 국내에서의 평가생태계를 보다 견고하게 만들 수 있을 것으로 기대한다.
