Journal of International Development Cooperation
Korea International Cooperation Agency
연구논문

알키레-포스터 방법론(Alkire-Foster Method)을 적용한 국제개발협력 청소년 통합교육 사업의 다측면적 성과지수 개발연구: 월드비전 청소년 통합교육 사업 적용사례*

윤영준**,*, 조윤호***, 박해인****, 최순영*****, 임진호******
YoungJoon Youn**,*, Yoonho Cho***, Haein Park****, Soonyong Choi*****, Jin Ho Lim******
**캔들 컨설팅
***월드비전 아동미래연구소
****월드비전 국제사업본부
*****월드비전 국제사업본부
******김천대학교
**CANDLE Consulting
***World Vision
****World Vision
*****World Vision
******Gimcheon University
*Corresponding author :캔들 컨설팅 / Joon.Candle@gmail.com

© Copyright 2022 Korea International Cooperation Agency. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Oct 03, 2021; Revised: Nov 24, 2021; Accepted: May 09, 2022

Published Online: Jun 30, 2022

요 약

본 연구는 성과지수 중심의 국제개발협력 성과관리를 지향하며, 한국 월드비전 청소년 통합교육 사업의 성과지수를 개발하는 것을 목표로 한다. 동 성과지수는 청소년기의 다측면적 역량을 종합적으로 측정하고, 모든 수혜자가 사업에서 소외되지 않도록 성과를 관리할 수 있는 정보를 제공할 것을 요구한다. 이러한 요구를 충족시키기 위해, 본 연구는 다측면적 국제빈곤지수(MPI, gobal multidimensional poverty index) 개발에 활용된 알키레-포 스터 방법론(Alkire-Foster Method)을 적용하여 성과지수를 개발하였다. 이에 따라, 본 연구는 다측면적 역량이 박탈된 청소년의 비율과 강도를 측정할 수 있는 성과지수를 개발 하였다. 동 성과지수는 캄보디아의 청소년 통합교육 시범사업에 도입하여 효과성이 확인되 었으며, 나아가 지수설계의 합리성과 통계적 강건성이 검토되었다. 이를 통해, 본 연구는 성과지수를 중심으로 청소년 통합교육 사업의 성과관리 고도화가 가능함을 제시하였다.

Abstract

This study aims to develop a performance index for results-based management in World Vision's inclusive adolescence education program. The index is required to measure multidimensional competencies in adolescence and provide information for results-based management, such that no one is left behind. The index is developed through the well-known Alkire-Foster method, which was used in the Multidimensional Poverty Index by the United Nations Development Programme. The study uses the method to present a performance index that assesses the incidence and intensity of deprived adolescents in multidimensional competencies. The index has been verified for its effectiveness and robustness by World Vision's pilot project in Cambodia. The study emphasizes that results-based management in the inclusive adolescence program can be improved with the performance index.

Keywords: 다측면적 성과지수; 알키레-포스터 방법론; 성과관리; 청소년 통합교육
Keywords: Multidimensional Performance Index; Alkire-Foster Method; Results-Based Management; Inclusive Adolescence Education

Ⅰ. 서론

국제사회는 효과적인 개발협력을 위해 성과관리의 중요성을 강조해 왔다. OECD-DAC(2006)는‘개발성과를 위한 관리(managing for development results, MfDR)’ 원칙을 제시하며 국제개발협력이 성과 중심의 기획, 모니터링, 평가 체계를 구축할 것을 권장해 왔다. 이에 따라, UN(UNDG, 2011)은 ‘성과기반 관리(results-based management)’ 방법론을 개발하여 국제개발협력 사업관리에 표준적으로 적용해 왔으며, 다양한 국제개발협력 기관들도 유사한 방법론을 도입해 왔다. 이러한 방법론들의 공통적인 특징은 국제개발협력의 성과달성 여부를 확인할 수 있는 지표를 사업의 기획 단계에서부터 개발 및 도입하고, 이를 주기적으로 측정하며 사업을 모니터링하고 평가하는 것이다. 따라서 국제개발협력 성과관리의 핵심은 개발성과를 측정할 수 있는 지표와 그 활용방법을 개발하고 도입하며 관리하는 것이라 할 수 있다.

국제개발협력 사업을 성과지표(performance indicator)를 활용해 관리하는 것은 해당 사업이 지향하는 목표와 성과달성 여부를 단적으로 보여줄 수 있다는 장점이 있다. 그러나 지표는 성과의 단일한 측면만 부각한다는 점에서 국제개발협력의 총체적(holistic) 비전과 가치를 적절히 반영하지 못할 수 있다는 한계를 지닌다. 예를 들어, 빈곤을 가구의 소득 수준으로만 측정하는 지표방식은 빈곤의 다양한 측면(교육, 보건, 삶의 질 등)을 통합적으로 나타내지 못한다(Sen, 1999). 이에 따라 UNDP(2019b, 2020)는 최근 다측면적 국제빈곤지수(gobal multidimensional poverty index, MPI)를 도입하여 빈곤퇴치 목표와 활동을 종합적으로 관리하고 있다. 이는 국제개발협력 사업이 다양한 측면을 통합적으로 다루어야 하는 경우, 성과지수(performance index)를 통해 관리하는 것이 더 적절할 수 있음을 보여준다.

청소년 통합교육 분야도 성과지수 도입이 요구되는 대표적인 국제개발협력 사업이다. 이는 청소년 통합교육을 다루는 다수의 연구가 청소년기의 다측면적 역량을 강조한다는 점에서 드러난다. OECD의 DeSeCo(defining and selecting key competencies) 프로젝트는 청소년이 현대사회에서 성공적인 삶을 살아가고 사회가 잘 기능하는데 이바지하는 성인이 되기 위해 필수적으로 갖추어야 하는 핵심역량을 지적도구 활동, 사회적 상호작용, 자율적 행동 등으로 정의하고 있다(Ananiadou & Claro, 2009; Rychen & Salganik, 2001). 미국의 EFF(equipped for the future) 프로젝트 역시 청소년이 부모, 시민, 노동자가 되기 위한 생애핵심역량으로 의사소통기술, 의사결정기술, 대인관계기술, 평생학습기술 등을 제시하였다(Merrifield, 2000). 국내에서도 유사한 관점에서 청소년기의 다양한 영역의 역량을 강조하는 연구가 다수 수행되었으며, 대표적으로 한국청소년정책연구원의 청소년 생애핵심역량(김기헌 외, 2010), 한국교육개발원의 학생역량(김창환 외, 2013), 교육부(2013)의 인성역량 등이 있다. 이러한 연구 결과는 청소년 통합교육 사업의 성과목표가 다양한 측면의 역량을 종합적으로 강화해야 한다는 것을 나타낸다. 이는 청소년 통합교육 사업의 성과관리는 성과지표보다 성과지수를 활용하는 것이 더 적합함을 의미한다.

이에 따라, 한국 월드비전은 성과지수를 활용하여 청소년 통합교육 사업의 성과를 관리하고자 한다. 한국 월드비전은 개발도상국에서 빠르게 증가하고 있는 청소년 인구비율에 주목하고, 청소년을 향후 국제개발의 주역으로 양성하기 위한 청소년 통합교육 사업 ‘BTS(be the solution) 프로그램’을 추진 중이다(한국월드비전, 2020). BTS 프로그램은 월드비전의 비전과 가치체계를 활용하여 청소년이 건강하고 주체적인 성인으로 성장할 수 있도록 하는 기본역량을 학습(learning), 정체성(identity), 미래(future), 공평성(equity)으로 규정하고, 이를 통합하여 LIFE 역량(LIFE competency)으로 명명하였다. 한국 월드비전은 아프리카와 동남아시아의 취약계층 청소년을 대상으로 BTS 프로그램을 운영할 계획이며, LIFE 역량을 성과지수로 측정하여 프로그램의 성과를 관리하고자 준비하고 있다.

본 연구는 BTS 프로그램의 LIFE 역량을 측정할 수 있는 성과지수를 개발하는 것을 목표로 한다. LIFE 지수(LIFE index)로 명명된 동 성과지수는 BTS 프로그램의 성과관리 목적에 따라 다음과 같은 요구사항을 충족해야 한다. 첫째, 청소년의 다측면적 역량을 측정할 수 있어야 한다. 둘째, 청소년 개개인의 역량충족 여부를 종합적으로 판단할 수 있어야 한다. 즉, LIFE 지수는 수혜 청소년의 성과달성 여부를 확인할 수 있어야 한다. 이를 위해, 본 연구는 알키레-포스터 방법론(Alkire-Foster Method)을 적용하여 BTS 프로그램의 성과를 지수로 관리하는 방식을 개발하고, 그 가능성과 시사점을 살펴보고자 한다.

Ⅱ. 이론적 배경: 다측면적 성과지수

일반적으로 지수화 개발연구는 다양한(정규화된) 지표의 값을 가중평균하는 방식으로 이루어진다(OECD, 2008). 청소년 역량을 지수화하는 연구 역시 대부분 유사한 방식으로 이루어졌다. 가령 한국교육개발원의 학생역량지수는 중고등학생의 역량을 신체 역량, 정신 역량, 지적 역량, 진로 역량, 대인관계 역량, 시민 역량으로 구분하고, 역량별로 3개씩 지표를 개발한 뒤, 지표별로 가중치를 부여하고, 지표값(100점 만점)을 가중산술평균하여 100점 만점으로 학생역량지수를 나타내는 방식을 취했다(김창환 외, 2013). 대부분의 청소년 역량지수 연구는 지수의 측정방식보다는 주로 지수를 구성하는 영역, 지표, 가중치에 대한 것으로 진행되는 경향이 있다.

이러한 지수화 방식은 청소년의 다양한 역량을 통합적으로 측정할 수 있다는 측면에서 LIFE 지수가 요구하는 첫 번째 특징을 적절하게 충족한다. 그러나 청소년 개개인의 역량충족 여부는 판별해 주지 못하여 LIFE 지수가 요구하는 두 번째 특징에서 한계를 지닌다. 이는 BTS 프로그램의 성과를 관리하는데 필요한 수혜자 중심의 기획, 모니터링, 평가에 어려움을 가져온다. 그러므로 본 연구는 LIFE 지수가 요구하는 특징을 충족시키는 별도의 지수화 방식을 요청한다.

이를 충족하는 대표적인 지수화 방식은 옥스퍼드 대학교의 OPHI(Oxford Poverty and Human development Initiative) 연구소가 개발한 알키레-포스터 방법론(Alkire-Foster method)이다. 동 방법론은 일반적인 지수화 방식에 비해 다음과 같은 장점을 지닌다(Alkire & Foster, 2011a, 2011b). 먼저, 동 방법론은 지수를 구성하는 지표를 자유롭게 선정할 수 있다. 일반적인 지수화 방식은 주로 연속형(continuous)이고 정규화된(normalization) 자료를 요구한다. 반면 알키레-포스터 방법론은 자료형식과 관계없이 지표를 선정할 수 있으며, 이는 지수 구성에 다양한 측면의 역량을 자유롭게 포함할 수 있도록 한다. 더 중요한 장점은 동 방법론이 개인의 성과충족 여부를 판별할 수 있다는 점이다. 이는 지수를 구성하는 지표들을 활용하여 성과달성 기준을 선정하고, 개인의 다측면적 성과충족 여부를 측정하고 분석할 수 있도록 한다. 따라서 알키레-포스터 방법론을 활용한 다측면적 성과지수는 BTS 프로그램이 요구하는 바와 같이 국제개발협력 사업이 지향하는 비전과 가치를 성과목표로 분명하게 나타낼 수 있으며, 수혜자 중심의 사업 기획, 모니터링, 평가 등을 가능케 하면서 성과관리의 주요한 수단으로 활용될 수 있다.

알키레-포스터 방법론을 적용한 다측면적 성과지수의 대표적 사례는 UNDP(2019b, 2020)의 다측면적 국제빈곤지수(global multidimensional poverty index, MPI)이다. MPI는 소득 수준으로 빈곤을 측정하는 기존 방식에 대한 대안으로 개발되었으며, 빈곤을 다양한 측면의 역량이 박탈된 상태로 규정한다. MPI는 빈곤을 보건, 교육, 삶의 질 측면으로 바라보며, 가구별 빈곤 상태를 측정할 수 있는 세부 지표로 구성된다. 각 지표는 빈곤에 영향을 미치는 중요도에 따라 가중치가 부여되며, 가구의 역량 박탈 여부를 판단할 수 있는 기준을 지닌다. 지표 값은 가구 조사(household survey)를 통해 가구별 역량 박탈 여부(역량 충족=0, 박탈=1)로 측정된다. MPI는 지표 값의 가중총합이 0.33 이상인 가구를 빈곤층으로 규정한다. 즉, 빈곤을 구성하는 역량 전체의 1/3 이상이 박탈된 가구는 빈곤층으로 간주한다. 최종적으로 MPI는 세 가지 형태의 결과를 보여준다. 첫 번째는 빈곤율(incidence)로서 전체 인구 대비 빈곤층의 양적 비율이다. 두 번째는 빈곤 강도(intensity)로 빈곤의 심화 정도를 빈곤층의 지표 값을 가중산술평균하여 나타낸다. 마지막 세 번째는 MPI로 빈곤율과 빈곤 강도를 곱한 값으로 나타내며, 해당 사회가 처한 빈곤의 양적, 질적 측면을 0(긍정)과 1(부정) 사이의 값으로 보여준다(<표 1> 참조).

표 1. 알키레-포스터 방법론을 적용한 다측면적 빈곤지수
측면 지표 (역량충족=0, 역량박탈=1) 지표별 성과충족 기준 가중치
교육 교육 기간 가구 구성원 중 5년 이상의 교육을 받은 자가 없으면 역량 박탈 1/6
교육 참여 가구의 취학기 아동 중 교육기관에 등록하지 못한 자가 있으면 역량 박탈 1/6
보건 아동 사망 가구에 아동 사망 사례가 있으면 역량 박탈 1/6
영양 가구의 구성원 중 영양실조가 있는 자가 있으면 역량 박탈 1/6
삶의 질 전기 가구에 전기가 없으면 역량 박탈 1/18
식수 가구가 식수에 접근하지 못하면 역량 박탈 1/18
위생 가구에 화장실이 없으면 역량 박탈 1/18
바닥재 가구의 집바닥이 흙, 모래, 오물 등으로 되어 있으면 역량 박탈 1/18
연료 가구가 조리 연료로 나무, 숯, 오물 등을 사용하고 있으면 역량 박탈 1/18
자산 가구가 라디오, TV, 전화기, 자전거, 오토바이, 냉장고, 차량, 트렉터 중 하나 이상을 소유하고 있지 못하면 역량 박탈 1/18
지수의 성과충족 기준 지표 값의 가중총합이 0.33(1/3) 이상인 가구를 빈곤층으로 규정
측정결과 형식 ① 빈곤율: 인구 전체 대비 빈곤층 비율(0∼1 사이)
② 빈곤 강도: 빈곤층의 빈곤 심화 정도(0∼1 사이)
③ MPI: 빈곤율 × 빈곤 강도(0∼1 사이)

MPI, gobal multidimensional poverty index.

Download Excel Table

MPI 외에도 알키레-포스터 방법론은 다양한 성과지수로 개발되어 활용되고 있다. UNDP (2019a)는 개발도상국이 자국의 특수성을 반영하여 자체적인 다측면적 빈곤지수(national multidimensional poverty index)를 개발하고 활용하도록 권장하고 있다. 이미 가나, 나미비아, 네팔, 도미니카 공화국, 부탄, 시에라리온, 앙골라, 태국, 파라과이, 파키스탄 등이 동 방법론을 적용하여 별도의 다측면적 빈곤지수를 운영 중이다. 나아가 동 방법론은 빈곤 연구 외에도 널리 적용되고 있다. 부탄 정부(Ura et al., 2011; Ura et al., 2012)의 국민총행복지수(Gross national Happiness Index, GHI)나, USAID의 Feed the Future 프로그램에서 개발한 여성 농업권한지수(Women’s Empowerment in Agriculture Index)가 대표적인 사례로 국제개발협력에서 널리 활용 중이다(Malapit et al., 2014). 이는 동 방법론이 BTS 프로그램의 LIFE 지수에 적절히 적용될 수 있음을 시사한다.

Ⅲ. 연구 절차와 방법: 알키레-포스터 방법론

본 연구는 알키레-포스터 방법론을 활용하여 BTS 프로그램의 LIFE 지수를 개발한다. 따라서 연구 과정도 알키레-포스터 방법론이 제시하는 표준적인 성과지수 개발 절차와 방법을 따른다(UNDP, 2019a). 나아가, 본 연구는 LIFE 지수를 개발한 뒤, 알키레-포스터 방법론에 따라 지수를 시범 적용하고 통계적으로 검토한다(Alkire & Santos, 2014). 본 연구의 절차와 방법을 정리하면 <표 2>와 같다.

표 2. 본 연구의 절차와 방법
단계 절차 방법
1 지수의 목적 선정 문헌검토
2 지수의 측정대상 선정
3 지수의 측정단위 선정
4 지수를 구성하는 측면과 지표 선정 워크숍(1차)
5 지표별 성과충족 기준 선정
6 지수를 구성하는 지표별 가중치 선정
7 지수의 성과충족 기준 선정 워크숍(2차)
8 지수 측정산식 선정
9 지수 시범측정 설문조사
10 지수 검토(강건성 분석) 워크숍(3차)
Download Excel Table

1단계부터 3단계까지 본 연구는 한국 월드비전의 내부 보고서 “월드비전 청소년 통합교육사업 BTS(be the solution)”을 검토하여 LIFE 지수의 목적, 측정대상, 측정단위를 선정한다(한국월드비전, 2020). Ⅱ장에 기술한 바와 같이, BTS 프로그램은 아프리카와 동남아시아의 취약계층 청소년에게 LIFE 역량을 키우는 것을 성과목표로 하며, LIFE 지수는 BTS 프로그램의 성과관리를 위한 목적을 지닌다. 따라서 지수의 측정대상은 수혜 청소년의 LIFE 역량 성취 여부이다. 이는 지수의 측정단위가 수혜 청소년 개인임을 의미한다. 이러한 내용은 본 연구를 본격적으로 수행하기 위해 사전에 한국 월드비전과 검토 및 협의되었다.

LIFE 역량을 구성하는 다양한 측면과 지표는 4∼6단계에서 검토 및 선정한다. 한국 월드비전은 BTS 프로그램을 통해 LIFE 역량이 학습, 정체성, 미래, 공평성 측면의 역량으로 구성된다고 규정하고 있다. 따라서 연구진은 한국 월드비전과의 워크숍을 통해 LIFE 역량의 세부지표, 지표별 성과충족 기준, 가중치를 선정하는 데 집중한다. 특히 본 연구는 월드비전 파트너십에서 널리 활용하고 있는 표준지표와 성과충족 기준, 관련된 표준 질문지를 검토하고 선별하여, 세계 각국의 월드비전 현장 사무소가 지표를 활용하기 수월하도록 노력한다. 동 단계에서 지표 값의 형식은 청소년 개인을 대상으로 해당 지표가 성과 충족되었을 때 0점, 박탈되었을 때 1점 처리한다.

본 연구의 7∼8단계는 청소년의 LIFE 역량충족 여부를 판별하는 방식에 집중하고, 지수개발을 완료한다. 알키레-포스터 방법론은 표본의 역량충족 여부를 지표들의 가중총합 값(0∼1점 사이) 중 지수의 성과충족 기준에 따라 결정한다. 동 방법론은 지수의 성과충족 기준을 0.33(구성역량의 1/3 이상 박탈), 0.5(1/2 이상 박탈), 0.67(2/3 이상 박탈) 중에 선정할 것을 권장한다. 따라서 연구진은 한국 월드비전과의 워크숍을 통해 지수의 성과충족 기준을 토론하고 결정한다. 지수형식의 경우, 본 연구는 알키레-포스터 방법론의 표준형식에 따라 역량이 박탈된 비율(incidence), 역량의 박탈 강도(intensity), 지수(index)로 나타내며, 그 의미와 측정산식은 <표 3>과 같다.

표 3. 알키레-포스터 방법론의 지수 측정산식
지수 의미 측정산식 용어
역량박탈 비율 (incidence) 역량이 박탈된 자의 양적 비율 [0(긍정)~1(부정)] H = q n H : 역량박탈 비율(incidence)
A : 역량박탈 강도(intensity)
n : 전체 표본 수
q : 역량이 박탈된 표본 수
Si : i번째 역량 박탈자의 지표 가중총합
역량박탈 강도 (intensity) 역량이 박탈된 자의 박탈 정도 [0(긍정)~1(부정)] A = 1 q S i q
지수 (index) 역량 박탈이 해당 사회에 미치는 양적, 질적 측면 종합 [0(긍정)~1(부정)] H × A
Download Excel Table

LIFE 지수의 개발을 완료하면, 연구의 9단계에서 지수를 시범 측정한다. BTS 프로그램은 2021년부터 캄보디아 상큼 트머이(Sankum Thmey) 지역에서 취약계층 청소년을 대상으로 시범사업을 운영하고 있다. 본 연구는 동 사업의 기초선 조사로 LIFE 지수를 시범 적용한다. 이를 위해, 사업지역 내 취약계층 청소년을 대상으로 표본 설문조사를 실시하여 자료를 수집한다. 여기서 표본의 크기는 95% 신뢰구간 하에서 LIFE 역량박탈 비율의 표본오차를 0.05 이내로 선정하고, 무작위로 표본 추출한다. 수집된 자료를 분석하여 LIFE 지수를 산출하고, 취약계층 청소년의 공교육 등록 여부, 성별 여부, 취약성 정도에 따른 차이를 비교한다.

본 연구의 마지막 단계는 LIFE 지수에 대한 검토이다. 효과적인 성과지수는 지수를 구성하는 내용이 일부 변동되더라도 유사한 결과를 보여야 한다. 그렇지 않다면, 성과지수의 결과가 측정 환경에 따라 달라져 지수 값들의 비교와 분석이 유효하지 않기 때문이다. 따라서 LIFE 지수도 지표 가중치, 성과충족 기준 등이 일부 달라지더라도 유사한 결과를 보일 정도로 강건해야 한다. 그래서 본 연구는 시범 측정결과를 바탕으로 LIFE 지수의 강건성 분석(robustness analysis)을 실시한다. 이는 알키레-포스터 방법론의 지수 강건성 분석 지침에 따라, LIFE 지수의 구성 내용이 일부 달라질 때 청소년들의 LIFE 역량 순위가 얼마나 달라지는지로 분석한다. 이를 위해, 켄달의 순위상관계수(Kendall rank correlation coefficient, Tau-B) 검사를 수행하며 다음과 같은 절차를 따른다. 첫 번째 단계는 기존의 지수 설계에 따라 지수 값을 산출한다. 두 번째 단계로 LIFE 지수 값이 가장 높은 청소년부터 가장 낮은 청소년까지 순위를 부여한다. 세 번째 단계는 지수를 구성하는 지표 가중치, 성과충족 기준을 변동시키며 앞선 단계를 반복한다. 마지막 네 번째 단계는 켄달의 순위상관계수(Tau-B) 검사를 통해 지수 설계 변동에 따른 순위 변화를 분석한다. 켄달의 순위상관계수(Tau-B)는 –1부터 1 사이의 값을 보이는데, -1은 완전히 부정적인 결과로 지수 설계 변동에 따라 순위가 매우 바뀌는 경우이고, 1은 완전히 긍정적인 결과로 순위가 바뀌지 않는 경우이다. 그러므로 본 연구는 LIFE 지수가 1에 가까운 켄달의 순위상관계수(Tau-B)를 보였을 때 통계적으로 강건한 것으로 판단한다.

Ⅳ. 연구 결과: LIFE 지수

1. 성과지수 개발

LIFE 지수는 BTS 프로그램의 수혜 청소년이 건강한 성인으로 성장하기 위해 갖추어야 하는 다측면적 기본역량을 충족하였는지 측정하고 관리할 수 있도록 개발되었다. 동 성과지수는 수혜 청소년이 학습(learning), 정체성(identity), 미래(future), 공평성(equity)과 관련된 역량(LIFE 역량)을 종합적으로 성취하였는지 판단한다. 이를 위해, 청소년 개개인을 대상으로 <표 4>에 제시된 8개 지표의 충족 여부를 측정하며, 8개 지표 중 3분의 2 이상을 달성한 자를 LIFE 역량이 충족된 상태로 규정한다. 즉, 지표 값(역량 충족=0, 박탈=1)의 가중총합이 0.33 이상인 청소년은 LIFE 역량이 박탈된 상태로 간주한다. LIFE 지수는 세 가지 형태의 결과를 보여준다. 첫째는 LIFE 역량 박탈 비율로 목표를 달성하지 못한 청소년 비율이다. 둘째는 LIFE 역량 박탈 강도로 목표에 도달하지 못한 청소년이 얼마나 뒤떨어져 있는지에 대한 정보이며, LIFE 역량이 박탈된 청소년들만의 지표 값 가중평균으로 표현한다. 셋째인 LIFE 지수는 청소년 사회가 처한 LIFE 역량의 양적, 질적 측면의 종합적 상태를 나타내며, LIFE 역량 박탈 비율과 강도를 곱한 값으로 보여준다. 이러한 세 가지 결과형식은 0과 1 사이의 값으로 나타나며, 0에 가까울수록 긍정적이고 1에 가까울수록 부정적인 상태로 해석된다. 이러한 LIFE 지수의 기본설계 하에서 BTS 프로그램의 성과 측정과 관리를 위해 고려한 주요 내용은 <표 4>와 같다.

표 4. LIFE 지수 개발 결과
영역 하위 영역 지표 지표 충족기준 (역량충족=0, 역량박탈=1) 가중치
학습 학습의 접근성 학습 의지 (4점 척도) 1~2점이면 역량 박탈 1/8
학습의 질 학습 자기효능감 (4점 척도) 1~2점이면 역량 박탈 1/8
정체성 개인 정체성 긍정적인 자아정체성 (4점 척도) 1~2점이면 역량 박탈 1/8
사회 정체성 긍정적인 가치관 (4점 척도) 1~2점이면 역량 박탈 1/8
미래 미래 역량 사회성 역량 (4점 척도) 1~2점이면 역량 박탈 1/8
미래 기회 진로 개발 (4점 척도) 1~2점이면 역량 박탈 1/8
공평성 젠더 공평성 학습, 정체성, 미래 지표 값의 성별 편차 6개 지표 중 3개 이상이 반대 성별의 평균보다 낮으면 역량 박탈 1/8
취약성에 대한 공평성 학습, 정체성, 미래 지표 값의 취약성 편차 6개 지표 중 3개 이상이 타 취약집단의 평균보다 낮으면 역량 박탈 1/8
지수의 성과충족 기준 지표 값의 가중총합이 0.33(1/3) 이상인 청소년을 LIFE 역량을 지니지 못한 자로 규정
성과지수 형식 의미(결과값) 측정산식
LIFE 역량박탈 비율 LIFE 역량을 지니지 못한 청소년 비율 [0(긍정)~1(부정)] 지표 값의 가중총합이 0.33 이상인 표본 수 ÷ 전체 표본 수
LIFE 역량박탈 강도 LIFE 역량을 지니지 못한 청소년의 역량박탈 정도 [0(긍정)~1(부정)] 지표 값의 가중총합이 0.33 이상인 표본의 지표 값 가중평균
LIFE 지수 LIFE 역량 양적, 질적 박탈로 인해 청소년 사회가 처한 상태 [0(긍정)~1(부정)] LIFE 역량박탈 비율 × LIFE 역량박탈 강도
Download Excel Table

성과 측정의 측면에서, LIFE 지수는 월드비전 파트너십의 표준적인 지표, 설문지, 지표 충족기준을 활용하였다. 특히 월드비전 파트너십이 국제개발협력 청소년 교육 사업에서 표준적인 측정 도구로 활용하는 DAP(developmental asset profile)를 적용하여 학습 접근성, 개인 정체성, 사회 정체성, 미래 역량의 지표와 질문지를 구성하였다(Search Institute, 2005). 학습의 질(Sachitra & Bandara, 2017)과 미래 기회(Tanner, 2020)에 대한 지표와 질문지도 청소년과 청년을 대상으로 하는 국제개발협력 교육 사업에 널리 활용되는 도구를 차용하였다. 공평성에 대한 지표의 경우, 젠더와 취약성에 따른 편차로 적용하되, 월드비전이 취약성 여부를 판단하기 위해 활용하는 방식을 적용하였다. 여기서 지표별 성과충족 기준은 차용된 지표와 질문지에 제시된 사용지침을 따랐다. 이와 같이 표준 지표, 질문지, 성과충족 기준을 활용함으로써, BTS 프로그램을 추진하는 다양한 개발도상국의 현장 사무소가 성과 측정의 역량과 경험을 지닌 지표와 질문지를 활용하여 LIFE 지수를 효율적이고 효과적으로 측정할 수 있도록 하였다. 나아가 본 연구는 성과지수가 측정하고자 하는 영역에 대한 표준 지표와 질문지를 적용하여 측정의 통계적 타당성과 정확성을 확보하고자 하였다. 이상의 내용을 정리하여 개발한 LIFE 지수의 설문지는 <표 5>와 같다.

표 5. LIFE 지수 설문지
지표 질문 출처
1. 학습 의지 (Commitment to learning) 1.1. I am eager to do well in school. Search Institute, 2005
1.2. I care about my school performance.
1.3. I find it easy to get my point across.
1.4. I am actively engaged in learning new things.
1.5. I try to watch other people’s expression to help me understand what they are trying to say.
1.6. I make sure I understand what another person is saying before I respond.
2. 학습 자기효능감 (Learning self-efficacy) 2.1. I ask questions in classes when I am not sure about a lesson. Sachitra & Bandara, 2017
2.2. I respond to questions asked in classes.
2.3. I explain study matters to my fiends or family members.
2.4. I engage in academic discussions with my friends or family members.
2.5. I produce my best work in examinations.
2.6. I usually think that I can get the best result.
2.7. I feel confident to complete my school.
3. 긍정적인 자아정체성 (Positive self-identity) 3.1. I feel in control of my life and future. Search Institute, 2005
3.2. I feel good about myself and my future.
3.3. I belive that I can achieve most of the goals that I have set for myself.
3.4. I overcome challenges in positive ways.
3.5. I am developing a sense of purpose in my life.
3.6. I am certain that I can accomplish difficult tasks.
4. 긍정적인 가치관 (Positive value) 4.1. I stand up for what I belive in. Search Institute, 2005
4.2. I stay away from tobacco, alcohol and other drug.
4.3. I think it is important to help other people.
4.4. I feel responsible for my community.
4.5. I help making my community a better place.
4.6. I am taking responsible for my own action.
4.7. When I am listening to someone, I try to understand what they are feeling.
4.8. I believe that all citizens have a responsibility to their community.
5. 사회성 역량 (Social competence) 5.1. I avoid things that are dangerous or unhealthy. Search Institute, 2005
5.2. I build friendships with other people.
5.3. I express my feelings in positive ways.
5.4. I think before I speak out.
5.5. I have some friends who act as good models for me.
5.6. I resolve conflicts without anyone getting hurt.
5.7. I accept people who are different from me.
5.8. I am sensitive to the needs and feelings of others.
6. 진로 개발 (Career development) 6.1. I have a family that knows where I am and what I am doing. Tanner, 2020
6.2. I can assess my strengths and weaknesses.
6.3. I continue to study or work for my career goal.
6.4. I can find information about jobs I am interested in.
6.5. I can seek help and support with my future education and career.
6.6. I can learn new knowledge and skills throughout my life.
6.7. I can make a plan of my goals for the next five years.
Download Excel Table

성과관리의 측면에서, LIFE 지수의 특징은 BTS 프로그램이 수혜자 중심의 관리를 지원한다는 것이다. LIFE 지수는 ‘누구도 소외시키지 않는다(No One Left Behind)’는 국제개발협력의 규범 원칙을 적용하고 있다. 따라서 동 성과지수는 수혜자 개개인의 성과달성 여부에 집중한다. 즉, BTS 프로그램은 수혜 청소년 개개인이 LIFE 역량의 8개 지표 중 3분의 2 이상(6개 이상)을 충족시키는 것을 성과목표로 관리한다. 나아가 LIFE 지수는 수혜 청소년의 역량 박탈에 집중하여, 사업에서 소외된 수혜자를 핵심적으로 관리한다. 동 성과지수의 결과형식인 LIFE 역량 박탈 비율과 강도는 사업에서 소외된 수혜자의 양적, 질적 측면을 각각 표현하며, BTS 프로그램의 성과관리 방향을 제시한다. LIFE 역량목표를 충족시키지 못한 수혜 청소년의 수가 많아지면, LIFE 역량박탈 비율 값이 부정적으로 변화한다. 또한 청소년들의 역량 박탈 정도가 심화될수록, LIFE 역량박탈 강도가 부정적으로 측정된다. 이러한 정보들은 종합되어 LIFE 지수(LIFE 역량 박탈 비율 곱하기 LIFE 역량박탈 강도)로 표현된다. 결국, LIFE 지수는 수혜 청소년 개개인이 LIFE 역량에서 소외되지 않도록 BTS 프로그램의 성과관리를 지원한다.

이상의 내용을 종합하면, LIFE 지수는 BTS 프로그램 수혜 청소년의 다측면적 역량을 객관적이고 효율적으로 측정하고, 수혜자 개개인이 LIFE 역량충족 목표에 소외되지 않도록 하는 성과관리 도구로 기능할 수 있게 설계하였다. 이를 통해, 본 연구는 월드비전이 개발도상국 청소년을 대상으로 지원하고자 하는 비전과 가치(LIFE 역량)를 중심으로 BTS 프로그램의 성과목표 설정, 수혜자 선정, 사업전략 설계, 성과 모니터링 및 평가 등을 적절하고 효과적으로 지원할 수 있도록 의도하였다.

2. 시범 측정

본 연구는 성과지수의 효과성을 확인하기 위해 BTS 프로그램의 시범사업인 ‘캄보디아 BTS 프로젝트’에서 LIFE 지수를 시범 측정하였다. 동 시범사업은 캄보디아 상큼 트머이(Sankum Thmey) 지역의 취약계층 청소년을 대상으로 추진되며, LIFE 역량을 강화하기 위한 목적을 지닌다(한국월드비전, 2020). 이를 위해, 동 시범사업은 취약계층 청소년을 모집하여 클럽 활동을 운영하고, 사업 목표에 따라 다양한 청소년 역량강화 활동(동료학습, 봉사활동, 현장학습 등)을 수행한다. 본 연구는 사업대상지 내 취약계층 청소년의 LIFE 역량을 사업수행 이전 상태(기초선)에서 측정하고, 동 기초선 자료를 바탕으로 사업의 주안점을 도출하였다.

LIFE 지수의 기초 자료는 다음과 같은 절차에 따라 캄보디아 월드비전 사무소에 의해 수집되었다. 먼저, 사업대상지 내 총 3,571명의 청소년 중 취약계층 716명을 선별하여 모집단을 확인하였다. 여기서 취약계층 청소년은 월드비전 파트너십의 표준 지침에 따라 빈곤, 착취, 소외, 차별, 폭력, 성폭력, 인신매매, 음주, 재난재해, 보호자 부재, 장애, 미취학, 학업 중단 등에 노출된 12∼18세 아동으로 정의하였으며, 캄보디아 월드비전 사무소와 지역 정부의 협력으로 선별되었다. 다음으로, 모집단 716명을 대상으로 설문조사에 참여할 표본을 326명 추출하였다. 설문 조사의 정확성과 타당성을 높이기 위해, 표본 크기는 95% 신뢰구간 하에 표본오차 0.05 이내로 추정하였으며, 표본은 마이크로소프트 엑셀을 활용하여 무작위로 추출하였다. 이후, 표본 326명 전원을 대상으로 월드비전 캄보디아 사무소가 모집하고 훈련한 조사원들을 통해 설문 조사가 진행되었다. 설문 조사 결과는 월드비전 캄보디아 사무소의 검증을 거쳐 마이크로소프트 엑셀에 코딩 및 취합되었다.

취합된 자료를 활용하여 연구진은 마이크로소프트 엑셀을 통해 LIFE 지수를 산출하고, 취약계층 청소년의 하위 집단을 학업 여부, 성별 여부, 특수 취약성 여부로 구분하여 차이를 비교하였다. 여기서 학업 여부는 청소년이 공교육 등록 여부로 구분하였으며, 성별은 남성과 여성으로 구분하였다. 특수 취약성 집단은 ‘가장 취약한 상태에 있는 청소년’으로, 이는 캄보디아 월드비전 사무소의 자체기준에 따라 극심한 빈곤, 심각한 재난재해, 상습적인 차별 및 착취를 경험하고 있는 청소년으로 규정하였다. LIFE 지수를 산출하고 분석한 이후, 본 연구는 한국 월드비전과 월드비전 캄보디아 사무소 간 온라인 워크숍을 개최하고 사업의 주안점을 도출하였다.

LIFE 지수의 시범 측정 결과는 <표 6>과 같다. 전체적인 결과를 먼저 살펴보면, LIFE 지수는 0.881로 사업대상지의 취약계층 청소년 사회가 전반적으로 극심한 역량박탈 상태에 놓여 있음을 보여준다. LIFE 역량박탈 비율은 0.988로 나타나는데, 이는 98.8%의 취약계층 청소년이 LIFE 역량이 박탈된 상태임을 의미한다. 나아가 그들의 LIFE 역량박탈 강도는 0.892로 LIFE 역량이 박탈된 청소년들에게서 LIFE 역량을 구성하는 지표들의 89.2%가 박탈되어 있음을 뜻한다. 이는 지표별 역량박탈 비율을 보았을 때도 확인할 수 있다. 학습, 정체성, 미래와 관련된 지표들의 역량박탈 비율은 모두 94% 이상으로 나타났으며, 공평성 지표는 성별과 취약성에 따라 60% 이상이 불균형한 역량상태에 있음을 보여준다. 이러한 결과는 캄보디아 상큼 트머이 지역의 취약계층 청소년 사회가 LIFE 역량에 대한 광범위한 지원을 필요로 한다는 것을 함축한다.

표 6. Life 지수 시범 측정결과
전체 학업 여부 성별 여부 특수 취약성 여부
학교안 학교밖 남성 여성 일반 취약 특수 취약
표본 수(비율) 326 (100%) 281 (86%) 45 (14%) 123 (38%) 203 (62%) 175 (54%) 151 (46%)
성과지수 Life 역량박탈 비율 0.988 0.989 0.978 0.984 0.990 0.989 0.987
Life 역량박탈 강도 0.892 0.888 0.918 0.884 0.896 0.848 0.943
Life 지수 0.881 0.878 0.897 0.870 0.887 0.838 0.930
지표별 역량박탈비율 (%) 학습의 접근성 97.9 98.2 95.6 96.7 98.5 97.1 98.7
학습의 질 96.3 95.7 100 95.1 97.0 94.9 98.0
개인 정체성 94.5 94.0 97.8 93.5 95.1 90.9 98.7
사회 정체성 94.5 94.7 93.3 94.3 94.6 93.1 96.0
미래 역량 97.2 97.2 97.8 96.7 97.5 96.6 98.0
미래 기회 96.6 96.4 97.8 96.7 96.6 94.3 99.3
젠더 공평성 65.6 64.8 71.1 63.4 67.0 56.6 76.2
취약성 공평성 63.8 63.0 68.9 61.8 65.0 48.6 81.5
Download Excel Table

취약계층 청소년들을 하위 집단으로 구분하여 분석하면, 학교 밖, 여성, 특수 취약성을 지닌 청소년이 LIFE 역량의 질적 측면에서 특히 뒤떨어져 있음을 알 수 있다. 하위 집단들은 LIFE 역량박탈 비율에서는 서로 큰 차이를 보이지 않으나, 역량박탈 강도에서 주요한 차이를 보이며 LIFE 지수의 차이로 이어졌다. 이는 하위 집단들이 특정 요인에서 상대적인 취약성을 보여주기 때문이다. 학업 여부로 청소년들을 구분했을 때, 학교 밖 청소년들이 학습의 질, 개인 정체성, 공평성 측면에서 상대적으로 열악한 결과를 보였다. 성별의 측면에서, 여성 청소년은 전반적으로 남성에 비해 큰 점수 차이를 보이지 않으나, 공교육에 등록되어 있지 않거나 특수 취약성을 지닌 경우에는 젠더 공평성의 측면에서 더욱 열악한 상태에 놓여 있음을 보여준다. 한편, 특수 취약성을 지닌 청소년은 전반적으로 매우 열악한 상태에 놓여 있어 LIFE 역량박탈의 가장 주요한 요인으로 분석되었다. 결국, 사업대상지의 청소년들은 취약성을 더 많이 지닐수록 더욱 열악한 역량상태에 놓여 있는 셈이다. 따라서 사업대상지의 청소년 중 취약성이 중첩된 집단에 더 집중적인 지원이 필요한 것으로 보인다.

이상의 기초선 결과를 바탕으로, 본 연구는 BTS 시범사업의 주안점을 다음과 같이 도출하였다. 첫째, 사업대상지 내 취약계층 청소년의 대부분이 LIFE 역량박탈 상태에 놓여 있는 바 사업에서 운영하는 클럽 활동에 가급적 많은 취약계층 청소년이 포함될 수 있도록 하고, 지역 사회 내 수요가 높은 역량강화 활동을 선별하여 LIFE 역량을 충족하는 청소년을 최대화하는 사업전략이 요구된다. 더불어 장기적으로 본 사업의 성과가 확인된다면, 이를 보다 확대하거나 지속할 필요가 있다. 둘째, LIFE 역량의 취약성 요인(공교육 미등록, 여성, 특수 취약성)을 중첩하여 지니고 있는 청소년을 대상으로 더 많은 지원이 권장된다. 특히, 특수 취약성을 지닌 청소년들은 클럽 활동에 더욱 적극적으로 참여하도록 유도하여 LIFE 역량강화를 도모할 필요가 있다. 정리하면, BTS 시범사업은 가급적 많은 취약계층 청소년들이 클럽에 가입하도록 하여 LIFE 역량박탈 비율을 줄이는 데 집중하고, 나아가 취약성이 높은 청소년들은 클럽 활동의 참여도를 높여 LIFE 역량박탈 강도가 개선될 수 있도록 관리하는 것이 요구된다. 나아가 이러한 사업 방향이 적절히 추진되는지 관리하기 위해, LIFE 지수를 주기적으로 모니터링하고 평가하는 것이 권장된다.

3. 지수 검토

상기 시범 측정을 통해, 본 연구는 LIFE 지수가 BTS 프로그램의 성과를 효과적으로 측정하고 관리할 수 있음을 확인하였다. 그러나 동시에 본 연구는 LIFE 지수를 구성하는 내용에 따라 BTS 프로그램의 성과 측정결과가 달라질 수 있음을 인지하였다. 특히, LIFE 역량박탈 비율과 강도는 구성지표의 가중치와 지수의 성과충족 기준에 따라 측정 값이 일부 달라질 수 있다. 따라서 본 연구는 지수의 구성지표 가중치와 성과충족 기준의 대안들을 검토하며, 지수설계안의 합리성을 살펴봄과 동시에 기존의 설계내용에 비해 대안들이 LIFE 지수의 측정결과에 얼마나 영향을 미치는지 통계적으로 검사하였다. 이를 위해 기존안에 비해 대안들의 측정결과를 켄달 순위상관계수(Tau-B)로 검사하여 LIFE 지수의 강건성을 분석하였다.

LIFE 지수설계에 대한 첫 번째 대안은 구성지표의 가중치를 변화시키는 것이다. 기존의 LIFE 지수는 8개 지표에 12.5%(1/8)씩 동등한 가중치를 부여하고 있다. 그러나 상대적 가치인 공평성보다 학습, 정체성, 미래에 더 많은 가중치를 부여해야 한다는 주장이 있을 수 있다. 즉, 공평성에 대한 지표들은 다른 영역의 지표들에서 측정된 값에 의존하고 있으므로, 공평성에 대한 중요성이 상대적으로 낮다고 주장할 수 있다. 이러한 주장 속에서 학습, 정체성, 미래 영역 내 6개 지표에 대한 가중치를 각각 15%로 높이고, 공평성 영역 내 2개 지표에 대한 가중치를 5%씩 부여하는 대안이 고려될 수 있다. 그러나 연구진은 지수설계에 있어 LIFE 역량을 구성하는 학습, 정체성, 미래, 공평성과 관련된 역량과 지표가 모두 동등하게 중요하다고 판단하며, 공평성이 상대적 가치를 지닌다고 그 중요성이 훼손된다고 보지 않았다.

두 번째 대안은 지수의 성과충족 기준을 기존의 0.33에서 0.5 혹은 0.67로 변화시키는 것이다. 기존의 LIFE 지수는 8개 지표 중 3분의 2 이상(성과충족 기준 0.33)을 달성했을 때 다측면적 역량을 충족한 것으로 규정한다. 왜냐하면 청소년이 모든 구성지표를 동시에 달성해야 한다고 요구하는 것은 과도한 반면, 절반(성과충족 기준 0.5)이나 3분의 1(성과충족 기준 0.67)을 요구하는 것은 다소 불충분하기 때문이다. 따라서 연구진은 LIFE 역량충족 여부를 판단하는 가장 전략적이고 적절한 기준은 기존안이라고 판단하였다.

이와 더불어 <표 7>과 같이 켄달의 순위상관계수(Tau-B)를 검사한 결과, LIFE 지수의 측정결과는 기존안과 대안들의 통계적 차이가 거의 없었다. 지표들의 가중치를 조정한 대안, 지수의 성과충족 기준을 0.5와 0.67로 조정한 대안들의 순위상관계수는 각각 0.998, 0.999, 0.993이었다. 이는 기존안의 비해 대안들의 측정결과가 청소년들의 LIFE 역량 순위 변화에 거의 영향을 미치지 않았음을 의미한다. 따라서 LIFE 지수는 설계내용의 일부 변화에도 측정결과가 통계적으로 차이를 보이지 않을 정도로 강건하다고 볼 수 있다.

표 7. LIFE 지수의 강건성 분석 결과
기존안 지표 가중치 변경안 지수의 성과 충족기준선 변경안 0.5 지수의 성과 충족기준 변경안 0.67
LIFE 역량박탈 비율 0.988 0.988 0.960 0.893
LIFE 역량박탈 강도 0.892 0.939 0.907 0.931
LIFE 지수 0.881 0.927 0.870 0.831
순위상관계수 (Tau-B) 1 0.998 0.999 0.993
Download Excel Table

정리하면, 본 연구에서 개발한 LIFE 지수는 여러 대안에 비해 가장 합리적인 수준에서 설계되었으며, 설계내용의 일부 변화에 대해 통계적으로도 강건하다고 판단할 수 있다. 이는 동 성과지수가 다양한 측정 환경에서도 적절하게 기능할 수 있음을 보여준다. 그러므로 LIFE 지수는 다수의 개발도상국에서 다양한 배경을 지닌 취약계층 청소년을 대상으로 추진될 BTS 프로그램을 효과적으로 성과 관리하는데 활용될 수 있을 것으로 기대된다.

Ⅴ. 결론

이상의 내용과 같이, 본 연구는 한국 월드비전의 청소년 통합교육 사업인 BTS 프로그램을 관리하기 위한 성과지수(LIFE 지수)를 개발하였다. 국제개발협력 청소년 통합교육 사업의 성과관리에 적합한 성과지수를 개발하기 위해, LIFE 지수 개발연구는 다음과 같은 내용을 중점적으로 고려하였다. 첫째, LIFE 지수가 청소년의 다측면적 역량을 종합적으로 측정할 수 있도록 하였다. 둘째, LIFE 지수가 청소년 개개인의 역량충족 여부를 종합적으로 판단할 수 있도록 하였다. 이를 위해, 동 성과지수는 알키레-포스터 방법론을 적용하여 개발되었으며, 성과측정과 관리가 적합하도록 설계되었다. 성과측정의 측면에서, 본 연구는 동 성과지수를 월드비전의 표준적인 지표와 설문지로 구성하여 측정의 통계적 객관성을 확보하고, 현장 사무소의 효율적 관리를 도모하고자 하였다. 성과관리의 측면에서, LIFE 지수는 성과달성에 소외된 수혜자에 대한 풍부한 정보를 제공하며, 수혜자 중심의 성과관리가 가능하도록 하였다. 본 연구는 LIFE 지수를 캄보디아 BTS 프로젝트에서 시범 측정하면서 성과관리에 적합함을 확인하였다. 나아가, 시범 측정결과를 활용하여 동 성과지수의 설계방식을 검토하고, LIFE 지수가 합리적인 수준에서 설계되었고 통계적으로도 강건하다는 것을 확인하였다. 그러므로 본 연구는 LIFE 지수가 BTS 프로그램의 성과관리에 효과적으로 활용될 수 있다고 판단한다.

본 연구는 국제개발협력 분야에 다음과 같은 시사점을 제시한다.

먼저, 청소년 통합교육 사업의 성과관리는 지표보다 지수를 통한 방식이 더 적절할 수 있다. 이는 청소년 통합교육이 다양한 측면의 역량을 종합적으로 강화하는 것을 성과목표로 추진하기 때문이다. 지표 중심의 성과관리는 청소년의 역량을 단일한 측면에서만 보여주며, 통합교육이 추구하는 다양한 측면의 종합적인 목표를 적절히 반영하지 못하는 한계를 지닌다. 반면 지수 중심의 성과관리는 지표의 한계를 보완하여 청소년기의 다측면적 역량을 모니터링하고 평가할 수 있다는 장점을 지닌다. 본 연구는 지수 중심의 성과관리를 청소년 통합교육 사업에 도입하는 것이 가능하다는 것을 보여주고, 더 발전적인 성과관리 방식을 암시하였다. 나아가 SDGs 시대의 국제개발협력에 있어 통합적 접근은 개발의 다면성 측면에서 필수적으로 요구되고 있다는 점을 고려할 때(박수영 외, 2021; 신재은, 2021), 청소년 통합교육 사업 외 국제개발협력 분야에도 지수 중심의 성과관리를 고려해볼 수 있겠다.

나아가, 청소년 통합교육 사업에서 지수 중심의 성과관리는 알키레-포스터 방법론을 적용하는 것이 적절하다. 청소년 통합교육 사업의 성과지수는 청소년기의 다양한 역량을 종합적으로 측정할 수 있어야 하며, 나아가 성과관리를 위한 정보(성과목표 달성 여부 및 정도, 개선점 등)를 제공할 수 있어야 한다. 다양한 지표의 값을 가중평균하는 지수화 방식은 성과목표의 다측면성을 일부 반영할 수 있으나, 국제개발협력의 성과관리가 필요로 하는 정보를 적절히 제공하지 못할 수 있다. 그러나 알키레-포스터 방법론은 다측면적 성과측정에 용이할 뿐 아니라, 수혜자 중심의 성과관리를 전제로 설계되어 있다. 따라서 알키레-포스터 방법론을 적용하여 개발한 성과지수를 활용했을 때, 국제개발협력 성과관리의 고도화가 가능함을 함축한다.

이러한 연구의 시사점을 더 강화하기 위해서는, 알키레-포스터 방법론을 적용한 성과관리에 관한 추가적인 연구가 필요하다. 본 연구는 알키레-포스터 방법론을 적용하여 성과지수를 개발하는 과정을 제시하였으나, 성과지수의 활용방법에 관한 연구는 다소 미진한 한계를 지녔다. 성과지수의 활용방법에 관하여, 본 연구는 LIFE 지수를 BTS 프로그램 시범사업에 도입하여 기초선으로 측정하고, 사업기획의 주안점을 도출하는 과정을 보여주었다. 그러나 이러한 과정은 더 구체화하고 정형화될 필요가 있다. 특히 캄보디아 월드비전 기초선조사에서는 LIFE 지수 외에 정성조사를 병행하였고, 자료분석에 있어서도 개별 지표 단위의 세부적인 분석이 함께 이루어졌으나, 본 연구의 범위상 논의에서 제외하였다. 정량적 지수만으로는 설명할 수 없는 내용이나 원인을 파악할 뿐만 아니라, 삼각측량을 통한 타당성 확보를 위해서도 성과지수와 연동한 정성조사가 함께 필요하며, 이에 대한 구체화가 필요하다. 나아가 성과지수를 활용하여 사업을 모니터링하고 평가하는 절차와 방법은 본 연구에 포함되지 않았으므로 후속 연구가 절실히 필요하다. 후속 연구가 성과지수를 국제개발협력 사업의 기획, 모니터링, 평가에 활용하는 방안을 밝혀낸다면, 본 연구와 함께 성과지수 중심의 국제개발협력 성과관리 고도화 방법론을 발전시킬 수 있을 것으로 기대한다.

Notes

본 연구는 한국월드비전에서 자체적으로 수행한 것입니다. 저자 외 월드비전 국제사업본부의 백진 국제사업전략팀장, 고영 국제개발사업2팀장, 서윤정 과장이 논문 검토를 함께 하였습니다.

참고문헌

1.

교육부. (2013). 학교급별 인성교육 실태 및 활성화 방안. 서울: 교육부.

2.

김기헌, 장근영, 조광수, 박현준. (2010). 청소년 핵심역량 개발 및 추진방안 연구Ⅲ: 총괄보고서 (연구보고 10-R17). 서울: 한국청소년정책연구원.

3.

김창환, 엄문영, 박현정, 노지윤, 김기헌, 이광현, 박레아, 김종민, 이상돈, 박소연, 박종효, 황혜정. (2013). 한국의 교육지표·지수 개발 연구(II): 학생역량지수 개발 연구(RR2013-23). 서울: 한국교육개발원.

4.

박수영, 윤유리, 안미선. (2021). 개발협력 통합적 접근법의 의미와 사례. 개발과 이슈, 67, 1-68.

5.

신재은. (2021). 통합적 접근 방식의 개발협력사업 사례 및 지속가능성 제고 방안. 국제개발협력학회 2021년 하계학술대회, 서울: 코트야드 메리어트 남대문.

6.

한국월드비전. (2020), 월드비전 청소년 통합교육사업 BTS(Be the Solution) (내부자료). 서울: 한국월드비전.

7.

Alkire, S., & Foster, J. (2011a). Counting and multidimensional poverty measurement. Journal of Public Economics,95(7–8), 476–487.

8.

Alkire, S., & Foster, J. (2011b). Understandings and misunderstandings of multidimensional poverty measurement. The Journal of Economic Inequality, 9(2), 289-314.

9.

Alkire, S., & Santos, M. E. (2014). Measuring acute poverty in the developing world: Robustness and scope of the multidimensional poverty index. World Development,59, 251-274.

10.

Ananiadou, K., & Claro, M. (2009). 21st century skills and competences for new millennium learners in OECD countries (OECD Education Working Papers, No. 41). Paris: OECD.

11.

Malapit, H. J., Sproule, K., Kovarik, C., Meinzen-Dick, R., Quisumbing, A., Ramzan, F., & Hogue, E. (2014). Measuring progress toward empowerment: women’s empowerment in agriculture index baseline report. Washington, DC: International Food Policy Research Institute.

12.

Merrifield, J. (2000). Equipped for the future research report: Building the framework. Washington, DC: National Institute of Literacy.

13.

OECD. (2008). Handbook on constructing composite indicators. OECD. Retrieved from https://www.oecd-ilibrary.org/economics/handbook-on-constructing-composite-indicators_533411815016

14.

OECD-DAC. (2006). Emerging good practice in managing for development results. OECD-DAC/World Bank. Retrieved from https://documents.worldbank.org/en/publication/documents-reports/documentdetail/909681468339685140/emerging-good-practice-in-managing-for-development-results

15.

Rychen, D. S., & Salganik, L. H. (2001). Defining and selecting key competencies. Seattle, WA: Hogrefe & Huber.

16.

Sachitra, V., & Bandara, U. (2017). Measuring the academic self-efficacy of undergraduates: The role of gender and academic year experience. International Journal of Educational and Pedagogical Sciences, 11(11), 2608-2613.

17.

Search Institute. (2005). Developmental assets profile, Search Institute & World Vision. Retrieved from https://www.search-institute.org/surveys/choosing-a-survey/dap/

18.

Sen, A. (1999). Development as freedom. New York, NY: Oxford University Press.

19.

Tanner, E. (2020). Young people’s career readiness and essential skills: Results from the future skills questionnaire 2018/19. London: The Careers & Enterprise Company.

20.

UNDG. (2011). Results-based management. New York, NY: United Nations Development Group.

21.

UNDP. (2019a). How to build a national multidimensional poverty index (MPI): Using the MPI to inform the SDGs. New York, NY: UNDP & OPHI.

22.

UNDP. (2019b). Global multidimensional poverty index 2019. New York, NY: UNDP & OPHI.

23.

UNDP. (2020). Global multidimensional poverty index 2020. New York, NY: UNDP & OPHI.

24.

Ura, K., Alkire, S., & Zangmo, T. (2011). GNH and GNH index. Thimphu: Centre for Bhutan Studies. Retrieved from https://www.ophi.org.uk/wp-content/uploads/Ura-et-al-Bhutan-Happiness-Chapter.pdf

25.

Ura, K., Alkire, S., Zangmo, T., & Wangdi, K. (2012). An extensive analysis of GNH index. Bhutan, Thimphu: Centre for Bhutan Studies.