전자정부사업 역량강화 연수의 미시적 효과: 나이지리아 전자정부 사업 사례연구

한국국제협력단에서는 연수 과정의 성과를 측정하기 위해 자기 효능감과 현업 적용도를 중점지표로 고려한다(<표 2> 참조). 자기 효능감은 어떤 과제를 수행할 수 있다는 기대 혹은 신념을 말하며, 이것이 높은 개인은 어려움에 직면했을 때에도 성취에 대한 믿음으로 더욱 노력한다. 따라서 자기 효능감은 행동 변화의 중요한 매개 역할을 한다(Bandura, 1994).

현업 적용도는 학습 전이라고도 불리는데, 이는 기능, 태도, 지식 등을 직무 현장에 효과적으로 활용하는 것을 의미한다(Wexley & Letham, 1981). 학습자의 속성에 따라 학습 내용을 업무에 적용하려는 전이 동기의 성격과 크기가 다르고, 그에 따라 교육훈련 결과에도 차이가 생긴다(Noe & Schmitt, 1986). 여기에는 교육에 대한 개인의 만족도와 함께 개인의 기대, 자기효능감 등 경력과 직무에 대한 태도가 영향을 미치며, 동료의 태도, 상사의 지원, 업무에서 기술을 활용할 기회, 가용한 자원 등도 영향을 미친다(Baldwin & Ford, 1998).

현업적용도는 자기효능감과 같은 내적 태도, 조직의 지지와 같은 주변환경의 영향을 받는다. 또한 현업 적용을 업무 재설계의 단계적 프로세스로 본다면, 태도 변화와 조직의 변화는 현업 적용의 구성요소이기도 하다. 전통적인 개념틀도 교육 훈련의 효과가 이처럼 단계적으로 확장․심화되는 것으로 보고, 논리적 연계성의 관점에서 교육 훈련의 효과성을 평가한다. 교육 훈련의 성과는 크게 4단계로 나누어 측정된다(<그림 1> 참조). 이들 4단계는 (1) 교육 과정에 대한 만족도, (2) 교육을 통해 얻게 된 기능, 태도 또는 지식, (3) 실제 일어난 행동 변화, 즉 교육장에서 배운 지식의 현업 활용도, (4) 교육과정 참가로 인해 교육 참가자가 창출하는 최종산출물, 즉 조직 차원의 성과이다(Kirkpatrick, 1994).

그림 1. Kirkpatrick의 4단계 평가 모델 출처: Kirkpatrick (1994).

Download Original Figure

본 연구에서도 위 개념틀을 활용하여, 코이카의 연수 프로그램이 참가자들에게 어떠한 영향을 미치는지 확인하고, 무엇이 연수 효과의 확장․심화를 촉진 또는 저해하는지 분석할 것이다. 1단계(반응/만족도)보다는 상위 단계의 효과에 착안하고자 한다. 이는 각 연수 과정의 종료 후 참가자에 따라 1∼3년의 시간이 흘러 연수 과정 자체에 대한 기억이 희석되었기 때문이기도 하고, 상위 단계의 성과가 확인되면 위계적으로 하위 단계의 성과로부터 영향을 받은 것이기 때문이다. 기관 내외에서도 단편적인 만족도가 연수사업의 성패를 결정하던 시기는 이미 지나서, 현업 적용도에 대한 평가가 권장된다는 점도 고려하였다.

본 연구에서는 양적 및 질적 분석을 보완적으로 활용하였다(<표 3> 참조). 설문조사를 통해 자기 효능감 및 현업 적용도 관련 변수(결과변수)와 대상자들의 속성에 관한 다양한 변수(설명변수)의 자료를 수집하였다. 연수 전후로 기술, 지식 및 자기효능감의 변화를 확인하기 위해, 이들 변수의 하위문항을 5점 척도로 구성하였다. 통계패키지(stata)를 활용한 맥니마 검정(McNemar Test)을 통해 ‘매우 동의함’으로 응답한 비율이 연수 전후로 유의미하게 변했는지를 확인하였다. 3, 4단계 현업 적용도에 대한 연수 후의 효과를 확인하기 위하여, 다중회귀분석을 실시하였다. 설명변수들 사이의 상관분석을 통해 내생성을 검정하고, 단계별 결과변수를 바꾸어가면서 다중회귀분석을 실시하였다. 상관계수의 부호와 크기를 확인하여, 각각의 요인이 연수사업의 효과성과 갖는 관계가 긍정 혹은 부정적인지와 상대적 크기를 판별하였다.

한편, 상관관계는 인과관계를 설명하지는 못한다. 질적 분석은 맥니마 분석 및 다중회귀분석에 대해 보충적 설명을 제공한다. 초점집단면접을 통해 연수과정 자체 및 단계별 현업적용도와 관련한 연수 수료자들의 경험과 생각을 수집하였다. 이를 분석하여 연수 전후를 비교했을 때 발생한 긍․부정적 변화와 그 원인으로 생각되는 것, 현업 적용에 대한 촉진 및 저해요소를 함께 확인하고자 하였다.

Kirkpatrick(1994)의 평가 모델에 따른 2∼4단계 현업 적용도를 각기 하나의 결과변수로 설정하였고, 각 변수는 관련된 세부문항의 점수를 합산하여 구성하였다. (1) 연수 후 기능, 지식, 태도의 변화, (2) 연수 지식의 현업 적용, (3) 연수 지식의 활용 또는 전파를 촉진하는 환경 등을 묻는 53개 문항에 대한 탐색적 요인분석을 통해 결과변수별로 3개 문항을 선택하고, 근사평균제곱근오차(RMSEA)¹⁾ 및 적합도(CFI, TLI)²⁾ 검정을 통해 각 구조방정식모형의 타당도를 검증하였다. 타당도 검증을 통해 선별된 결과변수별 세부문항은 표 4와 같다. 또한, 신뢰도 검증을 위하여 결과변수별 하위문항 집단에 대한 크론바흐 알파(Cronbach’s alpha)³⁾ 계수를 추정하였다. 2단계는 0.859, 3단계는 0.843, 4단계는 0.773으로 모두 0.77∼0.86 사이의 값을 보여 신뢰도가 확인되었다.

설명변수로는 성별, 연령, 출신 부족 등 사회경제적 변수와 함께, 개인의 스마트기기 이용시간, 컴퓨터 소양 변수를 두었다. 부서 정보화 수준(업무분야별 시스템 도입 여부)을 두었다. 성별은 응답을 그대로 활용한 더미변수이며, 연령은 응답자의 출생년월로부터 산출하였다. 출신부족은 나이지리아의 사회문화적 환경을 고려할 때, 부서 내에서 업무 기회 및 평가 등에 유불리를 가져올 수 있는 요인으로 고려하였으나, 이후 상관분석 과정에서 종교와 매우 큰 상관관계가 드러나 변수를 통합하였다. 나이지리아에는 기독교와 이슬람 신자가 대다수임을 고려하여, 종교의 더미변수를 배치하였다. 스마트기기 이용시간 변수는 주당 이용 빈도와 일 이용시간을 곱하여 산출하였다. 컴퓨터 소양 변수는 △검색 △문서작성 △프레젠테이션 △웹사이트 관리 △프로그래밍 △디자인 등 각 기능의 더미를 만들고, 이들을 합산하여 변수를 만들었다. 유사하게, 부서 정보화 수준 변수도 △컴퓨터를 활용한 문서 작성과 △문서 관리 △보고 △사업관리 △회계 △조달 등 시스템 활용 여부에 대한 더미를 합산하여 만들었다. ICT 담당자 여부는 업무와 ICT의 연관성을 나타내는 변수로서, 전자정부 연수지식의 현업 적용도에 직접 영향을 미칠 것으로 추론하여 이를 통제하였다.

설문조사 문항은 개인 특성과 정보화 소양 및 행태, 소속기관의 정보화 수준(설명변수), 자기효능감(설명변수이자 결과변수), 현업적용도(결과변수) 등을 확인할 수 있도록 작성되었다. 설문지는 45개 문항과 각 문항 내 하위문항으로 구성되었으며, 크게 5개 그룹으로 구분하였다. 각 그룹은 ① 개인정보, ② 정보화 행태, ③ 소속기관 정보, ④ 본인이 참가한 연수 과정 관련 정보, ⑤ 자기효능감 및 현업적용이었다(<표 6> 참조).

초점집단면접에서는 과정별 교육내용, 교육방법, 교육대상에 따른 교육의 효과를 확인하 고자 했다. 문항은 크게 5개 그룹으로 나뉘었으며, 각 그룹은 개인의 연수경험, 개인의 행동 변화, 현업 적용을 촉진 또는 저해하는 주변환경과 제도적 요인으로 점점 확장되었다. 마지막 그룹은 코이카 연수의 개선 방향에 대해 직접 묻는 방향으로 구성하였다(<표 7> 참조).

실제 면접 진행 시, 참가자들은 한 번의 답변에 여러 그룹에 해당하는 내용을 엮어서 응답하는 경우가 많았다. 이에 면접 내용을 정리할 때 각 그룹에 대한 해당 여부를 표시한 뒤 그룹별로 내용을 정리했다.

참가자들은 대부분 높은 수준의 정보 활용 능력을 갖고 있었으며, 개인 스마트기기의 보유 및 활용도가 높았다. 예를 들어, 정보화 소양에 관한 질문에서는 각 기능에 대해 많은 응답자가 본인이 ‘할 수 있다’고 응답하였으며, 그에 상응하는 다양한 용도로 스마트기기를 활용하고 있었다. 스마트기기의 활용 빈도 및 시간 또한 매일 3시간 이상 사용하는 경우가 가장 빈도수가 높았다(<표 8> 참조).

참가자들의 응답에 따르면, 부서의 정보화 수준도 높은 것으로 보인다(<표 9> 참조). 예를 들어, 122명 중 121명이 부서에서 문서 관리시스템을 보유하고 있다고 응답했다.⁴⁾ 국정홍보처만이 예외였는데, 실제로 주재국 정부의 정보통신 정책 수립과 서비스체계 개발을 담당하고 있는 정보기술발전처⁵⁾에서는 2019년 3월 문서관리시스템⁶⁾의 표준을 개발 및 보급하였고, 대부분 부처에서 이를 도입한 상태이다. 다만, 문서 외 자료 보관, 전자결재, 사업관리, 재무회계, 조달 등 후속 문항으로 갈수록 도입률이 줄어들었다.

그러나 시스템 도입률이 기관의 시스템 활용도와 일치하는 것은 아니다. 초점집단면접의 참가자들은 정보기술발전처의 표준화를 통한 문서관리시스템(EDMS)의 도입을 모두 알고 있었으나, 한 응답자는 소속기관의 실무자들이 관행 변화에 어려움을 겪고 있어서 실제 활용도가 높지 않다고 밝혔다. 또 다른 응답자는 소속기관이 문서관리시스템과 재무회계시스템을 갖고 있으나, 업무등록시스템(e-registration)은 기관 내 정책결정자의 반대로 인해 도입되지 않았다고 밝혔다.

연수 참가 전후의 전자정부 및 ICT 관련 지식/기술 보유 수준을 묻는 설문 문항에 대하여, 참가자들은 전반적으로 연수 후에 역량 수준이 더 높아졌다고 응답하였다. 특히 전자정부 관련 지식과 과업 수행역량의 경우, 연수 후 ‘매우 동의함’으로 응답한 비율이 확연히 증가하였다. ‘매우 동의함’ 응답 비율의 변화가 유의미한 것인지를 검증하는 맥니마 검정 결과, 전자정부 관련 지식과 과업 수행능력을 묻는 2, 3번 문항에서 연수 후 매우 유의미한 능력의 증가가 있었던 것으로 나타났다(<표 10> 참조).

이는 초점집단면접 결과로도 뒷받침되었다. 컴퓨터 관련 전공자 및 ICT 관련 부서에서 일하는 경우에도, 전자정부 관련 개념과 전자정부 발전 과정에서 추진해야 할 업무 단계 등 지식을 코이카 연수를 통해 처음 접했다는 응답이 다수였다. 수원국의 전자정부 관련 정책을 수립하는 정보기술발전처(NITDA)와 수원국 ICT/전자정부 인프라를 기획, 설치하는 갤럭시백본(GBB) 소속 연수생들도, 연수 전에도 전자정부의 개념은 접한 적이 있었으나, 구체적인 발전 계획 및 정책 수립 과정에서 연수 지식이 큰 도움이 되었다고 밝혔다. 위와 같이 전자정부 관련 업무수행에 직접적으로 관련된 것뿐만 아니라, 우리 경제발전 과정에 대한 지식 전수를 통해 수원국의 발전방향에 대한 아이디어를 얻었다는 의견도 다수였다.

자기효능감의 경우에도 연수 후에 눈에 띄는 긍정적인 변화를 포착할 수 있었다. 참가자들은 자기 자신과 업무 수행 능력에 대한 만족도가 증가했다고 응답했으며, 학습과 성공에 대한 적극성 또한 더욱 높아졌다. 특히, 구체적 문제해결 능력과 조직 내 업무에 대한 책임성 증가 부분은, 전자정부 연수를 거친 이후 실질적으로 더 중요한 업무를 부여 받거나 그러할 것으로 예측됨을 의미한다. 뿐만 아니라 연수를 통해 자신의 진로 계획을 세우고, 이것을 달성하기 위해 더 많이 노력한다는 응답을 통해 전자정부 연수가 자기효능감의 증가에 긍정적 영향을 미치는 것으로 보인다. 맥니마 검정 결과, 이들 변화는 모두 유의미한 것으로 확인되었다(<표 11> 참조하되, 맥니마 검정결과는 부록 참조).

자기효능감은 다음 문단에서 살펴 볼 현업적용도와도 관련이 있으며, 초점집단면접에서도 확인된 내용이다. 면접 참가자들은 전자정부 개념과 지식의 습득을 통해 조직 내에서 새로운 임무를 부여받거나, 스스로 프로젝트를 기획하였고, 이 과정에서 자기효능감 역시 증가한 것으로 평가된다.

현업적용도 관련 문항은 크게 연수내용의 타당성, 업무역량의 증가, 지식의 활용, 주변환경으로 구성되었다. 단계적으로 △(1단계) 연수에 대한 긍정적 인식과 △(2단계) 역량강화에 따라 본인이 현업적용을 ‘할 수 있는’ 상태, △(3단계) 본인이 의지를 갖고 연수지식을 활용하는 상태, △(4단계) 본인의 능력과 의지가 있고, 주변 환경도 이를 뒷받침할 수 있는 상태인지를 확인하였다(<표 12> 참조).

1단계에서는 연수내용이 업무 관련 문제점에 초점을 두었는지 물었으며, 응답자의 72%가 ‘동의’ 또는 ‘매우 동의’한다고 응답했다. 연수로 인한 업무역량 증가를 묻는 2단계에서는 긍정적인 응답(‘동의’ 또는 ‘매우 동의’)이 대다수였다. 연수과정으로 인해 전자정부 지식이 증가하였다는 응답(97%), 업무역량이 증가되었다는 응답(90%), 연수 지식을 잘 활용하면 자기발전에 도움이 될 것(98%)이라는 응답이 많았다.

응답자들은 증가된 역량을 실천하고자 노력하는 모습이었다. 연수지식의 실무 활용을 묻는 3단계에서도 연수지식의 활용 의지(93%), 실제 활용(92%), 동료를 돕는 데 활용한 경험(88%) 등 긍정적인 응답이 많았다. 연수지식을 응용하여 새로운 업무를 제안한 비율도 84%였다. 다만 업무상 중요한 문제의 해결에 도움이 되었다는 의견(75%)은 소폭 적었다.

개인의 역량 증가 및 활용과는 다르게, 현업적용을 촉진하는 주변 환경에 대해서는 ‘보통’ 또는 ‘동의하지 않음’과 같은 부정적인 응답이 더 많이 확인되었다. 연수 지식에 대한 동료들의 관심을 묻는 문항에서는 ‘보통’ 이하의 응답이 24%, 동료들이 지식을 공유하려 하는지를 묻는 문항에서는 32%를 기록했다. 상사의 현업 적용 기회 제공과 기관 목표와의 부합성에 대해서도 ‘보통’ 이하 응답률이 각각 41%, 55%나 되었다.

위 결과를 종합해볼 때, 연수참가자 개인의 변화(현업적용)가 기관의 변화(기관에 적용)를 이끌어내는데 제약이 존재하며, 이는 동료 및 상사의 성향, 기관 목표와 연관된 것으로 해석할 수 있다.

초점집단면접에서도 설문결과와 비슷한 결론이 도출되었다. 참가자들은 다양한 사례를 들어, 현업 적용을 촉진 또는 저해하는 환경적 요인을 언급하였다. 설문결과와 다른 점은 동료들이 연수 지식에 대해 대체로 관심을 갖고, 각자가 연수 참가 및 지식 전파에도 적극적으로 임하는 편이라는 것이었다. 상사의 지원을 통해 소속부서는 물론 타 부처와의 협력 업무에서도 연수 지식을 활용한 사례도 있었으나, 상사의 지원이 없어 현업 적용이 어려웠던 사례들이 더 많이 제시되었다. 종합해볼 때, 상사가 관련 분야에 관심을 갖는지 또는 관련 지식을 갖고 있는지에 따라 연수 지식을 실제 활용할 수 있는지 여부가 결정되었다. 주변의 지지에 따라 현업적용은 달라지지만, 응답자들은 모두 현업 적용이 필요하고, 이를 위해 상사와 동료, 기관 정책 결정자에 대한 역량강화가 필요하다는 데 공감했다.

상관분석을 통해 일부 변수 간에 상관관계가 있음을 확인하였다. 성별, 종교, 부족 등 서열척도가 다수 포함되어 있음에 따라 각 변수를 짝지어 Spearman 검정을 실시하였다(<표 13> 참조). 분석 결과, 연령과 컴퓨터 활용능력 간의 강한 음의 상관관계와 함께, 종교와 부족 간의 강한 양의 상관관계도 확인하였다. 이는 연령이 증가할수록 컴퓨터 활용능력이 부족하리라는 일반적 추론에 부합하며, 기독교와 이슬람을 주로 믿는 부족이 나뉘는 나이지리아의 특성을 반영한 것으로 평가된다. 또한, 스마트기기 활용시간과 컴퓨터 활용능력도 상관관계를 갖는 것으로 나타났는데, 이는 컴퓨터와 스마트기기를 많이 사용할수록 더 능숙해지고 또한 잘 알수록 더 많이 쓰게 된다는 해석 모두가 가능하다.

이어지는 다변량 회귀분석을 통해 결과변수와 상관관계가 큰 요인을 확인하고자 했다. 3개의 종속변수를 바꾸어가면서 선형회귀분석을 실시하였으며, 설명변수 중에서 앞서 강한 상관관계가 확인된 부족과 컴퓨터 활용능력을 제외하는 데 그치지 않고 분산팽창요인(VIF⁷⁾) 검사를 통해 다중공선성이 없음을 재확인하였다. 분석결과를 제시한 후에, 잔차의 분포를 도식화하고, 정규성 검정을 통해 결과의 유의성을 확보하고자 했다.

분석 결과, 2단계 현업 적용도를 결과변수로 놓았을 때 연령 변수만이 통계적으로 유의미한 계수를 도출했다(<표 14> 참조). 연령이 높아질수록 연수 후 지식, 기능, 태도 측면의 증대가 유의미하게 줄어든다는 해석이 가능하다. 이는 연령의 증가에 따라 새로운 지식의 체화나 태도의 변화가 더욱 어려워진다는 상식에 부합하는 결과이다.

3단계 현업 적용도를 결과변수로 놓았을 때에는 부서의 정보화 수준이 높을수록 현업 적용도가 높아지는 추이였다(<표 15> 참조). 전자정부 시스템이 구축, 활용되고 있는 환경에서는 관련 지식의 실천이 더욱 촉진될 것이며, 행동 변화는 연령이 낮은 경우에 더 용이하다고 생각할 수 있다. 역인과관계를 가정하면 개인의 지식 활용, 실천이 부처의 시스템 도입을 촉진했을 수도 있으나, 나이지리아의 하향식 의사결정구조와 경직적 조직문화를 고려할 때 이는 가능성이 높지 않은 것으로 판단된다.

4단계의 현업 적용도를 활용한 분석에서도 유사한 결과가 도출되었다. 부서의 정보화 수준이 높을수록 동료 및 상사의 지지가 높은 것으로 드러났다(<표 16> 참조). 체계적 표본 추출, 연수 전후 데이터의 수집 및 비교 등 보다 엄밀한 분석 없이 인과관계를 단정할 수는 없지만, 적어도 현업 적용도의 제고는 부처 내 정보화 수준과 궤를 같이 하는 것으로 보인다. 초점집단 면접의 참가자들도 교육과정에서 강의와 함께 실습을 포함할 것, 지방정부 등 정보화로부터 소외된 인력에까지 고르게 교육과정을 제공해 줄 것을 요청한 바 있다. 이는 전자정부 환경에 대한 노출과 지식의 실천을 강조한 것으로서, 부서의 정보화 수준과 일맥상통한다고 할 수 있다. 개인의 역량강화와 함께 주변의 우호적 환경이 중요하다는 점은 양적 분석과 초점집단면접에서 공통으로 확인되었다고 하겠다.

각 현업 적용도 결과변수의 잔차 분포 그래프 및 통계패키지의 왜도/첨도 검정을 통하여 정규성을 확인하였다(<표 17> 참조). 따라서 위 선형회귀분석의 통계적 유의성이 증명되었다.

표 17. 정규성 검정 결과

결과변수	2단계 현업적용도	3단계 현업적용도	4단계 현업적용도
χ 2	5.95	5.72	1.82
p값	.051	.057	.402
정규성	O	O	O
잔차분포

Download Excel Table