세계은행에서 출간한 개발평가에 대한 최고의 교과서

국제적으로 개발 어젠다가 점차 광범위하고 복잡해짐에 따라 개발평가 또한 그 흐름을 따라가고 있다. 유엔 새천년개발목표(Millenium Development Goals: MDGs)의 달성과 성과에 대한 관심이 높아지면서, 개발평가자들은 점차 전통적인 시행과 산출물 중심(output-focused) 평가 모델에서 벗어나 성과 중심(results-based) 평가 모델을 지향하고 있다. 또한 오늘날 국제사회는 프로젝트 중심 접근법에서 벗어나 국가가 직면한 도전에 포괄적으로 대응하고자 한다. 이에 따라 개발평가자 역시 국가, 분야, 주제, 정책, 국제적 차원의 결과를 평가하기 위한 방법을 모색하고 있으며, 점차 복잡해지는 포괄적인 환경에서 개별 기관의 성과와 개발에 대한 기여도를 측정하는 데 어려움을 안고 있다.
이렇듯 점차 복잡해지는 개발 접근법에 따라, 개발평가의 설계가 점차 어려워지고 더욱 복잡한 방법론과 장기적인 영향력 측정에 대한 높은 기준을 필요로 한다. 세계은행(World Bank)에서 출간한 이 책은 개발평가 역량 구축을 위해 활용하도록 마련되었다. 개발평가자가 새로운 평가 구조에 대해 탐색하고, 특히 성과 지향적인 평가를 설계하고 시행할 수 있도록 돕는 것이 이 책의 목적이다.
출판사 서평
개발협력 프로그램 평가에 대한 국내 최초의 책
개발평가는 제2차 세계대전 이후 시작된 경제 재건 노력에서 비롯되었다. 개발 기조가 지난 수십 년간 변화함에 따라 개발평가 또한 변해왔으며, 각 국가는 평가체계를 구축하기 위해 다양한 접근 방식을 채택했다. 개발 프로그램의 효과성에 대한 평가가 이루어지기 시작한 것은 최근이다.
이 책은 세계은행(World Bank)에서 최근 출간한 ‘The Road to Results’를 한국국제협력단(KOICA)에서 번역한, 개발평가에 대한 교과서와 같은 책이다. 성과 중심 프로그램 평가에 ...
개발협력 프로그램 평가에 대한 국내 최초의 책
개발평가는 제2차 세계대전 이후 시작된 경제 재건 노력에서 비롯되었다. 개발 기조가 지난 수십 년간 변화함에 따라 개발평가 또한 변해왔으며, 각 국가는 평가체계를 구축하기 위해 다양한 접근 방식을 채택했다. 개발 프로그램의 효과성에 대한 평가가 이루어지기 시작한 것은 최근이다.
이 책은 세계은행(World Bank)에서 최근 출간한 ‘The Road to Results’를 한국국제협력단(KOICA)에서 번역한, 개발평가에 대한 교과서와 같은 책이다. 성과 중심 프로그램 평가에 대한 다양한 실무 사례 및 각국 사례를 넣고 광범위한 참고문헌을 망라했으며, 각종 도표와 박스 설명을 통해 이해를 도왔다. 각 장 끝부분에는 요약과 연습문제를 넣어 내용을 다시 점검할 수 있도록 했다. 개발평가 분야의 책으로는 국내에서 최초로 출간되는 이 책을 통해 평가 시스템 구축에서부터 그 추진 과정과 새로운 과제 수립에 이르는 국제개발 협력 평가의 내용을 정리할 수 있을 것이다.
이 책의 구성
제I부_ 기초
1장에서는 정책, 프로젝트, 프로그램 단위의 평가의 개념과 일반적 정의를 소개하고 개발 프로젝트, 프로그램, 또는 정책평가, 즉 개발평가에 대해 살펴본다.
2장에서는 선진국과 개발도상국 모두에 영향을 미친 최근 이슈에 대해 사례를 통해 살펴본다.
제II부_ 효과적인 개발평가의 준비와 시행
3장에서는 성과 중심 모니터링 및 평가에 대해 알아본다. 이어서 4장은 평가계획을 다루는 첫 번째 장으로서 평가를 어떻게 시작해야 하는지를 소개한다. 5장은 광범위하고 복잡한 주제를 평가하기 위해 평가 설계 및 시행 시 사용되는 다양한 접근방식에 대해 살펴본다.
제III부_ 설계와 실행
6장은 평가질문의 종류와 적용 방법을 논하며, 또한 좋은 질문을 작성하고 설계하는 방법을 소개한다. 7장에서는 평가질문을 선택한 후 평가자가 각 질문에 가장 적합한 평가설계 접근법을 선택하는 지침과, 다양한 설계의 장단점을 짚어본다. 8장에서는 이러한 평가질문에 대한 답을 모색하기 위해 데이터를 수집하는 방법을 알아본다. 9장은 데이터를 얼마나 수집해야 할지 그 규모를 결정하는 방법에 대해 논의하며, 데이터가 모집단을 잘 대표하고 평가질문에 답하는 데 도움이 되도록 데이터 출처를 선정하는 방법을 다룬다. 그리고 평가자는 데이터를 수집한 후 그 의미를 찾기 위해 데이터를 검토해야 한다. 검토 절차는 데이터 분석 전략의 수립에서부터 시작한다. 양적 데이터 분석과 질적 데이터 분석에 필요한 전략과 기술은 서로 다르며, 이러한 내용을 10장에서 다룬다.
제IV부_ 새로운 과제에 대한 대응
11장은 공동, 국가, 주제, 분야 및 국제 수준에서의 평가를 다룬다. 개발 프로그램이 점차 복잡해짐에 따라 새로운 개발과 빈곤의 문제, 기대, 빈곤 해결 패러다임에 대한 평가를 필요로 하는 개발기관과 주체가 점차 확대되고 있다.
제V부_ 평가의 추진
12장에서는 정책 입안자들이 변화를 이끌어내기 위해 활용될 수 있도록 평가를 계획하고, 관리하고, 품질기준을 충족시키고, 결과를 공유하는 방법에 대해 다룬다.
일단 자료수집과 분석이 거의 완료되면, 이제 잠정 결과를 공유하고 최종 결과를 전달하기 위한 계획을 수립할 차례이다. 평가를 통해 발견된 사항을 공유하고, 이를 반영해 변화를 도모하는 것은 평가의 가장 중요한 부분 중 하나이다. 이에 대해 13장에서 살펴본다.
평가자는 기획, 조직, 평가설계, 수집, 분석, 데이터 발표 등 많은 임무를 수행하면서 동시에 다양한 대내외 압력에 대처해야 한다. 특히 거버넌스가 취약하고 부패 문제가 있는 국가에서 일하는 평가자에게는 윤리와 압력 문제에 자주 맞닥뜨리게 된다. 이러한 문제를 14장에서 다룬다.
15장은 개발평가의 과거와 현재를 간략하게 살펴보고 개발평가의 미래가 어떠한 모습으로 전개될지 논의한다.

개발평가는 사회과학 연구와 과학적 방법, 감사로부터 유래했다. 평가자의 역할은 감사관, 회계사, 보증인으로서의 역할에서 연구자, 참여적 평가의 촉진자로서 시간의 흐름에 따라 변화해왔다.
개발평가는 OECD DAC 기준인 적절성, 효과성, 효율성, 영향력 및 지속가능성을 근거로 이루어지고 있다. OECD DAC는 또한 개발협력 평가의 세부 원칙과 평가품질기준을 개발했다. _ 61쪽, 1장 개발평가의 소개

통합적 성과 중심 관리체계는 기관의 성과에 대한 계획, 실행, 모니터링, 보고를 위한 프레임워크를 제공한다. 이를 통해 기관의 성과와 개별 직원의 성과를 연결시킬 수 있다. 아프가니스탄, 보스와나, 인도, 모리셔스와 나미비아를 포함한 국가들이 해당 체계를 단계별로 성과기반 예산수립과 M&E 체계와 통합하고 있다. 말레이시아에서 예산체계는 통합적 성과 중심 관리체계를 이끄는 주요 동력으로 기능하고 있다. …… 말레이시아가 공공행정과 예산개혁의 선두주자였음에도, 이 개혁은 지난 몇 년간 순조롭지도 지속적이지도 않았다. 그럼에도 수정 예산체계는 창조성, 역동성, 정책 비용 대비 가치를 확보하기 위한 정부의 중요한 이니셔티브였다. _ 90~91쪽, 2장 개발평가를 이끄는 주요 이슈

성과 중심 평가는 수행의 적절성·효율성·효과성·영향력·지속가능성을 확인하기 위해 계획되거나 진행 중 또는 종료된 프로젝트나 프로그램을 평가함으로써, 신뢰할 수 있고 유용하며 정책결정 과정에 반영할 수 있는 정보를 제공하는 것을 목적으로 한다. 평가는 대상 프로젝트 또는 프로그램에 대한 보다 넓은 관점으로 성과 달성이 프로젝트 또는 프로그램에 의한 것인지, 발견한 변화가 다른 요인으로 인한 것인지 알아보는 것이다. 이러한 작업은 다음과 같은 질문을 통해 수행된다.
• 목표와 결과가 연관성이 있는가?
• 얼마나 효과적이고 효율적으로 목표와 성과를 달성하고 있는가?
• 프로젝트 또는 프로그램을 통해 기대하지 않았던 효과가 발생했다면 무엇인가?
• 수요를 충족시킬 수 있는 가장 비용 효과적이며 지속가능한 전략을 반영하고 있는가? _ 138쪽, 3장 성과 중심 모니터링 및 평가 시스템 구축

한 개발기구의 평가자는 남아프리카 학생의 성취도를 개선하기 위한 교육 프로그램의 평가를요청받았다. 평가자는 초등학교 학생의 성취도가 교사의 가정방문에 큰 영향을 받았다는 정보를 얻고 관련 연구 및 평가에 대한 문헌조사를 실시했다. 평가자는 먼저 유사한 교육 프로그램의 결과를 파악하기 위해 초등학교 교육과 성취도에 대한 조사를 진행했다. 이들은 국제교육연구저널(International Journal of Educational Research), 아메리카교육연구저널(The American Education Research Journal), 유아 연구 및 실천(Early Childhood Research and Practice) 및 교육연구저널(The Journal of Educational Research) 등의 학회 저널을 중심으로 관련 연구를 조사하고, 평가를 위해 개발 게이트웨이(Development Gateway), DAC 평가자원센터(DAC Evaluation Resource Centre and Education Resources Information Center) 등 데이터베이스도 조사했다. 이를 통해 관련 연구, 프로젝트 및 프로그램을 찾아냈고, 다른 국가에서 실시된 관련 프로그램 이슈와 평가 결과를 파악했다. _ 191쪽, 4장 평가 지표와 변화이론에 대한 이해

농업 프로젝트의 평가를 예로 들어보자. 첫 번째 질문을 다루기 위해, 평가자는 농지배수의 성공 정도를 측정하기 위해 토양 수분 함유량을 사용하기로 한다. 그리고 (같은 기상조건하에) 같은 기간 동안 해당지역의 여러 농지의 농지배수 전후 토양 수분함량을 수집한다.
두 번째 질문을 다루기 위해 평가자는 구조적 인터뷰 가이드를 활용하여 수혜자인 농부들에게 프로젝트 효과에 대해 질의할 수 있다. 인터뷰를 통해 다양한 견해를 피력한 응답자 비율을 보고한다. 구조적 인터뷰의 질문은 제한적인 내용을 다루고 명확한 표현을 사용해야 하며, 객관식 응답지를 제공해야 한다. 모든 응답자에게 정확하게 같은 방식으로 같은 질문을 하고, 똑같은 객관식 응답지를 제시해야 한다.
평가자는 세 번째 질문을 조사하기 위해 배수된 지역과 다른 조건은 유사하지만 배수가 되지 않은 지역에서 해당 프로젝트 전후의 농작물 생산성과 가격에 대한 기록을 사용할 수 있다. 네 번째 질문 조사를 위해 2,600명의 참가자 중 100명에게 프로젝트와 효과에 대한 의견을 조사하는 표본조사를 실시한다. 이러한 인터뷰의 경우 평가자는 부분 구조적 질문을 사용할 수 있다. _ 345쪽, 8장 데이터 수집 도구의 선택과 구성

최근 평가자들은 분야, 국가 또는 주제에 대해 개념적인 초점을 맞추어 개발 프로그램의 효과성을 검토하고 있다. 이는 개발 프로그램이 거시적 관점에서 영향력을 발휘하기 위한 방법을 모색하기 위한 노력으로 더욱 복합적인 접근법을 활용하여 자원을 공유할 수 있는 상호작용과 방법을 확인하고 있다. 공동 평가, 국별 프로그램 평가, 분야별 프로그램 평가, 주제별 평가 또는 국제 및 지역 파트너십 프로그램 평가 등이 이에 해당된다. _ 509쪽, 11장 중재적 평가

윤리는 선택을 이끄는 가치와 신념의 체계이다. 평가는 이해갈등이 있음에도 평가를 실시하거나, 비전문적인 평가에 참여하거나, 평가 업무에 영향을 미치는 편견을 허용하거나, 지킬 수 없는 약속을 하거나, 명예서약(Honor commitment)을 위반함으로써 윤리기준을 위반할 수 있다. 위임기관 중심주의, 계약주의, 방법론 지상주의, 상대주의, 다원주의/엘리트주의로 인한 오해도 비윤리적 행위를 유발할 수 있다.
OECD DAC의 평가네트워크, UN평가그룹, 미국평가협회 및 기타 기관은 평가품질, 윤리, 규범을 정의하고 측정하기 위해 기준, 가이드라인, 규범을 개발했다. 개발평가자는 관련 기준, 가이드라인, 규범과 우수사례를 잘 이해하고 있어야 한다. _ 599~600쪽, 14장 평가자를 위한 평가윤리, 정치, 기준 및 원칙

목차
제I부 기초
1장 개발평가의 소개
2장 개발평가를 이끄는 주요 이슈
제II부 효과적인 개발평가의 준비와 시행
3장 성과 중심 모니터링 및 평가 시스템 구축
4장 평가 지표와 변화이론에 대한 이해
5장 평가 접근 방식
제III부 설계와 실행
6장 평가질문 개발과 설계 매트릭스 수립
7장 평가질문에 따른 평가설계의 선택
8장 데이터 수집 도구의 선택과 구성
9장 표본추출 전략의 선택
10장 데이터 분석 계획 및 시행하기
제IV부 새로운 과제에 대한 대응
11장 중재적 평가
제V부 평가의 추진
12장 평가의 관리
13장 결과 발표
14장 평가자를 위한 평가윤리, 정치, 기준 및 원칙
15장 개발평가의 미래
부록_OECD DAC 개발평가 네트워크: 주요 용어 및 기준