고사성어에 진인사대천명(盡人事待天命)이 있다. 이는 어떤 일에서 사람이 할 수 있는 일을 다 한 후 결과는 운명에 따른다는 의미이다. 현실은 불확실성의 연속이기 때문에 최선을 다한 후에 좋은 결과를 기다리는 것이 맞을 것이다. 이 고사성어에서 주의 깊게 보아야 할 곳은 ‘최선’에 있다. 우리는 보통 이 최선이라는 것을 ‘열심히’로만 생각하고 정말 열심히만 일하고 숨죽여서 결과를 기다리는, 즉 천명을 바라는 경향이 있다. 그러나 ‘열심히’만이 아닌 열심히 옳은 방향으로 ‘잘’해야 그것이 ‘진인사’인 것이고 그래야 좋은 결과 즉, 좋은 천명을 받을 확률이 높아지는 것이다. 그러나 우리는 보통은 잘하는 방법을 모르기 때문에 열심히만 하는 경우가 대부분이다. 열심히 하면 산출(outputs: 공부시간, 업무시간, 예산 집행)은 그리 어렵지 않게 얻어질 수 있으나 결과(outcomes: 합격, 매출 증대, 일자리 창출)는 ‘열심히’ 밖의 일 즉, 천명으로 생각하기 때문이다.
평가방법의 목적은 ‘열심히’가 ‘좋은 천명’으로 이어지는 인과관계를 파악하는 데 있다. ‘그냥 열심히’가 아니라 우리가 기대하는 좋은 천명을 이끌어내는 ‘열심히 잘’하는 방법을 찾고자 하는 것이다. 평가는 과거의 사건들을 평가해서 진인사대천명을 구성하는 비법(인과관계)을 발견하는 것이며, 이 비법에 근거해서 기획이 가능해지는 것이다. 결국 평가는 인과관계라는 합리적이고 과학적인 사고방법을 습득하는 것이고, 이는 성공하는 비법을 찾는 과정이라고 볼 수 있다. 그러므로 성공하기 위해서는 평가논리를 반드시 공부해야 하는 것이다.
조직의 관점에서 보면 평가의 핵심 목적은 보상과 징계가 아니라, 학습(learning)을 통한 프로그램의 개선 및 개인과 조직의 역량 발전을 도모하는 데 있다. 아울러 사전에 경영이든 정책이든 실험평가를 실시함으로써 사업이나 정책의 성공가능성을 더 높이고자 하는 목적도 있다. 그러나 아쉽게도 우리 사회에서 이러한 평가의 목적은 이루어지지 않고 있다. 지난 과거의 사례를 연구(평가)해서 발전적으로 사업을 기획하고, 필요할 경우 사전 실험을 통해 정확한 효과를 검증한 후에 새로운 경영방법이나 정책을 실행해야 함에도 불구하고, 담론에 근거한 정책기획 및 집행이나 경로의존적인 습관적 답습이 더 많은 것이 현실이다.
이러한 현상에도 그 이유는 있다. 그것은 눈에 보이는 현상이 전부가 아닌 것처럼 어떠한 결과를 발생시키는 원인을 밝히는 인과관계 발견이 쉽지 않기 때문이다. 정확한 원인과 원인에 의한 효과의 크기를 밝히는 과정을 방해하는 수많은 교란요인들을 찾아내는 것은 쉽지 않은 과제이다. 그동안 연구자들은 이러한 문제를 해결하기 위해 많은 노력을 기울여왔고, 그 하나의 흐름으로 준실험설계 연구방법들을 발전시켜 왔다.
그동안 준실험설계 방법론은 정치, 행정, 복지, 경영, 보건, 의학, 그리고 계량경제학 등의 연구자들 사이에서는 어느 정도 알려져 있고, 관련 학술논문도 꾸준히 발표되고 있다. 그러나 준실험평가방법들이 아직도 발전단계에 있고, 다소 다양하고 이해하기 어려운 탓에 아직까지는 종합적인 연구서 출판이 부족한 실정이다. 대학원생이나 연구자들에게 필요한 방법론임에도 불구하고 부분적으로만 알려져 있어서 그동안 필자 역시 체계적이고 종합적인 연구서의 필요성을 절감하였다. 그래서 이번에 부족하지만 이 연구의 풍성한 후속연구를 유도하기 위해 출발을 먼저 시작하게 되었다. 좀 더 체계적이고 정확하고 연구결과가 이어지기를 기대한다.
본서는 대학원생과 연구자들을 위한 연구서로만 보일 수 있으나 통계에 대한 기본적인 지식만 있다면 학부생에게도 꼭 필요한 책이라고 생각한다. 본문 1장에서도 밝혔지만 평가는 사고와 판단의 방법을 알려주는, 보다 실용적인 도구이기 때문이다. 그 유명한 「Gujarati의 계량경제학」도 대상을 학부와 대학원 구분하지 않으며, 이공계 학부에서는 보다 난해한 공부를 하는 것과 비교해 보아도 인문사회계의 학부생이 평가방법을 학습하지 못할 이유는 없다고 본다. 한편 정부와 기업의 의사결정자에게도 평가는 ‘진단과 처방을 위한 도구’이기에 반드시 학습이 필요하다고 생각한다.
본서는 가급적 수식과 증명보다는 직관적인 설명 위주로 풀어쓰려 노력하였으나 이 과정에서 오해가 발생할 수 있는 표현이나 옳지 않은 설명은 모두 저자의 부족함으로 돌리고자 한다. 앞으로 내용과 관련한 많은 분들의 비판이나 의견이 있기를 기대하며 매우 감사하게 받아들이고자 한다. 그리고 방법론의 대중화를 위해서 R과 STATA통계프로그램 코드를 같이 수록하였다. 단순히 이론습득만이 아니라 실제로 이를 활용할 수 있는 길을 열어놓고자 하는 바람에서이다.
제1장 도입: 평가의 의의
제 1 절 평가방법 학습의 필요성
제 2 절 영향평가의 개요
제 3 절 영향평가의 유형과 역할
제 4 절 평가방법의 선택과 과정
제 5 절 영향평가 보완
제 6 절 영향평가의 과제와 문제점
제 1 부 양적 평가방법
제2장 인과관계 추론
제 1 절 인과관계의 의미
제 2 절 인과추론 적용과 잠재결과
제 3 절 내생성의 문제
제 4 절 인과관계의 추정 방법
제 5 절 처리효과의 추정
제 6 절 처리효과의 유사 추정
제 7 절 인과관계에 대한 접근방식 비교
제3장 무작위 배정 실험
제 1 절 무작위 배정의 의미
제 2 절 무작위 배정의 경우와 가정
제 3 절 무작위 제안에서의 효과 추정
제 4 절 무작위 홍보에서의 효과 추정
제 5 절 무작위배정 적용의 한계와 대안
제4장 공분산분석과 회귀분석
제 1 절 공분산분석
제 2 절 회귀분석
제 3 절 결과비교
제5장 성향점수분석
제 1 절 매칭과 성향점수
제 2 절 성향점수분석의 가정
제 3 절 분석 단계
제 4 절 적용 사례: 건강보험보조프로그램 효과
제 5 절 PSM의 한계와 논의
제6장 이중차이분석
제1절 이중차이분석 개요
제 2 절 가정과 한계
제 3 절 대안 방법
제 4 절 적용사례
제7장 도구변수
제 1 절 도구변수의 의의
제 2 절 도구변수 추정
제 3 절 2단계 최소제곱법 추정: 2SLS
제 4 절 추가적 논의
제 5 절 적용사례
제8장 회귀불연속설계
제 1 절 회귀불연속설계의 개념
제 2 절 회귀불연속설계의 유형
제 3 절 그래픽 분석
제 4 절 추정방법
제 5 절 적용사례
제 6 절 일반화를 위한 보완
제 7 절 종합
제9장 분위회귀
제 1 절 분위회귀의 의의
제 2 절 분위회귀 추정
제 3 절 분위처치효과 추정
제 4 절 분위처치효과의 도구변수 추정
제 5 절 패널 분위처치분석
제 2 부 질적 평가방법
제10장 프로그램 이론 기반 영향 평가
제 1 절 프로그램 이론: 변화의 이론
제 2 절 프로그램 이론기반 평가 모형
제 3 절 이론기반 평가의 원칙과 절차
제 4 절 적용사례
제 5 절 이론기반평가 vs. 블랙박스 접근 비교
제11장 프로그램 논리모형
제 1 절 논리모형의 정의
제 2 절 논리모형의 구성요소와 특징
제12장 근거이론 기반 발전적 평가
제 1 절 근거이론적 분석방법
제 2 절 발전적 평가이론
제 3 절 적용사례: 시장형노인일자리 평가
부 록
부록 1 준실험설계 분석을 위한 R Code
부록 2 준실험설계 분석을 위한 STATA Code
서울대학교 인류학과와 정치학과에서 학사, 석사, 박사학위를 취득하였으며 서울대학교 행정대학원에서 박사후 연구원 과정을 거쳐 현재 수원대학교 법행정학부 행정학과와 공공정책대학원 정책학과에 재직 중이다. 정책분석, 정책평가, 복지정책(노인복지), 과학기술정책이 주요 연구분야이며 실험 및 준실험연구, 시스템 다이내믹스, 공공빅데이터분석 등 데이터분석방법에 관심이 있다. 계량경제학 및 시스템 다이나믹스<시뮬레이션>에 의한 의사결정방법과 빅데이터분석방법을 결합한 새로운 분석평가 방법 도입에도 관심이 있다. 그리고 인공지능 딥러닝방식의 텍스트데이터분석을 통해 질적 분석<근거이론 등>의 객관성과 타당성을 보완하고, 온라인 공간의 여론의 흐름을 실시간으로 분석하여 정부 및 기업의 의사결정에서 증거자료로 활용하는 방법을 연구하고 있다. 또한 4차산업혁명에 적합한 경영방법으로써 ‘Agile거버넌스’ 연구를 진행하고 있다. 「R을 활용한 고급데이터분석: 구조방정식과 패널데이터분석」과 「인문사회과학을 위한 빅데이터 분석방법: 텍스트분석」을 곧 출간할 예정이다.
