사회복지정책의 평가

사회복지정책의 평가

 

정책은 문제를 탐색하고, 정책을 결정하여 집행하면서 집행하는 것으로 완결되지 않고, 그에 대한 재검토를 하는 평가를 함으로써 올바른 효과를 기대할 수 있다. 사회복지정책 평가는 사회복지정책 활동에 관한 정보를 수집 • 분석 • 해석함으로써 정책목표달성과 관련하여 그 가치를 판단하는 것이다.

 

사회복지정책 평가의 특성 및 성격

ⓐ 기술적 성격 : 기술이란 통계기법 및 그것을 분석하는 기법을 말한다.

ⓑ 실용적 성격 : 응용연구로서 정책결정에 유용하게 적용하는 것을 목표로 한다.

ⓒ 개별사례적 성격 : 구체적인 정책 프로그램이나 그 프로그램이 적용된 개별사례를 연구대상으로 한다.

ⓓ 가치지향적 성격 : 결정된 정책 프로그램의 무엇이 잘 되고 무엇이 잘못 되었는지 혹은 앞으로 어떻게 하는 것이 바람직한가를 포함하고 있다.

ⓔ 종합학문적 성격 : 정책결정은 현재의 정치, 사회, 문화 등 현실의 다양성을 반영하며, 통계기법과 같은 실질적 지식은 물론 정책 문제에 대한 다양한 이론적 지식이 요구되며 사회복지실천에 대한 지식까지도 포함한다.

ⓕ 정치적 성격 : 정책 평가가 가치중립적인 입장을 보이기는 현실적으로 어려우며, 정책결정자, 집행자, 자금지원집단 등 이해집단 및 클라이언트의 영향을 받는다.

 

1. 정책 평가의 개념과 필요성

 

1) 정책 평가의 개념

 

정부 각 부처는 정규적으로 정책평가보고서를 발간하여 ⓐ 비용이 얼마나 들었는지, ⓑ 수급자 현황은 어떠한지, ⓒ 서비스의 효과는 어떠했는지를 밝히고 있다. 국회 상임위에서도 국민에게 인기가 있는지, 없는지를 지속적으로 검토한다. 특정 정책이 정책목표를 잘 달성하고 있는지, 잘 조직화되었는지, 효율적으로 운영되고 있는지, 국민들에게 인기가 있는지, 재정상태가 건전한지를 체계적으로 파악하기 위해서는 객관적이고 과학적인 정책평가가 이루어져야 하는 것이다.

 

정책결과를 좀 더 체계적으로 파악하기 위해서는 현재 실시되고 있는 정책에 대하여 다음과 같은 질문을 던져야 한다.

ⓐ 과연 정책이 사회 전반에 긍정적인 영향을 미치고 있는가?

ⓑ 정책혜택을 받지 못한 사람은 누구인가?

ⓒ 정책을 실현하는데 드는 비용과 사회적 편익과는 어떤 관계가 있는가?

ⓓ 정책을 실현하는데 투입되는 인적 • 물적 자원으로 더 큰 효과를 노릴 수 있는 다른 대안은 없는가?

정책평가는 이런 질문들에 대하여 구체적인 해답을 찾는 과정이다.

① 정책의 집행 결과가 처음 의도와 결과를 얼마나 효과적으로 달성했는가를 측정하는 활동이다. 처음 의도를 실현하였는가. 처음 사회문제가 되었던 정책문제에 기여하였는가. 집행결과 파급효과와 부차적 효과를 야기했는가를 체계적으로 조사 • 분석 • 판단하는 활동이다.

② D. Nachmias는 정책평가란 “현재 시행중인 정책의 집행이 목표와 관련하여 대상 집단에 미친 효과를 객관적 • 체계적 • 실증적으로 검토하는 활동”으로 정의하였다.

③ W. Dunn 은 정책평가란 “정책결과에 대해 신뢰할 수 있고 타당한 자료를 수집하기 위해 과학적 방법을 활용하는 접근법‘이라고 하였다.

④ C. Weiss는 정책평가를 “정책에 대하여 보다 나은 결정을 내리기 위해 프로그램의 결과에 대한 객관적 자료를 수집하는 과정”이라 하였다.

 

협의의 개념은 정책평가는 정책집행의 결과에 대한 평가, 즉 정책이 원래 목표를 얼마나 달성했는가에 초점을 맞추는 평가이다.

광의의 개념은 정책과정 전반에 걸친 평가로서 정책결정 이전부터 정책집행 이후까지의 모든 정책과정 속에서 정책의제와 대안, 결정과정, 정책집행과정, 정책영향, 평가의 평가 등 정책의 결정과 집행 이후까지의 모든 평가활동을 의미한다.

 

그러므로 정책평가의 내용은

ⓐ 특정 정책이 대상 집단에 미치는 장단기적인 효과를 파악하기 위해 그 정책을 체계적으로 검토하는 것이다.

ⓑ 정책목표 측면에서 대상 집단에 미친 효과를 객관적 • 체계적 • 실증적으로 검토하는 것이다.

ⓒ 정책의 내용, 집행, 그 영향을 추정하거나 사정하는 것이다.

ⓓ 어떤 정책의 과정이나 결과를 객관적 절차를 판단하는 것이다.

 

정책평가의 공통적인 요소는

ⓐ 정책목표를 확인하고,

ⓑ 정책목표 달성을 위한 방법 및 수단에 대하여 파악하고,

ⓒ 정책을 수행하는데 든 비용을 산정하고,

ⓓ 정책결과의 효용을 측정하는 것이다. 따라서 정책평가는 “정책목표에 비추어 정책의 효과나 영향을 측정하고 검토하는 것”이라 정의할 수 있다.

 

2) 정책 평가의 목적

 

사회복지의 규모가 커지면서 정책평가의 중요성도 증대되고 있는데, 사회복지 규모를 측정하는 가장 일반적인 지출규모이고 사회복지 지출규모의 비약적인 증가로 인하여 사회복지정책에 대한 체계적이고 객관적인 평가의 필요성도 강조되고 있다.

 

① 정책과정과 집행에 필요한 정보를 제공해 준다.

정책평가는 기존 정책을 계속할 것인지 혹은 종료할 것인지를 결정하는데 기초자료를 제공해준다. 계속할 경우에는 확대할 것인가 축소시킬 것인가, 정책을 수정할 경우에는 구체적으로 어떤 영역을 보완할 것인지에 대한 기준을 제시해 줄 수 있다. 정책의 추진여부 결정, 정책내용의 수정, 집행과정에서 더 효율적인 전략수립을 가능하게 해 준다.

② 정책과정의 책임성을 확보해준다. 관리적 책임, 법 • 회계적 책임, 정치적 책임 등에 관한 자료를 제공해 줄 수 있다.

점차 정책과 관련된 다양한 이익집단의 목소리가 커지고 있기 때문에 이들 이익집단의 요구가 서로 일치하지 않을 경우에, 객관적인 설득 자료가 필요하게 된다. 정책평가 결과를 이들의 이해관계를 조정하고 합의를 도출해 내기 위한 자료로 활용할 수 있다.

③ 이론형성을 통한 학문발전에 기여한다.

정책평가를 통하여 정책에 관한 학문발전에 기여할 수 있다. 정책현상에 관한 자료를 축적하여 기존의 정책이론을 입증하거나 새로운 가설을 제시할 수 있다. 정책평가와 관련된 방법론을 정교화하고 수정하는데도 기여할 수 있다.

④ 새로운 정책대안 개발을 위한 기초자료를 제시할 수 있다.

정책평가과정을 통하여 새로운 사회복지 욕구를 발견하여 그 문제를 해결할 수 있는 정책대안 및 프로그램을 개발할 수 있는 기회를 얻을 수 있다. 정책평가가 기존의 정책이 충족시키지 못하는 욕구를 발견하여 새로운 정책을 개발하는 기초자료를 제시할 수 있다.

⑤ 책임을 회피하고, 의사결정을 지연하고, 정책의 성공을 홍보하기 위해 평가를 이용하는 경우 의사결정자들이 바람직하지 못한 용도에 이용하고 홍보하기 위한 수단으로도 정책 평가를 활용한다.

 

3) 정책 평가의 필요성

① 정책 평가의 필요성

ⓐ 정책이 처음 의도한 대로 집행되었는지를 파악하기 위해

ⓑ 정책과정이 복잡해지고 다양한 변수가 있으므로 이에 참여하는 이해관계자들을 설득하고 지지확보를 위한 과학적이고 체계적인 분석 자료가 필요하기 때문

ⓒ 정책에 이용한 자원의 경제적 합리성을 파악하기 위해서

ⓓ 정부의 정책 활동에 대한 관리적 • 윤리적 책임성을 확보해야 하기 때문에

ⓔ 자료나 연구의 기초 마련을 위해서 정책평가를 통해 제시되는 자료를 기초로 더 향상된 연구를 위한 대안적인 기법을 마련하는데 기여한다.

ⓕ 정책의 성공과 실패 원인 규명 및 성공의 원칙, 하위목표, 대안적인 기법 등에 대한 정보를 제공하여 정책결정의 기초자료가 되며 효과성 증진을 꾀하게 된다.

 

② 정책 평가의 유용성 논쟁

ⓐ 정책 평가의 질적 문제 : 정책 평가의 내용이 부실하거나 질적으로 타당성이 높지 못한 경우 환류될 가능성은 없다.

ⓑ 시간적 적절성의 문제 : 정책 평가가 정책 시행 이후 실시되기 때문에 다음 정책의 집행에 보다 효율적으로 쓰여질 환류의 가능성이 적다.

ⓒ 정책담당자의 의지 : 정책 평가가 아무리 잘 되었더라도 평가기법에 대한 지식이 없거나 보고서가 난해하거나 또는 정책 평가를 반영한 정책의 실패에 대한 책임을 지고 있는 등의 이유로 정책 담당자의 의지가 없으면 그 결과는 무용지물이 될 것이다.

 

2. 정책 평가의 기준

 

D. M. DiNitto는 정책평가에는 다음과 같은 요소를 포함하고 있어야 한다고 하였다.

① 정책 목표를 확인하고 그 우선순위를 정해야 한다.

② 정책 목표를 추진하는데 동원된 방안을 찾아내야 한다.

③ 정책의 대상 집단이나 정책이 적용되는 상황을 파악해야 한다.

④ 정책 대상 집단이 아닌 집단에게 미칠 수 있는 간접 효과를 파악해야 한다.

⑤ 정책 대상 집단 및 비대상 집단에 미치는 장기적 효과를 측정해야 한다.

⑥ 투여된 모든 인적 • 물적 자원이란 측면에서 정책에 소요된 비용을 측정해야 한다.

⑦ 기회비용의 상실 등 특정 정책을 수행함으로 발생할 수 있는 모든 간접비용을 측정해야 한다.

 

이러한 원칙에 입각하여 Rossi 와 Freeman 이 합리적인 평가를 위한 기준을 단계별로 제시하고 있다.

합리적 평가를 위한 기준

1. 프로그램 개념화 및 설계 단계 ⓐ 해당 정책에서 해결하고자 하는 사회문제가 적절히 개념화되었는가? ⓑ 문제의 범위는 어떠하며 대상집단의 분포는 어떠한가? ⓒ 프로그램에는 일관된 합리성이 존재하는가? ⓓ 전달체계를 성공적으로 운영하기 위한 방안이 있는가? ⓔ 계획된 비용은 얼마인가? ⓕ 비용과 효용간의 관계는 어떠한가?

2. 프로그램 모니터링 단계 ⓐ 프로그램이 현재 대상집단에 잘 도달하고 있는가? ⓑ 프로그램 설계시 작성해 놓은 ‘모니터링 항목’은 잘 점검되고 있는가?

3. 프로그램 종료단계 ⓐ 프로그램이 정책목표를 달성하는데 효과적이었는가? ⓑ 프로그램 결과가 다른 대안적 과정에 의해 설명될 수 있는가? ⓒ 서비스를 전달하는데 든 비용은 어느 정도이고 프로그램 관련자에 대한 혜택은 무엇인가? ⓓ 자원을 효율적으로 사용했는가?

 

그러므로 정책 평가는 정책의 전 과정 즉, 정책문제 평가, 정책의제 평가, 정책설계 평가, 정책결정 평가, 정책영향 평가 등 각 단계마다 이루어질 수 있으며, 이 때 다음과 같은 기본적인 평가기준을 만족시켜야 한다.

ⓐ 효과성(effectiveness) : 목표의 달성 정도, 의도했던 정책효과가 과연 그 정책 때문에 발생했는가를 살피는 것, 자원의 투입에 상관없이 최대의 목표를 달성했는가를 판단한다.

ⓑ 능률성(efficiency) : 투입에 대한 산출의 비율, 경제적 가치로 환산하여 평가하는 것

ⓒ 적정성(adequacy) : 문제의 해결정도를 의미하며, 문제를 일으킨 욕구, 가치, 기회를 만족시키는 효과성의 수준 정도를 말한다.

ⓓ 적절성(appropriateness) : 접근성이라고도 한다. 문제해결을 위해서 사용한 수단이나 방법들이 바람직한 정도와 바람직한 수준에서 이루어졌는가를 평가하는 것이다. 손쉽게 프로그램을 이용할 가능성을 말하며 지리적 접근성, 시간적 접근성, 심리적 접근성 등으로 구분된다.

ⓔ 형평선(equity) : 효과나 노력이 얼마나 공평하고 공정하게 배분되었는지를 평가하는 것

ⓕ 대응성(responsiveness) : 정책이 수혜자집단의 욕구, 선호, 가치를 충족시키는 정도를 말한다.

 

3. 정책 평가의 절차

 

① 정책 평가의 일반적인 절차

 

사회복지정책의 평가절차 비교

송근원•김태성(1995)	봉민근(1997)	현외성(2000)
평가의 목표설정	목표의 확인	욕구의 사정
↓	↓	↓
평가범위설정	평가기준과 판정기준	정책 및 프로그램의 확인
↓	↓	↓
프로그램의 내용 파악	인과모형 설정	평가목표의 설정
↓	↓	↓
평가설계서 작성	적절한 연구설계	평가기준의 선정
↓	↓	↓
자료수집 및 측정	측정	평가방법의 설계
↓	↓	↓
분석 및 해석	자료의 수집	자료수집, 분석 및 해석
↓	↓	↓
보고서의 작성 및 제출	자료의 분석과 해석	보고서의 작성

 

ⓐ 정책 평가 목표 및 대상의 설정

정책 평가의 방향을 결정한다. 정책평가를 위해서는 우선 평가의 목표를 분명히 설정해야 한다. 평가목적에 따라서 평가자가 선정되고 평가기준을 정하며 평가 범위가 분명해진다. 따라서 평가의 목표를 분명히 설정하는 것이 정책평가의 방향을 결정해 주는 데 중요하다.

정책평가는 첫째, 정책 프로그램의 효과를 향상시키기 위한 것, 둘째, 정책의 책임성을 확보하는 것, 셋째, 정책이론의 형성 등 그 목적이 다양하다. 이런 여러 목적 중에서 현 평가가 어떤 목적인지를 분명히 하고 정책평가에 들어가야만 유용한 결과를 얻을 수 있다.

ⓑ 평가범위 설정

사회복지정책의 평가목표가 결정되면 이에 근거하여 정책평가의 범위를 몇 가지 측면에서 설정해야 한다.

첫째, 정책의 특정 측면만 평가할 것인지, 정책의 모든 측면을 포괄적으로 평가할 것인지, 더 나아가 관련 정책 및 상위 정책까지를 평가할 것인지 그 범위를 정해야 한다.

둘째, 평가의 기간 및 시점을 정해야 한다. 대개 외래 기관에서 평가 시간을 한정하는데, 그 기간 한정이 평가목표와 관련하여 적절한지를 논의해야 한다. 또한 평가목적에 비추어 정책 결정 시기부터 현재까지의 정책결과를 평가할 것인지, 아니면 특정 시점에서 특정 시점까지의 정책을 평가할 것인지를 결정해야 한다.

셋째, 평가의 공간적 범위를 정해야 한다. 정책이 시행되는 전 지역을 평가대상으로 할 것인지, 아니면 잘 시행되고 있는 지역 한 두 지역만 평가대상으로 정할 것인지, 혹은 실패한 지역을 선택할 것인지를 결정해야 한다. 이렇게 평가의 범위를 분명히 설정하고 평가를 실시해야만 나중에 외래 기관과 논란의 소지가 없어진다.

ⓒ 프로그램의 내용 파악

정책의 내용 • 수단 • 구조 파악 : 정책의 목표, 대상, 이해단체 등의 법적인 내용과 결정과정 및 시행과정의 전반적 정보를 수집한다.

정책평가의 목표와 범위가 확정되면, 평가를 받을 프로그램의 내용을 파악해야 한다. 즉 평가대상이 되는 사회복지 프로그램의 목표, 프로그램의 내용(정책대상, 급여내용, 전달체계, 재정), 관련 이익집단, 정책결정 과정 등에 관한 전반적인 정보를 수집해야 한다. 정책목표가 어느 정도 구체화되었는지, 정책목표를 달성할 수 있는 정책수단이나 자원은 어떤 것이 있으며 활용여부는 어떠한 지 등을 파악해야 한다. 또한 평가대상인 정책과 다른 정책과의 관계도 파악해야 한다. 특히 다른 부처 혹은 민간기관 등에서 유사한 대상으로 유사한 프로그램을 실시하여 서비스가 중복되고 있는지도 파악해야 한다.

이렇게 프로그램의 내용을 전반적으로 파악하여 봄으로써 정책평가의 필요성 여부를 결정할 수 있고, 본격적인 정책평가를 위한 분석틀을 구성하는데 기초가 되어진다. 또한 프로그램의 내용을 명확히 파악하는 것이 정책을 평가하는데 필요한 측정기준이나 자료수집 방법 및 분석기법을 결정하는데도 필요하기 때문에 본격적인 정책평가에 앞서서 반드시 이루어져야 한다.

ⓓ 평가기준 설정(평가설계서 작성) :

정책평가를 위한 프로그램 내용이 파악되면 그 프로그램이 영향을 받거나 영향을 미치는 과정에 관한 인과모형을 설정한다. 이런 평가를 위한 인과모형은 우선 어떤 결과가 발생했으며, 그 결과가 바람직한 것인가, 그리고 그러한 결과를 초래하는 데 영향을 미친 요인이 무엇인가 등을 규명하기 위한 분석틀로서의 의미를 지닌다. 이 인과모형은 평가설계의 형태와 평가기법을 결정하는데 기초가 된다.

평가 설계는 보통 실험 설계, 준실험 설계, 비실험 설계로 나누어지는데 이들 가운데 어떠한 형태로 평가 설계를 하여야 하는가는 적용가능성(시간적 제약, 인적 • 물적 비용, 정책 관련자나 수급자에게의 접근 가능성)을 고려하여 결정된다.

ⓔ 자료의 수집 및 측정

평가 설계가 끝나면 평가에 필요한 자료를 수집해야 한다. 자료는 평가보고서에 직접 • 간접으로 사용되는 모든 정보를 말한다. 직접 조사를 통하여 수집되는 1차적 자료와 기존 자료에서 가져오는 2차 자료로 나눌 수 있다. 일반적으로 많이 사용되는 1차적 자료 수집은 관찰법, 면접법, 설문지를 통한 질문지법 등이 있다. 이들 가운데 어떤 방법을 사용하여 수집할 것인지는 비용과 조사목적에 따라, 그리고 각 자료수집법의 장 • 단점을 고려하여 결정해야 한다. 2차 자료에는 정부의 문서, 각종 통계자료, 다른 평가보고서 등이 있을 수 있다. 이러한 2차 자료를 분석하여 정책평가에 활용하는 경우도 많다.

자료를 수집할 때에는 평가에 필요한 부분을 정확하게 측정할 수 있어야 한다. 평가하고자 하는 현상을 양적으로 측정하기 위해서 일반적으로 척도를 사용한다.

 

척도는 측정을 위한 도구이다. 즉 일정한 규칙에 따라 관찰된 현상에 대해서 수치나 기호를 부여하기 위해서 사용되는 도구이다. 관찰된 현상에 대하여 일정한 규칙에 따라 수치나 기호를 부여하는 것을 측정이라 하고, 이 측정을 위한 도구를 척도라고 한다. 척도는 측정하고자 하는 대상에 부여하는 숫자나 기호들의 체계를 말한다.

척도는 일정한 규칙에 따라 숫자나 기호를 배열하는 형식으로 이루어져 있다. 척도는 측정대상의 속성을 발견해서 측정대상의 속성에 따라 일대 일로 상응하도록 숫자나 기호를 배치한다. 따라서 척도는 측정대상의 질적인 속성을 계량적인 변수로 변환시키는 수단이 된다. 자연과학에서는 물질적인 온도계, 체중계, 자, 저울 등이 사용되어지지만, 사회과학에서는 비물질적이어서 논리적이고 경험적으로 연관된 하나 또는 다수의 문항들로 구성되어 있다.

ⓕ 분석과 의미 해석

자료의 수집과 측정이 끝나면 그것을 분석하고 그 의미를 해석해내야 한다. 수집된 자료의 분석은 질적인 분석과 양적인 분석으로 나눌 수 있는데, 질적인 분석은 논증과 설득력을 바탕으로 하여 새로운 아이디어와 시각을 제시해 주는 데 유용하다. 한편, 양적인 분석은 통계적 기법을 사용하거나 정책분석기법으로 개발된 여러 가지 분석기법에 의하여 이루어진다. 양적인 평가분석 기법들 가운데 어느 기법을 사용할 것인가를 정책평가가 목표와 자료 측정 수준 등에 의해 결정된다.

ⓖ 평가보고서 작성 및 제출

적절한 형식과 내용을 갖추고 효과적으로 전달한다.

수집된 자료를 분석하여 해석한 후에 이를 “평가보고서” 형태로 작성하여 의뢰 기관에 제출하여야 한다. 평가보고서를 작성할 때 유의할 것은 읽는 사람을 염두에 두어야 한다는 것이다. 곧, 평가보고서는 학술논문이 아니기 때문에 내용을 쉽고 간결하게 쓰고, 그림이나 도표 등을 활용하여 읽는 사람이 잘 이해할 수 있도록 해야 한다.

평가보고서는 실용적인 목적으로 작성된 것이기 때문에 평가정보를 필요로 하는 사람, 정책결정에 영향을 미치는 사람들에게 평가보고서가 제출되어야 한다. 경우에 따라서는 관련자들을 모아놓고, 정책보고서 발표회를 등을 개최하거나 언론에 보도 자료를 보낼 필요가 있다.

 

② 평기기준(평가 설계)

ⓐ 정책의 문제를 밝히고 정책프로그램이 영향을 미치는 과정에 대한 인과관계를 파악하는 과정이다.

ⓑ 평가 설계에서는 정책 평가의 타당성을 획득하기 위한 타당도를 측정한다. 설계의 인과적 강도를 평가하기 위해서 조사자가 타당도를 잘 통제할 수 있는지에 대해서도 고려해야 한다. 타당도에는 내적 타당도, 외적 타당도, 원인과 효과에 대한 구성타당도, 통계적 결론 타당도가 있다.

ⓒ 실험 설계 : 실험 설계의 목적은 경험적으로 개입과 결과간의 원인과 효과 관계를 조사하는 것이다. 실험 집단과 통제 집단으로 나누어 실험 집단에만 독립변수(프로그램 집행)를 집행하고, 통제 집단에는 정책을 집행하지 않은 상태에서 정책을 적용한 후에 두 집단의 형태 변화를 비교하여 그 인과관계를 파악하는 방법이다.

ⓓ 준실험 설계 : 변수간의 인과관계를 밝히는데 있어 실험집단과 통제집단의 동질성을 확보하기 어렵거나, 사전 검사가 불가능한 경우에 사용하는 방법이다.

통제집단이 없을 경우에는 동일집단에 사전 • 사후조사를 진행하고, 사전조사가 어려울 때에는 실험집단과 통제집단으로 나누어 정책으로 개입한 후에 두 집단을 비교할 수 있다. 집행 과정이 들어가지 않는다는 점에서 실험설계와 구분된다.

ⓔ 비실험 설계 : 통제집단도 없고 사전조사도 불가능한 경우에 정책 적용 사후검사만 진행되는 것으로서 정책 평가에서 가장 빈번하게 사용되는 방법이다. 클라이언트의 행동변화를 목적으로 하는 사회복지정책의 평가에서 많이 사용하는 방법이다.

 

4. 평가유형

 

정책프로그램의 운영상의 오류가 있지는 않는지를 밝히는 것을 목적으로 모니터링하면서 그 정책의 전반적인 분야를 평가하는 것이다. 모니터링할 때 정책의 대상 집단에 대한 프로그램의 커버리지와 바이아스를 살펴야 한다.

커버리지(coverage)는 어떤 정책 프로그램에 대한 대상 집단의 참여가 실제로 얼마나 이루어지고 있는가 하는 정도를 말한다. 즉 충족도(만족도)를 말한다. 정책 대상 집단의 구성원 가운데 어느 정도가 실제로 정책프로그램에 참가하고 있는가 하는 문제는 효과적인 정책 프로그램의 집행을 위해서 중요한 의미를 지닌다. 낮은 커버리지는 어떤 정책 프로그램에 대한 욕구가 있으나 아직 커버(충족)되지 않고 남아 있는 대상의 비율을 말하고, 초과 커버리지는 부적절한 수급자가 많음을 의미하는 것으로 정책의 설계가 잘못되었음을 나타내는 것이다.

바이어스(bias)는 지정된 대상 집단의 각 하위집단들의 참여가 다를 수 있다는, 곧 다른 참여의 정도를 나타내는 것이다.

 

정책프로그램의 커버리지를 측정하는 공식

욕구가 있는 자 중 서비스 받은 자의 수	–	욕구가 없는 자로서 서비스 받은 자의 수	X 100
욕구가 있는 자의 총 수		서비스 받은 자의 총 수

정책의 효과성을 측정하는 방법이기 때문에 서비스의 욕구가 있는 대상을 전체로 하고 이중에 서비스를 받은 사람을 구해야 한다. 또 서비스를 받은 자 중에서 욕구가 없지만 서비스를 받은 사람을 알아내면 커버리지를 측정할 수 있다.

 

정책평가모형

	모형	강조점
1	목적지향적평가 (Goal-Oriented Eval!uation)	정책목표를 달성한 정도를 평가: 가장 의미있는 평가이다.
2	의사결정 지향적 평가 (Decision-Oriented Eval!uation)	의사결정자로 하여금 현명한 판단을 내릴 수 있도록 자료를 제공하는 평가
3	대응적 평가 (Responsive Eval!uation)	정책의 주요 관계자들의 관점과 관심사를 최대한 반영한 평가
4	평가연구 (Eval!uation Research)	프로그램의 효과를 설명하고 그 요인을 구명하며 프로그램 효과에 대한 일반적 가설을 제시하는 평가
5	탈 목적 평가 (Goal-Free Eval!uation)	정책목표 달성여부을 염두에 두지 않고 현행 프로그램이 어떠한 결과를 야기했는지를 규정하고자 하는 평가로, 특히 서비스 이용자의 만족도나 욕구 충족도를 측정할 경우에 필요하다.
6	‘옹호-대립’평가 (Advocary-Adversary Eval!uation)	평가 수행과정이나 보고서 작성단계에서 해당 정책에 대해 최대로 ‘옹호적-비판적’관점을 취하는 평가
7	활용 중심적 평가 (Utilization-Centered Eval!uation)	평가 결과물이 프로그램 운영자와 이용자들에게 최대로 활동될 수 있도록 설계된 평가
8	영향평가 (Impact Eval!uation	정책의 시행이나 과정보다는 프로그램의 파급효과에 초점을 둔 평가
9	형성평가 (Formative Eval!uation)	초기 프로그램 개발 및 수정 과정에서 시행되는 평가로 자체평가적 성격이 강하다.
10	총괄평가 (Summative Eval!uation)	프로그램 종료 후 정책 전반에 관한 평가로 자금지원기관 등 다양한 이해 당사자들을 위해 실시한다.

 

① 일반적인 평가기준

ⓐ 효율성 평가 : 동일한 정책 산출물에 대해 비용을 최소화하였는가 또는 동일한 비용으로 산출을 극대화하였는가에 대한 평가이다. 주어진 자원들을 경제적인 방법으로 적절하게 활용했는지에 대한 평가로서 투입(input)에 대한 산출(output) 혹은 투입에 대한 성과(outcome)에 대한 평가이다.

ⓑ 대상효율성평가 : 복지정책이 의도한 목표 집단이나 목표상황의 문제해결이나 삶의 질 향상을 비용의 낭비없이 얼마나 절약하여 수행하였는가에 대해 이루어지는 평가이다.

ⓒ 효과성 평가 : 사회복지정책목표를 얼마나 달성하였는가에 관한 평가이다. 제공된 서비스와 성취된 결과 사이에 관례를 밝히는 평가로서 사회적 효과성은 사회복지정책을 수행한 결과 얼마나 사회연대, 사회통합 및 사회적 조화가 이루어졌는가에 관한 평가이다.

정책집행으로 인하여 의도한 정책효과가 발생하였는가?

정책효과가 정책 목표를 어느 정도 달성하였는가?

본래의 사회문제를 해결하는데 정책효과는 충분한가?

의도하지 않은 부수적인 효과는 무엇인가?와 같은 질문에 대한 해답을 찾는 평가이다.

ⓓ 형평성(공평성) 효과 : 정책을 통해 급여(서비스)가 인구 집단에 공평하게 배분되었는지를 평가하는 것으로 사회복지정책이 얼마나 사회계층 간의 소득불평등을 감소시켰는가에 관한 평가이다. 이는 지니계수나 10분위 분배율을 통해 파악할 수 있다.

 

☞ 1. 지니계수 : 소득의 양극화를 보여주는 지표로 지니계수가 많이 이용된다. 지니계수는 소득이 어느 정도 균등하게 분배되는가를 나타내는 소득분배의 불균형 수치로 0과 1 사이의 값을 가지는데 0에 가까울수록 소득분배의 불평등 정도가 낮다는 것을 의미한다.

유엔이 발표한 ‘2005년 인간개발보고서’에 따르면 우리나라의 지니계수는 0.31로 조사대상국 111개 나라 중에서 25위를 차지해 비교적 양호한 수준으로 나타났다. 선진국들의 모임인 경제협력개발기구(OECD)내에서는 회원국 30개국 중에서 13위를 차지해 중간 정도에 자리를 잡고 있다. 소득 불평등이 적은 나라는 유럽의 복지국가인 덴마크(0.24)와 일본(0.24)이 높은 위치에 있고 벨기에(0.25), 스웨덴(0.25) 등도 소득 불평등 정도가 낮은 것으로 조사됐다.

우리나라보다 지니계수가 높은, 즉 소득 불평등이 심한 나라로는 홍콩(0.43)과 싱가포르(0.42), 미국(0.40)과 영국(0.36), 뉴질랜드(0.36), 캐나다(0.33) 등이 위치하고 있어 이들 국가들의 소득 불평등이 심한 것으로 나타났다. 뉴질랜드와 캐나다 등 우리가 흔히 ‘행복할 것’으로 생각되는 나라들도 소득 불평등이 심한 것으로 나왔다.

우리나라의 지니계수 추이를 보면 갈수록 소득의 양극화가 커지고 있다는 것을 알 수 있다. 지난 95년 0.284로 양호한 수준이었던 지니계수는 99년 0.32로 껑충 뛰었다. 이후 2002년 0.312로 다소 떨어졌던 지니계수는 이듬해 0.316으로 다시 높아졌고 2004년과 2005년에는 0.31 수준을 유지했다. 더구나 전국 가구의 상위 20% 소득은 2006년 3•4분기 630만원이었던 반면 하위 20%의 소득은 80만원으로 그 격차가 7.79배까지 벌어져 2003년 이후 3년 만에 최고치를 기록하기도 했다.

 

2. 십분위 분배율(deciles distribution ratio)은 1973년 스탠포드 대학 아델만 교수와 모리수 교수가 발표한 소득분배 정도 판별법으로서, 소득분배의 정도를 나타내는 것들 가운데 빈부의 격차를 가장 잘 설명해주는 것으로 알려져 있다.

10분위 분배율은 한 나라의 모든 가구를 소득의 크기순으로 배열하고 이를 10등급으로 분류하여, 소득이 낮은 1등급에서 4등급까지의 소득 합계를 소득이 가장 높은 9,10등급의 소득 합계로 나눈 비율을 말한다. 즉 상위 소득 20%의 소득 합계에 대한 하위 소득 40%의 비율을 말한다. 이 비율이 높으면 소득 격차가 작고, 반대로 낮으면 소득 격차가 큰 것 이다. 아델만 교수는 이 비율이 45% 이상이면 분배가 잘 된 국가이고 35∼45% 는 중간 수준, 35% 이하이면 불평등 국가로 분류한다. 이처럼 10분위 분배율은 계층간 소득 차이를 비교할 수 있다는 점에서 로렌츠 곡선이나 지니 계수에 비해 널리 이용되고 있다.

ⓔ 반응성 평가 : 사회복지정책의 집행결과에 대해 수혜대상자들이 얼마나 만족하는가에 대한 평가이다.

ⓕ 민주성 평가 : 복지수혜 대상자들이 자신의 행복이 결정되는 사회복지정책과정에 얼마나 참여하였는가에 대한 평가이다.

ⓖ 합법성 평가 : 사회복지정책이 수행되는 과정에서 얼마나 관련 법률을 제대로 준수하였는가에 대한 평가이다.

ⓗ 편의성 평가 : 사회복지정책급여를 얼마나 편리하게 향유하였는가에 대한 평가이다.

ⓘ 시의적절성 평가 : 사회복지정책급여가 적시에 제대로 제공되었는지에 관한 평가이다.

ⓙ 실현가능성평가 : 사회복지정책대안이 정치적으로, 행정적(기술적)으로, 재정적으로, 문화적으로 얼마나 실현가능한가에 대한 평가이다.

 

평가유형	종 류	특 성
평가체계에 따른 유형	총괄평가	정책 결과를 정책 목표에 비추어 비교•분석하는 평가
	과정평가	정책 집행이 성공적으로 추진되고 있는지를 파악하기 위한 평가
	통합평가	총괄 평가 + 과정 평가
	메타평가	평가 설계부터 평가 결과에 이르는 모든 과정을 점검하는 평가
평가범위에 따른 유형	단일평가	정책의 한 측면을 평가
	포괄적평가	정책의 모든 측면을 평가
평가시점에 따른 유형	사전평가	정책 형성 이전에 이루어지는 평가
	사후평가	정책 종료 이후에 이루어지는 평가
평가주체에 따른 유형	자체평가	정책 프로그램 담당자가 직접 자신들의 활동 전반에 대해 실시하는 평가 : 장•단점-정책에 대해 많은 정보를 가지고 있지만 정책실패에 대해 책임회피를 할 가능성이 있다.
	내부평가	기관 내부의 책임자나 동료에 의해 실시되는 평가
	외부평가	정책담당 기관 외부의 평가자에 의해 이루어지는 평가 : 장•단점 - 자체 평가나 내부 평가에 비하여 공정성과 일관성 유지가 가능하지만 정책에 관한 정보는 제한되어 있다.

 

② 평가대상 • 시간 기준 : 총괄평가 / 과정평가 / 형성평가

ⓐ 총괄평가 : 정책집행 후에 정책이 사회에 미친 영향(정책효과)을 추정하는 판단활동으로, 정책영향평가라고도 한다. 정책효과만이 아니라 부수효과나 부작용까지 포함하여 정책이 사회에 끼친 영향이나 충격을 확인하는 사실 판단적 활동이다. 정책 집행 이후 성과(outcome)의 발생 여부와 비용의 문제에 관심을 두어서 목표지향적이다. 효율성평가와 효과성평가가 대표적이다.

ⓑ 과정평가 : 정책집행이 정책집행과정에 나타난 활동을 분석하여 평가하는 방법으로 정책개발을 위한 목적으로 실시하여 개선과 관련된 정보들을 수집하고 평가하는 것이다.

ⓒ 형성평가 : 정책 집행의 관리와 전략의 수정 • 보완이 목적으로, 정책집행 과정에 이루어진다. 과정평가와 중복되기도 한다.

 

③ 평가주체에 따른 분류

ⓐ 내부평가 :자체평가, 정책결정, 정책 집행당사자들이나 체제 내부의 구성원들이 하는 평가

ⓑ 외부평가 : 정책결정, 정책 집행당사자들 외에 외부기관이 하는 평가

☞ 국민연금정책의 집행결과는 내외부의 평가를 받는다.

내부평가는 국민연금관리공단이나 보건복지부의 연금보험국이 자신들이 집행한 정책결과에 대해 평가를 실시한다.

외부평가는 감사원평가이다. 감사원은 국민연금의 집행결과에 대해 평가를 실시하고 집행결과에 대해 책임을 지우기 위해 인사 조치까지 관련기관에 요청할 수 있다.

 

④ 기타

산출평가, 성과평가, 영향평가가 있고, 기술적 평가, 인과적 평가가 있다.

 

⑤ 사회복지정책의 평가에 영향을 미치는 요인들

ⓐ 인적 요인 : 사회복지정책을 직접 평가하는 정책 평가자의 이념이나 신념, 가치, 사회복지지식, 전문성 등은 평가의 방향을 결정짓는 데 영향을 미친다. 정책 집행자는 평가의 결과에 상관없이 자신이 운영하는 프로그램의 정당성을 인정받고 싶어하는 경향이 있어서 종종 정책담당자들이 긍정적인 결과가 나오도록 압력을 행사하기도 한다. 클라이언트는 정책 프로그램이 확대하는 방향으로 평가되길 원하기 때문에 이들이 영향력을 행사하기도 하고, 지역주민이나 이해집단 등이 평가에 영향을 미칠 수 있다.

ⓑ 시간적 요인 : 충분한 시간적 여유가 없이 이루어지는 정책 평가의 경우는 내용이 부정확하고 실패할 가능성이 많고 시간적 여유가 많을 때는 피드백의 시점을 놓치는 경우가 있다.

ⓒ 기술적 요인 : 정확한 평가를 위해서는 적절한 분석기법의 개발이 선행되어야 하며 평가목적에 부합하는 자료의 수집과 설계 등의 기술적인 요인이 있다.

ⓓ 제도적 요인 : 좋은 결과의 정책 평가를 위한 행정적인 지지가 있어야 하고 평가결과가 피드백되어 실제 사용될 수 있는 법적 장치나 제도가 마련되어야 한다.

 

정책결정자가 숨겨놓은 목적을 위해서 정책 평가를 잘못 사용하는 경우

ⓐ 눈속임(eyewash) : 좋지 않은 정책 프로그램을 좋게 평가된 부분만 선정하여 의도적으로 정당화시키기 위해서 사용되어진다.

ⓑ 호도(whitewash) : 주관적인 평가를 덧붙임으로써 정책 프로그램의 실패를 호도하는 것이다.

ⓒ 폐지의도(submaring) : 정책 프로그램의 효과와는 상관없이 그것을 폐지시키기 위하여 의도적으로 정책 평가를 사용하는 것이다.

ⓓ 과시(posture) : 객관성 또는 전문성을 과시하기 위한 짓거리로서 정책평가를 사용하는 것이다.

ⓔ 지연(postponement) : 평가연구의 결과를 기다리는 척하면서 정책프로그램을 연기시키는 것이다.