26. 사회복지프로그램의 개발과 관리 2
1. 프로그램 평가의 개념 및 필요성
1) 평가의 정의
► 최근 기관의 효과성과 효율성에 대한 관심이 고조되면서 평가에 대한 관심도 증가
► 이러한 평가에 대한 관심이 고조된 배경
· 사회복지사업법에 제시된 평가관련 규정의 직접적인 영향도 크다 할 수 있음
· 더불어 사회복지행정의 틀에서 조직 및 사업관리의 주요 수단으로써 평가의 가치가 새롭게
인식되고 있기 때문
► 평가는 논리적이고 과학적인 사정방법을 사용하여 정책이나 프로그램의 효용성을 높이고자
하는 의도적인 노력의 과정 ⇒ 이는 과학적인 접근방법과 효용성이 강조됨
► 평가의 사전적 정의
· ‘사물 또는 그 속성에 대한 가치판단’을 의미
⇒ 어떤 사물 혹은 그 속성에 대한 가치판단을 하자면 반드시 판단의 준거 또는 표준이 존재해야
한다는 것임
► 프로그램 평가에서는 설정된 프로그램의 목적과 목표를 달성하기 위해
· 선정ㆍ조직된 내용(활동)을 매개로 클라이언트가 실제로 행동변화를 성취하는 실행과정과 그
최종 성과를 검증하게 됨
♣ 학자들의 정의
► 김영숙
· 프로그램 목적(목표)의 관점에서 확인하는 ‘과정평가’와 프로그램의 실행을 통해 얻어진
최종성과를 목적(목표)의 관점에서 확인하는 효과성 및 프로그램 운영에 투입된 비용에 대비하여
얻어진 성과를 확인하는 효율성을 밝히는 ‘성과평가’가 포함
► 김형식
· 프로그램 평가를 사회복지조직 전체 또는 그 기관이 운영하는 프로그램의 효과성과 효율성을
철저하게, 그리고 비판적으로 검토하는 과정
♣ 따라서, 평가의 정의는
① 프로그램 계획이나 운영과정에 필요한 정보를 확보하여 이 과정이 바람직하게 추진되도록
노력하는 것으로서 프로그램 과정상의 ‘환류기능’이라 볼 수 있음
② 프로그램 담당자가 프로그램 계획과정에서 행하는 활동에 대하여 사회적 책임을 지도록 하는
것으로서 ‘책임성 이행 기능’이라고 할 수 있음
③ 보조적 목적으로서, 프로그램 속에 내제된 변수 들 간의 인과관계를 검증하여 이론 형성에
기여함
④ 평가는 사회복지관, 전문가의 의무이고 윤리임
2. 프로그램 평가의 중요성
1) 프로그램 평가의 중요성
► 프로그램 평가는 개념적인 면, 방법론적인 면, 행정적인 면을 지니고 있음
► 이렇게 다양한 면을 지니는 것은 프로그램 평가가 가지는 다양한 속성 때문임
► 프로그램 평가는
① 프로그램 목표 달성 정도를 결정하기 위한 것
② 프로그램에 관한 의사결정에 도움이 되는 정보를 제공하는 일
③ 프로그램의 장점이나 가치를 판단하고 결정하기 위한 일
④ 프로그램에 관하여 기술하고 판단하는 일
⑤ 프로그램의 효과 및 영향을 체계적으로 사정하는 일
► 프로그램 평가란 단순히 수치나 자료들의 축적이 아니라, 그런 자료들의 조합과 연결에 의해
유용한 정보를 도출해 내는 과정이라는 점에서 공식적이고 체계적인 평가의 필요성이 존재함
► 매년 증가하기만 하는 사회복지 예산에 대하여 복지 확대의 가치정당성에만 매달릴 것이
아니라 적극적으로 효과를 증명하고 이를 통해 서비스의 질 향상토록 노력
♣ 스미스(Smith)는 왜 프로그램 평가를 수행해야 하는지에 대한 이유 제시
① 신념체계를 정립하기 위함
· 사회복지사가 자기 자신과 사회적인 잣대를 기준으로 한 신념체계를 확립
· 사회복지사의 전문적 윤리의식뿐만 아니라 실천을 통한 신념체계를 확립
· 이러한 실천과정에 있어서 결과를 예측할 수 있는 종합적인 사고가 필요
② 책임성을 증진시키기 위함
► 사회복지사는 프로그램을 평가함에 있어 만족할만하고 정당성을 부여할 만한 책임성을 가지고
있어야 함(5개 분야로 구분)
· 서비스를 제공받는 클라이언트에 대한 책임성
· 프로그램의 실천가들의 책임성
· 상급자나 조직, 기관의 책임성
· 정부 지출금이나 후원금을 포함하는 재정의 책임성
· 프로그램이 제공되는 장소에 대한 지역적 책임성
③ 지식기반구축을 증진시키기 위함
· 프로그램 결과의 문서화, 프로그램 과정에 관한 노력들의 문서화, 프로그램 운영상의 문제점이나
오류에 관한 문서화를 통해 더 좋은 프로그램을 만들기 위한 지식기반을 구축함
④ 소비자 중심주의(클라이언트 만족주의 혹은 소비자주의)를 만들기 위함
· 프로그램에 참여하는 사람들이 프로그램의 효과성과 유용성에 대해서 평가함으로써 프로그램을
개선해 나감
· 이는 프로그램의 참여자들이 서비스로부터 얻는 혜택과 서비스에 대한 그들의 생각을
조사함으로써 소비자인 프로그램 참여자들의 입장에서 프로그램을 평가하는 것을 의미
♣ 체계적인 평가정보의 필요성
① 경영통제를 위해
· 경영통제는 목표들을 성취하기에 효과적으로 자원들이 획득, 사용되고 있는지 행정관리자들이
확인하는 과정
② 업무자에 대한 피드백을 위해
· 일선 업무자들에게 자신들의 실천활동에 관해 되돌아 볼 수 있게 하는 평가 정보를 제공
③ 서비스 혁신을 위해
· 클라이언트의 성격 변화와 관련한 정보, 몇 가지 서비스 기술들 간의 우월성 비교, 불충족된
욕구들에 대한 자료들을 통해 새로운 서비스 전달양식을 찾게 하는 자극제적 역할 을 함
④ 책임성 순응을 증진시키기 위해
· 프로그램을 수행하는 데 관련된 법이나 규제, 절차 등에 순응하고 있는가 혹은 상부나 조직
외부로부터 프로그램을 방어하고, 외부로부터 요구되는 바람직한 성과의 도출에 대해 순응하고
있는가 등을 판단할 수 있게 함
⑤ 대외관계를 원활하게 하기 위해
· 평가정보들은 프로그램의 성과를 외부 사회에 알리는 데 사용됨
♣ 프로그램의 중요성
① 평가는 사회복지프로그램의 관리능력을 향상시킬 수 있음
· 클라이언트의 특성과 문제점, 서비스 종류와 양, 품질, 결과 및 비용 등과 같은 정보들을 갖춘
사회복지행정가들은 더 효율적이고 더 효과적이고 더 좋은 품질의 프로그램을 계획하고 실행할
수 있음
② 평가는 사회복지프로그램의 자원을 조정하고 개발하는 데 영향을 미칠 수 있음
· 평가는 사회복지의 예산 정책뿐만 아니라 일반적인 사회복지 기금 정책, 그리고 종합적인 정부
예산과 자금 정책에도 영향을 미칠 수 있음
③ 많은 평가들이 강제된 선택이 되고 있음
· 오늘날 많은 사회복지프로그램들은 평가를 실행하지 않을 수 없게 되었음
· 즉 외부체계로부터 평가가 강요되고 있는 것임
3. 프로그램 평가의 유형
1) 평가방법을 기준으로 한 모형
(1) 실험적 접근
· 평가의 초기단계 접근방법으로 엄격한 실험설계방법을 사회복지서비스 영역에 적용하려는 것
· 통제집단과 실험집단을 상호 비교하여 인과적 관계를 도출함으로써 객관성과 과학적 방법을
확보하려 함
· 엄격한 인과관계의 도출이 사회복지서비스에 적용하기에 현실적으로 어려움
(2) 목표지향적 접근
· 프로그램의 목표를 정확히 설정하고 그 달성 여부를 평가하는 것
· 측정도구의 선택이 그 목표에 따라 결정됨
· 하지만 지나치게 목표 달성에만 집착하는 비교적 좁은 측면에 국한되는 경향
· 기관평가의 경우 기관 전체의 양적ㆍ질적 수준을 파악하기 위해 큰 한계점
(3) 의사결정 중심적 접근
► 관리상의 의사결정과 프로그램 수행을 모니터링 하기 위해서 체계적인 정보 수집과 분석을
강조하는 접근방법
► 밀접성 때문에 오히려 객관성이 훼손될 수도 있음
(4) 이용자 지향적 접근
► 이 접근방법은 평가의 유용성 측면에서 강조
► 평가에 있어 다양한 이해집단들의 상호 관계성을 강조하고 있음
► 이러한 접근은 프로그램을 이용자의 관점에서 접근할 수 있는 이점이 있는 반면에
이해당사자들이 프로그램에 대한 강한 압력단체로 부상할 수 있음
☞ 때때로 누가 진정한 소비자인지 명확하게 규정하기가 힘든 경우가 있음
(5) 반응적 접근
► 사용자 지향적 접근과 체계적인 방법(의사결정 지향적 접근)을 결합한 것으로 다양한
이해당사자들의 개인적 인지와 기대, 가치들을 포함함
► 방법상으로 인터뷰, 관찰, 사회망 분석 등 질적인 방법을 사용 함
☞ 이러한 접근방법은 복잡하고 변화하고 있는 체계 그리고 다양한 관점들을 다룰수가 있지만
객관성 부족과 성과를 잘 고려하지 못하는 단점이 있음
2) 운영과정을 기준으로 한 모형
(1) 형성평가/과정평가
► 형성평가는 프로그램을 형성하는 자체에 초점을 두는 평가
► 과정평가는 서비스나 그 전달방법의 개선, 프로그램 결과의 향상 그리고 효율성을 증진시킬
목적으로 실시하는 평가
☞ 프로그램 진행 중에 프로그램의 원활하고 성공적인 수행을 위하여 문제점을 찾아내고
수정ㆍ보완할 목적으로 실시되는 평가
(2) 총괄평가/목표지향적 평가
► 총괄평가는 연역적/객관적 방법으로 한 기관의 정책 또는 프로그램이 달성하고자 했던 목표를
얼마나 잘 성취했는가의 여부를 평가
► 총괄평가는 프로그램의 효과성과 효율성을 평가하고자 하며, 대개 프로그램 시행이 종결된
후에 실시 함
► 결과를 근거로 프로그램을 계속 유지할 것인지 혹은 축소, 중단, 확대할 것인지 등에 대한
판단을 내리게 됨
► 총괄평가에는 효과성, 효율성, 공평성 평가 등이 있음
(3) 통합평가/혼합평가
► 통합평가는 과정평가와 총괄평가를 통합한 것임
► 두 방법의 장점을 사용한 통합모형은 프로그램의 발전 및 시행단계마다 나타나는 특성이나
문제에 적절한 평가방법을 융통성 있게 사용할 수도 있음
► 대개 총괄평가적 접근으로 평가를 한 후 과정평가적 접근을 통해서 프로그램
운영과정의 타당성과 인과관계를 정밀하게 검토함으로써 총괄평가에서 얻은 정보의 타당성과
신뢰도를 판정함
3) 평가시기에 따른 구분
(1) 사전평가
► 사전평가는 정책이나 프로그램을 실행하기 전에 수행하는 평가를 말함
► 이 평가는 정책이나 프로그램의 욕구, 개념의 적합성, 운영 측면에 있어 실현 가능성, 재정적
지원의 원천 등을 판단하기 위한 것임
► 평가 결과를 가지고 새로운 대안적 정책이나 프로그램을 실시하거나
► 기존의 정책을 변경할 것인가의 여부를 판단하는 것임
(2) 과정평가
► 과정평가는 사회복지정책을 집행하는 과정에 이루어지는 평가로서,
► 기존의 정책목표가 제대로 달성할 수 있도록 프로그램이 실행되고 있는지,
► 단계별ㆍ과정별 전략과 하위목표가 적절하게 진행되고 있는지 등을 판단 함
(3) 사후평가
► 사후평가는 정책의 실시 후에 당초 목표로 했던 결과나 영향을 평가하는 것
► 그리하여 평가에 따라 정책을 변경하거나 지속 혹은 종결 여부를 결정하는 것
4) 평가의 요소와 도구
(1) 투입/노력(effort) 평가
► 노력성이란 기관이 얼마나 많은 활동을 했고 서비스를 제공했는가 하는 프로그램의 산출을
평가하는 것
► 즉 제공된 서비스의 양 혹은 수행된 활동의 양이 얼마나 되느냐에 대한 분석
► 대부분의 기관들은 이용자의 수, 상담횟수, 진료건수 등의 프로그램 산출로 그 기관의 활동을
평가
► 투입/노력의 계량적 측정은 모든 프로그램의 산출을 도표화하여 시간별(금년과 지난해),
기관별(타 기관의 동일 프로그램), 서비스별, 지역별에 따라 서비스 통계치가 얼마나 달라졌는가를
관찰하는 것
(2) 효과성 평가
► 효과성이란 일반적으로 목표 달성의 정도라 정의되며,
► 프로그램이 성과가 있었는지에 관한 정보를 얻기 위한 평가
► 효과평가에서 관심을 갖는 변화의 결과는 이용자 개개인에 대한 것
► 효과성을 기준으로 한 평가를 하려면 사업의 목표가 확인되고 목표가 구체적으로 설정되었을
때만이 가능 함
► 효과성 평가를 할 때에는 의도된 결과와 아울러 예기치 않았던 결과도 생각해야 함
(3) 효율성/능률성 평가
► 효율성은 ‘경제적 합리성’과 동의어로 사용
► 최소의 자원투입으로 최대의 산출을 냈는가에 초점을 둠
► 효율성은 투입(비용)/산출(노력)의 비율로 표현되며, 자원의 효율적 인 사용에 대한 정보를
제공해 줌
► 효율성 평가는 쉽게 말해 서비스 단위당 얼마의 비용이 들었는가를 계산해 프로그램의
능률성을 측정하는 것
► 투입/산출의 비율, 즉 효율성을 평가할 때 ‘산출’을 계산하기 위해 사용되는 개념은 ‘노력의
양’이며, 노력의 양은 대부분 ‘서비스의 단위’로 표현됨
► 효율성은 서비스 단위당 비용으로 표현 됨
► 서비스 단위(unit)란? : 이용자의 수(count), 사건(event), 이용자의 지위의 상태(status of
change), 에피소드(episode), 시간(time)
(4) 서비스 품질 평가
► 품질 관점은 투입과 관련하여 질적인 산출물을 최대화하는 것을 말함
► 총체적 관리 이론에 따르면
· 생산성은 프로그램에 높은 질을 가진 서비스가 제공될 때 증가하고 낮은 수준의 서비스가
제공될 때 감소한다는 것
► 예를 들면,
· 사회복지서비스 프로그램에서 높은 수준의 서비스는 시행착오의 감소, 과정 시간의 단축, 재원의
증가, 이용자의 만족도 향상, 비용 감소, 지역사회로부터의 이미지 개선 등의 결과를 가져온다는
것임
► 서비스 품질을 평가하는 방법
· 동료 리뷰, 이용자의 서비스 만족도 조사, 단일사례 분석, 그리고 대외적 근거자료(정부ㆍ단체
등에서 인정하는 면허증, 수료증, 증서 획득) 등이 있음
(5) 서비스 이용자 만족도 평가
► 서비스 이용자 만족도 평가는
① 서비스 이용자들은 서비스에 대하여 만족하고 있는가?
② 전달된 서비스 또는 기술들이 실제 문제해결에 도움, 효과가 되었는가?
③ 서비스가 어떻게 하면 더 개선될 수 있는가?
► 이 평가는 이용자들의 태도ㆍ지식ㆍ행동에 대한 것을 직접적으로 묻지 않고 서비스에 대한
이용자의 평가만을 초점으로 함
· 이러한 이유 때문에 프로그램의 직접적인 효과에 대해 정확한 자료를 제공하지 않을 수도 있음
· 또 다소 편견적인 자료를 제공할 수도 있음
· 대체로 프로그램의 약점보다는 좋은 점만을 지적할 수도 있음
► 그러나 과정평가의 하나로 직접 또는 간접적인 서비스가 제공될 때에 서비스 이용자에 대한
평가는 여러 가지로 도움을 줄 수 있음
- 끝 -
