方案評估

方案評估 (program evaluation)的定義是運用系統性、質性研究、定量研究等方法來分析資料、蒐集證據，以客觀判斷社區方案或其他服務之成效與影響^[1]^[2]。因此，方案評估兼具責信(accountability)與學習的重要功能^[3]。

方案評估的發展演進

^[4]

方案評估最早發展於第一次世界大戰前的教育與公共衛生領域。^[5]^[6]
1930年代，社會科學專家開始使用嚴謹的研究方法去評估一些領域的社會方案。^[6]
1960年代，方案評估的專業領域發展出檢驗方案過程與成果的科學概念與方法。^[1]
1963年，美國國會通過的「社區心理衛生中心法案」中，即訂有方案評估之相關要求。
1975年，「Evaluation Review」專業期刊問世。^[6]
1975年，「社區心理衛生中心修正案」更特別要求各中心應評估服務方案的需求與實施成效。從此，方案評估就開始成為社區心理衛生中心的重要工作之一。
1980與1990年代，方案評估已包含服務提供的成本效果分析(cost-effectiveness analysis)。^[5]
美國評估學會(American Evaluation Association)隨後創立，目前有將近3500位來自不同州郡、國家與專業的成員。^[6]

方案評估的邏輯模式

^[3] ^[1]^[4]

方案評估的重要概念

過程評估

過程評估(process evaluation)與形成性評估(formative evaluation)、監測與評估(monitoring and evaluation)的概念近似，其主要目的皆在透過即時追蹤或檢視方案執行的過程與相關產出，以確保依照先前方案所設定的計畫目標與期望效益，並循著在具監測功能系統的架構中持續進行下去與完成。因此，方案過程的監測與評估是非常重要的，這攸關一個方案的成敗。過程評估的量化與質化的方式，包括服務人數或人次統計、使用率、問題或資源分析、會議或團體的記錄、個案晤談記錄、成本分析、工作日誌等。^[7]^[8]^[9]^[3]

結果評估

結果評估(outcome evaluation)與總結性評估(summative evaluation)、績效評估(performance evaluation)的概念接近，通常指在方案執行完畢之後(也可能是期程之中某個階段完成)的時間點，透過量化或質化的方法來評價方案是否已達到原先設定的計畫目標與期望效果。結果評估的測量方法有實驗設計與準實驗設計兩種類型，包括人員訪談、自我報告、滿意度、前後測比較、個案研究、行動研究、隨機對照驗證(randomized controlled trials, RCTs)等。^[7]^[10]^[3]

影響評估

影響評估(impact evaluation)是最具耗時費力與技術難度的評估工作，其指在方案結束一段時間之後，再來評估原先方案設定的最終正向結果或長期的影響程度。例如方案標的對象的快樂幸福感是否持續惡化或有具體提昇，另外發生率(incidence)或盛行率(prevalence)也是常用來評估各類初級預防方案長期影響的客觀指標，其他非量化的資料亦可提供影響評估佐證，如醫療記錄、健康檢查報告、學校成績單、考試榜單等。為了確認標的對象的正向改變與相關影響是受到方案介入所致，最好能使用實驗設計的方式(實驗組與對照組)來證明，受試樣本數不能太少且需隨機的抽樣過程。目前，有因果推斷的新策略，包含因果歸因(causal attribution)與因果貢獻(causal contribution)兩種。^[7]^[6]^[3]

方案評估的角色功能

^[1]^[5]^[4]

幫助行政管理決策。
改善目前實施中的方案。
展現專業上的責信(accountability)。
提昇方案在效益方面的支持與證明。
累積助人服務相關的理論基礎。

方案評估的不同類型

獨立評估

獨立評估(independent evaluation)是評估者扮演發展評估計畫、進行評估過程、發表評估結果等主要角色。^[6] ^[4]

參與或合作評估

參與或合作評估(participatory or collaborative evaluation)是評估者與利害關係人(stakeholders)代表組成評估團隊，共同合作以進行評估計畫、實施與分析，但評估者在團隊中只是領導與諮詢者。^[6] ^[4]

賦權評估

賦權評估(empowerment evaluation)是一種方案評估的創新模式，主要在於鼓勵方案實務工作者先從自我決定做起，並有系統地協助提昇其方案規劃與執行的相關知能，進而能產生正向的結果循環。賦權評估的概念是立基在賦權與公民參與的理論架構，有訓練、促發、鼓吹、啟迪、解放(約束或限制)等五個面向。賦權評估與傳統評估方式的最大差異之處，在於以改善為最終目標、社區有權做決策、納入不同利害關係人的觀點、民主式的參與、社會正義取向、善用社區的知識及智慧、實證為基礎的策略、能力建構、組織學習、方案責信等十大原則。^[7]^[11]^[12]^[13]

參考文獻

^ ^1.0 ^1.1 ^1.2 ^1.3 Dalton, James H.; Maurice J. Elias, Abraham Wandersman. Community psychology: linking individuals and communities. Wadsworth/Thomson Learning. 2007. ISBN 0-534-63454-0.
^ Lewis, Judith A.; Michael D. Lewis, Judy A. Daniels, Michael J. D’Andrea. Community Counseling: Empowerment Strategies for a Diverse Society . Brooks/Cole-Thomson Learning]. 2003. ISBN 0-534-50626-7.
^ ^3.0 ^3.1 ^3.2 ^3.3 ^3.4 Cyrus Samii. Evaluation (PDF). 2010年8月8日 [2024-12-18查閱].
^ ^4.0 ^4.1 ^4.2 ^4.3 ^4.4 許耕榮; 陳嘉鳳、王榮春、韓明榮與林柏煌. 台灣社區心理衛生中心績效評核模式之建立─以賦權評估理論為基礎. 行政院衛生署委託研究報告. 2004年.
^ ^5.0 ^5.1 ^5.2 Scileppi, John A.; Elizabeth Lee Teed, Robin Diller Torres. Community psychology: A common sense approach to mental health . Prentice-Hall. 2000. ISBN 0-13-083341-X.
^ ^6.0 ^6.1 ^6.2 ^6.3 ^6.4 ^6.5 ^6.6 Rossi, Peter H.; Mark W. Lipsey, Howard E. Freeman. Evaluation: A Systematic Approach . Sage Publications. 2004. ISBN 0-7619-0894-3.
^ ^7.0 ^7.1 ^7.2 ^7.3 Lewis, Judith A.; Michael D. Lewis, Judy A. Daniels, Michael J. D’Andrea. Community Counseling: Empowerment Strategies for a Diverse Society . Brooks/Cole-Thomson Learning]. 2003. ISBN 0-534-50626-7.
^ Rudkin, Jennifer Kofkin. Community psychology: Guiding principles and orienting concepts. Prentice Hall]. 2003. ISBN 0-13-089903-8.
^ Gladding, Samuel T.; Deborah W. Newsome. Community and Agency Counseling . Pearson Education]. 2004. ISBN 0-13-093312-0.
^ Dalton, James H.; Maurice J. Elias, Abraham Wandersman. Community psychology: linking individuals and communities. Wadsworth/Thomson Learning]. 2007. ISBN 0-534-63454-0.
^ Fetterman, David M. Foundations of Empowerment Evaluation . Thousand Oaks, CA: Sage Publications]. 2001. ISBN 0-803-95669-X.
^ Fetterman, David M.; Abraham Wandersman. Empowerment Evaluation Principles in Practice . New York, NY: Guilford Publications]. 2005. ISBN 1-593-85114-6.
^ Fetterman, David M.; Shakeh Kaftarian & Abraham Wandersman. Empowerment Evaluation: Knowledge and Tools for Self-Assessment and Accountability . Thousand Oaks, CA: Sage Publications]. 1996. ISBN 0-761-90025-X.

延伸閱讀

Chelimsky, Eleanor; William R. Shadish. Evaluation for the 21st Century: A Handbook. Sage Publications. 1997. ISBN 0-7619-0619-X 请检查|isbn=值 (帮助).
Speer, David C. Mental Health Outcome Evaluation . Academic Press. 1998. ISBN 0-12-656575-9.
Patton, Michael Q. Utilization-Focused Evaluation: The New Century Text . Sage Publications. 1997. ISBN 0-8039-5265-1.
Fitzpatrick, Jody L.; James R. Sanders, Blaine R. Worthen. Program evaluation: Alternative approaches and practical guidelines . Allyn and Bacon. 2004. ISBN 0-321-07706-7.
Mordock, John B. Managing for Outcomes: A Basic Guide to the Evaluation of Best Practices in the Human Services . CWLA Press. 2002. ISBN 0-87868-814-5.
Lewis, Judith A.; Michael D. Lewis, Thomas Packaedd, Federico Souflée, JR. Management of Human Service Programs . Wadsworth Publishing. 2001. ISBN 0-534-36886-7.
Schalock, Robert L. Outcome-Based Evaluation . Kluwer Academic/Plenum Publishers. 2001. ISBN 0-306-46458-6.
Cone, John D. Evaluating Outcomes: Empirical Tools for Effective Practice . American Psychological Association. 2001. ISBN 1-55798-723-8.
Getting To Outcomes™ 2004:Promoting Accountability Through Methods and Tools for Planning, Implementation, and Evaluation （页面存档备份，存于互联网档案馆） (RAND)
Clay, Rebecca A. Achieving better outcomes. Monitor on Psychology. 2009, 40(8): 46. 外部链接存在于|title= (帮助)
United Nations Development Programme. Handbook on Planning, Monitoring and Evaluating for Development Results. 2009年 [2024-12-18查閱]. （原始内容存档于2010-08-18）.
United Nations Evaluation. UNEG Guidance Documents. [2024-12-18查閱]. （原始内容存档于2010-03-28）.
United Nations office for the Coordination of Humanitarian Affair. Evaluation Studies Information. [2024-12-18查閱]. （原始内容存档于2009-05-30）.
United Nations Office of Inspection and Oversight Services. Guidance to Programmes for Developing a Evaluation Policy (PDF). [2024-12-18查閱]. （原始内容存档 (PDF)于2014-03-11）.
World Bank Group. Monitoring and Evaluation: Some Tools, Methods and Approaches. [2024-12-18查閱]. （原始内容存档于2016-09-18）.

外部連結

台灣社區心理學資訊網
美國評估學會（页面存档备份，存于互联网档案馆）(American Evaluation Association, AEA)
美國聯合勸募組織-方案評估資源網站(United Way of America: Outcome Measurement Resource Network)
美國哥倫比亞大學-政經發展策略研究中心（页面存档备份，存于互联网档案馆）(Center for the Study of Development Strategies, Columbia University)
美國疾病管制局-評估工作小組（页面存档备份，存于互联网档案馆）(CDC Evaluation Working Group)
加拿大評估協會（页面存档备份，存于互联网档案馆）(Canadian Evaluation Society, CES)
賦權評估部落格（页面存档备份，存于互联网档案馆）(Empowerment Evaluation Blog)
世界衛生組織：「心理衛生實證與研究」主題專頁（页面存档备份，存于互联网档案馆）(World Health Organization: Mental Health Evidence and Research)

[ref1-1] 1.0 ^1.1 ^1.2 ^1.3 Dalton, James H.; Maurice J. Elias, Abraham Wandersman. Community psychology: linking individuals and communities. Wadsworth/Thomson Learning. 2007. ISBN 0-534-63454-0.

[ref2-2] Lewis, Judith A.; Michael D. Lewis, Judy A. Daniels, Michael J. D’Andrea. Community Counseling: Empowerment Strategies for a Diverse Society . Brooks/Cole-Thomson Learning]. 2003. ISBN 0-534-50626-7.

[ref6-3] 3.0 ^3.1 ^3.2 ^3.3 ^3.4 Cyrus Samii. Evaluation (PDF). 2010年8月8日 [2024-12-18查閱].

[ref3-4] 4.0 ^4.1 ^4.2 ^4.3 ^4.4 許耕榮; 陳嘉鳳、王榮春、韓明榮與林柏煌. 台灣社區心理衛生中心績效評核模式之建立─以賦權評估理論為基礎. 行政院衛生署委託研究報告. 2004年.

[ref4-5] 5.0 ^5.1 ^5.2 Scileppi, John A.; Elizabeth Lee Teed, Robin Diller Torres. Community psychology: A common sense approach to mental health . Prentice-Hall. 2000. ISBN 0-13-083341-X.

[ref5-6] 6.0 ^6.1 ^6.2 ^6.3 ^6.4 ^6.5 ^6.6 Rossi, Peter H.; Mark W. Lipsey, Howard E. Freeman. Evaluation: A Systematic Approach . Sage Publications. 2004. ISBN 0-7619-0894-3.

[ref7-7] 7.0 ^7.1 ^7.2 ^7.3 Lewis, Judith A.; Michael D. Lewis, Judy A. Daniels, Michael J. D’Andrea. Community Counseling: Empowerment Strategies for a Diverse Society . Brooks/Cole-Thomson Learning]. 2003. ISBN 0-534-50626-7.

[8] Rudkin, Jennifer Kofkin. Community psychology: Guiding principles and orienting concepts. Prentice Hall]. 2003. ISBN 0-13-089903-8.

[9] Gladding, Samuel T.; Deborah W. Newsome. Community and Agency Counseling . Pearson Education]. 2004. ISBN 0-13-093312-0.

[10] Dalton, James H.; Maurice J. Elias, Abraham Wandersman. Community psychology: linking individuals and communities. Wadsworth/Thomson Learning]. 2007. ISBN 0-534-63454-0.

[11] Fetterman, David M. Foundations of Empowerment Evaluation . Thousand Oaks, CA: Sage Publications]. 2001. ISBN 0-803-95669-X.

[12] Fetterman, David M.; Abraham Wandersman. Empowerment Evaluation Principles in Practice . New York, NY: Guilford Publications]. 2005. ISBN 1-593-85114-6.

[13] Fetterman, David M.; Shakeh Kaftarian & Abraham Wandersman. Empowerment Evaluation: Knowledge and Tools for Self-Assessment and Accountability . Thousand Oaks, CA: Sage Publications]. 1996. ISBN 0-761-90025-X.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]