• <table id="zigek"></table>
  • <acronym id="zigek"></acronym>
    <big id="zigek"></big>
    <tr id="zigek"><s id="zigek"></s></tr>

    學術堂首頁 | 文獻求助論文范文 | 論文題目 | 參考文獻 | 開題報告 | 論文格式 | 摘要提綱 | 論文致謝 | 論文查重 | 論文答辯 | 論文發表 | 期刊雜志 | 論文寫作 | 論文PPT
    學術堂專業論文學習平臺您當前的位置:學術堂 > 教育論文 > 教育教學管理論文

    當代歐洲的現實主義評估方法論

    時間:2015-08-13 來源:未知 作者:學術堂 本文字數:6488字
    摘要

      評估方法論問題是教育評估理論與實踐中一個基本問題。古巴(Guba,E.G.) 和林肯(Lincoln, Y.S.)(1981)曾分別從基本假設、一般特點和方法論的特點等三個方面,[1]著重討論了在評估活動中的科學主義和自然主義的方法論的差異,并進一步討論了兩者整合的問題。兩位作者(1989) 隨后出版專著(FourthGeneration Evaluation),進一步提出了所謂“第四代評估”思想,并探討了其方法論的含義。通過對相關問題進一步的學習和研究,筆者發現,歐洲當代學者的現實主義評估范式的研究,與美洲的一些學者強調的面向真實世界的評估,反映了當代評估方法論發展的重要方向。此外,現實主義評估的研究者多次提到理論驅動的評估研究的價值。本文嘗試對此進行摘要評析,以期引起國內同行們的關注。有關內容摘自筆者于2011年出版的拙著,[2]在此基礎上做了增刪和修改,特此注明。

      一、多目標“理論驅動”的評估研究

      在評估方法論的演進中,多目標“理論驅動”的評估 思 想 (The Multi-Goal, Theory-Driven Approach toEvaluation)占有一定的地位。其基于一個現實問題的思考,即在評估實踐中,評估者往往會面對一個令人困惑的問題,即所評估的活動沒有出現預期的效果。

      一些研究者發現,其原因可能是評估方法論存在問題。活動的結果是存在的,只是與錯誤的或模糊的預期目標不相關。傳統的評估方法論無法解決這個問題。斯克里文(Scriven,M)對此進行了思考,提出了解決方案,即目標游離的評估模式,建議評估者忽略預期目標。陳(Chen, H)則提出多目標“理論驅動”的評估觀點,[3]建議評估方案提高敏感性和應答性;評估者應預先界定出一套產出結果,其中有些來自預期的政策目標,有些則來自社會科學知識和與評估問題有關的理論所做出的推斷。

      在陳看來,預期的政策目標通常反映社會的需求,但可能缺少足夠的理論支持和預估,而社會需求是變化的,其關注點也在變化,預期的目標可能很快顯得不合時宜和不合邏輯。目標本身存在問題,發揮了錯誤的指引作用;缺少社會科學和相關理論的支撐等,這些都是預期結果沒有產生的重要原因。于是,陳希望通過理論的驅動,拓寬對結果的理解,加深對所評估的活動的認識。其提出兩個基本假設:第一,任何有計劃的活動都會產生某種結果,包括那些微不足道的結果;第二,理論和社會科學能夠預估特定的社會活動的結果,這些基于理論的推斷結果能夠被適當的評估系統檢測和評估。

      一項多目標的“理論驅動”的評估,可以提供有關活動的多維信息,包括預期效果、潛在效果與實際效果的信息。根據陳的觀點,該評估具有以下優勢:第一,可以提供更多的機會來探查“無效”活動的成效;第二,可以提供更多的信息幫助管理者或政策制定者更好地做出決策;第三,可以加深對評估對象的理解,發展社會科學理論;第四,從長期看,可以降低評估的使用成本,提高社會資源的利用效率;第五,對評估的抵制會減少。該評估方法不只是關注狹窄的政策目標,有助于全面測量活動的成效,減輕人們的焦慮。

      多目標的“理論驅動”的評估強調理論推斷潛在目標的價值,而這些目標在評估中可以轉化為指標或準則,因此,其對于多指標評估設計有指導意義,但是,理論本身需要得到證明,這是值得評估設計者思考的問題。陳在其隨后出版的《理論驅動的評估》(Theory-Driven Evaluations)專著中,進一步完善了“理論驅動”的評估思想。在 《實踐性評估》(PracticalProgram Evaluation)專著中,陳一方面強調利益相關者的邏輯,即其觀點、興趣(concerns)和需要對于評估的意義,另一方面依然強調理論的價值和科學邏輯的方法論的意義。在評估活動中,考察這兩種邏輯有現實意義。

      二、當代歐洲的現實主義評估方法論

      現實主義在現代西方哲學和社會科學中占有重要地位。波森(Pawson, R.)和蒂利(Tilley, N.)認為,[4]現實主義作為一種科學哲學,它是現代歐洲人占據著支配地位的思維方式之一。

      現實主義評估方法論吸收了現實主義哲學的思想,其代表人物波森和蒂利于1997年出版了《現實主義的評估》(Realistic Evaluation)專著,嘗試在評估領域提出并討論一種科學的現實主義的方法論。卡茲(Kazi, M.A. F.)則于2003年出版了專著《實踐中的現實主義評價》(Realist Evaluation in Practice),討論與說明如何將現實主義評估的方法論運用于實踐之中。

      現實主義試圖在避免認識論上的實證主義和相對主義的兩極之爭中尋找自己的科學的解釋模型,其關鍵特征是強調“機制”(mechanisms,簡稱M)的解釋。[5]

      機制體現了系統或事物的內部潛力和因果關系,體現了系統或事物內部的結構,具有生成性。理解機制的關鍵就是理解生成的概念,即產出結果(outcomes,簡稱O)是由系統或事物內部機制的活動而產生的。因此,產出不是由外部投入或輸入帶來的,外部投入或輸入只是激發機制發生作用的條件之一,是機制生成了產出,理解產出的關鍵,應從系統或事物的內部理解“.產出結果是由特定情境下特定機制的活動來解釋的……”

      但是,機制只有在一定情境(context,簡稱C)下才能生成產出結果。這意味著機制與其產出結果之間的關系是或然的,[5]不是固定不變的。

      情境顯得如此重要,那么如何理解情境呢?理解情境的前提是理解嵌入的概念。現實主義者認為,一定的人類行為是嵌入在比其范圍更廣的社會過程中的,這就是社會現實的分層(stratified)性質。理解人類行為需要理解他們在分層的社會現實中所處的位置。這是理解社會系統的出發點。[5]因此,評估對象是與人相關的,總是處于分層的社會關系和組織結構之中。不同的情境實際上反映了一定時間條件下的不同的位置關系和結構關系,也體現了利益相關者的選擇和能力。評估方案要獲得成功也必須置于一定的情境之中,即置于一定的分層結構之中,在這個結構中找到適當位置。機制為何具有生成功能?因為其含有“潛在”的“因力”,如火藥所具有的化學成分。[4]在一定情境(社會關系和組織結構)下,這種力量得以釋放出來,生成了產出結果。因此,產出結果 = 機制 + 情境。參見圖1.

      機制是潛在的,需要解釋。“潛在機制”是一個重要隱喻,而“可以解釋的機制”是一個重要概念,就是要求評估者要深入可以觀察到的表象之下,探究其內部隱藏的活動方式。

      那么,究竟應該怎樣理解現實主義的解釋的基本策略或邏輯呢?波森和蒂利指出,[5]現實主義社會調查的基本任務就是解釋有趣的、令人困惑的和有重要社會意義的產出結果(O)。這種解釋采取了針對潛在的規則生成機制,提出假設的形式,并由此探究結構與單元之間的相互作用而帶來產出結果的活動方式。現實主義調查還探究該機制是如何表現為或然性的和有條件的,并由此探究其在特定的、地方性的、歷史的和制度的情境中如何得以被激活的。顯然,解釋是現實主義評估的基本目的。

      機制實際上是指潛在的因果關系機制,對機制進行解釋就是解釋其生成規則或產出模式,也就是機制如何在一定情境下生成一定的產出結果,它揭示了機制“在什么條件下為誰”而發生了作用(which works forwhom in what conditions)。

      因此,也可以認為,規則 =機制 + 情境,參見圖2.由于我們面對的分層社會是一個開放系統,是變化的,這意味著M、C、R三者之間的平衡要適應“變革”的需要。

      那么,如何運用現實主義思想進行評估設計呢?

      波森和蒂利借鑒了華萊士(Wallance,W.)(1971)的“科學之輪”的構想,提出了現實主義評估環,參見圖3.該圖不同于“科學之輪”一個重要之處在于,它尋求的目標是“闡明”而不是“概括”具有普遍意義的一般原理。

      現實主義評估不同于自然科學的實驗性研究,而是在一定社會情境中的應用性研究,強調評估的發現應該采用“闡明”的形式,即闡明我們目前對于M和C的理解所支撐的那些R或O模式。

      于是關于理論的認識出現了。究竟應該怎樣理解理論?波森和蒂利總結了三位學者的研究成果,認為“理論”可以被理解為以下13種含義,即方法論、具有普遍性的導向、概念的分析、專門的或事后進行的事實的闡釋、經驗總結、推導和整理、公理系統、假設、解釋、范式、概念框架、因果假說、中層理論(middle-rangetheory)等。

      現實主義評估研究的知識積累過程,由具體到抽象,依次包含5個元素,即進行評估案例研究(聚焦于C、M、O結構)、從經驗中發現一致性(針對問題領域中的產出與規則)、形成中層理論(有關風險估計的假設)、構造分析框架(根據理性選擇情境分析方案)、形成方法論(生成性因果關系的假說)。前兩個屬于經驗調查領域,后三個是理論家感興趣的范疇。

      在數據采集上,波森和蒂利認為,社會科學中關于數據搜集的方法論的思考方面存在缺陷。不管是“教條主義者”還是“實用主義的多元論者”所使用的方法,都在調查的目的方面存在誤區。正式的結構性訪談、非正式的開放性訪談、半結構性訪談和采用多方法(the multi-method approach)搜集數據的策略都是“數據驅動”的,其任務是查明能夠忠實地體現被調查者思想和行為的信息,因此,其假設是:被調查者的思想和調查的主題是“一回事”.現實主義的調查則是“理論驅動”的,“研究者的理論是訪談的主題,而被調查者(利益相關者)的任務是證實和證偽,最重要的是改進研究者的理論。”

      這個理論當然是圍繞現實主義所關注的C、M、O展開的。由于現實主義評估強調理論的價值,陳指出,[4]現實主義評估可以被視為“理論驅動”的評估觀點的家族成員之一。

      教育評估具有重要的研究功能,評估不應滿足于判斷,應以此為基礎,探究事物的內在活動機理,積累評估的發現與知識,現實主義評估思想為此提供了有益的方法論思考。現實主義評估實際上并不反對觀察輸入與輸出或投入與產出的關系,但是提出了如何解釋的問題。研究產出,就要研究機制;輸入實際上也是一個機制;解釋機制,就是要解釋規則;理解規則,需要理解情境。在現實世界中,解釋不是唯一的目的,但是其是深刻理解社會活動的基礎。

      現實主義評估的基本思想的參考價值,確實值得進一步深入研究。

      三、面向真實世界的評估

      評估作為對世界進行考察的一種方式,是在其所處的真實世界之中進行的。班貝格(Bamberger,M.),魯(Rugh,J.)和馬布里(Mabry,L.)等認為,在真實世界中的大多數評估都會受到實際存在的預算、時間、數據和政治因素等四個方面的約束。

      他們提出的面向真實世界評估的思想,就試圖解決客觀條件約束的問題。其方法模型包括以下7個步驟,每一步驟主要關注點如下。

      第一步,計劃與探查(planning and scoping),即理解評估委托人的信息需求和評估活動運作的政治情境;界定對評估對象活動的目標和方法有解釋力的理論模型;澄清在預算、時間、數據和政治因素等四個方面影響評估的實施、信息發布和結果利用的約束條件;將以上信息與隨后進行的第二階段至第五階段的初步分析連接起來,并選擇在實際約束條件下能夠最佳滿足委托人需求的評估方案。

      第二步,處理預算約束因素 (addressing budgeconstraints),即通過改善評估的設計降低成本;合理確定數據的需求;尋求可信的第二手數據;修正和完善抽樣設計;利用多種技術提高采集數據方法的效率,更經濟地進行數據的采集與分析。

      第三步,處理時間約束因素 (addressing timeconstraints),即采用前一階段可以利用的方法技術處理時間上的約束問題;委托進行預研究;在處理好預算約束的前提下,雇傭更多的信息采集員;修訂方案的記錄格式,以采集關鍵數據,用于對評估對象活動的影響進行評估分析;采用新的數據采集和分析技術,促進評估團隊與相關部門的人員之間的互動等。

      第四步,處理數據約束因素 (addressing dataconstraints),即重新構造基線數據;重新構造比較組或控制組;充分利用可以獲得的數據;采集來自最恰當的人員、很難接觸的群體或敏感話題的數據資料;采用多種方法。

      第五步,處理政治影響因素(addressing politicalinfluences),即理解來自財政部門、評估設計委托人的壓力或其他關鍵人物的政治觀點;應對利益相關者的偏好;考慮專業研究方式的影響。

      第六步,增進評估的設計和結論的效度,即識別定量評估設計存在的問題;評估質性設計的恰當性;開發混合方法設計的問題檢查單;處理定量設計的問題;處理質性設計的恰當性問題;處理混合方法設計的問題。

      第七步,幫助評估委托人利用評估。即保證評估委托人從一開始就積極參與評估活動;采用形成性評估的方法;在整個評估階段保持與利益相關者的交流,以形成各方了解的評估最終報告;建設評估能力;采用不同的利益相關者偏好的適當方式,交流評估的發現;開發并監控后續行動計劃。

      高等教育領域的評估在實踐中往往也會面對缺少足夠的時間、金錢、信息和利益相關者的支持的問題。在這種情形下如何進行西蒙式的滿意決策,面向真實世界的評估思想為我們提供了有益的思維材料和技術參考點。現實世界中的評估往往需要建立一定的理論模型,對真實世界中的要素進行必要的簡化或轉化處理,并基于政治和評估成本的考慮,確立可以操作的恰當的專業化評估方案。評估受到政治因素和成本因素的影響,這可能是面向真實世界的評估研究所揭示的最大真相之一。

      四、結語

      古巴(Guba,E.G.)和林肯(Lincoln, Y.S.)的“第四代評估”思想曾經在國內外產生較大影響,其在一定程度上反映了評估方法論由測量學模式轉向政治學和社會學模式的趨勢。但筆者以為,當代評估方法論多元化發展趨勢是十分清晰的。在歐美國家,受新公共管理的反思和基于證據的管理思想的影響,評價方法論似乎又在經歷一次科學主義的復興。因此,我們可以采用下圖描述評估方法論的演進歷程。

      如果說A是測量時代,B是描述時代,C是判斷時代,則D是多元主義時代的各種方法論的指稱。

      早在二十多年前,斯克里文(Scriven,M.,)指出,評價學科具有跨學科性質,就像邏輯學和統計學一樣,作為一門獨立學科存在,又可以為其他學科服務,并成為其他學科活動的一部分;評價學科目前還不是一門真正的學科,但達到這種狀態已經觸手可及;來自實踐中的評價思想經由方法論的提升,可以逐漸演化為一門學科。

      豪斯在引介和評述斯克里文思想的基礎上指出,每一門學科都有自己的大宅(Great House),這所大宅的第一層是各種應用性工作,第二層是各種方法和技術,第三層是理論構建工作,閣樓(即第四層)是元理論。

      從廣義上看,方法論的構建、提升和反思應該是后三層分別要涉及或要做的工作。

      教育評價在我國已經作為一種建制而存在,有專門的評估機構,有相關的法規,在大學中也有自己的課程和專業,但在方法論問題上可能還缺少建構和反思的意識。我們在教育評價這所大宅的第一層已經做了很多工作,因為我們相信任何教育活動和現象都可以成為評價的對象,為此我們不斷開拓,辛苦勞作,幾乎湮沒在大量事務性工作中。我們在第二層也在積極探索和創新,逐漸形成包括指標體系構建在內的一套程式化的評估方法技術,社會科學甚至自然科學所發現的一些新方法和新技術也得以引入評價領域,但是往往忽略諸如這些通用的方法技術如何能夠與教育的情境相適應或相結合之類的問題,教育評估方法論的意識相對而言不夠強。這種狀態直接影響到了第三層的教育評估方法論的爭論和理論工作,也延緩了第四層閣樓的搭建。在斯克里文看來,由于教育評價實踐有漫長的歷史,教育工作者熟悉多學科領域,教育評價者在評價元理論構建方面有出色的生產力。

      如果我們相信斯克里文的論斷,那么教育評價有理由成為一門學科,而方法論的構建與反思可以使這門學科獲得自我認同而加速走向成熟。

      參考文獻

      [1] Guba E. G. and Lincoln,Y.S. Effective Evaluation[M]. SanFrancisco: Jossey-Bass,1981:57-65.

      [2] 童康。高等學校內部院系效益評估研究[M].上海:華東師大出版社,2011:49-59.

      [3] Chen, H. and Rossi, P.H. The Multi-Goal, Theory-DrivenApproach to Evaluation [J]. Social Forces,1980 (1):106-122.

      [4] Pawson R. and Tilley, N. (a)。 An Introduction to ScientificRealist Evaluation Chelimsky, E, Shadish W.(eds.[)M]. E-valuation for the 21 Century. London:SAGE,1977:405-418,412,413.

      [5] Pawson,R.and Tilley. N. Realistic Evaluation[M]. London:SAGE,1997:55,59,69,64,71,72,155.

      [6] Bamberger, M., Rugh,J. & Mabry,L. Realworld Evalua-tion[M]. London: SAGE,2006:1,3-10.

      [7] House, E.R. Professional Evaluation[M]. London & NewDelhi: SAGE(1993):86, 87, 88-89.

      相近分類:
      • 成都網絡警察報警平臺
      • 公共信息安全網絡監察
      • 經營性網站備案信息
      • 不良信息舉報中心
      • 中國文明網傳播文明
      • 學術堂_誠信網站
      159彩票{{转码主词}官网{{转码主词}网址