• <table id="zigek"></table>
  • <acronym id="zigek"></acronym>
    <big id="zigek"></big>
    <tr id="zigek"><s id="zigek"></s></tr>

    學術堂首頁 | 文獻求助論文范文 | 論文題目 | 參考文獻 | 開題報告 | 論文格式 | 摘要提綱 | 論文致謝 | 論文查重 | 論文答辯 | 論文發表 | 期刊雜志 | 論文寫作 | 論文PPT
    學術堂專業論文學習平臺您當前的位置:學術堂 > 教育論文 > 教育教學管理論文

    教育元評估的評估標準、模式和方法

    時間:2014-10-11 來源:未知 作者:小韓 本文字數:6187字
    論文摘要

      我國自1985年開展真正意義上的教育評估實踐活動以來,在近30年的發展歷程中,教育評估在落實督政促學工作,促進教育質量提升,創新教育管理模式上都取得了較大的成效。尤其是近10年來,在各級政府的高度重視下,各地教育評估專業機構不斷建立,行業協會不斷涌現,從業人員不斷壯大,對外交流與合作日益活躍,教育評估事業可謂迎來了發展的春天。但隨之也出現了一些問題。比如各種檢查、評估過多,許多內容多頭檢查、重復評估,學校普遍反映負擔過重,校長難以靜下心來搞好教育教學工作,嚴重影響了學校正常的教學秩序。可見,加強對評估質量自身的鑒定或評判已提上議事日程。

      從國外的實踐來看,教育元評估不失為解決這一問題的有效途徑,同時也是教育評估自身走向專業化發展的必然產物。

      一、教育元評估的提出及其內涵演變

      教育元評估屬于元意識(meta-awareness)研究范疇。“元”的本意是指“在……之后”(post-)。當它與某一具體的認知活動或研究內容聯系在一起時,即“元某某”是關于“某某”的“某某”。譬如,“元分析”,即關于“分析”的“分析”;“元科學”,即關于“科學”的“科學”。在評估界,這種類似的思想源于1940年歐讓塔(Orata,P. T.)描述的“評估的評估”(evaluation of evaluation),而“元評估”(Meta-evaluation)這一專業術語則是在1969年由斯克里文(Scriven,M.)首次提出。

      他在其教育產品報告(Educational Products Report)中指出,評估者通過發布不準確或有偏見的評估報告,將嚴重誤導消費者購買劣質或次級教育產品,這些產品也必然會傷害兒童和青少年,因此,必須對這樣的評估行為自身進行評估。

      而究竟何謂元評估,學術界至今仍存在不同的看法。簡單地說,它是指對原評估(primary evaluation)進行系統的再評估。概括起來,學者們的觀點主要集中在以下幾方面:一是“資料分析”說。以庫克(Cook,T. D.)和格魯德(Gruder,C. L.)為代表,認為元評估是通過對某一特定評估的資料、解釋與啟示進行再評估,以檢驗原評估設計與有關政策之間的關聯性;通過對基礎研究或已有資料的評估,以評判當前有關政策措施的實施效果,以及出臺新政策的可能性。二是“過程操作”說。以斯塔弗爾比姆(Stufflebeam,D. L.)和斯科特(Scott,C.)為代表,認為元評估是描述、獲取、應用描述性信息和判斷性信息的過程,包括評估的實用性、可行性、適切性、準確性,以及評估體系的性質、作用、完整性、誠信度和社會責任等,以指導評估活動,并報告其優勢與不足。三是“功能分析”說。以斯克里文和克倫巴赫(Cronbach,L. J.)為代表,認為元評估是指對一項評估系統或評估工具的評估,進而控制評估偏差,提高評估質量。

      此外,尼爾森和霍格本(Nilsson & Hogben,D.)、施萬特和哈爾彭(Schwandt,T. A. &Halpern,E. S.)等人也對元評估的內涵進行了相關的闡述。

      學者們之所以會對元評估的定義形成不同的認識,只不過是所站的角度不同罷了。正如弘(Hong,H. D)和博登(Boden,M.)對什么是“評估”的看法一樣,“人們很難簡單地回答什么是‘評估’,而在學者們所提出的諸多定義中,每個定義都有自己的優點及獨特的研究方法,因此,我們把握的重點是如何理解這些定義而不是再下一個讓人普遍接受的新定義”。

      當前,我國元評估的研究和實踐都還處于起步階段。因而,在對教育元評估的認識上更應該持這種觀點。總的來說,元評估是評估主體對原評估的設計、過程和結論進行全面、系統的再評估,主要是對原評估方案的目標一致性、設計合理性、實施適切性、結論準確性作出一種綜合性價值判斷,以為修正評估結論、改進評估活動提供決策支持。

      二、教育元評估的評估標準、模式和方法

      庫克和格魯德曾指出,任何一個評估要經得起推敲,都必須經過元評估。而要開展一項元評估活動,需有相應的標準作為宏觀指導,合適的模式作為中觀架構,以及具體的方法進行微觀操作。

      (一)元評估標準

      元評估標準是規范元評估行為的重要準則,因而許多評估學者及有關機構都非常重視元評估標準的制定,并為此開展了大量的工作。歸納起來,其制定的思路主要集中在兩個方面:一是采用因素分解法,即將元評估涉及的主要內容進行維度分解,如古帕(Guba,E. G.)和斯塔弗爾比姆、施萬特和哈爾彭、羅杰斯(Rogers,P.)、沃爾森(Worthen,B. S)以及美國教育評估標準聯合委員會(Joint Committee on Standards forEducational Evaluation,簡稱JCSEE)等提出的元評估標準。二是根據元評估活動開展的先后順序,如美國評估協會(American Evaluation Association,簡稱AEA)開發的元評估標準。該標準包括規劃與協商、結構與設計、數據搜集與準備、資料分析與解釋、溝通與公布、結果運用六大流程,并且每個流程都有相應的標準,共計55條。

      需要指出的是,盡管兩種技術路線所制定的元評估標準都有各自的優勢和不足,但是比較而言,大多數學者認為第一種更為合理。從元評估標準構成的維度上看,有效性、實用性、可靠性、經濟性、時效性、相關性、清晰性、精確性等是評判評估質量優劣的重要指標。

      在標準的使用上,目前被評估界廣泛接受的元評估標準是由JCSEE于1994年開發的《方案評估標準》(The program evaluation standards,1994),并在2011年作了再次修訂,它一共包括五個方面:1)效用性標準,包括評估者的公信力,關注利益攸關者,明確的目標,清晰的價值,可用的評估信息,有意義的過程與結果,及時恰當的交流與報告,注重后果與影響;2)可行性標準,包括有效的評估管理策略,切實可行的操作程序,能協調各種利益需要,能高效利用有關資源;3)適切性標準,回應并包容利益攸關者的訴求,在協商的基礎上簽訂評估協議,維護參與者的人權和法律權利及人格尊嚴,評估活動應公開公正,在有關法律許可范圍內公布評估結果,真實反映可能危害評估活動的各種利益沖突,遵守財務管理制度;4)精確性標準,合理的評估結論與決定,有效可靠的評估信息,明確的方案設計和恰當的情景描述,系統的信息采集、核檢、確認及存儲方法,合適的技術設計與分析,清晰的評估論證,有效的溝通與報告;5)評估問責標準,書面報告應清楚闡明評估的目的、方案、流程、數據和成果,內部元評估需用以上及有關標準檢驗評估設計、流程運用、信息搜集和評估成果的責任,外部元評估應鼓勵運用以上及有關標準開展內部元評估。

      (二)元評估模式

      評估模式是人們在長期的評估實踐過程中,提煉出來的一種相對穩定、較為系統、利于操作的策略性框架體系。在英語中,它有“evaluation approach”和“evaluationmodel”兩種表述。教育元評估模式因劃分標準不同會存在差異,這里以決策評估模式和清單式評估模式為例作以說明。

      1.決策評估模式
      
      決策評估模式(decision-making mode)由斯塔弗爾比姆研發,它是被廣泛應用于社會科學領域的元評估。主要分為形成性元評估(pro-active meta-evaluation)和總結性元評估(retroactive meta-evaluation)兩個步驟,前者用于評估原評估的目的、設計、過程和結果,為原評估工作提供決策;后者屬于回溯性評估,用于判斷原評估工作績效(詳見表1)。

      設計一,為確立原評估目的提供決策。通常需要回答以下問題:原評估的對象是誰?應解決什么問題?委托人為什么要開展這樣的評估?這樣的評估將會產生什么樣的效果?這些問題可以通過矩陣的方式進行排序,系統做法是運用德爾菲法(Delphi technique)。

      設計二,為引導原評估設計提供決策。設計中的抽樣、工具、處理方式和數據分析應遵循以下標準:1)技術性標準,包括內部有效性、外部有效性、可靠性和客觀性;2)實用性標準,包括相關性、重要性、適用范圍、可信性、時效性、廣泛性;3)謹慎的成本/效益。

      設計三,為管控評估過程提供決策。主要是對評估的概念化、社會政治因素、合同/法律落實情況、技術性設計、管理計劃、道德/倫理/實用性問題等進行周期性評估。

      設計四,為提升評估質量和評估結果的運用提供決策。主要包括與評估目標有關的技術性標準、實用性標準和成本/效益標準應該清晰明了;提供有關有效性、可靠性及客觀性的材料;獲得與質量及影響相關的原評估報告;定期報告元評估工作的質量、影響與成本/效益。

      設計五,為回溯性評估提供決策。主要考察原評估目的、設計、過程和結果是如何進行的,即針對這些主題提出相應的問題,如誰來引導原評估、委托人的意圖是什么、什么樣的評估目的在指導原評估、什么樣的評估設計實現了原評估目的、原評估者如何實現其設計的、原評估達到了什么樣的效果等。

      2.清單式評估模式
      
      清單式評估模式(meta-evaluation checklist,簡稱MEC)由斯克里文提出,該模式共包括六大標準性要素:

      一是有效性,主要包括:1)確定需要什么樣的元評估。a.元評估究竟應該評估哪些內容,是評估結果、評估過程還是評估影響?b.原評估的功能是什么,是形成性評估、總結性評估還是歸因性評估?c.需要什么水平的分析,宏觀/微觀——整體的或解析的。d.需要什么邏輯類型,排名或間隙排名、分級、分析或賦分。e.需要達到什么程度的細節/精度。f.其他背景因素是什么:評估環境的假設、可能的受眾、最大的時間和成本限制等。2)評估結果的真實性。a.邏輯結構完整(包括統計完整,在哪里統計的);b.充足、可驗的科學證據。3)基于可靠性的有效性。4)確定有效性需要綜合考慮所有與此相關的要素。

      二是清晰性,即對委托人/受眾/利益攸關者等的解釋應該清晰明了,盡量減少解釋錯誤率。

      三是可信性,即對委托人/受眾/利益攸關者等的明顯偏見應保持在較低水平。

      四是適切性,即倫理性、合法性和文化/傳統適應性。包括尊重合同義務、隱私、知情,避免社會階級、性別、年齡、種族、宗教等的不平等。

      五是成本效用,包括成本可行性評估和比較效益評估。

      六是普遍性,它不作為評價元評估優劣的規定性指標,只作為評價元評估好壞的加分項目,包括原評估設計的可重復性和穩健性(不易受諸如評估疲勞和接受能力或環境變化的影響,較少的數據錯誤)等。

      以上兩種模式各有其特點,第一種模式步驟清晰,目的與對象明確,易于操作,屬于典型的過程式元評估;第二種模式考查要點明確,背景分析深入,并將普遍性作為加分條件,以提高其可復制性,增加其推廣價值。但這并不說明這兩種元評估模式就已十分完美,正如戴維森(Davidson,R.)所說的那樣,你寄希望于這些模式的有效性,即使它們本質上是有效的,也可能會被循規蹈矩地運用,并因此而漏掉有價值的東西。

      (三)元評估方法

      元評估方法主要涉及元評估模式的設計和元評估資料的分析技術。前者屬于概念建構層面,后者屬于實踐操作層面。

      1.模式設計

      如何設計元評估模式,是元評估工作的重要內容之一。韓國學者干景福(Keun-bok Kan)和易燦久(Chan-goo Yi)在總結已有元評估模式的基礎上,提出了一個用于指導元評估模式設計的框架(詳見表2)。該框架也得到了一些學者的支持并運用于實際工作中,如意大利學者就曾在該框架的指導下,設計了本國高等教育內部教學與學生服務質量的元評估模式。

      2.分析技術
      
      元評估在具體方法的選擇上多采用定性的分析技術。常用的方法有:內容分析法、類別合成法(Synthesis of categories)、概念模型(conceptual models)、標準檢測、德爾菲法等。內容分析法是一種主要以文獻為對象的研究方法,即是將非定量的文獻材料轉化為定量的數據,并依據這些數據對文獻內容做出定量分析和關于事實的判斷與推論,具有客觀性、系統性和定量性的特點。類別合成法作為一種用來拓寬內容分析范圍的方法,其過程是根據研究的理論參數或內容屬性重組主題軸(thematic axes),即將有關的信息合成在相應的主題軸下,以有助于大量信息或復雜問題的處理。

      因為這些軸呈現了一個更廣泛、更逼真的視圖。概念模型是對評估方案中問題域內的事物的描述,并用概念或技術結構來支持方案的執行。概念的描述包括記號、內涵(視圖)、外延(視圖)等。構建概念模型,需要從場景中提取各種“對系統目標有用”的概念。通常是通過識別主要的領域詞匯,或者通過已有的概念目錄檢查表來查找。

      標準檢測是基于一定的元評估標準清單對原評估方案進行評定。德爾菲法是一種結構化的決策支持技術,它的目的是在信息收集過程中,通過多位專家的獨立的反復主觀判斷,獲得相對客觀的信息、意見和見解。
      
      三、思考與啟示

      從過程來看,元評估處于教育評估工作的末端位置,它對反思評估工作成效、總結評估工作得失具有重要意義。當前,為推進我國教育元評估事業的專業化發展,需要正確認識以下內容的重要性。

      (一)權威的標準是評判原評估成效的重要依據
      
      從某種意義上說,秦始皇的豐功偉績不在于他修筑了萬里長城,而是統一了中國的度量衡。可見,標準化推動了人類歷史的發展進程。同樣,在教育評估行業,也需要一個獲得各方公認的標準來為評估事業的有序發展提供技術保障。否則,評判一個原評估質量的優劣難免會出現眾說紛紜的尷尬局面,這也將在一定程度上為評估泛濫制造借口。其最終的結果是導致整個評估行業缺乏專業性,使評估人失去安身立命之本。因此,走在評估事業前列的美國評估者十分重視對該項工作的精力投入,并研發了具有世界影響的元評估標準。如JCSEE開發的《方案評估標準》,它不僅獲得了美國教育評估界的廣泛認可,一些發展中國家更是以此為藍本來開展本國的教育元評估工作。

      當前,我國評估事業正處于起步階段,為此,更應該重視該項工作的研究,因為“標準”不僅是促進教育評估行業走向專業化發展的重要標志之一,同時也是對社會提出教育評估質疑的有力回應。

      (二)合理的設計模式是開展元評估的關鍵步驟

      元評估模式集理論性與操作性為一體,在評估活動中起著承上啟下的橋梁作用。不同的元評估模式存在著不同的執行理念、實施步驟和操作方法。如前面提到的決策評估模式和清單式評估模式,前者以形成性元評估和總結性元評估作為兩大目的,其技術路線是根據元評估活動進行過程本身的順序來設計程序和步驟,即按照描述需要信息,獲得需要信息,應用獲得信息,具體用到了德爾菲法等方法。后者則是根據元評估基本標準來執行元評估,將元評估的過程性要素分散于各個標準之下,其具體的操作方法也并不是呈一一對應的關系。可見,元評估模式并不是惟一的,而要根據委托人的意愿和元評估本身的特點來設計。這反映了教育元評估既要遵循必要的規范性程序,同時又極具靈活性。可以肯定的是,元評估模式是整個元評估工作的重點環節。也正因如此,干景福和易燦久才在已有評估模式的基礎上,設計了一個用來指導具體元評估模式開發的概念性框架。

      (三)參評人員的素質是元評估質量的決定因素

      評估具有跨學科研究的特點,涉及的內容多、知識面廣,因此對參評人員的綜合素質要求較高:既需要有跨學科的知識背景,同時還需具備豐富的實踐經驗。這從元評估方法的使用上就可以看出:一是要做到定量與定性的有機結合。沒有科學的定量方法,評估難以確保準確性;而沒有深刻的定性分析,評估又難免是基于數量的簡單解釋,況且數據本身也難以做到精確。事實上,所有元評估都是局部的,因為元評估者不可能回去檢測原評估數據搜集過程及其錯誤率。二是方法本身專業性較強。主要體現在有的方法對現代科學技術的要求較高,如概念模型需要依托于計算機分析軟件;有的方法本身就要求使用者是專家型的,如德爾菲法。三是重視綜合的整體性分析。元評估是對原評估的真實價值作出科學的判斷,而價值受到主體需要的大小和客體滿足主體需要程度的影響,因而很難做到較為標準化。但有一點是可以明確的,在評價中,一種綜合的整體性評價是最高水平的評價。

      相近分類:
      • 成都網絡警察報警平臺
      • 公共信息安全網絡監察
      • 經營性網站備案信息
      • 不良信息舉報中心
      • 中國文明網傳播文明
      • 學術堂_誠信網站
      159彩票{{转码主词}官网{{转码主词}网址