正文 第45章 寫作測評(3)(1 / 2)

4.預測和修改測驗:第一,抽取學生樣組試測,請教師試評,修改測驗;用同樣的方法再測評。第二,計算前後成績的相關係數,據此修正測驗時間、測驗要求等,提高客觀性與有效性。

5.正式測驗:隨機抽取1000名被試,包括多個年級的學生參加測驗。

此數無統一規定,但與量表等級多少、所跨年級範圍有關。量表等級越多,跨年級越大,那麼受測學生就越多。

6.將各年級的全部作文依照水平高低分為A(最差)、B、C、D……、J(最優)十組。

7.把A、B、C……、J每組再按水平高低分為a(最差)、b、c、d、e(最優)五組(計50組)。

8.對上述50組的作文,按水平高低,在各小組內排列次序。

9.調整不當的排列。

10.據各篇作文的等級次序記分,每組中最優者為20分,次之19分……依次類推,登記在記錄表內。

(以上6至10各步驟,至少請三位評分者獨立做。)

11.求出各評分者給每篇作文分數的總平均,再將作文排列順序。

12.求出作文成績的次數分布和累積次數分布表。

13.按照百分等級與T分數對照表所列出的百分等級,抽選出與這些百分等級相應的7篇作文。

14.以7篇作文為依據,把各篇作文前後5篇作文抽取出來構成7組作文,每組11篇。

15.請多位有作文鑒別力的評分者獨立評定7組中每組作文的成績。

每組作文中最劣者得1分,次劣者得2分……,最優者得11分。各組皆然。

16.計算每篇作文的平均得分。

17.抽取各組居中的作文,並注明它的T分數。這樣,7篇作文及其相應的T分數,即構成寫作參照評定量表。

18.試評與質量分析。以上是編製寫作參照量表的程序,但並不是所有依此程序編製的量表都能完全評出學生作文水平高低。它還受測驗題目、主持者以及評分者的知識能力等多方麵因素的影響。因此,在量表正式定型前,必須選取幾十篇作文請各類不同的教師試評,檢驗量表的效度和信度(特別是評分的一致程度)。結果證明可行,才可推廣使用。

(三)分項測評量表的編製

分項測評量表包括兩類:第一,分項測驗量表(即客觀測驗和多段短文測驗);第二,分項評定量表。分項測評量表的編製一般要經曆十個步驟。

測評項目中加權數是如何確定的?加權就是依據各項目的相對重要程度,分別給予不同的權數。加權有多種形式,寫作測評項目宜采用百分比係數的自重權數,即把權數作為項目的分值(占分),而且各項權數之和為100分。權數體現了各項目之間的結構,合理地突出重點,全麵權衡差異,使評分具有可比性和客觀性。

確定作文項目加權的方法主要有以下幾種:

1.特爾斐法(Delphi Technique)

首先由美國赫爾默提出,預測來來的直觀方法。目前已在教育測評領域得到廣泛的運用,成了較受人們歡迎的確定權數的方法。具體步驟為:

(1)第一輪,請10-15位富有十年以上作文教學經驗的語文教師或寫作研究專家各自提出寫作測評應包括的項目。

(2)主持者概括出比較重要的一些項目,再呈現給上述人員,並計算出每一項目的係數和平均估計值的偏差。

(3)把第一輪表格中被調查者回答問題的情況反饋給被調查者本人。

並讓提出項目偏差最大的幾個專家進一步討論,作出新的估計。這樣反複多輪,最後得出比較一致的意見。

特爾斐法的優點在於參加谘詢的人員不受權威的影響,整個過程意見的收斂性保證了參加者能夠取得一致的觀點,從而使加權能反映大多數人的思想。缺點是研究周期長,且要動員一定數量的專家參加。