(一)测验的目的与功用
《小学生命题作文测验》主要用以评定小学毕业生的写作能力。相应地提高或降低标准,还可用于其他阶段的学生和具有初级写作水平的成人,它对测验以汉语为第二语言的初级写作水平,也有一定的参考价值。
(二)测验的实施方法
1.测验要求
2.测验步骤与指导语
(1)教师指导语:“今天我们进行一次作文测验。作文题等会儿再告诉大家,并会在黑板上写出。写作时,请大家不要讨论或互相看。限定一个小时内完成,中间不休息。提前完成作文的同学,交卷后马上离开教室;到了限定时间没有完成的同学,听到老师讲‘好,时间到’,就立即交卷。下面我把测验卷发给大家。”
(2)教师发卷(亦可事先发给学生,但不能事先告诉作文题)。
(3)教师询问:“测验卷都拿到了没有?”若全部拿到,接着指导:“在答题前,先写上学校、班级、姓名____和时间。作文题是《真是一个好主意》。”然后,教师在黑板上写出题目。
(4)过一小时后,教师即宣布:“好,时间到,大家马上把卷子交上来。”
(三)测验评分标准和方法
本测验有三个评分标准以供选用:《小学生作文五项评定标准》、《小学生作文六项评定标准》和《小学生作文整体评定量表》。前两者采用百分制,大多数项目有四个等级的评分标准。量表中的“基准分”指完全符合某等级的给分数;“浮动分”指基本符合某等级的给分范围。
如《小学生五项评定量表》中的项目1“中心(含详略)”,如果“多处离题(偏题),中心不明确,详略不当”,给16分;如略好一点则在16分-20分内给定一个分数;反之,则在13分-16分内给一个分数。
分项量表可用于个人评分和集体评分。个人评分即对作文逐项评分,求得的总分,即为该作文成绩。
集体评分又可采用以下两种方法:
(1)集体分项评分。每位评分者评阅一个或二个项目,各项分数相加,得出作文成绩。
(2)评分者各自评分。各评分者依据量表全篇分项评分,得若干分数(Xi),然后求它们的平均数得该作文成绩(X)。公式为:
X=(X1+X2+…+Xn)/n
使用这个量表评分时,要把学生的分数逐项记入分数登记表。每种登记表可用于50个学生。最后,求出所有学生各项得分的平均分和总分的平均分。
使用《小学生作文整体评定量表》评分时,先熟悉“作文等级样篇”,再结合“作文等级标准”给分,但以后者为主要根据。这种量表更适合于富有作文教学经验,特别是对作文水平有较高鉴别力的教师使用,它能较好地反映出学生写作的整体效果。
无论使用上述哪一种评定量表评分,均要结合学生的作文,掌握评定量表的内容和要求,并概览大部分待批作文,试批其中5份(10份。如有可能,最好把学生的作文依水平高低分为三堆或五堆,再正式使用量表评分。
(四)常模资料
《小学生命题作文测验》,通过402篇作文依据《五项评定量表》和《六项评定量表》评分,分别取得了总分的百分位分布表以及各项目得分的侧面图。《六项评定量表》还取得了各项目的百分位分布。学生得分,参照各项目百分位分布表,可得知各项目比百分之多少的学生要好,从而得知自己哪些项目表现较好,哪些项目较差。
如王小燕同学,总分为52分,通过查《六项评定量表》的总分百分位分布表得知,该学生的作文约比5.97%的学生要好,比94.03%的学生要差,成绩极差。王小燕同学“中心”一项得13分,查该量表分项百分位分布表得知,该生这一项得分比49.86%的学生要好,比50.14%的学生要差,成绩中等。同理,全班学生各项目及总分的平均得分,参照百分位分布表,可得知全班学生的总体写作水平在全国处于怎样的地位。这样,使量表具有诊断功能,教师可以有针对性地采取措施,全面提高学生的写作水平。
根据教学实践及教师的常规作法,本测验通过检验,确定总分60分为合格分。
(五)测验的信度、效度和区分度
《小学生作文五项评定量表》的信度、效度和区分度如下:
1.信度
(1)经计算,γkk=0.60,α=0.59,内部一致性好。国外研究者发现,不同评阅者评定同一份论文式题目的信度在0.62-0.70之间(Ruch,1929)。高尔顿发现,不同评阅者对同一份试卷的“评分者信度平均数”为0.72。除了哲学论文外,作文题比其他论文式题型评分一致性程度更低。
但是,《小学生作文五项评定量表》的评分者信度,已超过一般论文式试题的信度,同时各评分者与他们的总平均也高度相关。这表明,此量表具有较高的可靠性。
(2)肯德尔和谐系统,8位教师对14篇作文进行评分,求出:X2=81.46,X2>X2(0.01,13)=27.688;X2达到0.01显着性水平差异,说明评分者之间的评分无显着性差异,一致性高。
2.效度
量表的“常模评分”与“语文成绩”、“任课教师评级”、《林天明量表》、“常规评定平均”的关系。其中,“常规评定平均”是由多位教师按平常的经验,对113篇作文进行评分,然后求出各位教师对各篇作文的评分的平均而得到。查统计表可知,γ全达到了0.01水平的显着性差异。
可知,依照《小学生作文五项评定量表》评定所得成绩与学生的“语文成绩”,“任课教师评级”、“林天明量表”关系密切。多位教师集体评分可抵消对学生要求过高或过低等原因造成的偏差。多人常规评分的“平均分”比一人的常规评分更准确。这些统计结果说明,依《小学生作文五项评定量表》评分有效。
多位教师按《小学生作文五项评定量表》评分与“常规评定平均”的关系。8位教师分别按《小学生作文五项评定量表》评分成绩与他们的“常规评定”成绩的相关,绝大多数在0.80以上,相关程度很高,尤其是该组教师按量表评定的平均分与他们的“常规评定平均”相关程度极高。这说明本量表有效。
3.区分度
区分度以学生各项目得分与其测验总分的相关系数为基础求得。首先,计算它们的积差相关,然后采用亨利逊(S.Henryson)公式对项目与总分相关的重叠部分进行了矫正。
区分度系数均在0.30以上,各项目均有较高的鉴别力,能够区分出学生的写作水平。
综上所述,长期以来我们一直运用布鲁姆的目标分类理论对学生获得的知识进行测量与评价,有关测验的设计是以课程内容为依据,没有考虑到学生是如何建构这些知识的。过去的测量与评价主要是通过测量与评价学习者的行为(主要是回忆行为)来评价学习,对学习者获得知识的过程、表征与结构的变化并没有去测量与评价。这一问题从表面上看是只知道分数而不了解存在差异的原因,从深层意义上讲就是没有了解学习机制就盲目学习进行测量与评价,所以效度与信度可想而知。同时,布鲁姆的目标分类理论主要是为教学的测量与评价制定的,对指导教学尤其是指导教师如何帮助学生去建构知识就显得不足,这样就使学生的学习、教师的教学与测量、评价相分离,所以受到许多教育专家的批评,也不符合当今时代对学生的要求。写作测评也存在同样问题,这需要我们大家努力去研究和解决,特别是从写作特征、思维角度等进行研究,这对建立与完善适合我国写作教学实际的行之有效的写作测评体系具有重要的意义。