●Chapter 1 Introduction
●1.1 Rationales for studying rater variability
●1.2 Status quo of studies on rater variability
●1.3 An overview of this book
●1.4 Definition of key terms
●Chapter 2 Literature review： Studies on rater variability in language performance assessment
●2.1 Rater variability in language performance assessment
●2.2 Exploring rater variability using statistical analysis
●2.2.1 Introduction
●2.2.2 Rater reliability in Classical Test Theory
●2.2.3 Rater facet as variance component in Generalizability Theory
●2.2.4 Rater calibration in Many—Facet Rasch Model
●2.2.5 Summary
●2.3 Process—oriented approach to investigating rater variability
●2.3.1 Raters' decision—making： the "black box" behind the final ratings
●2.3.2 Indirect evidence
●2.3.3 Direct investigation of rating process： insights from verbal protocols
●2.4 Factors accounting for rater variability
●2.4.1 External factors
●2.4.2 Internal factors......
內容簡介
本書針對語言運用考試中的評分誤差問題，主要探討語言運用考試中評分員誤差對考試信效度的影響、誤差的主要類型及造成誤差的可能認知因素。書稿首先對語言測試領域中有關評分員誤差研究的文獻進行了繫統梳理，按照研究方法將相關文獻分為定量統計研究和定性過程研究，並對兩種研究範式的優勢和局限性進行了深入分析。實證研究部分結合了作者碩士和博士論文的主體部分，介紹了兩個以評分誤差為主要研究對像的實證研究。前者對應定量統計研究範式，運用多層面Rasch模型對四六級口語考試的分數差異來源進行了繫統研究；後者對應定性過程研究範式，對四級作文評分中評分員認知過程對評分準確度的影響進行了探討。實證研究部分運用實例展示了定量和定性研究手段如何運用到大型考試評分員誤差研究中，對該領域研究的理論和實踐都有較突出的貢獻。
