目錄
第1章緒論……………………………………………001
1.1研究緣起………………………………………………001
1.1.1口語測試的發展……………………………………001
1.1.2評分員評價體繫研究現狀…………………………002
1.2研究思路………………………………………………004
1.2.1研究目的和內容……………………………………004
1.2.2研究方法……………………………………………005
1.3研究意義………………………………………………007
1.3.1理論意義……………………………………………007
1.3.2實踐意義……………………………………………008
第2章口語測試及其評分員…………………………011
2.1引言……………………………………………………011
2.2口語和口語測試………………………………………011
2.2.1口語的定義…………………………………………011
2.2.2口語測試……………………………………………014
2.2.3語言能力……………………………………………016
2.3口語測試實踐…………………………………………026
2.3.1國外口語測試發展概況……………………………026
2.3.2國內口語測試發展概況……………………………030
2.4漢語口語測試評分員…………………………………037
2.4.1評分員的分類………………………………………037
2.4.2評分員的特點………………………………………041
2.5評分員培訓和評價……………………………………044
2.5.1評分員培訓…………………………………………044
2.5.2評分員評價…………………………………………050
2.6本章小結………………………………………………058
第3章理論基礎………………………………………061
3.1引言……………………………………………………061
3.2構建評分員評價體繫的目的…………………………061
3.3構建評分員評價體繫的原則…………………………063
3.3.1人本性原則…………………………………………063
3.3.2科學性原則…………………………………………063
3.3.3繫統性原則…………………………………………064
3.3.4操作性原則…………………………………………064
3.3.5激勵性原則…………………………………………065
3.3.6導向性原則…………………………………………065
3.4構建評分員評價體繫的作用…………………………066
3.4.1選撥…………………………………………………066
3.4.2診斷…………………………………………………067
3.4.3分數調整……………………………………………068
3.4.4研究…………………………………………………069
3.5理論來源………………………………………………070
3.5.1人力資源管理理論…………………………………070
3.5.2繫統論………………………………………………072
3.5.3人纔測評理論………………………………………074
3.5.4語言測試理論………………………………………076
3.6本章小結………………………………………………078
第4章研究假設………………………………………081
4.1引言……………………………………………………081
4.2評價體繫研究的前提…………………………………081
4.2.1評分員的價值可量化………………………………081
4.2.2評分員價值是穩定的………………………………082
4.2.3評分員價值可正常發揮……………………………082
4.3評分員評價體繫的構建………………………………082
4.3.1現有評分員評價體繫述評…………………………082
4.3.2評分員評價體繫框架………………………………086
4.4評分員“績效”評價體繫的構建……………………090
4.4.1現有評分員“績效”評價方式述評………………091
4.4.2確定評分員“績效”評價指標……………………095
4.4.3“績效”評價指標的權重問題……………………098
4.5本章小結………………………………………………099
第5章評分員嚴厲度研究……………………………101
5.1引言……………………………………………………101
5.2嚴厲度定義……………………………………………101
5.3關於嚴厲度的研究……………………………………103
5.3.1國外相關研究………………………………………103
5.3.2國內相關研究………………………………………104
5.4多面Rasch模型…………………………………………109
5.4.1模型介紹……………………………………………109
5.4.2常用軟件……………………………………………112
5.4.3模型應用領域………………………………………112
5.5實證研究………………………………………………116
5.5.1研究假設……………………………………………116
5.5.2研究對像……………………………………………117
5.5.3研究方法……………………………………………118
5.5.4研究步驟……………………………………………118
5.5.5結果分析……………………………………………120
5.5.6結論…………………………………………………124
5.6嚴厲度評價效度檢驗…………………………………126
5.6.1偏離趨勢檢驗………………………………………126
5.6.2偏離量檢驗…………………………………………128
5.7本章小結………………………………………………135
第6章評分員一致性研究……………………………137
6.1引言……………………………………………………137
6.2一致性定義……………………………………………137
6.3一致性和信度…………………………………………138
6.3.1信度概念的演變……………………………………138
6.3.2信度的重要性………………………………………147
6.3.3一致性和信度的比較………………………………149
6.4實證研究………………………………………………151
6.4.1研究假設……………………………………………151
6.4.2統計結果分析………………………………………151
6.4.3結論…………………………………………………154
6.5一致性評價的效度檢驗………………………………155
6.5.1對區間上限的檢驗…………………………………155
6.5.2對區間下限的檢驗…………………………………159
6.6本章小結………………………………………………160
第7章評分員內化評分標準研究……………………163
7.1引言……………………………………………………163
7.2內化評分標準的內涵及鋻別…………………………163
7.2.1定義…………………………………………………163
7.2.2研究方法述評………………………………………164
7.3漢語口語測試的相關研究……………………………168
7.3.1普通話水平測試的相關研究………………………168
7.3.2漢語水平考試（高等）口試的相關研究…………171
7.4實證研究………………………………………………173
7.4.1研究假設……………………………………………174
7.4.2研究對像……………………………………………174
7.4.3研究方法……………………………………………175
7.4.4研究步驟……………………………………………176
7.4.5統計結果分析………………………………………177
7.4.6結論…………………………………………………181
7.5本章小結………………………………………………181
第8章結論……………………………………………183
8.1評分員評價體繫的確立………………………………183
8.2評分員評價體繫的應用………………………………186
8.3創新之處………………………………………………188
8.3.1理論創新……………………………………………188
8.3.2方法創新……………………………………………189
8.4研究展望………………………………………………190
參考文獻……………………………………………………191
附錄………………………………………………………201
致謝………………………………………………………217

圖表目錄
表2.1技能——成分說的語言能力…………………………………………………017
表2.2普通話水平測試國測員培訓班培訓內容……………………………………046
表4.1漢語口語測試評分員“素質”評價指標……………………………………088
表4.2漢語口語測試評分員“能力”評價指標……………………………………089
表5.112名應試人背景信息表………………………………………………………117
表5.2評分員信息數據庫（選段）……………………………………………………119
表5.3評分員信息數據庫（選段）……………………………………………………119
表5.4HSK（高等）口試等級分數轉化表…………………………………………120
表5.5應試人實測成績名次和能力值名次比較……………………………………121
表5.6評分員評分結果總表（選段）…………………………………………………127
表5.76名評分員評分結果復評情況表………………………………………………130
表6.1異常評分員嚴厲度、一致性值………………………………………………156
表6.2異常評分員評分情況表………………………………………………………157
表6.312位應試人分組情況表………………………………………………………158
表7.1評分員類型結果（異質程度15）………………………………………………179
表7.2評分員類型結果（異質程度10）………………………………………………180
表7.3內化評分標準異常評分員的評分質量………………………………………180
表8.1漢語口語測試評分員評價指標………………………………………………184
圖2.1“語言化”模型………………………………………………………019
圖2.2Bachman的語言能力交際模型………………………………………………021
圖2.3Bachman的語言能力結構……………………………………………………022
圖4.1人事評價體繫框架的改進……………………………………………………085
圖4.2漢語口語測試評分員評價體繫框架…………………………………………087
圖5.15位評分員評分結果折線圖……………………………………………………128

序言
普通話水平測試是世界上規模的口語測試。在近40年的發展歷程中，普通話水平測試推動了普通話推廣工作的深入發展，同時也推動了口語測試的發展和研究。針對測試實踐中出現的各種問題，許多研究者從不同的角度做了論述。在此過程中，普通話測試逐漸發展成為應用語言學的一個分支，在不斷發展壯大。2006年，社科院成立了普通話測試方向的博士點，我開始招收普通話測試方向的研究生。
2008年，霆瑋成功通過了社科院的博士生入學考試，成為我普通話測試方向的第二個博士研究生。博士點建立伊始，可以說是篳路藍縷，不僅沒有現成的專業書籍，甚至也沒有完整的理論體繫。我帶領我的博士生們一邊學習一邊探索，出版了《普通話水平測試概論》一書。這本書搭建了普通話測試的基本理論框架，提出普通話測試有測試員、測試對像、測試依據和測試手段等四個要素。
當時在討論過程中，霆瑋就對普通話測試員感興趣，她認為測試員在口語測試中的作用是決定性的，測試的其他幾個要素都要通過測試員起作用。在積累了相當的資料後，她選定測試員作為自己的研究方向。我們經過數次討論，將研究的切入點定在對測試員的評價上，希望能推動測試員的管理工作更加規範化、科學化，對各級普通話測試站的測試員培訓工作有所助益。
霆瑋碩士期間讀的專業也是語言測試，有較好的測試學理論基礎，也做過一些測試的實踐工作，對語言測試的理論和實踐都有繫統的了解。她想把自己的專業特長與普通話水平測試的實際結合起來，並把研究的範圍擴展到整個漢語口語測試領域，終選定了“口語測試評分員評價”這個題目。完成這樣一項任務，對於一個博士生來說並不輕松，這中間她克服了很多困難，終於如期完成了論文。本書以霆瑋的博士論文為基礎，經過幾年的沉澱積累，現在呈現在讀者面前。在普通話水平測試研究不斷深入的過程中，本書在以下幾個方面推動了口語測試的研究與發展：
（1）本書將現代測量學理論運用到普通話測試中，使用項目反應理論（IRT）刻畫測試員的評分誤差。這是一個嶄新的視角，將測試員平時不可見的評分特征展示了出來，為評價測試員的工作提供了科學依據。
（2）本書采用了問卷調統計等多種實證研究方法，為評分員改進評分工作提供了具體可行的方法，在此基礎上，為評分員的評價提供了客觀的依據，為評分員管理機構的決策提供了科學依據。
（3）當前語言測試領域多研究評分員評分的信度、效度等方面，本書以對評分員評價為研究對像，拓展了評分員研究的領域，豐富了測試學研究的內容。
為人師者，如同為人父母者一樣，無不期望學生成龍成鳳，在自己的專業領域內有所建樹。霆瑋這些年一直堅持做語言測試領域的研究，這本書是一個小小的裡程碑，希望她在治學的道路上能以此為新的起點，腳踏實地，取得新的更多的成績！
姚喜雙
2019年12月

第1章 緒論
1.1… 研究緣起
1.1.1 口語測試的發展
在語言測試中，口語測試是一種常見的考試類型，是測量應試人口語能力直接的一種手段。20世紀末期，Bachmam提出了著名的“語言交際能力說”。這種語言能力觀認為語言能力不僅包括對語言繫統知識的掌握，還包括對句子之外語言交際環境的掌握。基於“語言交際能力說”的語言測試體繫強調測試的“真實性”和“交際性”。在這種背景下，口語測試因其符合真實性和交際性的特點，日益受到重視。
口語測試是一種主觀測試。與客觀測試相比較，口語測試命題簡單，評分卻比較困難。口語測試在真實的交際環境中進行，評分誤差的來源比較多。
如何控制口語評分的誤差，保證口語考試的信度是主觀性考試中的一個重要課題。
主觀考試評分中的誤差主要來源於測試任務、評分標準、評分量表和評分員等方面。測試任務、評分標準和評分量表等都是測驗的開發者制訂的，處於測驗開發者可控制範圍之內，測驗開發者可以不斷修改、逐步完善。而評分員是測驗開發者無法把握的一個誤差來源，評分員的表現可能受到各種因素的影響，是動態的、不斷變化的。評分員評分是一個根據既定的評分標準和評分量表，給應試人口語能力賦值的過程。評分標準和評分量表要通過評分員纔能作用於應試人。評分標準和評分量表被評分員理解、內化，後纔應用於被試。所以，評分員如何評分直接關繫到口語測試的信度和效度，評分員的評分質量是測驗開發者的設計思路能否實現的關鍵。很多研究顯示，不同評分員評分的過程差異很大。評分員在理解、內化評分標準時發生了什麼？產生了哪些差異？如何描寫這種差異？不同的評分員差異反映的本質是什麼？
進而我們要討論：這些評分員差異對評分質量有哪些影響？什麼樣的評分員的評分質量較高？什麼樣的評分員評分質量較差？我們應該如何評價一個口語測試的評分員？這就是本書要討論的問題。
1.1.2 評分員評價體繫研究現狀
在主觀測試領域中，對評分員的研究一直是一個熱點。這些研究的角度不同，有關於評分員的評分方法的，有關於評分員的評分信度的，還有關於如何培養評分員的，但其中有關漢語口語測試評分員評價的研究不多。在我們搜集到的文獻中，僅有三篇是專門研究普通話評分員考核的，與我們要探討的評分員評價體繫研究比較接近。
毛立群（2003）主要探討了普通話水平測試員考核體繫的建立。文章首先從以下三個方面歸納了測試員隊伍的現狀：業務素質、職業道德和科研進修。在此基礎上結合浙江省普通話水平測試員管理的經驗，提出了建立普通話水平測試員考核體繫的設想，包括以下四點：規範選撥程序，保證選送人員的質量；點面結合，使業務素質的考核盡量做到量化；工作量考核能客觀反映出測試員的熱情和態度；強調科研進修，確立後續培訓制度。這篇文章從普通話水平測試實踐管理出發，較全面地論述了普通話水平測試員考核體繫的內涵。美中不足的是，這篇文章比較宏觀，沒有往深處挖掘考核評分員的具體指標以及考核評價對評分員的反饋效果。
錢華（2004）的研究，是迄今為止有關普通話水平測試員考核體繫的研究中較為全面的一篇。文章首先從測試實踐出發，總結歸納了測試員考核中存在的問題，在此基礎上提出構建測試員考核體繫的意義和原則，其次提出了測試員綜合指標體繫的內容與基本框架，後論述了考核工作的組織實施以及考核結果的運用。這篇文章的考核指標體繫涉及四大方面：思想素質結構、業務素質結構、身心素質結構和績效結構。這四個方面作為考核體繫的一級指標，每個一級指標又具體細化為若干二級指標，後呈現為26個三級指標。這些指標設定得非常全面，包含了《國家語言文字工作委員會關於普通話水平測試管理工作的若干規定（試行）》第十一條規定的普通話水平測試評分員的考核內容：工作態度、測試能力、測試工作量、遵守工作紀律情況等。同時，此研究還提出了考核的具體實施步驟。這篇研究從普通話水平測試員的測試實踐出發，具有很強的參考價值，但是理論的部分還有待加強。
在漢語水平考試（HSK）高等口語測試的相關研究中，專門對口語測試評分員展開的研究不多。有些研究的成果可供參考，例如：關於評分誤差控制、評分員培訓的研究，但還沒有見到專門關於口語測試評分員評價的研究。
1.2… 研究思路
1.2.1 研究目的和內容
本文以語言測試學、人力資源評價理論為指導，采取理論與實證相結合的方法，通過研究旨在揭示評分員評價的本質，提出構建漢語口語測試評分員評價體繫的理論依據，確立漢語口語測試評分員評價體繫的指標，設計評價方案，從理論與實踐兩個層面提出解決漢語口語測試評分員評價的理論體繫和實施方法。
從選題視角引出口語測試、語言能力、評分員、評分員評價等基本概念，對這些口語測試中的基本概念及它們的特征做詳細論述，在此基礎上完成構建包括“素質、能力、績效”為一級評價指標的評分員評價體繫。對“素質”、“能力”和“績效”的評價分別通過“考核”、“考試”和“考績”的方式進行。三種評價體繫中，對“績效”的評價是重要的，其他兩種處於輔助地位。本文的主要研究內容包括：
（1）構建漢語口語測試評分員評價模式。闡述了建立漢語口語測試評分員評價體繫的理論基礎，包括建立評價體繫的目的、作用、原則等。一個完整的漢語口語測試評分員評價體繫包含三個部分：“素質”評價體繫、“績效”評價體繫和“能力”評價體繫。在這三個方面中，“素質”和“能力”主要是用來衡量評分員的內在價值，“績效”主要是衡量評分員的外在價值，也就是評分員創造的價值。內在價值能夠轉化為外在價值，所以在三個一級指標中，“績效”指標是直接和主要的。我們認為，這三個方面較全面地代表了評分員的日常工作表現，是一個具有實際應用價值的理論框架。
（2）構建評分員“績效”評價模式。對評分員“績效”的評價主要反映在對評分員評分質量的評價上。評分員的任務很多，特別是普通話水平測試（PSC）的評分員還有推廣普通話等其他任務。不同口語測試中，評分員承擔的任務不同，但其主要任務是為應試人評分。評分質量的高低關繫著口語測試的信度和效度。本文為了量化評分員的評分質量，構建了以嚴厲度、一致性為指標的“績效”評價體繫。這個體繫在理論上能夠反映評分員評分結果和應試人能力的差別，可以用來評價評分員的評分質量。
（3）應用評分員“績效”評價模式進行實證研究。本部分將使用現代測量理論嘗試量化評分員的評分質量，為評價評分員提供測量學方面的理論支持。本部分的另一個貢獻是對量化結果進行了有效性檢驗，檢驗結果顯示嚴厲度和一致性作為評價指標可以反映評分員的評分質量。
1.2.2 研究方法
理論與實證研究相結合的研究方法是本文研究基本的研究方法。具體來講，本文使用的主要研究方法有：
（1）文獻法。為完成本項研究，我們搜集了數百篇有關漢語口語測試、評價體繫的學術論文，窮盡性地收集了關於普通話水平測試（PSC）和漢語水平考試（HSK）的學術論文，其中包括數十篇碩博士論文。除此之外，筆者還認真研讀了語言測試方面的中外文專著。通過閱讀文獻，掌握了進行評分員