專訪國際評量測驗大師與作家Grant Trew – 暢談英語評量測驗設計


投入EFL(English as a Foreign Language) 領域超過20 年的Grant Trew,曾在英國、中東、東南亞和日本等地擔任EFL 老師及師資培訓員,也參與許多EFL 教材之編撰。語言評量測驗是Grant Trew 特別有興趣的研究主題,他為許多大型語言機構設計過無數的口說與紙筆測驗,也幫TOEIC、TOEFL 和日本EIKEN 英檢設計訓練課程,他本身也是劍橋主流認證的口試官。近年Grant Trew 更將其在語言評量測驗的豐富經驗出版成書,著有Tactics for TOEIC: Speaking and Writing Tests 及Tactics for TOEIC: Listening and Reading Tests。此次Grant Trew 受牛津大學出版社邀請來台為每年一度的Oxford Day 講座擔任講師,並同時接受English Career 採訪,暢談優質英語評量測驗的設計準則與目標。

記者:怎樣才算是優良的語言測驗? 

G. Trew:影響一個測驗優劣與否的因素非常複雜,涉及層面廣大,所以才需要許多專家學者鑽研資料數據,而且這些數據隨時代的演進隨時會產生變化;不過,我可以提供幾個選擇測驗工具的方向。測驗的「效度」(validity) 是首要的考量重點, 也是設計良好測驗的基準;一個高效度的測驗應可非常直接地測出考生某項能力上的表現能力,口語能力由口說方式來評量、寫作能力以寫作測驗評量, 字彙、文法、閱讀等等各種能力皆須由相對應的測驗方式來評量,才能明確顯示出考生的能力所在。另一個與效度有關的考量重點是,測驗本身必須讓學生在被施測過程中,完全相信測驗的問題具有有意義且符合需求,進而認同測驗結果的效度,我們稱之為「表面效度」(face validity)。

「效度」是測驗的基本價值,「信度」(reliability) 則能讓測驗由單純的「學習成就評量」(achievement test) 提升至「能力指標評量」(proficiency test), 不只評量考生學得多好,還能針對考生整體語言能力的運用做標準評估;也就是說,考生在短時間內以同樣語言能力去受測,得到的結果都會是相同的。像是TOEIC 或TOEFL 這類測驗,皆須仰賴眾多的研究員去分析考生對每道考題的作答反應以及各種數據,才能完成一份考題設計,這也是TOEIC、TOEFL 會被全球許多學校、機關及各種商業機構, 廣泛用來當作英語能力評量的最大原因。

最後,良好設計的測驗還需要考量其「可用度」(Utility),施測及成績計算所需的時間、空間、人力……等相關執行必須經濟、快速、安全,而非空有一份能精準測量程度的試卷,但卻不易執行,或考生受測須耗費過多精力與經費。可用度低會導致考生受測意願低落,也無法稱得上一個成功的評量測驗。

記者:研究語言評量測驗是你的專長,也是你的興趣;英語測驗令多數亞洲人又愛又怕,對此你有何看法?

G. Trew:大家對「測驗」的觀感的確越來越不好,旅居亞洲國家多年,我發現多數亞洲人都曾有過非常糟糕的英語考試經驗,探究其原因,不是考試方式與需求不符,譬如需要向客戶銷售產品的店員,卻考了紙筆測驗而沒考口試;不然就是根本誤選了一個不專業、設計不良的測驗工具。

記者:談完了測驗應有的目標與不同選擇,能否請你分享一些設計考題上要注意的準則?如何能寫出一道品質好又專業的考題?

G. Trew:我曾在美國ETS 受訓,為TOEIC 與TOEFL 測驗出題, 一份完整的TOEIC 聽力與閱讀測驗需要好幾個月的時間才能完成。以最常見的「選擇題」為例,好的考題必須只有一個正確答案,這聽來簡單,寫起來並不容易;考題上A 明顯是正確答案,但B 卻也能適用在某些情況,這種考題設計不良的情形相當常見。

另外,設計精良的考題中必定包含正確答案外的「陷阱選項」(distractors),這些選項看似正確答案,實際上卻是在任何情況下都絕對錯誤的選項, 如此才不會落入上述所提到「雙重答案」(double key)的困境。

在選項的設計上,最好能挑選與正確答案看起來很像的字,也就是說,選項的字母數、拼音、字彙難度、甚至是詞性都跟正確答案雷同,盡量避免讓某一個選項或正確答案特別顯眼。

一段短文加上2 到3 個問題的閱讀理解測驗,出題上則容易犯下答案就在題目中的錯誤;譬如第一題問考生「他們搭甚麼交通工具到目的地?」接著第二題的題目卻是「他們搭的是哪一種火車?」, 第一道題目就變成無效問題。我在泰國開課教授如何撰寫考題時,有個學生出了一道閱讀測驗,是一段關於非洲動物的短文,題目是「根據文章敘述, 下列哪個動物體積最大」選項A 兔子;B 老虎;C 大象,考生憑著基本常識,不需要閱讀過文章,就能知道答案是C,這種題目也是無效的問題。

我想要再次強調,出考題是一個極具挑戰的工作, 我提到的這些出題時會遇到的盲點與失誤,我自己都經歷過,唯有不停地大量練習出題,才能克服挑戰,寫出專業、有效的試題。

◎記者:葉瑋玲


Tags: No tags