◎文：賴亭宇、夏璘、駱克珊
自1947年創立以來，始終致力於英語文教育相關研究的ETS，期盼藉由設計出良好的評量測驗、具信效度的評量檢測機制，來幫助各領域的英語文學習者、教育人員妥善運用「評量」來增益學習成效，進而獲取「Assessment for Learning」的教育核心宗旨。數年下來，ETS已研發有TOEIC、TOEFL等不同屬性的英語能力評量。具備信度（reliability）、效度（validity）與公平性（fairness）的試題編寫原則，是ETS之所以能成為全球最具指標性的英語評量研發機構的關鍵原因。
在ETS嚴謹的試題編寫流程下，每道題目必須經由多位受過嚴格訓練的專家一再地分析、研究、審核，進行把關，甚至還需要交由其他測驗的研發人員，由第三者的客觀立場來進行檢核，平均每題要經過40小時的嚴密程序後，才會出現在考生面前。你是否曾好奇，ETS的每一道題目是如何誕生的？編寫試題人員又是從何取得靈感的呢？
嚴格把關試題 評量為學習而在
為了與更多英語老師分享這份「為學習而評量」的教育理念，今年8月17至19日所舉辦的「試題編寫實務工作坊（Item Development Workshop）」，美國ETS講師即與台灣老師一起「練習寫試題」。現場與會者不只包含來自全台各地的高中、大學教師，甚至還有網路名師或是教學經驗逾30年的資深教師等。
這是ETS全球首度舉辦此類型工作坊，講者分別是ETS測驗發展處英語學習部總監Jennifer Sakano， 以及英語語言學習評量專員Paula Price。兩位講者都是TOEIC聽力部分的試題研發人員，皆有非常豐富的試題編寫經驗。
設計試題前先釐清需求與目標
兩位來自ETS的講師在工作坊中與教師們分享了設計TOEIC測驗「以實證為核心的設計原則」（Evidence Centered Design，簡稱ECD），同時也引導與會者理解多益測驗（TOEIC）及多益口說與寫作測驗（TOEIC Speaking and WritingTests）在聽、說、讀、寫各項測驗的能力分級敘述（Proficiency Descriptors），來強化英語教師的試題編寫知能，以利教師有效掌握學生的能力狀態及學習弱點，進而提升教學成效。
所謂的ECD，即在命題程序上思考三個問題：
一．我們對應試者能力程度的要求（claim）是什麼？
二．什麼是能支持該要求的實際證明（evidence）？
三．什麼樣的試題任務（tasks）能提供這項證明？
簡單來說，只要依序思考「命題程序原則」，再輔以理解「能力分級敘述」，就能設計出一份「能證明應試者能力」的好試題。在分享ETS的做法時，講師們也強調，「不是為了培養各位成為ETS試題開發人員，而是希望教師們在熟悉測驗編寫方法後，對於自行設計試題更加得心應手！」
兩位講師另也提出一些看似基礎卻不可或缺的教學思考，像是「該如何評量班上學生的能力程度？」、「我所評量的是什麼（能力）？」、「我為何／何時該評量我的學生？」、「我的學生在課室評量中的角色是什麼？」、「我該怎麼利用評量表現與學生溝通？」這些思考點不僅鼓勵師們在編寫試題之前重新思考評量重點，也同時方便釐清一項測驗的需求與目標，作為編寫試題最重要的事前準備工作。
好題目忌諱混淆應答者視聽
不過在試題編寫上，仍有幾個常見的問題需注意，舉例來說：選項忌諱存在「歸併選項（Subsuming Options）」，也就是其中一個選項可完全涵蓋其他選項（例如：(A)傢俱、(B)桌子、(C)椅子）；也忌諱「測試逾題知識（Testing Outside Knowledge）」（如美國總統任期幾年），因得需仰賴英語以外的知識，才能答題。諸如這些狀況都會造成答題者的疑慮、影響測驗信效度。（詳見表一）
除了台上精彩的導論，台下的交流互動也相當熱絡，ETS講師不忘鼓勵大家分享彼此珍貴的教學經驗，「你的想法可能與同儕的想法不同，但好方法本來就不只一種！」
曾編寫、出版多部英語能力測驗參考書的嶺東科技大學應用外語系專任助理教授蔣裕祺表示，這場工作坊按照ETS內部標準流程的審題練習，解答了許多他過去在出題時經常遇到的問題，也釐清了很多概念！平常沒辦法和學習者面對面教學的YouTuber網路名師阿滴也認為，藉由和第一線老師的互動交流，能夠幫助他設計出更實用的英語教材。
寫好題目也當然需要好的情境素材，不過Jennifer Sakano分享指出，吸引人的素材並不難找，「包括易取得的報紙、雜誌、廣播……甚至其他科目的老師、你的學生，都可以帶來新點子；也不妨善用Facebook等熱門的社群網站，就能馬上掌握近來最受歡迎的主題。」
（表一）常見試題編寫問題：
|
問題選項類型說 |
說明 |
|
選一擋三 3 for 1 Split |
藉文法歸類作答即可完全排除三選項，應答者並非真正理解題意。 |
|
蘋果？橘子？分不清 Apples and Oranges |
同詞類或文法選項兩兩同存，混淆應答者視聽。 |
|
選項不對等 Unparallel options |
試題選項在句構上差異過大，造成應答者非必要的困擾，無法真實檢視應答者語文能力。 |
|
互相交叉矛盾 Mutual contradictions |
例如「Before 2 o'clock」與「After 2 o'clock」語意完全相反，經驗豐富者就能投機應答。 |
|
歸併選項 Subsuming options |
其中一個選項可完全涵蓋其他選項，造成選項模稜兩可，應答者似是而非。 |
|
與真實經驗違背 Implausibility |
試題選項與真實情境不符，無助於檢視應答者在實際情境下所能應用的語言能力。 |
|
可複選或多選 Double / Multiple keys |
正確答案選項疑似不只唯一，易混淆應答者。 |
|
測試逾題知識 Testing outside knowledge |
試題答案逾越語文能力知識範疇，應答者無從判答。 |
|
對議題無感 Insensitivity |
無視於試題選項涉及宗教或敏感議題，影響應答者作答情緒。 |
|
不公正 Unfairness |
試題選項模稜兩可，對於應答判讀無法公正。 |
|
洩漏潛在線索 Cueing |
答案線索藏在題目中、甚至涉及文化知能；或僅對照題組選項就能找出答案線索，皆檢視不出應答者真實能力。 |
（表二）ETS 專業講師建議：好試題的特色要點
|
每一則試題皆只有唯一可辯護的正確答案 |
|
選項是合乎真實經驗的 |
|
選項設定與應答知識是平行對等的 |
|
題幹精確且不會模稜兩可 |
|
能保證誘答選項不可能成為正確答案 |
|
試題難度必須適當合理 |
Jennifer Sakano
ETS 測驗發展處英語學習部總監
TOEIC 聽力負責人
Jennifer Sakano執掌聽力命題及試卷組成。研究領域包含雙語教育、內容導向及以學生導向之學習方式、形成式評量（formative evaluation）的整合技巧題型、教師專業發展等領域，曾於美國及亞洲等地講授TOEIC專業發展工作坊，及於日本中學與大學教授英國文學及英語課程，並曾在美國俄亥俄州、加州、紐澤西州等地進修教育課程教授非母語人士英語。
Paula Price
ETS 英語語言學習評量專員
Paula Price負責內容廣泛，涵蓋TOEIC聽力、口說測驗發展，同時也是中學托福測驗（TOEFL Junior）測驗發展團隊成員之一。畢業於伊利諾大學芝加哥分校，取得應用語言學與英語教學碩士學位（TESOL）。Paula曾於墨西哥蒙特雷科技大學（Instituto Technológico）教授研究所等級之商業英語。於美國伊利諾州及賓州的大學任教時，曾教授多國籍背景班級，講授內容為學術英語與職場英語課程。
丁珮珊 大華科大 商務暨觀光英語系副教授
「我在交大經營的MOOC平台ewant上開設多益課程，交大計畫將這門課擴大辦理成中國當地的學分課程。因為網路上的學生來自四面八方、程度不一，參加工作坊讓我能與各校的老師互相交流，也能了解更多試題編寫的技巧，有助於未來面對不同的學生族群。」
李心馨 東海大學英語中心講師
「其實我們都知道應該透過真實生活情境來教英文，但往往缺乏有系統的指引和操作練習。此次美國ETS講師現場教大家用英文菜單、雜誌等素材來設計試題，對我日後的教學很有幫助。而且親眼看到ETS審核試題的流程有多嚴格，也讓我學到了幾招，以後幫學生挑選教材更有方向！」