探訪世界知名評量測驗的誕生地--ETS


       TOEFL、TOEIC、GRE、GMAT、SAT都是全球知名的測驗,雖然這幾種測驗在內容、型態、施測對象、施測方式與用途上都有所不同,但卻有一個最根本的共同點──它們都是由美國的ETS(Educational Testing Service,教育測驗服務社)所研發出來的測驗。到底,ETS是一個什麼樣的機構?他們為何能夠發展出這麼多的測驗?為什麼這些測驗有那麼多的國家採用?談起ETS,這些問題總是大家最想要問的,也許是因為這樣,對很多人來說,ETS一直是一個帶有那麼一點神祕色彩的單位。

       今年三月,透過ETS台灣區代表的熱心安排,我們得以藉著前往紐約參加TESOL大會之便,順道探訪位於紐澤西州普林斯敦的ETS總部。在出發之前,我們找到了一些關於ETS的背景資料,仔細研讀了一番,算是先做了一點功課。

 

公認極高信度與效度

       根據我手邊的資料,ETS是目前全球規模最大的一所非營利教育測驗及評量單位,專精教學評量、測驗心理學、與教育政策研究。從測驗研發到施測,ETS對所有程序都有嚴格的品質要求及安全控管。而在試題的研發過程中,公平、公正的原則尤其受到重視。ETS為此發展出一系列的準則,並設計了一連串檢驗的程序,只為了確保每一種測驗的每一套試題內容,都能讓來自全球180幾個國家的考生接受公平的評量並得到準確的結果;無論考生的性別、種族、宗教、文化背景或社經地位為何,測驗過程及結果都不會因此而產生誤差。換句話說,唯一反映在測驗結果上的只有考生的能力,也因為這樣,ETS研發的測驗普遍被認為具備極高的信度與效度。

       看完這些資料之後, ETS已經成功在我心中建立起「一絲不苟」的形象了,因此,對於我即將要拜訪的ETS總部,我也預期它會是在高度管制、戒備森嚴的建築物內,辦公室內部的氣氛也一定冷調而嚴肅。不過,沒過多久之後,我就知道自己猜錯了。

       當車子駛進ETS的大門時,首先映入眼簾的是一片寬廣的綠地;走進接待區,迎接我們的是熱忱的微笑及親切的招呼;柔和的燈光、舒適的沙發椅及大片的落地玻璃,讓人彷彿置身在咖啡廳裡。負責接待我們的Alex來自香港,他一邊帶我們參觀ETS的園區,一邊用中文和我們閒話家常,令我們覺得倍感親切。園區裡的景色相當優美,不僅有樹林、湖泊、小橋,還有悠閒的天鵝。雖然天空飄著小雨,早春的風吹起來也有點冷,但我們還是十分享受這早晨的漫步。

 

參觀故居,仰昔人風采

       環顧四周,只看得到幾棟兩層樓的紅色建築,以及游泳池、球場等設施;Alex指著其中一棟說,那就是試題研發部門,至於其他的辦公室,都各自座落在不同區域,有些更得要開車才到得了。湖畔有一排供來訪者住宿的小屋,還有一棟雅緻的洋房,原為ETS創辦人Henry Chauncey的故居,經過整理與規劃,現在對外開放參觀。

       Henry Chauncey在美國的教育測驗發展史上有著重要的貢獻,這要從1926年開始說起。當時College Entrance Examination Board與普林斯敦大學的心理學教授Carl Campbell Brigham合作研發了SAT測驗,做為核發獎學金給大學在學生的參考條件。1933年,哈佛大學的新校長James B. Conant上任之後認為,如果要幫助貧寒子弟,不如在入學之前就設立這樣的機制。由於長春藤盟校的學費並非尋常百姓所能負擔得起,入學就讀向來是富家子弟的專利;如果家境不好的學生在入學前即有機會展現其學術潛力,就能及早接受獎學金的幫助,實現進入一流名校就讀的夢想。

       於是,當時在哈佛大學擔任學院院長的Henry Chauncey與同事Wilbur J. Bender接下了這個任務,並與Brigham教授會面,希望SAT測驗能成為長春藤盟校的入學標準測驗,並搭配哈佛大學所提供的獎學金計畫,作育更多英才。經過了數年的試行及一連串的統計、比對等研究,終於確定SAT的測驗結果能夠準確的預測學生進入大學後的課業表現。1941年,SAT正式轉型成為入學測驗,這個改變成功打破了高等教育體制的不平等,從此財富不再是進入長春藤盟校的唯一條件,社經地位也不再是追求學術發展的阻礙。不久之後,這樣的結果就反映在哈佛大學提供的國家獎學金得主((National Scholars)名單上,Chauncey與Bender也因此被喻為「National Scholars之父」。

       1945年,就在Chauncey四十歲生日之前,他受邀擔任College Entrance Examination Board中一個政策諮詢委員會的主席。當時,從蘇聯崛起的經驗中,美國已經認知到全球競爭力的根基是教育,並開始重視教育對未來國家發展的影響;因為教育逐漸普及,教育界對測驗的需求度也日益提高。1947年,在Conant 的協助下,Chauncey成功地將College Entrance Examination Board、Educational Records Bureau,以及 American Council on Education與Carnegie Foundation中與教育測驗有關的單位整合成一個完整而獨立的非營利教育測驗機構—— Educational Testing Service。ETS的成立,使得原本分散的教育測驗資源得以整合;不但能夠為更多的教學機構提供評量服務,也為日後美國的教育測驗發展奠定了穩固的基礎。

       我們和Alex邊走邊聊,也不時停下來拍照,一個鐘頭一下子就過去了。據說,整個ETS就像是座落在森林裡的一座大型莊園,我們步行一小時所及的範圍只不過是整個園區的一個小角落,但是礙於時間有限,加上我們並沒有開車,無法去到更遠的地方了,於是大家懷抱著意猶未盡的心情折返,回到辦公室聽取簡報。走進簡報室,桌上早已備好熱咖啡及茶水,我們也毫不客氣的取用,就像是在自己家裡一樣。

 

TOEIC試題嚴謹研發

       TOEIC測驗在台灣推行已久,對於TOEIC的測驗內容、型態及用途,我們都還算熟悉,但是對TOEIC試題研發的過程,可以說是一無所知。聽了當天的簡報後我們才了解,原來研發一份TOEIC試題是一件多麼浩大的工程。在六至八週的時間裡,試題必須經過嚴密的十幾道程序,由多位受過嚴格訓練的人員一再的分析、研究、審核,進行把關;甚至還需交由其他測驗的研發人員,由第三者的客觀立場來檢核這一份TOEIC試題是否符合ETS的公平性準則。試題在通過層層考驗後,更是需要經過多項統計與多次驗證後才能正式使用。

       而在試題信度、效度的研究上,也必須由專家進行試題的相關性、一致性等統計,並透過問卷及成績使用者 (如企業或教學機構) 的訪談來蒐集相關對應的佐證,以建立完整的資料庫。因此,每一份TOEIC試題,從研發到施測結果的細項研究,都是教學、評量、心理學、統計學等領域專業人士共同努力的結果。

 

嚴守公平公正性之原則

       我們對於即將在台灣施測的TOEIC口說及寫作測驗特別有興趣,ETS的人也很貼心的為我們提供完整的說明。其中令我印象最深刻的,還是ETS務求測驗評分公平、公正的原則。TOEIC口說及寫作測驗的評分雖然是以人工方式進行,但是線上評分網路系統的機制卻足以保障評分的客觀性。由於評分人員無從得知考生的國籍、姓名,也不曉得考生對其他問題的答案為何,因而可以確保他們對每一位考生的每一題答案都進行獨立的評分。同時,評分人員每次進行評分工作前,一定要接受確認測試,以保障評分結果的正確性;如果沒有通過測試,就不能執行評分任務。

       ETS 對測驗流程中各個環節的品質,果然都有十分嚴格的標準及要求,我想這應該就是ETS各項測驗產品廣為世界各國所採用的原因吧!簡報結束後,少不了要合影留念;Alex還準備了ETS的紀念筆送給我們,當然我們也準備了幾樣小禮物,大家禮尚往來一番。隨後 Alex 帶我們前往員工自助餐廳用餐;琳瑯滿目的選擇,一時之間令飢腸轆轆的我們不知道該挑哪一樣好,竟然開始逛了起來。可惜外頭的天氣不佳,不然我們就可以帶著餐盒到附近的樹林裡野餐,說不定還有松鼠、野兔為伴呢!

 

寧靜閒適的人與環境

       一邊享受豐富美味的午餐,一邊抱著觀察的心態跟大家聊天,我發現ETS的人有一個很大的特色。或許是研究工作的性質使然,面對公務,雖然他們都抱持著嚴謹的態度、秉持著專業的精神去完成每一件事情,但比起每天像無頭蒼蠅一樣、忙得團團轉的我們,他們的步調緩和許多。即使工作時不容許有一點差錯,需要他們投注全副的心力,卻沒有人因此而顯露出心浮氣躁的神態;和他們談話時,很容易就可以感受到他們在舉手投足間散發出寧靜而閒適的氣質。

       簡單樸素的辦公室裡,各個座位之間都有高高的隔板,大家或者在自己的位子上專心做事,或者跟同事輕聲討論交談。整個工作空間安安靜靜的,卻不嚴肅死板,反而充滿活力與動能。在這樣的環境下,ETS的成員秉持著服務的精神貢獻各自的專長,期許自己不斷為全世界研發出有效而值得信賴的測驗、提供相關的研究服務,並因應全球化、網路化等發展趨勢,持續滿足個人、企業、教學機構及政府單位對各類評量的需求。

       ETS所在的普林斯敦,是個學術氣氛濃厚、充滿古典氣息的小鎮,典雅的歐式建築隨處可見,優美的景緻俯拾皆是。在普林斯敦的孕育下,ETS總部也帶有這麼一份清新的氣質。不同於我們對一般企業總部的想像,ETS既沒有炫麗的外表,也沒有奢華的氣息,卻讓我們看見了專業素養與服務熱忱的體現。這次親訪ETS,的確為我們帶來了十分獨特的體驗,不但有滿滿的收穫,也讓我們的旅程充滿了豐富的回憶。

【PDF全文下載】 


Tags: No tags