國家教育研究院籌備處邀請 ETS 台灣區代表演講紀要

IMG_0106

 

       為了提升教育品質,國人需要一個監督與研究管理教育議題的全國性教育組織,在政府相關單位的催生之下,「國立教育研究院籌備處」終於在民國89年正式成立。從員額14人的草創期,又分別陸續在2002年與2007年整併「教育部臺灣省中等學校教師研習會」與「教育部臺灣省中等學校教師研習會」,並且於民國96年更名為「國家教育研究院籌備處」,至今已將屆十年,堪稱台灣最具規模的全國性教育研究機構。

       作為一個國家級的教育研究機構,對於研究教育測驗與評量相關工作,也是重點任務之一。國家教育研究院籌備處因而邀請了美國教育服務社ETS(Educational Testing Service)台灣區代表王星威總經理,就「專業評量測驗的發展機構ETS」以及「ETS測驗的研發與建構過程」兩個講題,與國內的教育測驗或教學相關研究專家作一交流與分享。

       國家教育研究院測驗與評量組組長曾建銘表示,希望能藉由ETS王星威代表的分享,讓大家了解全球最大的測驗機構ETS,以及ETS是如何研發及建構測驗的過程,可以幫忙教研院測評組同仁得到更多的啟發,也開創了美國大學教育的平民化時代。

 

美國教育測驗服務社ETS起源於SAT

       王星威總經理表示,ETS的成立與SAT的普及化息息相關。SAT (Scholastic Aptitude Test)是於1926年,由Henry Chauncy與普林斯敦大學心理學教授Carl Brigham合作研發的學術性向測驗。在SAT施行之前,學生多半依靠推薦信進入美國大學,因而大學教育如同侷限在貴族階級所有。

       到了1933年,美國哈佛校長James Conant開始決定藉由SAT篩選出程度較好的高中生,以維持該校的水準,因此希望藉由SAT選出資質良好的公立高中生,並發放該校獎學金予以鼓勵。這個決定逐漸影響美國大學的入學方式。

       1941年,已有部分長春藤盟校開始採用SAT做為學生申請大學的參考資料;此外,二次大戰期間的美國陸軍也開始採用SAT作為軍官能力測驗。1943年,Henry Chauncey與美國海陸軍簽約,以修訂的SAT試題在同一天給全美30萬人測驗,證明了SAT評量全美高中學生的可行性。

       最關鍵的事件則是美國退伍軍人法案(G.I. Bill)的通過,該法案規定各州成立州立大學,以提供通過SAT的退伍軍人免費就讀大學。1947年,基於測驗需求量的擴增,美國教育委員會(American Council on Education)與美國大學入學考試理事會(College Entrance Examination Board)、卡內基基金會(Carnegie Foundation for the Advancement of Teaching)共同設置了非營利教育測驗機構─ETS,以便未來供應大規模的測驗需求。

       ETS是目前全球規模最大的一所非營利教育測驗及評量單位,主要已發展的測驗及語言學習產品包括TOEFL、TOEIC、TOEIC Bridge、TSE、GRE、GMAT、SAT、Criterion等。目前在全世界每年有5000多萬人次應考,可在180多個國家、9000多個機構舉辦測驗。

 

能力測驗與課程測驗的比較

       除了概要性地說明ETS的歷史背景,王星威總經理也藉由比較國內現行大學學科能力測驗(學測)及美國高中生入學測驗SAT(Scholastic Assessment Tests)之間的差異,和與會者一起探討「課程測驗」(Curriculum Test)以及「能力測驗(Proficiency Test)」的不同。

       所謂能力測驗,指的是評量一個人在某個領域下所能發揮的能力成熟度, 如TOEFL、SAT;至於課程測驗,則是指評量學生在一定的授課範圍內所獲得的學習成效,例如一般的小考或大學學測。因此,教材成了課程測驗的核心,反之,能力測驗的重點在於應試者是否具備一定的能力。

       由於東西方教育文化架構的差異,採取的測驗策略也不盡相同。跟美國教育所採取的能力測驗指標不同,王星威總經理指出,台灣教育體系現行的課程測驗制度,實際上已長期累積了學習成效與課程大綱進度之間的缺口,換言之,當學生來不及理解課程內容,卻依然要依照課程進度學習,這無形中造成學生信心喪失,影響大學畢業生的學習成效不如預期,進而沒有足夠的能力適應職場。這樣的現象是否該從政策面著手革新,是值得人們思考的議題。

 

設計能力測驗的關鍵─ECD

       「ETS所研發的都是能力測驗」王星威總經理表示。「ETS是負責掌握信度、效度的出題與研發執行單位,對ETS來說,最重要的任務是評量應試者的知識與技能(measure knowledge and skills),這是研發各項測驗的宗旨。」

       在研發測驗的過程中,ETS十分注重以實證為核心的設計流程(ECD, Evidence-Centered Design),對於能力測驗的設計而言,ECD是必要的思維。

       所謂的ECD包括五大步驟,分別是:(一)確立測驗目的;(二)定義測驗主要領域;(三)找出測驗有效的證據;(四)鎖定特定的知識與技能,以及(五)提升測驗的效度。在ETS的每個題目設計過程中,都含有一張ECD格式,用來確保題目的效度及信度。

       用ETD設計TOEFL題組的案例來說,TOEFL是專為想要進入北美大學學術圈的外籍學生而設計的測驗,因此測驗領域多半與大學學術領域相關。因此TOEFL就必須設計出考題,可篩選出有足夠英語能力在北美大學學術圈進行研究的學生。換言之,ETS為了設計出有效度的題目,除了提出主張(claim)說明所出測驗題期望能評量的語言能力目標,還要找出「證據(evidence)」用以證明此一能力是可測量的,最後,出題人員再根據這些證據來完成研發題組任務(task)。這就是ECD的基本要領。

       透過了解ETS的成立背景,以及其測驗設計的核心理論,國家教育研究院籌備處的測評專家得以對ETS的測評方法有一概括的認識,同時,藉由國內外測驗型式與評量成效的比較與探討,亦可從中激盪出許多值得國內教育界省思的相關議題,期盼未來有更多不同面向的研討與交流,有助於國家教育研究院的相關議題研究與發展。

【PDF全文下載】 

Tags: No tags