成就鑑定測驗與英語學習管理的衝突與合作


       自中國女皇帝武則天下旨創設科舉制度起,測驗就成為一種選、用才的工具。當時考試的目的主要是遴選文官人才,而現今則有各種用途的英語測驗,比如TOEIC是評量人員國際溝通能力的工具,而TOEFL是北美大學及研究所審查學生學術英語能力、核發入學許可的工具。在過去30年中,考試領導教學的問題曾引起相當的爭議,因此教、學、考、用四者的關係與角色定位,一直是教育界的重要研究議題。過去大眾對考試領導教學最大的批評,就是考試扭曲了教學 (Backwash Effect),使得考試不但不能精確地評量學生的學習成就,甚至還因為考試而導致學習退步,也就是我們經常批評的高分低能現象。

       這現象在30年前確實存在,但是今天,基於測驗技術的進步,例如網路托福 (TOEFL iBT)新多益、多益口說及寫作等測驗的推出,教、學、考、用已經可以整合了,經由模擬題型的練習,考生分數提高的同時,英語能力也確實能有真實的進步。未來,考試與教學攜手合作,共創正面的回沖效應 (Positive Backwash Effect),將會是新的時代趨勢。

 

學習診斷測驗與英語學習管理

       要討論學習診斷測驗與英語學習管理,有三件共同要理解的事情:

第一件事情是Where am I now? — 我現在處於什麼位置?

第二件事情是Where am I going? — 我的目標是什麼?

第三件事情是How can I close the gap? — 我如何能夠縮小現在的情形與目標之間的差距,以求接近我的目標?

       這是Chappuis在2005年談到「學習診斷測驗(assessment for learning)」時所提出的基本說明。從彼得‧杜拉克的觀點來看,這定義是非常清晰的。彼得‧杜拉克是「目標管理 (management by objectives)」的發明者;而目標管理的意涵是指,當團體設定共同目標後,大家必須先了解問題,並安排資源來解決問題,才能夠共同完成任務。同時,為了達成未來更高的目標,成員會持續努力。我們可以說,學習診斷測驗是符合目標管理精神的。

       英語學習管理之所以會逐漸引起社會的注意,是因為英語的學習績效已經成為社會大眾與教育主管機關關切的核心;為英語教育引入一套目標管理的方法評量學習績效,可以說是當前各階段英語教育的必然趨勢。英語學習管理的重點有哪些?如同Chappuis所言,英語學習管理的第一個重點就是認知學習者的能力現況,第二個重點則是設定可以評量的課程績效目標,才能夠在課程期間診斷教學成果、修正教學方案,並用以測定教學成果,以便修正未來的課程設計。

 

學習診斷測驗 (Assessment for Learning, AFL

與成就鑑定測驗 (Assessment of Learning, AOL之比較

 

學習診斷測驗(AFL)與成就鑑定測驗(AOL)的差異,可從以下三個不同的觀點來理解:

(一) 使用者的觀點

(二) 使用的時機

(三) 測驗的原因

       學習診斷測驗的主要使用者是學生、老師跟父母,而成就鑑定測驗的使用者通常是管理者或是政策制訂者;雖然學生跟父母、老師也會用到它,不過他們並不是主要的使用者。從使用時機來看,學習診斷測驗使用的時間點通常在學習進行的期間,而成就鑑定測驗則通常在學習結束之後才使用。學習診斷測驗的主要目的是支援學生、幫助學生更快速地進步,而成就鑑定測驗的目的則是評量學生的成就,所以這種測驗具有高度的穩定性。舉例來說,課程測驗或是隨堂考試就頗有學習診斷測驗的意味,而大專聯考則很明顯地是一種成就鑑定測驗。然而,由於測驗技術的進步,這兩種測驗亦逐漸有合併在一起使用的趨勢。

 

 
Assessment for Learning
學習診斷測驗
Assessment of Learning
成就鑑定測驗
Primary Users Students, teachers, parents Policy makers, admission officer, program planners, supervisors, teachers, students, parents
Place in Time A process during learning An event after learning
Reasons for Assessing Support ongoing student improvement and to help students meet more standards Measure achievement status at a point in time for purposes of reporting; accountability
Examples Using rubrics with students; student self-assessment; descriptive feedback to students
Achievement tests; admission tests; final exams; placement tests; short cycle assessments

       以跑步為例來說明,在跑步機上跑步雖然是一種健身或訓練的方式,跟正式的賽跑在本質上有相當的區別,不過藉由這個方式,還是可以了解你在正式比賽場上可能會有的表現。反過來講,現在也有許多教練在正式比賽的時候,把選手的跑步過程錄影下來,做為他們後續訓練的參考。這兩種方式都可以看作是把成就鑑定測驗與學習診斷測驗併在一起使用的案例。

 

學習診斷測驗的框架

       語言學家Stiggins和Chappuis分別在2004和2005年對此提出了相關看法。首先他們認為,對現今的學習者而言,必須提供他們標準化測驗以及評分敘述表,讓所有的能力評量能夠給予他們更深刻的解析。第二步則是要幫助學生自我理解,同時根據這樣的理解來設定語言學習目標。這兩位學者都認為,語言學習目標越清晰越好;透過具體的敘述與實例,可以使學習者明確認地認知教學目標,並且在學習過程中持續地把目標放在心裡。接下來,第三步就是把現狀跟目標之間的差距逐漸縮小,以達成目標。針對這一個步驟,他們提到了四項重點,其中第一項重點就是要設計出省時的方法,同時在學習過程中把重點放在能力的改善上,盡量引導學生認知自己目前的情況,幫助他們追蹤發展,並且利用更詳盡的測驗診斷說明來幫助他們。

 

How can I close the gap? 如何讓成績差距縮小?

1. Design lessons to focus on one aspect of quality at a time  在設計課程時,一次只著重一個層面

2. Teach students focused revision  教學生如何進行主題重點的訂正

3. Engage students in self reflection, and let them keep track of and share their learning  讓學生自我省思,追蹤並分享自己的學習歷程

4. Offer regular descriptive feedback  定期提供敘述性反饋

 

使用成就鑑定測驗設計學習目標

所以,在教學上使用學習診斷測驗時,老師要先問自己以下這幾個問題:

1. Why (and when) do I assess my students? 我為什麼(什麼時候)要考我的學生?

2. What do I assess? 我要考些什麼?

3. How do I assess my students? 我要怎麼考?

4. How do I communicate the results of assessments? 考試的結果我應該怎樣跟學生溝通?

5. What’s my students’ role in my classroom assessments?我的學生在這次考試中扮演什麼樣的角色?

       這其實是五個非常容易理解的問題,可是對於老師而言,在每次考試的時候,要做到卻是非常的難。簡而言之,老師雖然認知了測驗與教學間的關係,但實際應用卻是一件知易行難的事情。

       ETS試圖在這件事情上提供一個解決之道,例如他們希望未來TOEIC測驗與EIL (English as an International Language) 課程能達成一致性,使得測驗既可以評估學習者的需要,亦能了解他們未來在真實世界中能否成功。要達成這個目標,首先我們必須確定,這兩者存在的目的都是基於學生的需要,同時我們也要考慮,這兩者涵蓋的內容都與學生未來在工作場合運用的知識相符合。因為EIL課程與TOEIC測驗同樣都以國際職場作為背景情境,同樣都重視溝通能力,因此我們可以知道,這項測驗與這些學習內容是緊密連結在一起的。這時候,我們可以反過來利用這項測驗去強化學習內容。TOEIC測驗的評量標準除了考慮考試語言內容的主領域 (通用英語能力) 外,也考慮到語言的子領域 (國際職場情境),所以如果能在教學的時候,融入真實生活中的一些子領域元素,就能對學生的學習更有幫助。

       所以,當我們設定學習目標的時候,首先要確定需要涵蓋的背景情境為何,然後再決定哪一些技巧需要被練習。為了進一步認知這個情境會牽涉到哪幾個次領域的技巧,我們可以把會議活動切割成幾個小的領域,以便觀察每個領域中會用到什麼樣的知識、什麼樣的語言。最後再根據對學習目標的認知,決定教室內的主要訓練內容以及評量內容。舉例來講,會議情境中主要牽涉到口語溝通能力,也就是聽跟說的能力,但會議前與會議後的行政流程或後續活動,可能還會牽涉到書面的讀寫能力。

       如果說設定目標本身是一項重要的任務,那麼向學生傳達目標就是一項既重要又特殊的任務,因為一直以來,老師並沒有注意到這也是一項任務。對學生而言,學習目標的內容往往是抽象而難以認知的,因此他們根本不清楚自己該朝向哪個目標去努力。為了把學習目標的內容變得更加具體,我們可以利用標準化英語能力測驗的評分指南(Scoring Guide)或是歐洲語言學習、教學、評量共同參考架構(CEFR: Common European Framework of Reference for Languages: Learning, Teaching, Assessment);當我們透過分數的描述把這些目標定義清楚的時候,學生會覺得很踏實,也能夠清楚認知自己應該達到的語言能力水準。

       舉例來講,我們可以用TOEIC測驗Listening跟Reading的分數敘述來設定學習目標。假設某堂課的目標是建立學生的會議情境中的文件閱讀能力,那麼依據以下的能力敘述範例,我們就能了解,要達成這個目標,必須幫助學生建立相當的文法程度,以及一些會議相關的背景知識,比如會議議程、不同職位與會者的功能及執掌、會議備忘錄、以及會議後續的決議執行、追蹤文書工作等。這樣我們就完成了學習目標設定,也清楚地將目標定義出來。下一步是設計教學內容。

Reading Skill Examples

TOEIC L&R Score Descriptors as Learning Objectives:

•    Test takers can connect information across an entire text or across two related texts

•    Test takers can understand rule-based grammatical structures

•    Meeting agenda and follow up e-mail message

•    Function of business meeting, how to arrange agenda and understanding of institute position

•    Appropriate emphasis on focus words (not articles, prepositions, etc.)

•    Words are grouped into meaningful “thought groups”

 

使用成就鑑定測驗設計教學內容

       學習診斷測驗與成就鑑定測驗已經逐漸能夠交叉使用,其中原因在於成就鑑定測驗的出題技術有很大的進展。以ETS設計的測驗來講,每一個出題題組都有三項考量,第一是訴求目標(Claim),設定鑑定考生的某項語文能力,並對他的這項能力程度提出主張;第二則是證據(Evidence),為這個考題訴求目標提出證據;第三是任務(Task),為了因應前兩者,必須設計出一個任務,使考生得以在執行任務中顯示出他的能力程度。以下是一個與前述學習目標相符的全真TOEIC閱讀測驗範例題,內容是兩份內容不同但彼此相關的文件,要求考生閱讀後,依據他們所理解的資訊,來回答五道選擇題。

       看看題目的內容,我們可以發現,答錯第160題的學生和答錯第162題的學生需要不同的教學重點。同時,無論是160題或162題,學生選的錯誤答案不同,代表著不同的診斷結果。而真正最關鍵的題目是第164題,如果這一題沒有答對,就代表學生無法掌握這個會議的背景情境以及這兩篇閱讀素材之間的關係。因此,教學關鍵在於如何讓學生快速的掌握這些重點。也就是說,深入檢討全真模考試題可以幫助學生找到他們的弱點,無論此一弱點是情境認知或是語言方面的,而老師則可以利用這些發現的弱點來安排教室內的教學內容。舉例來講,可以把業務會議常用的主要關鍵字先教給學生,同時這些字彙也可以組成幾個不同的字彙群,與真實社會中可以使用的概念相對應。簡而言之,只要定義出教學目標及比對標題發現,即可了解了學生目前的情況與學習目標之間的差距,老師們就可以在教學的內容及方式上調整,努力把學生朝目標推近。

 

學習診斷測驗與成就鑑定測驗的整合

       曾擔任過ETS題型研究人員的牛津大學出版社TOEIC訓練教材作者Grant Trew曾表示,TOEIC測驗包含聽、說、讀、寫四項技能,且內容符合真實情境,不只能測驗出英語能力,也能測驗出記憶、理解、時間管理、問題解決及邏輯論述的能力,可說是一項綜合職場能力測驗。學習者若能在TOEIC測驗中有良好的表現,就代表他們有足夠能力用英語處理日常生活及國際職場中的常見狀況。因此,TOEIC測驗不但能夠鑑定考生的能力現況,亦能成為教學輔助工具,在學習目標制定及課程、教材設計上提供協助。

       英語學習管理是當前社會關注的一個重點,而關於如何在有限期間內有效完成英語學習目標,彼得杜拉克的定義還是最好的。這件事情必須由一組人共同設計目標、共同完成,我們必須清楚地了解問題、安排資源,然後解決問題、完成任務。而ETS正遵循這樣的模式來使英語教學管理變得更有效率。從2000 年的TOEFL CBT電腦適性 (Adaptive) 測驗、2005年四項技巧融合 (Integrated) 的TOEFL iBT網路測驗,到2006年Productive及Functional取向的TOEIC口說寫作測驗,ETS將成就鑑定測驗的各種技術不斷改進,就是為了使成就鑑定測驗也能夠成為一種學習診斷測驗;未來在成績單上將提供足夠的能力診斷資料,並提供越來越詳盡的考試規格與分數代表能力論述,以更加符合各機構需求的英語測驗,並協助老師及學生設計學習目標。

160.   Why was the meeting held?

(A)      To talk about hiring costs

(B)      To train software users

(C)      To discuss work on a project

(D)     To review a contract

161.   Who would probably be the best person at Optimum to answer technology questions?

          (A)   Ujjwal Ahmed

          (B)   Chom Tai

          (C)   Yusra Singh

          (D)   Katharine Morandi

162.   What is the main purpose of Mr. Ahmed’s e-mail to Ms. Morandi?

          (A)   To request a meeting with the engineering department

          (B)   To introduce Peter Bodell

          (C)   To follow up on a meeting with Advantage

          (D)   To explain how Optimum has adapted its software

163.   What service will Peter Bodell’s department provide?

          (A)   Training and consulting

          (B)   Legal advic

          (C)   Publicity

          (D)   Changes to the software

164.   What will happen in the week of November 26?

          (A)   Peter Bodell will make a presentation.

          (B)   Optimum and Advantage will meet      again.

          (C)   A contract will be signed.

          (D)   Training in the new software will occur.

Answers: C, C, C, A, B

參考資料

  • Arter J. A. and Chappuis. (2006) Creating and recognizing quality rubrics. Educational Testing Service, Portland, OR.
  • Assessment Reform Group. (2002) Assessment for learning: Ten principles. Port Melbourne:Cambridge University Press.
  • Black, P et. al. (2003) Assessment for Learning: Putting it into practice, Maidenhead: Open  University Press.
  • Chappius, J. (2005) Helping students understand assessment. Educational Leadership (63) 3.
  • Stiggins, R., Arter, and J., Chappius, and S. Chappius. (2004) Classroom Assessment for Student  Learning: Doing It Right, Using It Well. Assessment Training Institute, Portland, OR.

 

延伸閱讀

  • Black, P. & D. William. (1998) Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan, 80 (2).
  • Chappius, S. (2004) Leading assessment for learning: Using classroom assessment in school  improvement. Texas Association of School Administrators Professional Journal-INSIGHT, 18 (3).
  • Lee, lcy. (2007) Assessment for learning: Integrating assessment, teaching, and learning in the  ESL/EFL writing classroom. The modern Language Review, 64, 1.
  • LuomaS. & M., Tarnamen. (2003) Creating a self- rating instrument for second language writing: from idea to implementation. Language Testing, 20, 4.
  • McCallum, B. (2000) Formative assessment: implications for classroom practice. Institute of  Education, United Kingdom. Retrieved from http://www.qca.org.uk/qca _13440.aspx,Qualification and Curriculum Authority.
  • Stiggins, R., Arter, and J., Chappius. (2003) Implementing Assessment for Learning. Assessment  training Institute. Retrieved form http://www.assessmentinst.com
  • Stiggins, R. (2005) From Formative Assessment to Assessment FOR Learning: A Path to Success in Standard-based Schools. Phi Delta Kappan, 87,(4).

【PDF全文下載】 


Tags: No tags