國中會考試題難易度穩定,心測中心做了什麼事?【升學考題總體檢3】
國內最重要的升學大考,分別為國中教育會考、大學學測,均採級分制,且定位為學力檢測門檻。相較於學測數學科難度飄忽,會考被公認穩定度更高,究竟主辦的心測中心做對了什麼?
相對於學測,會考試題被公認品質穩定度較高。圖為示意圖。黃建賓攝
每年近20萬人報名的國中教育會考,是國內最大規模的升學考試。相較於學測數學科不穩定的通過率(答對率),近3年會考數學科平均通過率幾乎都維持在60%上下,從109年的59%、110年的61%到111年61%,僅有2%的落差。
相較於申請大學門檻的學測,國中教育會考普遍獲得較高的評價,「他們比較少出意外,也知道怎麼去穩定試題品質,」鑽研標準化測驗多年的國家教育研究院「測驗及評量研究中心」主任蔡明學,對會考持肯定態度。
「評斷一個試題出得好不好,第一優先看穩定度,包含通過率跟鑑別度,要有客觀的數據,不能只憑感覺」,蔡明學這樣定義。但攤開學測數學科近3年通過率,從57%(109年)到36.9%(110年),相差高達20多個百分點,「這個落差真的有點大」,一位不願具名的標準化測驗專家私下表示。
會考能保持這樣的穩定度,成功的祕訣究竟是什麼?多位受訪者歸納,就在「題庫」與「等化」。
舉辦會考的台師大「心理與教育測驗研究發展中心(簡稱心測中心)」 是國內少數以研發「教育與心理測驗」為宗旨的測驗中心,1998年起受教育部委託,辦理國中基本學力測驗(簡稱基測),2014年起轉型為國中教育會考,規劃大型標準化學力測驗已有二十多年經驗。
由數十位測驗專家組成的心測中心,一直有計畫培訓來自國高中的命題教師,盡量以國中生容易了解的語言,每年為心測中心貢獻原創性高的試題。
心測中心副主任曾芬蘭說,現場老師設計好的試題,經研究人員初審及大幅修改,成為新的題目再通過專業修題、審題程序,最重要的是必須從全國900多所學校中抽出國三生試考,實測後每一題都附有難易度、鑑別度和對應到課綱等參數,才完整進入題庫。
祕訣1:題庫不是只有考題,經學生實測並附參數才有效
題庫指的是多年來累積、未在正式會考中出現過的考題。「目前已累積多少題?」屬於心測中心機密不公開,但外界估算二十多年來至少有上千題,「母數夠多就有得挑,且可以明確區分難、中、易各出幾題」,蔡明學分析,會考選擇題採「闈內組題」,由命題老師和各科研究員帶著題庫入闈,再從中挑選出符合測驗目標、課綱能力指標的試題來組卷。
他舉例,數學如果要考20題,爲了考試公平可能出同樣題數的 ABC 三卷,最後會挑中哪一份,入圍才知道,「說真的如果沒有充足題庫,現場能組1份試卷已經很了不起,且明知哪一題不 OK 也沒辦法、沒有時間改了」,蔡明學一語道出題庫的重要性。
心測中心之所以定期培訓一線教師命題群,主要著眼於貼近學生想法與生活經驗,「國中老師最了解國中生的語言,可以提供我們現場的回饋和建議」,曾芬蘭舉例,而試考過後心測中心會再將學生的反應回饋給命題老師,讓他們知道題目文本的敘述學生是否理解、會有怎樣的反應,「這在試題研發是非常重要的一個訊息」,透過雙向交流,彼此都能有進步。
而題庫的概念不只有考題,還必須附上實測後得出的參數包括:難易度、鑑別度、評量能力與對應課綱等指標,各科研究員點進任何一題,都能看到相關分析,據以決定難度與配題,這才是有效題庫。
至於外界擔憂,試考生會不會事先被買通,造成大考洩題?曾芬蘭笑著說,凡最近一年內試考過的題目,絕不會出現在當年度的大考,可能等到3年後再把整卷打散入題,試考生就算全部背起來也派不上用場,這樣就可以克服疑慮。
祕訣2:等化兩次測驗能互相比較,感覺不到今年跟去年的差別
「必須要有一個完整、穩定的題庫參數,才能做到年度之間的『等化』,也就是今年的15級分跟去年的15級分,能力是相當的」,曾芬蘭自豪的說,如果沒有題庫和量化資料,沒辦法做到這一點;而心測中心年年收集學生試考的反應,包括題庫裡的難、中、易分配也要年年等化,讓「不同時間、不同的人去考的兩次測驗,結果可以互相比較,前提就是兩個測驗難易度不可以差太多,不然你用再好的技術都很難等化」,經過各種分析之後題目的穩定性高,足以「讓你感覺不到今年跟去年的差別」。
為了維持考題穩定性,心測中心非常「尊重題庫」,因為入庫前的題目都已經過試考並修訂,被挑選入闈後如果再有任何調整,深怕原有的參數會跑掉,因此就連答案的 a、b、c、d 四個選項配置調換,這樣微小卻可能影響作答的改變,都盡量不要更動。
在組織架構上,心測中心內部設有試題組跟題庫組,試題組負責學科專業與開發新題目、題庫組則收集資料、訓練閱卷老師和測驗相關統計,提供更多科學、量化數據,再回饋給教學現場,多年來靠著兩組密切合作,才能把國中會考難易度做更精準的調控。
而大考中心受限於經費與人力,一直無法做到完整的題庫與等化。熟悉內情人士指出,大考中心約45%經費來自報名費,但少子化下考生人數不斷減少,近年僅不到12萬考生報考,想提高報名費又被教育部打回票,而111學年起新型學測各科增加非選擇題,閱卷成本更提高,左支右絀下很難維持考題水準。
針對外界質疑大考中心是否有建置完整題庫?大考中心主任周兆民親自回應指出,題庫是一向都有的,包括從106學年度起,著手研發配合新課綱上路而改變的混合題型,也都有入庫。但與心測中心不同的是,大學有醫學系、牙醫系等競爭非常激烈的系,必須更加嚴密防止任何洩題的破口,因此「不可能開放給高三生試考,即使3年內試考過的題目不入大考,也不可能」,周兆民強調,過去曾以「研究用試題」給高三試考,但這些出現過的題目都不會入庫。
至於未來如何持續穩定命題難易度?周兆民說,數學科分數A、數B,已增加入闈審題的高中老師2位,一定都有數A、數B的教學經驗,且分別來自社區型和都會型高中,提供現場意見給闈內參考,而試考生部分也從109年起增加至6人,就是希望能維持穩定度和變動不大的各級分分布,避免再被批評。
闈場小辭典:
古代舉辦科舉考試時,為防止考生與外人流通資訊舞弊,
(責任編輯:劉映均)