所有筆記 · 發布於 2026-09-24

片語練習為什麼會有兩個正確答案?我們請 AI 新秀 Jev 把一萬題片語題全部重考一遍

最近 AI 圈的新面孔 Jev,大家都在聊,我們也忍不住想拿來用用看。挑的任務是片語練習一個長期的小痛點:題目原本搭配中文翻譯一起出,你只要找出跟翻譯對得上的片語;後來很多人希望把翻譯藏起來,練得更紮實。翻譯一拿掉,遊戲規則就變了——有些原本很合理的干擾項,少了翻譯的限定,填進句子裡也說得通。這篇記錄我們怎麼用 Jev 把這些題目找出來、怎麼修,以及它量不到的地方。

翻譯藏起來之後,規則就變了

片語練習的題目長這樣:一句英文,中間挖一個空,四個片語選一個。最早的版本,句子下面直接附上中文翻譯。

在那個版本裡,干擾項的設計是對著翻譯來的。你看到「請在進門前把鞋子脫掉」,要從四個選項裡找出「脫掉」——take off。put on 是個好干擾項:意思相關、長得像,但跟翻譯對不上,一眼就能排除。

後來陸續有使用者寫信來:翻譯擺在那裡,等於提示了答案,練不太到東西。這個意見很合理,所以 2026 年 7 月 20 日,我們改成作答之後才顯示翻譯。

然後我們開始收到這樣的回報:

Please [take off] your shoes before entering.

沒有翻譯,put on 填進去也是一句通順的英文——「進門前請把鞋子穿上」,也許是工地,也許是實驗室。另一個例子:

The instructions were [as clear as mud].

as clear as mud 是反諷,意思是「根本看不懂」。有翻譯的時候,這題考的是「你認不認得這個反諷」,而 perfectly understandable 這類意思相反的干擾項,正好用來測你是不是看懂了反諷。翻譯拿掉之後,perfectly understandable 填進去本身也是一句正確的英文,這題就變成在猜出題者心裡想的是哪個意思。

題目沒有變,是題目被使用的方式變了。在新的方式下,一題只能有一個說得通的答案,否則看懂句子的人可能會被判錯——這是我們最不希望練習題發生的事。

為什麼不一題一題看就好?

因為有一萬題。片語練習當時有 10,113 題,每題三個干擾項——三萬多個「這個填進去通不通」的判斷。一個人每題看三十秒,要看八十幾個小時,而且看到第兩千題的時候,他對「通順」的標準跟第一題已經不太一樣了。

我們需要的不是一個會寫題目的 AI,而是一個會量東西的 AI。

Jev 是什麼?為什麼剛好適合

Jev 是 TypeSafe 做的評估模型,放在 Cloudflare Workers AI 上。它跟聊天型的 AI 不一樣:你不能叫它寫東西,只能問它有型別的問題——「是或否」、「多選一」、「打分數」——它回給你的是機率,而且官方文件的說法是「校準過的」(calibrated)。

這剛好是我們要的。聊天型 AI 會很有禮貌地告訴你「這兩個選項各有道理」;Jev 只會說「0.97」。

第一輪我們對每題問五個問題:四個選項各自填進句子裡,單獨問「這是一句自然的英文嗎?」,再把挖空的句子連同四個選項一起丟給它,問「哪一個最適合?」。四個單獨的問題刻意分開問——如果讓它同時看到四句,它會拿選項互相比較,而「互相比較」正好會掩蓋我們要找的東西:兩個都很好。

例如「The show will [come to an end] next week」,干擾項 begin 填進去,Jev 給 0.97。有翻譯「節目下週結束」的時候,begin 當然不對;沒有翻譯,節目下週開始也完全說得通。

「最適合」不等於「唯一正確」

有一類題目比較狡猾:某個干擾項單獨看非常通順,但在四選一裡,Jev 還是選了正確答案。看起來好像沒事?

On weekends, I like to [sleep in].

干擾項 wake up early:單獨看通順度 0.97,四選一得分 0.00。

0.00 不是「錯」,是「比較不像出題者要的」。週末喜歡賴床,比週末喜歡早起更常見——但週末喜歡早起的人多的是,這句話沒有排除他們。四選一是一個排名,排名永遠會選出一個第一名,它從來不會說「前兩名其實都對」。

所以我們換了一個問法,直接問 Jev:把挖空的句子和兩個候選答案給一位仔細的英文老師,他是不是兩個都得算對?

問法決定一切,所以這個問題不是想好就用,而是先校準:我們從題庫抽出 60 組「句子+兩個選項」,人工標記「兩個都對/只有一個對」,標記時只看句子和兩個打亂順序的選項。然後拿三種不同措辭去問 Jev,看哪一種跟人工判斷最一致。

其中 50 組屬於實際會被拿去檢查的類型(干擾項單獨看就很通順)。在這 50 組上,勝出的措辭在門檻 0.20 時跟人工判斷一致 82%,漏掉 0 組,誤報 9 組。門檻為什麼這麼低?因為 Jev 在這題上出奇地保守——「He [lit up] / stubbed out his cigarette before entering the room」,進門前點菸或熄菸,明明兩個都通,它只給 0.48。我們寧可多報幾組讓人多看一分鐘,也不要漏掉一組讓學習者被冤枉。

順手整理的幾件事

既然每一題都重新量過一遍,我們也順便做了一些整理:

同一個片語的不同寫法合併。burn bridges、burn your bridges、don't burn your bridges 原本各自是一張片語卡;piece of cake 和 a piece of cake 也是。這些合併成一張,保留字典形式,免得同一個片語在複習裡出現好幾次。只是「長得像」但意思不同的保留:hit on(搭訕)和 hit upon(想到)是兩回事。

片語統一成字典寫法。例如 keep silence 改成更常見的 keep silent,fill in on 寫成 fill someone in on,例句也跟著寫成「Could you [fill me in on] what happened?」。

例句再磨一次。正確答案填進去,Jev 給的分數如果偏低,通常代表句子還有改進空間——可能太籠統、幾乎什麼片語都填得進去,或是用法不夠道地。這些句子重新寫過,也附上完整翻譯。

怎麼修:寧可選項無關,不要選項也對

找到說得通的干擾項之後,換一個。換什麼?

首選是像但不對的選項——這才是好的干擾項。「Take off your shoes」現在的干擾項是 turn off(關掉鞋子?);「Her decorations were over the top」(裝飾太誇張)現在的干擾項是 over the moon(欣喜若狂)。都是真的片語、看起來都有點像,但填進去就是不對。

每一個新選項都要通過三關:

  1. 同一個「兩個都對嗎?」的問題,分數必須低於 0.20——用找出問題的同一把尺,檢查修好的結果。
  2. 文法檢查:需要受詞的片語,不能放進沒有受詞的位置;時態變化後的形式要正確;同一題不能出現兩個一模一樣的選項。
  3. 必須是題庫裡已經有解釋的片語,所以不會多出一個沒有翻譯的新詞。

但有些題目,怎麼找都找不到一個「像但不對」而且安全的選項——任何有點像的片語,填進去都說得通。這時候我們的規則很簡單:換成完全無關的選項,甚至是不通的英文。

這會讓那一題變簡單。我們接受。一題太簡單,學習者損失的是十秒鐘;一題有兩個正解,學習者損失的是對自己語感的信任。

修完怎麼知道真的修好了?

同一把尺再量一次。修完之後,整個題庫重新跑一次稽核:每一題的正確答案都重新評分,每一個干擾項都重新問一次「兩個都對嗎?」。

一開始我們只檢查「單獨看很通順」的干擾項,假設通順度低的不可能是第二答案。後來覺得這個假設沒量過就不該信,所以把題庫裡每一個干擾項——兩萬八千多個——都問了一遍。多出來的可疑選項大多落在 Jev 比較不可靠的低分區,很多可能是誤報——但我們沒辦法區分哪些是誤報、哪些是真的,所以決定一律換掉。寧可多換,不要漏換——寧可錯殺一百,不可放過一個。

這次修正留下的問題

第一,Jev 只判斷英文,不判斷意思。它量的是「這句英文通不通」,不是「這個干擾項跟這張卡要教的意思衝不衝突」,也不看翻譯。翻譯的品質是另一套流程負責的。

第二,82% 不是 100%。校準時真正算數的只有 50 組,在那 50 組裡它一組都沒漏,不代表整個題庫一組都沒漏。它也會誤報,所以有一些本來沒問題的干擾項也被換掉了——這是我們選擇的代價。

第三,有些題目變簡單了。用無關選項修的題目,對會讀英文的人來說答案很明顯。那些題目現在考的是「認不認得這個片語」,而不是「分不分得出兩個很像的片語」。等我們找到更好的辦法產生「像但不對」的選項,這些題目值得再修一次。

第四,改名的片語,複習進度會重來。例如 keep silence 改成 keep silent,這張卡的答題紀錄會保留,但複習排程和「已熟悉」的標記是用片語文字記的,改名之後會被當成新卡。這個問題我們開了一個 issue 在處理,還沒修好。

最後:這整件事是學習者的意見推動的。要求把翻譯拿掉的人,讓片語練習從「對翻譯」變成「讀懂英文」,也逼著每一題都要在沒有翻譯的情況下站得住。謝謝你們。


片語練習在單手刷990 的「補充練習」裡,作答後才會顯示翻譯。同一種「先量再說」的做法,我們也用在閱讀題的題型標籤上——那次稽核的完整帳目寫在〈多益弱點分析可信嗎?〉。

← 所有筆記