做完任務不代表沿途都選對：Taste-Bench 怎麼考 AI 代理的判斷力

AI 代理跑完一項長任務，中間可能繞過路、選錯過方向，最後靠重試或人工修補才交出成果。2026 年 10 月 18 日，APPI News 刊出一篇由張饒輝（Lightman Chang）撰寫的長文，介紹研究團隊提出的 Taste-Bench 基準：它把長期任務中的決策分岔變成選擇題，專門測量代理在「看不到後續結果」時能否選對下一步。

「有沒有做完」和「沿途怎麼判斷」是兩件事

目前常見的端到端評測，看的是任務最後有沒有通過測試、解決問題或產出結果。這種指標很實用，因為使用者在乎成果。但它把整個過程壓縮成一個結局，說不出代理是在哪個環節選得好、哪個環節反覆繞路。

打個比方：你請一位裝修師傅，最後房子完工了，端到端評分就是「驗收通過」。但師傅可能先敲錯一面牆又補回去，浪費三天才走上正確工序。完工不等於過程沒問題，而僱主真正想知道的，往往是他站在每個路口時會不會選對方向。

Taste-Bench 把問題切小。每道題給模型三樣東西：原始任務、分岔之前的完整進度紀錄，以及兩個候選下一步。模型看不到後續發展，必須憑當下脈絡選出較有利的路徑。它測的是單一決策點的判斷，不是整個代理系統的成功率。

這與我們先前討論過的模型自我評測的分數該怎麼看是同一類提醒：評測數字只有放回題目怎麼來、怎麼評的脈絡裡才有意義。

題目從哪裡來：真實軌跡裡的分岔

研究者的做法不是請專家逐題寫標準答案，而是從既有的代理執行軌跡中擷取真實分岔，用後續發展反推哪個方向較好。來源有兩種：

一種是「平行嘗試」。同一任務有多條執行軌跡，研究者找出它們在相近進度點出現的選擇差異，再用各自的結局判定優劣。另一種是「繞路」。同一條軌跡裡，代理先走某個方向、撞牆後放棄改道，這組「原路 vs. 改道」就構成一道分岔題。

用後續結果當標籤，好處是可以從實際執行紀錄大量產生題目；但「後來走通的路」不代表在所有情境下都最好。任務背景、可用工具或成功定義一變，另一個選項可能反而合適。標籤反映的是原軌跡中的比較結果，並非通用規則。

這也影響題目難度的分佈。軌跡中早期就出現的關鍵證據，模型比較容易掌握；要晚期才看得出差異的決策，自然更難提前判斷。

目前公開資料集涵蓋軟體工程與機器學習研究兩類軌跡，共 502 題（工程 390 題、研究 112 題），題目取自 SWE-bench、SWE-bench Pro 以及 METR 的 MALT 研究紀錄。資料集設有存取條款，明確禁止在公開位置重貼題目內容。

分數代表什麼，不能推到哪裡

預印本摘要報告，該研究測試中表現最佳的模型答對率為 59.7%。評分協定有個值得注意的設計：每題會把選項順序顛倒後再問一次，兩種順序都答對才算正確。依此協定，隨機猜測的基準是 25%，不是一半一半。

研究還觀察到兩件事：決定性證據越晚出現，各模型越難作答；增加推理預算也沒有改善這項測試的準確率。後者對導入者尤其值得留意，這暗示某些判斷問題不是「多想幾秒」就能解決的。

數字本身也受題目篩選影響。程式庫記載，初步擷取的分岔中，有些因太容易或標籤判定有歧見而被排除。留下來的題目集中在工程與研究工作；若模型實際運作的場景是企業客服、採購審核或醫療行政，資料、工具、容錯界線與「成功」的定義都可能不同，研究分數不能直接推成部署後的成功率或可靠度。

這個立場和外部審查能看什麼、不能看什麼的邏輯一致：外部評估的價值在於提供可比較的參考點，而不是替你的環境背書。

導入者可以拿它做什麼

對正在評估 AI 代理的團隊，Taste-Bench 的用處有兩個層次。第一是觀念上的：別只看最終完成率，也要看代理在關鍵路口的選擇品質；兩種指標回答不同問題，該一起對照流程，而非互相取代。第二是方法上的：這套「從自有執行軌跡擷取分岔、用後續結果當標籤」的建題方式，團隊可以直接搬來用在自家案例上。

實際操作上，收集自己流程中的平行嘗試與繞路紀錄，就能整理出貼近真實工作情境的分岔題，拿來比較不同模型或不同提示策略在自家任務上的判斷表現。這比引用公開榜單分數更貼近部署環境，代價是需要累積一定的軌跡資料，並接受標籤仍反映特定情境的限制。

一句話收斂：Taste-Bench 提供的不是新的排行榜，而是一種把「判斷力」變成可測項目的方法。分數要看，方法更值得學。