菌落數錯了百分之十二：BioBasicsBench 把 AI 的實驗室考題，從背知識搬到讀原始資料

11 月 7 日，OpenAI 與生技公司 Ligo 公開了一套新的評測基準 BioBasicsBench。它不問模型懂多少生物學知識，而是給它 100 項濕實驗室任務：看凝膠影像、數菌落平板、讀顯微鏡影像與儀器輸出，然後判斷證據夠不夠下結論。GPT-6 Astra 在最高推理設定下的平均得分是 66.7%。這個數字該怎麼讀，取決於你先看懂它錯在哪裡。

兩個出錯的例子，比總分更有資訊量

OpenAI 公布的案例裡，GPT-6 Astra 在一塊菌落平板上出現三種失誤：分不開相鄰的菌落、漏掉看得見的菌落，甚至在空白培養基上打了計數點。這塊平板的最終計數，比基準參考值高估約 12%。

另一項 DNA 克隆任務更值得細看。模型分得出兩組菌落條帶，卻接著假設 PCR 產物較大就代表克隆成功，選了第 4、6、7、8 道。依控制組比對，參考答案是第 5、9、10 道。換句話說，影像辨識這關過了，推理這關出錯。而真實實驗室裡，選錯道就等於把後續幾天的實驗做在一批錯的樣本上。

這套基準測什麼：把實驗現場的雜訊留下來

100 項任務分布在五個領域：蛋白質方法、影像與細胞分析、定量與分析方法、核酸方法、分子選殖。輸入材料刻意保留實驗現場的原始樣貌，可能是手寫紀錄照片、板讀儀匯出檔、定序檔案，或不同焦深連拍的顯微鏡 z-stack，也可能附上質體圖譜或試劑資料表當參照。

出題方式也和常見的選擇題基準不同。專家為每題寫下評分規準，再由未參與出題的 Ligo 科學家、外部濕實驗室博士級研究者與內部審查者複核。評分時，結論、數值、推理過程，或指出「證據不足以支持結論」，都可能各自取得部分分數。

用日常比喻：一般知識題像考駕駛筆試，BioBasicsBench 像把考生放到一輛後照鏡歪了、雨刷會跳的車上，看它會不會注意這些問題再開。日常濕實驗工作本來就包含失敗的實驗、模糊的影像與互相衝突的觀察，OpenAI 在介紹中如此描述設計動機。不過這仍是一組特定題目集合，團隊若關注的是其他類型的儀器或樣本，得先確認評測資料與自身工作是否相近。

與其他基準比較也能看出定位差異：LAB-Bench 用超過 2,400 道選擇題測文獻檢索與資料庫操作；BenchBench-Protocol 用科學家實際修改過的 149 份流程測實驗操作調整；BioBasicsBench 測的則是原始實驗資料的判讀。三者分數不宜互相排序。

66.7% 是什麼，不是什麼

先講清楚定義。66.7% 是 GPT-6 Astra 在 xhigh 推理設定下，對 100 項任務、每題作答五次後，依評分規準取得的平均分數佔可得分數的比例。95% 信賴區間為 60.3% 至 73.1%。同一設定中，GPT-6.1 Sol 得 62.0%，GPT-5.6 Sol 得 43.8%。整個評測涵蓋 37 種模型與推理設定，共 18,500 份作答結果。

它不是實驗成功率，也不是模型可獨立完成實驗室工作的比例。因為每題有多個評分條件，部分符合也能得分，所以 66.7% 不等於「答對三分之二的實驗」。信賴區間呈現的是這套估計本身的不確定範圍，不能翻譯成「模型在任一真實實驗中有 95% 機率正確」。

這也呼應我們先前整理過的提醒：模型名稱與推理設定改變時，比較基礎也跟著變，模型選單變長之後，難的是分配工作。看分數時要把設定、輸出長度與任務組成一併帶上，只摘最高數字最容易誤導。

科研團隊的下一步：從判讀切入，別直接跳到操作

對想試用的團隊，這份結果提供了幾個可操作的判斷點。

第一，先測判讀，再談代理。從案例看，模型的影像與資料判讀已有可用之處，但會在推理與控制條件比對上出錯。把 AI 放在「輔助判讀、人工複核」的位置，比直接讓它決定克隆挑選穩妥。

第二，用自有資料自建驗證題。這和 Taste-Bench 用決策分岔考 AI 代理判斷力的思路一致：基準分數是入場參考，真正該問的是模型在你自己的儀器輸出、你自己的實驗紀錄上表現如何。

第三，留意「證據不足時不下結論」這項能力。BioBasicsBench 把它列為可計分行為，對照菌落高估 12% 的案例，這恰好是目前模型最需要被監督的環節。導入時，把「何時該說資料不夠」列為驗收項目，比追求整體高分更實際。

66.7% 是一組特定題目、特定設定下的分數。它能告訴你模型讀原始實驗資料的水準到了哪裡，不能告訴你實驗室的成功率。中間那段差距，正是試點計畫要自己填的部分。