AI 給了答案,使用者就不說「我不知道」了:一項3,132人實驗對產品設計的提醒
2026年10月23日,APPI News 刊出一篇由張饒輝撰寫的長文,整理2026年7月發布的一項學術研究。這項研究以五項實驗、共3,132名參與者,觀察一個產品團隊平常不太追蹤的行為:當AI建議擺在眼前時,人們還會不會選擇「先不要回答」。
這個問題看起來很學術,但它對應的場景非常日常。同事用聊天機器人查了資料直接貼進羣組、客服系統自動把建議答案填好、搜尋引擎在結果頁頂端給出摘要。這些設計共同的假設是:答案愈快出現愈好。這項研究問的卻是:答案太快出現,使用者判斷「我其實不確定」的能力會不會被壓縮掉。
實驗怎麼設計的
研究者用的是電影細節題,例如角色穿什麼服裝、場景裡有什麼物件。這類細節不容易從常見網頁文字查到,研究者據此設計出AI大多會答錯的建議,再比較可使用AI與不可使用AI的組別。這個設計的關鍵在於把兩件事分開:AI「可不可以拿到」,以及AI建議「可不可靠」。
五項實驗中有四項事前註冊研究計畫,一項直接重複先前實驗。前兩項讓參與者自行決定要不要查AI;後續實驗加入答對得分、答錯扣分的金錢誘因;最後一項改為自動顯示AI建議,模擬使用者沒有開口問、介面仍把答案放到眼前的情境。每道題都可以選不回答,研究者因此能直接記錄「暫停判斷」的比例。
數字說了什麼,又不能說什麼
研究報告指出,在 Study 2 的無金錢誵因組,沒有AI的參與者答對比例約28%,可取得AI建議者約10%;平均信心則從29.6升到75.9。同一批人在答案更不正確的情況下,對答案的把握反而大幅提高。
讀這組數字有幾個前提要注意。這是單一實驗條件下的比較,不是五項實驗合併的結果,更不能當成一般生成式AI的準確率,或日常使用者的表現預測。題目經過刻意挑選,讓AI幾乎必錯,這是研究方法的安排,目的在於放大觀察效果。
正確率與信心回答的是不同問題。正確率看答案是否符合事實,信心是作答者對自己答案的主觀把握。若產品評估只看使用者有沒有更快完成任務,就會漏掉「錯誤答案伴隨高把握」這種組合,而這往往是最容易在組織裡流竄的錯誤型態:一個語氣篤定的答案,配上一份看起來完整的說明,轉發出去之後沒有人再回頭查證。
為什麼流暢的答案會影響判斷
研究結果提示,AI答案的可得性可能改變人們認定「我已經知道得夠多」的門檻。張饒輝在文中提出一個可供產品團隊檢驗的解釋方向:當介面提供完整句子、語氣肯定的AI建議,使用者可能把答案的「完整度」當成「可信度」的線索。
用日常比喻來說,這就像問路。你自己查地圖時,會意識到哪些路段沒看清楚;但如果有人用非常篤定的口氣直接告訴你「往前第三個路口右轉」,你多半就直接走了,即使那個人其實也不熟路。流暢的表達改變的不是路況,而是你評估自己不確定程度的意願。
不過原文也明確劃了界線:這五項實驗並沒有直接測試文字流暢度是否為成因。把流暢表達、答案預設顯示、完整句式視為可能機制,是假說,不是已證實的因果。研究中「暫停判斷」也有明確的操作定義,指的是選擇不回答,不等於參與者失去辨識能力。
另一項 CHI 2024 的同儕審查研究《Are You Really Sure?》補上另一個角度。該研究比較三種信心校準機制,發現校準使用者信心在部分面向有助於提升人機團隊表現、更合理地依賴AI。兩項研究合起來看的訊息是:信心、正確率、以及「我知道」,是三個應該分開測量的指標,不能互相替代。
對做產品的人的實際意義
這項研究對評估方法的提醒相當具體。多數產品儀表板追蹤完成率、速度、採納率,但論文指出,「能否暫緩作答」是一項獨立行為,不能用「有沒有採納AI答案」代替衡量。有人不照單全收,卻仍因為看到建議而急著猜答案;也有人採納了可信可查證的建議,屬於合理依賴。產品評估應把幾件事分開記錄:是否尋求建議、是否採納、是否保留疑問、最終答案是否正確。
研究摘要還有一個對設計誘因結構有用的發現:加入準確率獎懲後,參與者整體上較少尋求和跟隨AI建議,答案也更準確;但暫停判斷的變化因實驗而異,Study 2 未顯著增加,Study 3 才觀察到增加。這說明單一誘因設計的效果並不穩定,介面評估需要在多個條件下重複驗證。
對一般使用者而言,這與我們先前整理過的AI用藥回答的查證三步驟是同一件事的不同切面:AI給出的答案越順、越快,自己動手查證的那一步就越需要刻意保留。對團隊而言,可以落地的做法是在AI輸出旁保留「依據來源」與「不確定標示」的版位,並且在內部流程裡把「先不決定」設計成合法的選項,例如要求AI輔助的決策文件註明哪些結論未經第二來源確認。
這項研究測的是電影細節題,結論邊界就在這裡。它證明的是特定條件下AI可得性與暫停判斷減少之間的關聯,以及信心與正確率可能反向變化。但對任何把AI輸出直接放進使用者眼前的產品來說,它提出的那個問題值得放進評估清單:使用者看完答案之後,還知不知道自己其實不知道。