九成折扣寫在公告上,帳單省多少寫在你的日誌裡:GPT-6 提示快取的重構判斷
GPT-6 提示快取提供 30 分鐘共享前綴與最多九成快取輸入折扣,這篇文章從帳單組成、前綴設計與量測指標,說明臺灣團隊如何判斷是否值得重構工作流。
2026 年 9 月 22 日,APPI News 刊出一篇關於 GPT-6 提示快取(prompt caching)的分析長文。距離 OpenAI 公告推出已有一段時間,這篇文章之所以值得回頭細讀,是因為多數團隊的問題已經從「有沒有這個功能」變成「重構到底劃不劃算」。這個問題的答案,不在官方定價頁的折扣數字上,而在自己的請求日誌裡。
快取升級了什麼:30 分鐘視窗與可定位的失效原因
GPT-6 的提示快取有三個具體變化。第一,預設快取命中率提高。第二,符合條件的共享前綴可以在 30 分鐘視窗內取得快取輸入折扣。第三,OpenAI 加入儀表板、診斷工具與明確的快取斷點,讓命中率從一個黑箱數字變成可以觀察、可以調整的工程參數。
先用一個日常比喻講清楚「前綴」是什麼。想像你每天都要向同一位顧問簡報專案,最有效率的做法是把不變的背景資料裝訂成一本固定的手冊,顧問讀過一次就記住了;每天真正要講的,只有今天的新進度。提示前綴就是那本手冊:系統指令、工具定義、固定的參考資料,這些每次都一樣的內容放在請求開頭,平臺就能重用先前的處理結果。使用者的新問題、最新查詢結果,則放在後段。
30 分鐘是這本「手冊」的有效期限。過了視窗,或前綴內容被改寫,後續請求就得重讀一次。OpenAI 在公告中以「快取輸入 Token 最多可享 90% 折扣」描述潛在幅度,並引述 GitHub Copilot 產品長 Mario Rodriguez 的說法:提示快取在大規模服務中扮演關鍵角色,能讓 AI 應用更快、更有效率。但要留意,90% 是快取輸入那一項的價格優惠,不是整體帳單的省幅。
診斷工具解決的是另一件事。過去快取沒命中,團隊只能看到成本異常,不知道原因;現在工具能以較早的回應為基準,比對模型、工具、設定與輸入,指出例如 tools_changed 這類具體原因,並估算受影響的 Token 數。換句話說,快取失效從「帳單變貴了」變成「這次改了工具順序,導致前綴無法沿用」,是可以定位、可以修的整合問題。
帳單不是只有輸入:先看組成再談重構
根據該文整理的 GPT-6 Astra 官方模型頁定價,每 100 萬 Token 的標準文字計價為:輸入 10 美元、快取輸入 1 美元、快取寫入 12.5 美元、輸出 50 美元。超過 272K 輸入 Token 時,輸入與快取價格按 2 倍、輸出按 1.5 倍計算。Batch 與 Flex 是標準價的 50%,Fast mode 是 2 倍。
幾個數字值得停下來看。輸出單價是未快取輸入的 5 倍,是快取輸入的 50 倍。這意味著如果你的應用每次都生成大量長文,快取優化做得再好,輸出費用依然主宰帳單。快取寫入單價(12.5 美元)還高於標準輸入,第一次建立可重用前綴是要付溢價的,流量不夠密集的應用可能連這筆都攤不平。
原文給了一個量級試算:每次 100,000 個輸入 Token 中有 70,000 個命中,另產生 20,000 個輸出 Token,單次約 1.37 美元,1,000 次約 1,370 美元;同樣條件全未命中約 2,000 美元。差距明顯,但這個試算未含快取寫入、工具、重試與匯率,實際應以 usage 紀錄核對。
這與我們先前分析的GPT-6 Sol 與 Claude Opus 5.5 的單任務成本之爭是同一條脈絡:模型競爭的主戰場正在從能力規格移到「完成一個任務到底多少錢」,而這個數字只有用自己工作流的實際數據才算得出來。
四個讓「最高折扣不等於最高省幅」的原因
第一是命中率本身。10,000 Token 的提示若只有 2,000 Token 命中,剩下八成仍按未快取輸入計價。第二是請求結構,長輸出的費用可能遠高於輸入端省下的錢。第三是流量密度,重複請求不足時,快取寫入的溢價和重構的人力成本都難以回收。第四是快取失效,變更工具順序、模型或前段設定,可能讓後續所有內容都無法沿用。
還有一個容易被忽略的風險:為了衝命中率,把最新資料、權限資訊或租戶內容塞進共享前綴。命中率上去了,但隔離與資料治理的問題跟著進來。這在多租戶的 SaaS 產品裡尤其需要小心,與我們討論過的遠端管控機的信任結構是同一類問題的兩面:系統裡「看不見的控制層」越方便,治理責任就越重。
臺灣團隊的實際檢查順序
原文對臺灣團隊給出的建議順序值得照做。先在目標組織確認模型、API 權限、付款、使用層級、速率限制與區域支援。特別注意 ChatGPT 訂閱不等於 API 有相同模型或額度,尚未開通時要準備回退模型。
接著安排小流量測試,觀察幾組指標:未快取 Token 與輸入佔比、cached_tokens 與命中率、快取寫入的頻率、以及每次請求的實際成本與延遲。判斷應該回到這些數據,而不是折扣公告。
所以呢:先量測,再重構
這篇文章真正有價值的地方,是把「要不要為了快取重構工作流」從一個感覺問題變成量測問題。如果你的應用屬於連續發出多次請求的長任務代理,反覆攜帶相同的系統指令與工具定義,重構前綴結構很可能值得。如果你的請求前段常被改寫、或輸出 Token 與未快取輸入佔大宗,先動的應該是提示設計與輸出控制,而不是快取。
規格表上看不到的,往往才是重點。90% 的折扣是寫給所有人看的;你的命中率、你的輸出佔比、你的流量密度,才是決定帳單的變數。
主題