跳至主要內容
YIM NEWS

分析

AI 把程式碼越寫越快,驗證這道工序開始有人接手了

TestSprite 今年六月開源命令列工具 testsprite-cli,用自然語言計畫檔與雲端真實瀏覽器執行測試,分析 AI 寫碼時代驗證環節為何開始被工具化。

科技 分析
刊登:(台北時間) 閱讀約 5 分鐘
AI 把程式碼越寫越快,驗證這道工序開始有人接手了 封面版畫

「讓 AI 寫程式」已經不新鮮。一句需求丟給 Claude Code 或 Cursor,幾分鐘後功能連同單元測試一起交上來,這是多數團隊的日常。但掘金在 2026 年 10 月 20 日的一篇文章,把焦點放到一個很少被認真對待的問題:交上來的程式碼,誰確認過真的能用?

單元測試是 AI 自己寫的,測什麼、怎麼測都是它自己決定,等於自己出題自己答。至於頁面有沒有真的渲染出來、介面通了沒有、下單流程走不走得完,這些單測管不到。很多團隊的現況仍然是開發者自測兩下,測試人員手工點一遍,點不過來就賭它沒問題。寫碼的速度被 AI 拉上去了,驗證沒跟上,品質帳一路欠著。

TestSprite 開源的這個 CLI 在做什麼

TestSprite 是西雅圖一家做 AI 測試的新創,主業是雲端自動化測試平臺。2026 年 6 月 11 日,他們把平臺的命令列入口開源,專案叫 testsprite-cli。幾個關鍵資訊:Apache-2.0 授權、TypeScript 加 Node 實作,至文章發布時累積 4,300 多顆星、197 個 fork,最新版本 v0.14.0 於 10 月 6 日發布,倉庫 10 月 7 日仍有提交。

它做的事用一句話講:當 AI Agent 改完程式碼,CLI 會打開真實運行中的應用,像真人使用者一樣把功能走一遍,壞了就拿回一份完整的失敗報告,交給 Agent 自己修。官方給這類工具的位置取了個名字,叫驗證層(verification layer)。寫碼 AI 化了,驗證也要 AI 化,而且要接回 AI 自己手上。

官網另宣稱「從 URL 到首批 50 至 100 條端到端用例約 10 分鐘」「10 萬開發者在用」,這類數字無法核驗,聽聽就好。

一條用例是一個 JSON,沒有一行程式碼

傳統上用 Playwright 寫一條登入驗證,得找選擇器、配等待、寫斷言,幾十行起步,而且選擇器一改就要回來維護。在 testsprite-cli 裡,一條測試是一個計畫檔,用自然語言描述你想保證的行為。例如一條名為「登入時空密碼應被拒絕」的用例,包含兩個步驟:操作步驟寫「導航到 /login 並以空密碼送出表單」,斷言步驟寫「確認畫面出現密碼為必填的行內錯誤訊息」。

整份檔案沒有任何瀏覽器程式碼。這些描述上傳後,由雲端轉成真實的點擊、導航與請求,跑在雲端的真瀏覽器和真 API 上。README 裡有句話寫得很直白:Not a mock。

前端走這條路。後端測試走 Python,在雲端沙箱裡直接執行測試函式,沙箱預裝了 requests、pytest、numpy、scipy 等常用庫。後端用例之間還能編排依賴,把造資料、用資料、收尾清理幾類用例按順序串起來,變數往下傳,前後端放在同一個套件裡一起管理。

不想從零寫第一批用例,還有生成這條路。test plan generate 讓平臺探索你的應用,或讀你上傳的 API 文件,先起草一批用例放在服務端等你審核,看中哪條收哪條。這與我們先前整理過的AI 工具往開發平臺推進的走向相符,工具鏈正在從「幫你寫碼」延伸到「幫你確認寫出來的東西對不對」。

失敗報告的設計,明顯是給 AI 讀的

測試跑掛之後最累的是排查。截圖存在 A 系統、日誌在 B 系統、DOM 是三天前抓的,拼在一起看半天,才發現看的是兩個版本的東西。

testsprite-cli 的失敗報告針對這個痛點做了設計。test failure get 拉下來的是一整個包:失敗步驟、前後相鄰步驟、截圖、DOM 快照、測試原始碼、根因假設、建議修改位置,全部在裡面。所有材料共享同一個 snapshotId,CLI 明確拒絕把兩次運行的資料拼在一起。

這個設計的用意很清楚。AI Agent 有個出名的毛病,拿著縫合過的上下文一本正經地推理。把證據釘死在同一次運行裡,它就只能對著真實現場說話。人讀這份包也一樣省事,排查一個失敗不用再跨三個系統翻材料。同樣的邏輯也出現在AI 專案執行時間過長的排查討論裡,問題往往出在流程設計,這些工具真正在賣的是把混亂的驗證流程收攏成結構化輸入。

整條路徑形成的循環

回到原本的問題。AI 每次改完程式碼,第一個該問的問題是:這個行為,套件裡覆蓋了嗎?沒覆蓋就先補一條計畫檔,覆蓋了就跑一遍,掛了拿失敗包去修,修完再跑。寫碼、驗證、修復三件事都回到同一個 Agent 手上,人退到審核用例與看報告的位置。

對一般開發團隊來說,這類工具值得注意的點有兩個。其一是用例以自然語言計畫檔的形式存在,維護成本從「改選擇器」變成「改一句描述」,測試資產的可讀性和可移交性都提高了。其二是驗證層這個定位本身:當寫碼速度不再是瓶頸,品質確認工序就成了下一個被工具化的環節,誰先把驗證接進 Agent 的迴圈裡,誰就先拿到 AI 開發流程的品質話語權。

至於雲端執行代表的資料外流問題,產品要把你的應用、API 文件、測試資料都送上服務端,這是採用前必須自己評估的取捨,目前來源並未提供私有部署的相關資訊。

主題

#testsprite+軟體測試#aiagent+開發流程#testsprite-cli+開源工具