跳至主要內容
科技 評析

AI 模型被稱為「最強大的網路武器」:這句警告值得認真讀,但別只讀字面

Cohere 執行長稱 AI 模型正在成為史上最強大的網路武器,這篇評析從攻擊成本的運作機制與企業防禦的實際落差,整理這句警告對一般組織的意義。

YIM NEWS 編輯台 閱讀約 5 分鐘

把鏡頭拉近一點,先看這則發言裡最容易被略過的定語:「有史以來最強大的網路武器」。說這句話的人是 Cohere 執行長,一家做企業級大型語言模型的公司。這個身分讓這句話有兩層讀法:一層是對 AI 安全風險的誠實警告,另一層是模型供應商在對客戶與監管者喊話,強調「安全」本身是產品的一部分。兩層都成立,而且互不排斥。

為什麼「模型變武器」在技術上講得通

傳統網路攻擊有個一直沒變的瓶頸:規模化需要人力。釣魚郵件要寫得像、詐騙劇本要因地制宜、漏洞利用要有人讀程式碼。這些都是勞力密集的工作,攻擊者的產能因此有天花板。

大型語言模型改變的正是這個瓶頸。想像一個翻譯社僱了一萬個精通各國語言、熟悉各行各業術語的寫手,而且這個翻譯社每分鐘都能複製自己。過去釣魚郵件的破綻常常在語言:奇怪的措辭、對本地脈絡的陌生。模型把這個破綻補掉了。客製化攻擊的成本,從「僱人」降到「呼叫 API」。

這也是為什麼資安圈過去兩年反覆討論的 AI 風險,焦點從「AI 系統本身被駭」慢慢移到「AI 被拿來當攻擊的放大器」。前者是新的攻擊面,後者是舊攻擊的量產化。Cohere 執行長的警告屬於後者,而後者離一般組織的日常更近。

防禦端的速度,決定這句警告的成色

攻擊與防禦都在用同一批模型,這是當前資安格局最微妙的地方。防禦端也確實在用 AI 做異常偵測、日誌分析、釣魚郵件過濾,反應速度比過去靠規則庫的方式快得多。

問題在於不對稱。攻擊者只需要找到一個沒被擋住的路徑,防禦者要擋住所有路徑;攻擊者用模型客製化一封郵件只要幾秒鐘,防禦者訓練員工辨識卻要以年為單位。模型讓攻擊的邊際成本趨近於零,但沒有讓防禦的邊際成本同步下降。這才是「最強大的網路武器」這個說法裡,真正值得組織負責人記住的部分。

這與我們先前分析的OpenAI 把安全防線前移到訓練室是同一條脈絡下的兩端:模型公司開始把安全當成開發流程的一環,而不只是上線後的補丁。差別在於,OpenAI 那次講的是模型供應商自己別被駭,Cohere 這次講的是模型產物被拿去駭別人。

供應商喊話的利益結構

回到發言者的身分。Cohere 的主力客羣是企業,賣的是私有部署與可控性相對高的模型服務。「AI 是強大武器」的敘事,對這類公司有直接的商業意義:它抬高了「隨便找一家模型接入」的風險感知,也抬高了「找一家重視安全治理的供應商」的價值。

這不代表警告是假的。安全議題常常是這樣運作的:真實的風險,配上剛好能從這個風險獲益的發言者。讀者的正確姿勢是同時接受兩件事,風險是真的,發言者的商業動機也是真的,然後把注意力放回自己的判斷框架。

一個可用的檢驗方式:看這家公司的安全投入是否反映在可驗證的機制上,例如紅隊測試的頻率與公開程度、對模型輸出濫用的防護設計、事故揭露的透明度。口頭警告人人會說,機制才看得出誠意。這與我們在美國點名六家中國 AI 公司的蒸餾指控裡看到的結構類似,模型輸出可以被規模化複製利用,這件事的治理界線至今仍然模糊。

一般組織能帶走的三個動作

對多數企業來說,這句警告不該停留在新聞標題層次。可以轉成幾個具體檢查。

第一,把釣魚演練的難度調高一級。過去用明顯破綵的假郵件測試點閱率,已經跟不上模型客製化的攻擊水準。演練素材應該用本產業術語、真實同事語氣的等級來做。

第二,盤點對外溝通管道的可偽造程度。語音克隆與影片生成的門檻持續下降,「老闆語音指示轉帳」這類情境不再需要技術背景就能執行。關鍵流程需要一條不依賴單一通道的確認路徑,例如語音指示一律回撥已知號碼確認。

第三,內部使用 AI 工具的政策要跟外部攻擊政策一起想。同一個能幫員工寫信的模型,也能把內部文件摘要後帶出去。資料分級與模型存取權限的對應關係,比禁用或放任兩個極端都更實際。

下一步該盯的訊號

這類高層發言之後,值得觀察的後續有兩處。一是各國監管機構是否把「模型產物用於攻擊」納入既有資安法規的解釋範圍,這會決定企業的合規成本落在誰頭上。二是模型供應商之間是否出現安全能力的公開比較基準,類似過去防毒軟體偵測率的評比。一旦出現,安全就從敘事變成規格表,那時候挑模型的方式會跟現在不一樣。

在那之前,這句「最強大的網路武器」最好被當成一張提醒便條:攻擊的門檻在下降,你的防禦流程上次更新是什麼時候。

#cohere與ai安全#生成式ai與資安#ai模型與企業防禦