11月21日,據Tom’s Hardware報導,羣聯在SC26大會展示兩款針對AI場景設計的企業級固態硬碟。其中一款把NPU(神經網路運算單元)和64GB記憶體直接裝進硬碟,支援在硬碟上執行PyTorch、vLLM、OpenVINO與llama.cpp等推論框架。這項設計聽起來技術味很重,但它影響的其實是很日常的問題:資料搬家要花多少時間和電。
瓶頸不在算,在搬
先看這條新聞裡最容易被略過的那一行:該產品的設計思路是把部分運算從伺服器轉移到SSD,硬碟直接處理自己存的那份資料,只把結果回傳給主機,不必把整個資料集搬過去。
用一個貼近生活的比喻:傳統做法像家裡開餐廳,所有食材都得先送到中央廚房處理,再端回來。廚房再大,來回運送的時間就是省不掉。羣聯的方案等於在倉庫旁邊直接裝了一個小爐臺,能現場做的菜就現場做,只把成品送出去。
這個比喻裡的「運送成本」,在資料中心是真金白銀。AI推論與檢索工作負載中,大量時間與電力花在把資料從儲存裝置搬進主機記憶體,算完可能只用一小部分。羣聯表示,在特定工作負載下,這種做法有望把資料傳輸量降低10至100倍,同時減輕主機CPU的負擔。要注意「特定工作負載」這個但書:能就近處理的前提是,運算本身夠簡單、資料夠大,兩者缺一,搬運省下的量就有限。
這與我們先前討論過的RTX 5090顯存跑不動本地大模型是同一個問題的另一面:當模型的瓶頸從運算力移到資料搬運與記憶體容量,產業就會往「讓資料少走一點路」的方向找答案。有人選擇把模型塞進統一記憶體架構,羣聯選擇讓儲存裝置自己長出算力。
第二款產品:快閃記憶體的「分區打工」
另一款展示品走的是不同路線。它採用Mixed Media混合介質設計,把高耐久的pSLC快取與大容量QLC閃放在同一顆硬碟裡,由一顆16通道主控管理。做法是將部分QLC切成SLC模式運作,犧牲容量換取寫入速度與壽命,兩個區域各自配置獨立命名空間,主機依資料型態選擇存放位置,不必額外裝軟體。
延續餐廳的比喻,這像是把冰箱分出一格急凍區:放常備料的格子大但存取慢,需要頻繁進出的醬料放門邊。QLC便宜但寫入壽命短,SLC模式耐寫但容量縮水,混在一起等於一顆硬碟同時當倉庫和快取。
羣聯給了一個具體的可靠性數字:在24顆SSD組成的系統裡,若其中一顆故障,快取損失比例約4%;傳統用4顆獨立快取碟的方案,壞一顆就損失25%快取容量。快取分散化的好處在這裡很直觀:雞蛋不放在少數幾個籃子裡。
所以呢:觀察指標比規格表重要
規格表上看不到的,往往才是重點。這類「運算進儲存」的產品短期內不會出現在一般消費者的購物清單,它的戰場是資料中心,對象是檢索、向量資料庫、日誌分析這類讀多算少的工作負載。對一般讀者,這則新聞的意義在於產業方向的訊號:當AI推論的單位成本壓力夠大,連硬碟都開始承擔一部分算力,運算和儲存的界線正在重新畫線。
後續值得留意兩件事:一是羣聯何時公布實際的推論效能與功耗數據,目前130GB/s頻寬與64GB記憶體的組合還只是規格層級的資訊;二是PyTorch、vLLM這些框架在SSD端執行的成熟度,框架支援寫進新聞稿和寫進生產環境,中間通常還有很長一段路。在那之前,把這兩款產品當成方向宣示來讀,比當成即戰力來讀,更貼近它現在的位置。