2026年11月10日，掘金作者RockByte發了一篇技術文，標題直接挑戰多數人的直覺：花大錢買的頂級顯卡，可能跑不了你想跑的本地AI模型。文章把兩種價位相近的硬體擺在一起比較，結論是：碰上裝不進顯存的大模型，一臺兩萬元人民幣的AMD迷你電腦，反而可能比三萬元的RTX 5090更實用。
規格表上看不到的，往往才是重點。這篇先從「顯存容量」與「記憶體帶寬」這兩個容易被忽略的數字講起。
算力贏了，容量輸了
文章給出的比較基準是：RTX 5090有32GB顯存、FP32算力104.8 TFLOPS、記憶體帶寬1792GB/s；搭載AMD Ryzen AI Max+ 395（Strix Halo）的迷你電腦可配到128GB記憶體，FP32算力14.8 TFLOPS、帶寬256GB/s。單看算力，顯卡是板載晶片組的七倍。
但跑本地模型時，瓶頸常常不在算力，而在權重放不放得下。以一個70B參數的模型、每個參數佔4位元計算，光權重就要約35GB，超過5090的32GB顯存。要跑也不是不行，把一部分權重挪到系統記憶體，速度就會掉下來。
板載晶片組的優勢在於「統一記憶體」架構：CPU和GPU共用同一批記憶體，可以把128GB裡的很大一塊分給GPU用。蘋果M系列一直是這種設計，這也是有人拿Mac mini跑本地模型的原因，我們先前分析過的Mac本地跑影片生成模型的路徑就是同一條邏輯的延伸。AMD的Strix Halo、NVIDIA的DGX Spark、部分Intel Core Ultra與高通Snapdragon X機型，現在也都跟進了共用記憶體的設計。
帶寬是另一道關卡
統一記憶體不是萬靈丹。作者用一個簡單的算式說明：生成模型每產出一個token，原則上要把用到的權重整個讀一遍。假設模型權重40GB，AMD那臺256GB/s的帶寬跑滿，一秒只能讀六次多一點，換算下來大概每秒六個token。這種速度，多數人很難接受。
蘋果M3 Ultra的帶寬是819GB/s，同樣40GB權重一秒約能讀二十遍。RTX 5090的1792GB/s更高，問題回到原點：那40GB權重根本放不進它的顯存。
用一個日常比喻：顯存像是你桌上放得下的參考資料，帶寬則是你翻頁的速度。桌上放不下，就得一直跑書房拿資料，翻頁再快也沒用；桌上放得下但翻頁慢，一樣急死人。
MoE讓慢機器有活路
文章的最後一段轉折是混合專家模型（MoE）。這種架構生成每個token時，不需要讀全部參數，只要啟用其中一小部分專家。以Qwen3-30B-A3B為例，總參數30.5B，每次只啟用約3.3B。按每參數4位元粗算，整套權重約15.25GB，每次實際讀取的只有約1.65GB。
這個數字改變了整盤算式。256GB/s除以1.65GB，一秒能讀一百五十多次，也就是說，那臺帶寬被嫌慢的迷你電腦，跑MoE模型的推理速度可以完全不輸場面。作者因此給出的實用建議是：用統一記憶體的機器跑本地模型，選MoE架構就對了。
這也解釋了近期本地AI圈的一個趨勢：模型越小、壓得越兇，能跑的硬體越多。像把27B模型壓進7GB顯存的三進制盆栽走的也是同一個方向，只是它靠的是壓縮權重，MoE靠的是少讀權重，兩條路都繞開了同一道牆。
所以呢
對想在家跑模型的讀者，這篇文章拆掉了一個迷思：買最貴的顯卡未必是正解。真正的決策順序是，先看你最想跑的模型權重多大，再決定你要的是大顯存（統一記憶體機器）還是高帶寬（高階顯卡），最後才是看算力跑分。若你的主力是MoE模型，一臺兩萬元的統一記憶體迷你電腦，投報確實可能高於一張三萬元的旗艦顯卡。
至於作者文末提到的迷你電腦算力弱點（訓練與非MoE模型的情境），原文在此處截斷，尚無足夠內容可引；但從前文數據已可推知，14.8 TFLOPS的算力在需要大量運算的場景仍是硬傷，這也是兩種硬體各自劃出的勢力範圍。