分析
RAG 的答案會碎掉,問題常出在更前面那層:MinerU 為什麼被越來越多人採用
從掘金一篇技術長文出發,說明開源文件解析工具 MinerU 為何在 RAG 與 Agent 開發圈快速累積人氣,以及它的分層解析機制解決了什麼問題。
一個常見的除錯場景是這樣的:使用者問「這份財報裡第三季的淨利潤是多少」,RAG 系統檢索回來的片段裡,表格是散的,數字和指標名對不起來。開發者於是換更好的 Embedding 模型、調整切片大小、加上重排序,效果還是不動。掘金作者「蘇三」在 2026 年 10 月 20 日發表的技術長文點出了關鍵:瓶頸往往不在檢索層,而在更前面的文件解析層。
這篇文章在開發者社羣引起討論,也讓更多人注意到 MinerU 這個在 GitHub 上累積超過八萬 Star 的開源專案。它的定位是「AI-Ready 資料生產的基礎設施」,用白話說,就是在大語言模型喫進文件之前,先把原料整理乾淨的那道工序。
傳統 PDF 解析「碎」在哪裡
很多人會問:用 PyMuPDF 這類函式庫把文字抽出來,不就夠了嗎?能,但它做的事情本質上是逐行逐塊地「摳字」。它不知道哪一行是標題、哪一塊是表格、哪一段是公式,只是把 PDF 裡的文字物件按座標順序吐出來。
用一個比喻:這就像請人把一本雜誌的內容打字抄下來,但他不懂版面,把左右兩欄交錯著抄,表格抄成一串數字,公式直接跳過。抄出來的東西字都在,結構全沒了。
具體來說,這類工具在三種情境會出問題。第一是多欄排版,雙欄論文的閱讀順序是左欄讀完再讀右欄,但按座標排序的工具經常把左欄底部和右欄頂部接在一起,上下文直接斷裂。第二是表格,PDF 裡的表格內容是一堆獨立文字塊,摳出來後行列關係全丟,大模型根本不知道哪個數字對應哪個指標。第三是公式,在 PDF 裡通常是圖片或特殊字體,摳字工具要嘛提不出來,要嘛提成一串亂碼。對技術文件和學術論文來說,公式丟了等於丟了半篇文章。
MinerU 的做法:先理解結構,再重組內容
MinerU 的策略不是一招打天下,而是分場景處理。第一步判斷文件類型:如果 PDF 本身帶有可提取的文字和向量資訊(例如 arXiv 上的論文),就直接解析原生物件,不做多餘的影像轉換;只有掃描件或純圖片頁才啟用 OCR。第二步做版面分析,用視覺模型辨識文字塊、表格、插圖和公式的位置,這一步決定了後續怎麼切分、按什麼順序讀。第三步分元素處理:公式交給模型轉成 LaTeX,表格轉成 HTML 結構,圖片則提取出來並保留位置資訊。最後按照人類閱讀順序重組,剔除頁眉頁腳頁碼,保留標題層級和段落結構。
換句話說,它的輸出不是「一段文字」,而是結構化的 Markdown 或 JSON。這對 RAG 的意義很直接:餵進去的原料是完整的,檢索出來的片段才是完整的。
4.0 版的轉向:從工具變成 Agent 的地基
2026 年 9 月,MinerU 發布 4.0 版本,其中最核心的變化是「定位器」(Locator)能力。以前的文件解析輸出一段純文字,Agent 拿到之後,若想知道某句話來自第幾頁、哪個位置,只能靠猜。4.0 的輸出帶上了穩定的定位資訊,格式包含文件 id、層級、頁碼和區塊編號,讓 Agent 可以先讀文件的整體結構,找到相關段落後精確回到原文位置去覆查、引用、繼續閱讀。
這個能力與企業在導入 AI 代理時最在意的可驗證性直接相關。當代理的輸出需要對照原始文件時,「回答出自哪一頁哪一塊」就不是加分項,而是必要條件,這點在先前探討 代理弱化自身監控的驗收問題 時也是同樣的邏輯:自動化系統的結論能不能回頭查證,決定了它能不能被信任。
另一項改動是四種解析檔位:flash、basic、standard、advanced,取代了原本 pipeline、vlm、hybrid 的選擇。flash 不跑推理模型,直接解析原生文字,適合快速預覽和建索引;basic 用小模型跑 OCR、公式和表格,CPU 就能跑;standard 是預設檔位,小模型加視覺語言模型,兼顧品質與速度;advanced 投入更多推理算力,處理複雜或困難文件。
這個設計解決的是成本配對問題:你不需要為了一份簡單的合約跑最重的模型,也不需要為了一篇複雜的學術論文忍受 flash 檔的粗糙。對每天要批量處理文件的團隊來說,檔位選擇直接對應到算力帳單。
一般使用者該怎麼看這件事
MinerU 走紅的訊號值得放在更大的脈絡裡讀。過去兩年,AI 應用的焦點多在模型和檢索層,但實際落地時,最髒最碎的活往往在資料準備層。文件解析這道過去被視為「呼叫一個函式就結束」的工序,正在被重新定位為獨立的基礎設施,這與我們先前在 瀏覽器端影片壓縮工具 觀察到的趨勢類似:把麻煩的前處理做成人人可用的工具,本身就是一門定位清晰的生意。
對正在搭建知識庫的團隊,這篇文章給出的實用判斷是:如果檢索品質一直上不去,先別急著換模型,回頭檢查解析層的輸出。看看雙欄文件的閱讀順序對不對、表格的行列關係在不在、公式是不是變成了亂碼。原料是碎的,再好的廚師也端不出完整的菜。
至於 MinerU 本身能否在這個位置站穩,要看它的定位器機制與檔位設計能否持續跟上 Agent 生態的需求。但目前社羣用 Star 投出的票說明了一件事:文件解析不再是 AI 應用裡可以被忽略的那一環。