隨著數位化時代的到來，文件數量急劇增加。包括文字文件、網頁、簡報、海報、電子試算表資料，甚至是場景文字圖像。這些文件不僅封裝了不同行業內部和外部事務的處理細節和積累的知識，還涵蓋了大量的行業相關實例和資料，其中蘊藏著難以估量的價值。近年來，以GPT系列為代表的大型語言模型（LLMs）極大地推動了文件智能領域的發展，讓我們以為像合約審核或財報問答的任務可以直接交給AI處理。但當我們把一年的發票、合約、年報塞給模型，問它「本季度的淨利潤同比變化」時，模型卻愣住了：文字是對了，結構卻消失了；答案有了，追溯來源卻沒有了；上下文加長了，幻覺問題卻嚴重了。
因此，如何高效地自動分析、分類、提取和查詢這些文件，將文件的價值規模化釋放變得至關重要。這正是今天這篇論文要解決的核心問題。來自東南大學及北京計算機技術及應用研究所的研究者們將管線式與端到端的取捨、RAG 與長上下文的協同、以及表格、版面、公式這些「難啃的骨頭」放在一起，給出了一套可落地的工程藍圖。這篇文章已經被ACM接受。
主要貢獻包括：
全面的文獻回顧：回顧了總共322篇論文，重點分析了2021年至2025年間發表的265篇論文，提供了對該領域演變的深入視角。
深入分析當前開發範式：系統比較管線式解析 vs 端到端解析，涵蓋了文件解析、歸納文件和表格專用LLM、細化RAG（檢索增強生成）全鏈路、梳理長上下文方法。
總結實際應用、資料集和評估標準：整理了20個真實世界的應用任務、30個常用資料集、6個基準測試套件和16個評估指標。
探討挑戰與未來方向：討論了文件LLMs領域當前面臨的主要挑戰和未來的發展方向。
精華摘要：文件智能的認知導航圖
面對AI處理複雜文件時「理想很豐滿，現實很骨感」的困境，這篇重量級綜述論文為我們提供了一份清晰的「作戰地圖」。本文將為您系統拆解這份地圖的核心內容，主要聚焦於三個層面：
兩大主流範式：深入對比管線式 (Pipeline) 的模組化組合與端到端 (End-to-End) 的一步到位，分析兩者在工程實踐中的優劣與取捨。
四大核心技術：詳細剖析當前最關鍵的技術路徑，包括文件解析、專用LLM微調、火熱的RAG (檢索增強生成) 以及突破瓶頸的長上下文處理，看它們如何協同解決表格、版面、多頁等難題。
一套完整生態：全面梳理從資料集、開源工具到產業基準和評估指標的完整生態，為技術的評估和落地提供依據。
相信您看完後會對當前的文件智能領域有一個全面而又系統的認識。
文件智能的8個核心挑戰
研究者們首先總結了文件處理中普遍存在的八大挑戰（CH1-CH8），這些是理解後續技術方案的出發點：
1. 文件解析 (Document Parsing): 如何準確地從多樣的格式（PDF、圖片）中提取文字、版面、表格等資訊，並處理掃描雜訊。
2. 複雜版面 (Complex Layouts): 文件通常包含頁首、頁尾、多欄、圖表等複雜排版，模型需要理解這些視覺版面才能正確理解內容。
3. 富含細節的圖像 (Rich-detail Images): 文件中的圖像（如圖表、示意圖）比自然場景圖像解析度更高、細節更豐富，對視覺編碼器的要求很高。
4. 多頁文件 (Multi-page Documents): 如何在處理多頁文件時保持上下文的連續性，關聯跨頁資訊。
5. 表格識別 (Tabular Recognition): 準確地識別表格的行、列、儲存格邊界，特別是對於複雜的合併儲存格。
6. 表格推理 (Table Inference): 不僅要識別表格，還要能對表格中的資料進行邏輯和數學推理（如計算財務報表）。
7. 多模態資訊利用 (Multimodal Information Utilization): 如何有效融合文字、圖像、表格、版面等多種模態的資訊。
8. 長上下文 (Long Context): 文件通常很長，內容遠超現有LLMs的上下文視窗限制，導致資訊處理不完整。
兩大主流技術範式
研究者們將當前的技術方案歸納為兩大範式，這兩種範式的主要區別在於是否依賴傳統的光學字元識別（OCR）工具。
流水線範式 (Pipeline-based / OCR-based):
流程: 這是一個模組化的、分階段的處理流程：文件圖像 -> 圖像預處理 -> 版面分析 -> OCR識別 -> 語義理解。每個階段使用專門的工具或模型，例如用OCR工具提取文字，再將文字輸入LLM進行理解。
優點: 結構清晰，每個模組可以獨立優化，可解釋性強。
缺點: 流程長，容易產生錯誤累積（前一階段的錯誤會傳遞並影響後續階段），且工程開銷大。
端到端範式 (End-to-End / OCR-free):
流程: 直接將文件圖像和任務指令作為輸入，通過一個統一的多模態大模型（MLLM）直接生成最終結果（如JSON格式的結構化資料）。代表模型有Donut、Nougat。
優點: 避免了中間步驟的資訊損失，對複雜版面和非標準文件的適應性更強。
缺點: 需要極大的模型、海量的訓練資料和巨大的計算資源，且容易出現「幻覺」問題。
關鍵技術一：文件解析
文件解析是文件智能流程的入口，其核心目標是將各種格式的文件（如掃描件、PDF、網頁等）作為輸入，輸出結構化的、機器可理解的表示或語義資訊。這項技術主要通過兩種不同的範式來實現：基於管道（Pipeline）的方法和端到端（End-to-End）的方法。
1. 基於管道 (Pipeline) 的方法
這種方法繼承了傳統的文件分析理念，將複雜的解析任務分解為一系列獨立的、順序執行的模組化步驟。
核心流程
一個典型的管道流程包含以下幾個關鍵環節：
圖像處理 (Image Processing)：這是最初的預處理階段，目的是提升文件圖像的品質，為後續步驟打好基礎。具體任務包括：
預處理：如圖像去噪、對比度增強、二值化等。
校正：修正圖像的傾斜、失真等問題。
移除干擾：去除邊框、浮水印等裝飾性元素。
版面分析 (Layout Analysis)：此階段旨在識別和分割文件的物理結構，理解各個內容元素（如文字塊、標題、表格、圖片）的位置和關係。
技術演進：早期研究直接使用CNN進行版面單元檢測，而近年來基於多模態Transformer的方法，通過結合圖像和文字嵌入資訊，取得了更好的效果。例如，將文件表示為圖結構，然後利用圖神經網路（GNN）進行分割和分類。
內容識別 (Content Recognition)：在完成版面分析後，此階段專注於識別具體內容。
文字識別 (OCR)：這是最核心的部分，包括識別印刷體、手寫體和場景文字。研究人員利用Transformer架構統一文字檢測和識別任務，或通過自監督學習提升模型的穩健性。
數學公式識別：由於公式包含複雜的結構（如上下標、特殊符號），識別難度遠超普通文字。相關方法通常先檢測公式實體，再利用多模態Transformer進行分組和解析。
實體標準化：在OCR之後，文字可能存在錯誤，此步驟旨在消除實體（如人名、機構名）的歧義，並將其轉換為標準化的識別符。
語義理解 (Semantic Understanding)：這是管道的最後一步，旨在從識別出的內容中提取有價值的資訊，並理解其含義。任務包括：
資訊提取：從文字中抽取關鍵實體和關係。
文件問答 (Q&A)：根據文件內容回答使用者提問。
摘要生成：自動生成文件的核心內容摘要。
優點與缺點
優點：每個模組都可以獨立進行優化和替換，系統具有很強的可解釋性和可控性。
缺點：流程較長，且前一階段的錯誤會傳遞並累積到後續階段，可能導致整體性能下降。
相關工具
許多開源工具和框架都採用了管道模式，例如：
PP-Structure：集成圖像校正、版面分析和多種識別工具，進行文件解析。
Docling：一個Python包，集成了版面分析和表格結構識別等功能。
MinerU：集成了OCR、表格識別、公式識別等多個開源工具，並進行了大量的工程後處理。
RagFlow：一個專注於文件解析的RAG框架，應用OCR技術和解析器支持不同格式的文件解析。
2. 端到端 (End-to-End) 的方法
與管道方法相反，端到端範式利用一個統一的多模態大模型（MLLMs），直接將原始文件圖像和任務指令（Prompts）作為輸入，一次性生成最終的解析結果。這類方法通常也被稱為「OCR-Free」方法，因為它們不依賴外部的OCR工具來提取文字。
核心思想
端到端方法的核心是訓練一個大型視覺語言模型（LVLM），使其能夠直接理解圖像中的文字和版面資訊。
模型訓練：通常需要構建大量的<prompt, doc_image, ocr_md>三元組資料對模型進行特定訓練和微調。
代表性模型：
Donut：首個提出的OCR-Free模型，直接將輸入圖像映射到結構化輸出。它在預訓練階段學習「閱讀」文字，在微調階段學習根據下游任務「理解」整個文件。
Nougat：使用Swin Transformer編碼器和mBART解碼器，將PDF格式的學術文件直接轉換為機器可讀的Markdown語言。
優點與缺點
優點:
避免了管道方法中因多模組串聯而導致的錯誤累積問題。
在處理複雜版面和非標準文件時展現出更強的適應性。
流程完整且平滑。
缺點:
容易出現「幻覺」（Hallucination）和泛化能力不足的問題。
需要極大的模型規模、海量的訓練資料和巨大的計算資源。
推理速度慢，記憶體消耗高，限制了其在即時場景中的應用。
文件解析技術正處於從傳統的、模組化的管道方法向更集成、更強大的端到端方法演進的過程中。管道方法成熟、可控，在許多場景下依然是實用且必要的選擇。而端到端方法則代表了未來的發展方向，儘管目前仍面臨性能和資源上的挑戰，但其潛力巨大。
關鍵技術二：文件和表格專用LLM
第二種關鍵技術，微調文件LLMs (Fine-tuning Document LLMs)。
這項技術的核心思想是，雖然通用的多模態大模型（如BLIP、FlanT5）具備理解圖像和文字的基礎能力，但它們並未針對文件這種富含文字、版面複雜、結構多樣的特殊「圖像」進行優化。因此，通過微調 (Fine-tuning) 的方式，可以將這些通用模型的能力繼承下來，並進一步發展出專門處理文件任務的專業模型，即文件LLMs (Document LLMs)。
論文將這一技術領域分為兩大類：通用的文件LLMs和專門針對表格的表格LLMs (Table LLMs)。
1. 文件LLMs (Document LLMs)
文件LLMs旨在通過端到端的方式全面理解整個文件，有效保留視覺版面、結構資訊和多模態線索，特別適用於需要精確版面保留和綜合多模態推理的任務。
典型的微調框架
一個典型的微調流程如上圖所示，它通常包含幾個關鍵組件：
1. 凍結的骨幹模型 (Frozen Backbones)：通常會使用兩個預訓練好的、參數被凍結（不參與訓練）的模型，例如一個視覺編碼器（如BLIP）用來理解圖像，一個大型語言模型（如FlanT5）用來處理文字和指令。
2. 可訓練的「橋樑」結構：為了將視覺資訊和語言資訊對齊，會引入一些可訓練的模組。例如，論文中提到的Document-former 和前饋網路（FFN）。Document-former的作用是將視覺編碼器輸出的圖像資訊映射到語言模型的語義空間中。
3. 輸入與輸出：輸入通常包括文件圖像、從圖像中提取的OCR文字和座標資訊，以及一個描述任務的指令（Prompt）。這些資訊被送入模型後，LLM最終生成任務所需的結果，如分類、問答等。
解決的關鍵挑戰與相應技術
微調文件LLMs主要為了解決以下幾個核心挑戰：
挑戰一：複雜的結構與版面理解 (Structure and Layout Understanding)
問題：文件的語義不僅由文字決定，還與版面（如標題、清單、段落的位置關係）緊密相關。
解決方案：將版面資訊作為一種獨立的模態輸入給模型。
DocLLM：通過OCR獲取每個文字token的邊界框座標，並將這些空間版面資訊作為獨立向量與文字資訊一同輸入模型。
LayoutLLM：使用像LayoutLMv3這樣的編碼器來處理文件圖像，並顯式地表示其二維位置特徵（如左上角和右下角座標）。
InstructDoc：同樣使用OCR提取文字和文字框座標，並通過Document-former將視覺編碼器、OCR座標和LLMs連接起來。
挑戰二：高解析度圖像處理 (High-Resolution Image Processing)
問題：與自然圖像相比，文件圖像的解析度更高，資訊密度更大。而大多數視覺編碼器的輸入解析度有限，直接縮放會導致關鍵細節丟失。
解決方案：採用特殊的圖像處理策略，以OCR-Free的方式處理高解析度圖像。
mPLUG-DocOwl1.5：採用形狀自適應切片模組，將高解析度圖像切成多個子圖進行處理。
TextMonkey：使用滑動視窗來劃分高解析度圖像，並通過令牌重採樣器來壓縮過長的令牌序列，以在保留資訊的同時提高效率。
Fox：通過高壓縮率將一個1024×1024的頁面壓縮成256個圖像令牌，實現了對多頁文件的高效微調。
挑戰三：多頁文件理解 (Multi-Pages Document Understanding)
問題：真實世界的文件大多是多頁的，模型需要理解和關聯跨越不同頁面的資訊。
解決方案：
分層處理：像Hi-VT5和InstructDoc這樣的模型，會先獨立處理每一頁，然後將每頁的輸出（如嵌入向量）進行聚合（如通過平均池化），最後送入LLM生成最終答案。
統一嵌入：將不同頁面的圖像塊、OCR文字和座標等資訊嵌入到一個統一的空間中，從而讓模型能夠更好地捕捉跨頁面的關係。
先進視覺建模：利用DocOwl2等模型中的高解析度文件壓縮模組，在壓縮圖像特徵的同時保留關鍵的版面和文字資訊，從而高效處理多頁文件。
2. 表格LLMs (Table LLMs)
表格是文件中一種常見且重要的結構化資料形式，但其複雜的結構（如合併儲存格）給LLM的理解和推理帶來了巨大挑戰。表格LLMs就是專門為應對這些挑戰而設計的。
主要技術路徑
路徑一：表格資料訓練 (Tabular Data Training)
核心思想：通過構建包含多種表格任務的大規模訓練資料來專門訓練LLM，提升其理解表格的能力。
代表模型：
Table-GPT：為不同的表格任務（如查找列、錯誤檢測、表格摘要）綜合並構建訓練資料，然後對模型進行「表格微調」。
TableLLM：不僅使用現有的基準訓練資料，還從可用表格資料中自動生成新的問答對，並通過交叉驗證策略確保生成資料的品質。
TableLlama：從維基百科的電子試算表中構建了包含表格解讀、增強、問答和事實核查等多種任務的訓練資料。
路徑二：基於提示的表格推理 (Prompt-Based Table Reasoning)
核心思想：應用思維鏈 (Chain of Thought, CoT) 和情境學習 (in-context learning) 等技術，將複雜的表格推理問題分解為多個步驟，逐步解決。
代表模型與方法：
TableCoT：利用包含多個示例的少樣本 (few-shots) 提示形式，引導模型進行複雜表格的推理。
DATER：如上圖所示，首先利用LLM將複雜問題分解為子問題，並提取相關的子表格；然後將子問題轉換為可執行的查詢（如SQL），最後再進行推理得到答案。
Chain-of-Table：定義了一系列表格操作（如添加列、排序等），在推理的每一步，模型會動態生成一個操作來更新表格，從而形成一個清晰的推理鏈條。
「微調文件LLMs」是一項關鍵技術，它通過在通用大模型的基礎上進行專門化的訓練，使其能夠精準地理解文件特有的版面、結構和內容，無論是處理複雜的掃描文件還是進行基於表格的邏輯推理，都展現出了比通用模型更強的性能。
關鍵技術三：RAG檢索增強生成
RAG，Retrieval-Augmented Generation是一種強大的框架，旨在解決大型語言模型 (LLMs) 在處理資訊密集、冗長或專業領域的文件時面臨的挑戰。其核心思想是，不完全依賴 LLM 內部儲存的知識，而是通過一個檢索器 (Retriever) 從外部知識庫（在這裡就是指待處理的文件）中動態查找相關資訊，然後將這些資訊與使用者的原始問題一起提供給生成器 (Generator)，也就是 LLM，從而生成更準確、更具事實依據且上下文更相關的回答。
1. 預處理 (Preprocessing)
資料清洗 (Data Cleaning)
在將文件存入知識庫之前，必須進行有效的資料清洗，因為原始文件中包含的大量無關資訊會干擾後續的檢索效果。
基本文字清洗：統一文件格式，移除特殊字元、無關細節和冗餘資訊。例如，HtmlRAG 會自動清理 HTML 文件中的 CSS 樣式、JavaScript 代碼和不必要的標籤屬性。
資料增強 (Data Augmentation)：通過同義詞替換、釋義或多語言互譯等方法來擴充和豐富知識庫，這在資料資源較少的場景下尤其有效。
分塊 (Chunking)
由於 LLMs 存在固定的上下文視窗限制，無法一次性處理長文件。因此，分塊技術成為一種必要的解決方案。它將長文件分割成多個符合模型視窗大小的片段。
簡單分塊 (Simple Chunking)：將文字分割成固定大小的片段，這是一種直接且常用的策略。可以通過設置重疊（overlap）來緩解語義單元被切斷的問題。
基於規則的分塊 (Rule-based Chunking)：利用文件的結構特徵或特殊符號（如換行符）進行分割。例如，遞歸分塊 (recursive chunking) 會使用一系列分隔符（如
、
）來迭代地分割文字。
基於語義的分塊 (Semantic-based Chunking)：識別並組合文件中具有語義意義的元素，如表格、多級標題及其相關內容，從而生成上下文更連貫的塊。
2. 檢索 (Retrieval)
檢索是 RAG 的核心，其準確性直接影響最終生成內容的品質。這個過程通常分為三個階段。
檢索前 (Pre-retrieval)
在正式檢索之前對查詢進行優化，以提高檢索的效率和品質。
查詢重寫 (Query Rewriting)：改進使用者查詢，解決其中可能存在的模糊、拼寫錯誤或不具體等問題，使其更好地與知識庫對齊。例如，HyDE 方法會從使用者查詢中生成一個「假設性」文件，然後用這個文件來引導檢索。
元資料利用 (Metadata Utilization)：利用文件的元資料（如作者、文件類型、章節標題）來提供額外的上下文，或作為篩選器來縮小檢索範圍，提高相關性。
正式檢索 (Formal Retrieval)
這個階段的目標是找到與使用者查詢最匹配的文件塊。
檢索器類型：
稀疏檢索器 (Sparse Retrievers)：主要依賴詞法分析，將文字編碼為高維稀疏向量。經典的BM25 算法是其中的代表，它基於詞頻和逆文件頻率來評估相似度。
密集檢索器 (Dense Retrievers)：將文字編碼為低維密集向量，能更好地捕捉語義資訊。DPR 是一個著名的密集檢索器，它使用雙塔 BERT 編碼器來分別編碼查詢和文件。
檢索策略：
基於迭代的檢索 (Iteration-based Retrieval)：對生成的結果進行多次迭代，在每次迭代中都進行檢索和生成，以逐步優化輸出品質。
基於多路徑的檢索 (Multipath-based Retrieval)：將原始查詢分層分解為多個子查詢，從不同角度進行檢索，以豐富檢索到的內容，拓寬生成任務的上下文。
檢索後 (Post-retrieval)
在初步檢索（通常是 top-k 選擇）之後，對結果進行進一步篩選，以確保提供給 LLM 的都是高度相關的內容。
重排 (Reranking)：對檢索到的文件塊重新排序，將與查詢最相關的塊排在前面。例如，TrustRAG 框架中的重排模組會從多個檢索路徑中融合結果，並進行綜合評估和優化。
篩選 (Filtering)：移除不滿足特定相關性閾值的文件塊。
多模態檢索 (Multimodal Retrieval)
對於包含圖像、表格等非文字內容的文件，檢索策略也需要相應調整。
基於 OCR 的檢索：這是主流方法，先用 OCR 工具將文件中的視覺內容轉換為機器可讀的文字，然後進行語義檢索。但這種方法通常會忽略圖像和圖形內容，並且表格轉換可能導致空間和結構資訊丟失。
基於 VLM 的檢索：利用視覺語言模型 (VLM) 來處理多模態資訊，將文字和圖像都編碼到統一的向量空間中。例如，M3DocRAG 系統使用視覺編碼器處理文件頁面，然後計算查詢與頁面之間的相似度來檢索最相關的頁面。
3. 檢索增強提示 (Retrieval-Augmented Prompting)
在檢索到相關文件塊後，需要將它們與使用者的原始查詢結合起來，形成一個新的、資訊更豐富的輸入，即「檢索增強提示」 (RAP)。
簡單拼接：最直接的方法是將檢索到的文件內容與使用者查詢簡單地拼接在一起。
結構化保留：當檢索到的是 JSON 文件、表格或知識圖譜等結構化文件時，保留其原始結構對於增強語義資訊至關重要。
4. 推理 (Inference)
最後，LLM 基於增強後的提示進行推理和生成最終答案。為了處理文件中複雜的語義和結構關係，推理過程也需要優化。
思維鏈 (CoT) 推理：像 EvidenceChat 這樣的系統利用 CoT 來指導檢索、提取和生成過程。
多智能體框架 (Multi-agent Framework)：ViDoRAG 引入了一個包含多個專業智能體（如搜尋智能體、檢查智能體）的框架，通過迭代推理來提高對富視覺文件回答的準確性。
RAG是一種高度模組化和可擴展的技術，通過將外部知識的「即時」檢索與 LLM 的強大生成能力相結合，極大地提升了其在文件智能任務中的表現，特別是在處理長篇、複雜和多模態文件時顯示出巨大優勢。
關鍵技術四：長上下文處理
在文件智能領域，許多任務（如分析法律合約、學術論文）都需要模型能夠理解和處理跨越數千甚至數萬個詞的超長文字。但作為現代LLM基礎的Transformer架構在處理長上下文時面臨著固有的挑戰。長上下文處理 (Long Context Processing) 這項技術就是為了突破這些限制而發展起來的。
為什麼長上下文處理如此困難？
研究者們首先指出了 Transformer 架構在處理長文字時遇到的三大核心挑戰：
1. 文字長度編碼的限制：Transformer 使用位置編碼來為每個詞（token）提供其在序列中的位置資訊。這種編碼的長度是在訓練時固定的，一旦輸入文字超過了訓練時的最大長度，模型就無法有效地定位和處理超出部分的信息。
2. 注意力機制的資源消耗：標準自注意力機制需要計算序列中每個 token 與所有其他 token 之間的關係。這意味著計算複雜度和記憶體需求會隨著序列長度的增加而呈二次方級增長，導致處理長文字時資源消耗巨大且效率低下。
3. 長距離依賴關係處理不足：雖然自注意力機制理論上可以捕捉序列中的任何依賴關係，但它往往更關注局部資訊，導致在捕捉超長距離的語義關聯時效果不佳。
為了應對這些挑戰，研究人員從多個角度提出了創新的解決方案。將這些技術分為以下幾類：
1. 位置編碼 (Positional Encoding) 的優化
這類方法旨在修改或擴展位置編碼，使其能夠適應比訓練時更長的文字序列。
位置插值 (Position Interpolation, PI)：此技術通過「減慢」位置編碼的旋轉速度，將原本為較短文字設計的位置編碼平滑地「拉伸」，以覆蓋更長的上下文。
NTK-Aware 插值：這種方法在插值時考慮了不同頻率分量的特性，對高頻和低頻部分進行差異化處理，以達到更好的外推效果。
YARN (Yet another RoPE extensioN method)：該方法引入了「溫度縮放」的概念，對旋轉位置編碼（RoPE）的不同維度進行非均勻插值，以最小化困惑度（一種衡量模型性能的指標）的方式找到最優插值方案。
LongRoPE：該方法採用漸進式擴展策略，在已經微調過的模型上進行第二次插值，進一步擴展上下文視窗。
2. 注意力機制 (Attention Mechanism) 的優化
這類方法的核心是通過近似或稀疏化注意力矩陣來降低計算和記憶體成本，同時盡量保留關鍵資訊。
滑動視窗注意力 (Sliding Window Attention)：代表模型是Longformer。它不計算全局注意力，而是讓每個 token 只關注其鄰近的一個固定大小的視窗內的其餘 token。
保留初始 Tokens (Attention Sinks)：StreamingLLM 發現，在 LLM 的推理過程中，大部分注意力得分會集中在序列最開始的幾個 token 上。因此，該方法在滑動視窗的基礎上，額外保留了這些初始 token 的鍵值對（KV pairs），使得模型在處理無限長的文字流時也能保持穩定。
分組注意力與滑動視窗結合：LongLoRA 在微調時將長上下文分成多個組，在組內進行完整的自注意力計算，而在組間則通過滑動視窗機制進行資訊交換。
其他稀疏注意力方法：
LongNet：引入了「擴展注意力」的概念，通過分段輸入並根據 token 間距離的增加逐步并行化分配稀疏注意力。
Unlimiformer：在每個解碼器層之前使用 kNN 搜尋，從整個輸入序列中為每個注意力頭選擇 top-k 個最相關的隱藏狀態，從而可在不截斷輸入的情況下關注全局資訊。
3. 記憶體管理 (Memory Management)
這類技術通過引入外部記憶體模組，讓模型能夠儲存和檢索超出當前上下文視窗的資訊，模擬一種「長期記憶」。
Landmark Attention：在輸入序列中設置「地標」（landmarks），模型可以根據這些地標來檢索相關的記憶體塊。
基於 KV 快取的記憶體：LongMEM 使用一個記憶體快取庫來維護最近輸入的注意力鍵值對。在推理時，模型可以同時關注局部上下文和從記憶體中檢索出的歷史上下文。
分層記憶體系統：MemGPT 受到作業系統分層記憶體系統的啟發，通過一個虛擬上下文管理系統來實現對海量資訊的管理和調用。
4. 提示壓縮 (Prompt Compression)
這類技術與改變模型架構不同，它專注於在將長文字輸入模型之前，對其進行壓縮，識別並剔除冗餘內容，只保留最有價值的部分。
令牌修剪/合併 (Token Pruning/Merging)：
Power-BERT 通過消除詞嵌入中的冗餘資訊來減少計算量。
Token Merging (ToMe) 不是刪除令牌，而是將相似的冗餘令牌批量合併，從而在不丟失太多資訊的情況下縮短序列長度。
基於小模型的壓縮：
LLMLingua：訓練一個專門用於提示壓縮的小型語言模型。它對輸入進行粗粒度和細粒度的兩遍壓縮，以保留關鍵資訊，同時大幅縮短提示長度。
LongLLMLingua：在 LLMLingua 的基礎上進一步優化，旨在增強 LLM 對提示中關鍵資訊的感知能力。
5. 工程方法 (Engineering Approaches)
除了算法層面的優化，許多業界領先的模型還結合了硬體層面的工程優化來實現超長上下文。
Flash Attention：利用 GPU 硬體的特性，將計算盡可能地保留在速度更快的 SRAM 中，從而減少對 GPU 顯存的讀寫操作，大幅提升了注意力計算的速度和效率。
Ring Attention：在多機多卡的場景下，讓每塊硬體只儲存部分注意力矩陣，各自進行部分計算，最後再將結果聚合起來，從而突破了單張顯卡的顯存限制。
長上下文處理是一個多維度、跨層次的技術領域，它結合了從底層硬體優化到頂層算法設計的多種策略，其最終目標是打破 Transformer 架構的長度限制，使 LLM 能夠真正勝任對海量文件的深度理解和分析任務。
資料集、實現、基準和指標
論文最後一部分關於資料集、實現、基準和指標的內容。這四個方面共同構成了文件智能研究的基石，為模型的訓練、部署、評估和比較提供了完整的框架。
1. 資料集 (Datasets)
資料集是模型訓練和驗證的基礎，其品質和多樣性直接影響模型的學習效果和泛化能力。研究者重點介紹了以下四類關鍵資料集：
文件問答 (Document QA) 資料集：這類資料集支持對視覺內容的理解。
DocVQA：包含超過5萬個源自各種文件（如發票、報告）圖像的問題，尤其適用於導航和視覺版面推理任務。
QASPER：專注於科學文獻領域，包含1585篇論文和5049個相關問題，有助於對論文進行深度分析。
InfographicVQA：專注於對視覺資訊的基本推理，包含5485份文件和超過3萬個問題。
ChartQA 和 PlotQA：將問答能力擴展到圖表資訊，分別包含大量關於圖表的問題和摘要。
文件版面分析 (Document Layout Analysis) 資料集：這類資料集面向文件的結構化分析。
Publaynet：一個大規模的文件版面分析資料集，訓練集包含超過33萬張圖像，為文字、標題、表格等元素提供了詳細的標註。
DocLayNet：包含80863個帶有標註的PDF頁面，支持對各種文件及其版面進行精確訓練。
DocBank：從科學論文中獲取細粒度的語義類別，為文件分析增加了深度和廣度。
表格識別 (Table Recognition) 資料集：這類資料集專注於表格資訊的提取。
TableBank：包含來自Word和LaTeX的豐富表格圖像，用於支持和加強大模型在表格檢測和識別方面的能力。
PubTabNet：一個大規模的基於圖像的表格識別資源，包含超過56.8萬張表格圖像及其對應的HTML表示。
XFUND：一個多語言環境下的表格資料集，涵蓋七種語言，對資訊提取任務至關重要。
推理 (Reasoning) 資料集：這類資料集專注於表格的語義理解和邏輯推理。
TabFact：基於維基百科表格構建了11.8萬個陳述及其真偽標註，專注於表格內容的邏輯一致性驗證和事實推理。
WikiTableQuestions：提供了22033個需要多步驟推理的問答對，涵蓋數值計算、時間推理和實體關係推斷等核心任務。
2. 實現 (Implementation)
實現部分涵蓋了構建高效文件智能系統所需的實用策略、工具選擇和系統設計原則。
工具選擇：
OCR-Free模型：像mPLUG-DocOwl 1.5 和 DocLLM 這樣的版面感知視覺語言模型，可以直接處理文件圖像，替代傳統的OCR流程，同時提高穩健性。
統一提示框架：OmniParser v2 等工具允許通過一個通用接口處理結構化解析、鍵值提取和視覺文字理解等多種任務。
集成策略：
長文件處理：DocOwl2 模型集成了視覺令牌壓縮和序列對齊技術，以高效處理多頁文件而不損害其結構完整性。
商業平台：Azure Document Intelligence 提供了模組化的API，用於版面解析、欄位提取和文件分類，允許靈活地組合傳統和現代組件。
RAG框架：RAG已成為文件問答的核心，相關研究強調了分塊策略、證據選擇和溯源機制的重要性。
最佳實踐：
可解釋性：像DLaVA 這樣的工具通過提供視覺證據（例如，在文件圖像上定位答案來源）來增強使用者信任。
模組化：商業工具和學術研究都強調了模組化設計的重要性，包括備用方案處理和「人在迴路」的驗證機制。
3. 基準 (Benchmarks)
基準是評估模型性能和比較不同方法的關鍵工具。研究者們重點介紹了六個重要的基準研究：
UDA (Unstructured Document Analysis)：包含金融、學術和世界知識三個領域的真實世界文件和專家標註的問答對，旨在反映真實應用場景。
OHRBench：首個用於理解OCR對RAG系統級聯影響的基準，評估OCR產生的語義和格式雜訊對RAG性能的影響。
OCRBench (v1/v2)：旨在評估多模態大模型在OCR任務中的表現，涵蓋文字識別、文件問答和關鍵資訊提取等多個方面。
OmniDocBench：包含多種文件類型（如學術論文、教科書）和豐富的版面、內容及屬性標註，用於評估模型在文字、表格、公式等多種任務上的表現。
CC-OCR：一個全面且具挑戰性的OCR基準，包含多場景文字閱讀、多語言文字閱讀、文件解析和關鍵資訊提取四大任務。
4. 指標 (Metrics)
為了全面評估模型在各種文件處理任務中的性能，需要使用多樣化的評估指標。
定位和識別指標：
IoU (Intersection over Union)：衡量預測邊界框與真實邊界框重疊程度的核心指標，廣泛用於文字和表格檢測。
F1-score：平衡了精確率和召回率，用於評估定位和識別任務的整體準確性。
CER (Character Error Rate)：衡量字元級別的差異，用於高精度的OCR任務評估。
結構和語義相似性指標：
SSIM (Structural Similarity Index)：通過評估亮度、對比度和結構資訊來衡量圖像相似度，常用於數學公式識別和圖表結構提取。
TEDS (Tree-Edit-Distance-Based Similarity)：使用樹編輯距離來衡量表格結構的相似性，特別適用於評估複雜的表格邏輯結構。
表格和圖表專用指標：
Purity 和 Completeness：分別用於衡量表格檢測結果中的雜訊水準和檢測區域的覆蓋率。
CAR (Cell Adjacency Relations)：專注於分析表格中儲存格邊界檢測和相對定位的準確性。
數學表達式識別專用指標：
CDM (Character Detection Matching)：通過解決不同LaTeX表示法可能引發的問題，為數學表達式的結構化分析提供了可靠的評估方法。
最後：挑戰與未來展望
研究者們最後總結了文件智能領域面臨的挑戰並指出了未來的研究方向：
主要挑戰：
檢索結果中的雜訊：文件解析過程可能引入錯誤，導致檢索到的資訊包含雜訊或矛盾。
分塊結果的完整性：如何將解析後的文件重新分割成連貫的語義塊是一個關鍵問題。
RAG系統的複雜性：依賴多種工具和API接口增加了工程開銷和系統複雜性。
文件特徵的差異性：學術文件與金融報告等行業文件在結構和內容上存在顯著差異，限制了技術的廣泛應用。
未來工作：
更靈活的RAG架構：開發遞歸或自適應的RAG架構，以適應不同的文件結構和使用者需求。
先進的糾錯機制：實施複雜的錯誤檢測和校正機制，以解決檢索結果中的雜訊問題。
拓展更多領域的應用：將文件智能技術應用於教育、醫療、法律和科學研究等更多領域，以釋放其巨大潛力。
回顧全文，我們不難發現，這篇論文最大的價值不僅在於其全面性，更在於其強烈的「工程實踐」導向。它沒有停留在理論探討，而是將文件智能的實現路徑清晰地擺在我們面前。無論是RAG的雜訊，還是端到端模型的幻覺，這些都並非技術的終點，恰恰是創新的起點和商業價值的機遇點。「管線式vs端到端」的取捨，是成本與精度的權衡；「RAG vs 長上下文」的協同，是通用性與專用性的博弈。對於每一位開發者、產品經理和研究者而言，這篇論文就是一本珍貴的「導航手冊」。它告訴我們，從「能用」到「好用」的文件智能產品，需要在哪些技術節點上做精做深。未來已來，這份藍圖，就是我們親手建構下一個智能應用時代的起點。
未來已來，有緣一起同行！
<本文完結>