文書理解の分野では、マルチモーダル大規模モデル（MLLM）が驚異的な速さで進化しています。基本的な文書画像認識から複雑な文書理解に至るまで、スキャンされた文書やデジタル文書のベンチマーク（DocVQA、ChartQAなど）で優れた性能を発揮しており、MLLMが文書理解の問題を十分に解決したかのように見えます。しかし、既存の文書理解ベンチマークには2つの核となる欠陥があります。
実環境からの乖離：実際の文書の多くは、スマートフォンやカメラで撮影された紙のファイルやスクリーンショットであり、不均一な照明、物理的な歪み（しわ/湾曲）、多様な撮影角度、ぼやけ/影、焦点のずれといった複雑な干渉に直面します。
ロバスト性の評価不能：既存のベンチマークは、実際の環境の複雑さと多様性をシミュレートしておらず、実際のアプリケーションでのモデルの性能に疑問を投げかけています。
これらの欠陥は、重要な疑問を提起します。現在のMLLMは、自然環境下で包括的かつロバストな文書理解能力を達成するまで、あとどれくらいの距離があるのでしょうか？
この謎を解明するため、ByteDance OCRチームは華中科技大学と共同で、実世界の文書理解のための初のベンチマークデータセットであるWildDocを構築しました。
WildDocは、代表的な3つの文書シナリオ（文書/チャート/テーブル）をベンチマークとして選択し、12,000枚以上の手動で撮影された画像を含んでいます。これらは、環境、照明、視点、歪み、撮影効果という、実世界での文書理解の性能に影響を与える5つの要素をカバーしており、既存の電子ベンチマークデータセットの性能と比較することも可能です。
モデルのロバスト性を厳密に評価するため、WildDocは一貫性評価指標（Consistency Score）を構築しました。実験の結果、主要なMLLMがWildDocで著しい性能低下を示すことが判明し、既存モデルの実環境での文書理解における性能ボトルネックが明らかになりました。これにより、技術改善のための検証可能な方向性が提供されます。
この研究は、実環境ベンチマークの空白を埋めるだけでなく、文書理解研究を「実用化と汎用性」に向けて重要な一歩を進めるものです。
論文リンク：
https://arxiv.org/abs/2505.11015
プロジェクトホームページ：
https://bytedance.github.io/WildDoc/
Github：
https://github.com/bytedance/WildDoc
WildDocデータ構築と構成
WildDocデータには、手動で収集された12,000枚を超える実世界の文書画像が含まれており、自然環境における複雑な課題をシミュレートし、モデルのシナリオ横断的なロバスト性を定量的に評価するための一貫性スコア指標を導入しています。WildDocは現在、すべての12K+画像と48K+のQ&Aペアをオープンソース化しており、その構築プロセスは以下の通りです。
1. データ収集：
シナリオの多様化：自然環境（例：屋外、屋内での異なる照明条件）で文書を手動で撮影し、環境、照明、視点などの多次元的な干渉要因を確実にカバーします。
ベンチマークの整合性：既存のベンチマークの電子文書を再利用し、物理的に印刷してから撮影することで、従来のベンチマークとの比較可能性を保証します。
2. 多条件撮影：
同じ文書を4回撮影し、毎回環境パラメータ（例：光の強度、撮影角度、紙の歪み具合）を変更して、さまざまな効果を持つ比較サンプルを取得します。
3. アノテーションと検証：
画像内のテキスト、レイアウトなどの重要な情報、および質問への回答可能性について手動で検証し、正確性を確保します。
一貫性スコアの計算を通じて、異なる条件下でのモデルの安定性を評価し、高品質なデータの選別を支援します。
実験結果
研究チームは、汎用MLLM（Qwen2.5-VL、InternVL2.5など）、文書理解に特化したMLLM（Monkey、TextHarmonyなど）、および主要なクローズドソースMLLM（GPT4o、Doubao-1.5-proなど）を含む、多数の代表的なMLLMをテストしました。実験結果は、現在のマルチモーダル大規模モデルが実環境下で多くの不足を抱えていることを明らかにしました。
まず、既存のMLLMのWildDoc上での性能は、従来の文書ベンチマーク（DocVQAなど）でのテストと比較して大幅に低下しました。例えば、GPT-4oの平均精度は35.3%低下し、ChartQAサブセットでは最大56.4%も低下しました。オープンソースモデルのQwen2.5-VL-72Bは平均精度70.6%で、オープンソースとしては最高でしたが、それでも元のベンチマークより約15%低い結果でした。
現在最適なクローズドソースモデルであるDoubao-1.5-proが最も優れた性能を発揮しましたが（平均精度73.7%）、その一貫性スコアはわずか55.0であり、これは、半数以上のケースで異なる条件下で正確な回答を維持できないことを意味します。このことは、現在のMLLMが実環境の変化に直面した際に、十分な安定性と適応性を欠いていることを示しています。
実験結果は、実世界の文書理解におけるMLLMの性能を明らかにし、以下のいくつかの発見がありました。
物理的な歪みが最も挑戦的：しわ、折り目、湾曲などの物理的な変形は、モデルの性能低下に最も顕著な影響を与えました（例：GPT-4oは34.1-34.7%低下）。これは照明（-25.9%）や視点（-26.2%）の変化の影響をはるかに上回ります。
非正面視点と画像品質：非正面からの撮影（例：傾斜した視点）は、テキストの変形とぼやけにより性能低下を引き起こしましたが（Qwen2.5-VL-72Bは17.6%低下）、画面キャプチャ画像はデータ拡張アルゴリズムが成熟しているため、性能低下は小さかった（-8.3%から-9.1%）。
言語モデルの規模の影響は限定的：大規模なパラメータを持つモデル（例：72BパラメータのQwen2.5-VL）はWildDocでわずかに優れた性能を示しましたが、実環境の課題を完全に克服したわけではありません。これは、モデルアーキテクチャのターゲットを絞った最適化が必要であることを示唆しています。
さらに、一部のモデルは、元のベンチマークテストでは性能差がほとんどなく、飽和状態に近づいていましたが、WildDocでは顕著な性能差が現れました。これは、従来のベンチマークテストがモデルの真の能力を区別するのが難しくなっているのに対し、WildDocは実環境下でのモデルの不足をより鋭敏に捉えることができることを示しています。
未来の道：MLLMはどのように実世界の文書をより良く理解できるか？
これらの課題に直面し、研究チームは今後の研究の方向性を示すいくつかの改善戦略を提案しました。
一つ目はデータ拡張です。より多くの拡張技術を用いて、変化する照明や影など、実世界の条件をシミュレートすることで、モデルが訓練中に多様なシナリオに触れる機会を増やし、適応能力を向上させます。
二つ目はロバストな特徴学習です。モデルが実世界の変化に鈍感な特徴を抽出することを学習させることで、文書画像に何らかの変化が生じたとしても、モデルがその内容を正確に理解できるようにします。
三つ目は実データの導入です。より多くの実世界の文書画像を収集し、訓練データセットを豊かにすることで、モデルがより多くの「実戦」で経験を積み、性能を向上させます。
WildDocデータセットは、MLLMの実世界での文書理解における不足を効果的に明らかにし、その後の研究のための重要なベンチマークと最適化の方向性を提供しました。これにより、文書理解研究を「実用化と汎用性」に向けてさらに重要な一歩を進めるものです。
付録：その他の視覚化データ
さらに読む
#投稿チャンネル#
あなたの言葉をより多くの人に見てもらおう
どのようにすれば、より質の高いコンテンツを読者のもとに短い経路で届け、読者が質の高いコンテンツを探す手間を減らせるでしょうか？その答えは「あなたが知らない人」です。
あなたが知らない人の中には、あなたが知りたいことを知っている人が常にいます。PaperWeeklyは、異なる背景や方向性を持つ研究者や学術的なインスピレーションが互いにぶつかり合い、より多くの可能性を生み出すための橋渡し役となるかもしれません。
PaperWeeklyは、大学の研究室や個人が、最新の論文解説、学術的なホットトピックの分析、研究のヒント、競技会の経験談など、さまざまな質の高いコンテンツを私たちのプラットフォームで共有することを奨励しています。私たちの目的はただ一つ、知識を真に循環させることです。
📝投稿の基本要件：
• 記事は個人のオリジナル作品であり、公の場で発表されていないこと。他のプラットフォームで既に発表済みまたは発表予定の場合は、その旨を明記してください。
• 投稿はMarkdown形式で記述することをお勧めします。記事に付随する画像は添付ファイルとして送付し、鮮明で著作権問題がないことが条件です。
• PaperWeeklyは原著作者の署名権を尊重し、採用されたオリジナル初の投稿には、記事の閲覧数と品質に応じて業界で競争力のある原稿料を提供します。
📬投稿チャンネル：
• 投稿メールアドレス：hr@paperweekly.site
• 投稿の際は、速やかな連絡先（WeChat）を記載してください。これにより、投稿が採用された際に速やかに著者と連絡を取ることができます。
• また、編集者のWeChat（pwbot02）を直接追加して迅速に投稿することも可能です。その際、氏名-投稿と記載してください。
△長押しでPaperWeekly編集者を追加
🔍
現在、 「知乎」でも私たちを見つけることができます
知乎のホームページで「PaperWeekly」を検索し
「フォロー」をクリックして私たちのコラムを購読しましょう！