awesome document understanding

素晴らしいドキュメントの理解

非構造化データからのロボットプロセス自動化（RPA）に関連するインテリジェントドキュメント処理（IDP）に関連するドキュメント理解（DU）トピックのリソースのキュレーションリスト、特に視覚的に豊富なドキュメント（VRD）が形成されます。

注1：太字の位置は他の位置よりも重要です。

注2：フィールドの斬新さにより、このリストは建設中です - 貢献は歓迎されます（事前にありがとう！）。次のコンベンションを使用することを忘れないでください：

• 出版物 /データセット /リソースタイトルのタイトル、[コード /データ /ウェブサイト]
  著者会議/日記名のリスト

  データセットサイズ：トレーニング（例なし）、開発（例なし）、テスト（例なし）[データセットペーパー/リソースのオプション];要約/短い説明...

目次

1. 導入
2. 研究トピック
   1. キー情報抽出（KIE）
   2. ドキュメントレイアウト分析（DLA）
   3. ドキュメント質問応答（DQA）
   4. 科学文書の理解（SDU）
   5. 光学文字認識（OCR）
   6. 関連している
      1. 一般的な
      2. 表形式データ理解（TDC）
      3. ロボットプロセスオートメーション（RPA）
3. その他
   1. リソース
      1. トレーニング前の言語モデルのデータセット
      2. PDF処理ツール
   2. 会議 /ワークショップ
   3. ブログ
   4. ソリューション
4. 例
   1. 視覚的に豊富なドキュメント（VRDS）
   2. キー情報抽出（KIE）
   3. ドキュメントレイアウト分析（DLA）
   4. ドキュメント質問応答（DQA）
5. インスピレーション

導入

文書は、とりわけ、法律、金融、テクノロジーなど、多くの分野の多くの企業の中心的な部分です。請求書、契約、履歴書などのドキュメントの自動理解は有利であり、多くの新しいビジネスの道を開きます。自然言語処理とコンピュータービジョンの分野は、深い学習の開発を通じて大きな進歩を遂げており、これらの方法が現代の文書理解システムに注入され始めています。ソース

論文

2023

• ドキュメント情報のローカリゼーションと抽出のための従順なベンチマーク、[Webサイト] [ベンチマーク] [コード]
  štěpánšimsa、ミラノšulc、ミカル・ウーチャチャ、ヤシュ・パテル、アーメド・ハムディ、マティ・ジ・コシアン、マティヤシュ・スカリッキー、ジージ・マタス、アントワーヌ・ドゥセット、ミッカル・クストティ、ディモステニス・カラトザス・カラツァス・アルクシブ・プリント2023

  このペーパーでは、主要な情報のローカリゼーションと抽出およびラインアイテムの認識のタスクに関するビジネスドキュメントの最大のデータセットを使用して、従順なベンチマークを紹介します。 6.7kの注釈付きのビジネスドキュメント、合成された100kの合成文書、および監視されていない事前トレーニング用の約1mの非標識ドキュメントが含まれています。データセットは、ドメインおよびタスク固有の側面の知識を持って構築されているため、次の主要な機能が得られます。（i）55クラスの注釈は、以前に公開された主要な情報抽出データセットの粒度を大きなマージンで上回ります。 （ii）ラインアイテム認識は、テーブル内のアイテムに重要な情報を割り当てる必要がある非常に実用的な情報抽出タスクを表します。 （iii）ドキュメントは多数のレイアウトからのものであり、テストセットにはゼロおよび少ないショットのケースと、トレーニングセットで一般的に見られるレイアウトが含まれます。ベンチマークには、Roberta、LayoutlMv3、Detrベースのテーブルトランスなど、いくつかのベースラインが付属しています。これらのベースラインモデルは、従順なベンチマークの両方のタスクに適用され、このペーパーでは結果が共有され、将来の作業のための簡単な出発点が提供されました。データセットとベースラインは、このHTTPS URLで利用できます。

2022

• ビジネスドキュメント情報抽出：実用的なベンチマークに向けて

  マティヤシュ・スカリッキー、štěpánšimsa、ミカル・ウジチャシャス、ミラノšulcクレフ2022

  半構造化されたドキュメントからの情報抽出は、摩擦のない企業間（B2B）コミュニケーションに不可欠です。ドキュメント情報抽出に関連する機械学習の問題（つまり）は何十年も研究されてきましたが、多くの一般的な問題定義とベンチマークは、B2Bドキュメント通信を自動化するためのドメイン固有の側面と実際的なニーズを反映していません。ドキュメントの問題、データセット、ベンチマークのランドスケープを確認します。共通の定義に欠けている実用的な側面を強調し、主要な情報のローカリゼーションと抽出（KILE）およびラインアイテム認識（LIR）の問題を定義します。コンテンツは通常、法的に保護されているか、敏感であるため、セミ構造化されたビジネスドキュメントに関するドキュメントのための関連するデータセットとベンチマークが不足しています。合成データを含む利用可能なドキュメントの潜在的なソースについて説明します。

• doc2graph：グラフニューラルネットワークに基づくタスク不可知論のドキュメント理解フレームワーク、[コード]

  Andrea Gemelli、Sanket Biswas、Enrico Civitelli、JosepLladós、Simone Marinai Tie Workshop @ ECCV 2022

  幾何学的な深い学習は最近、ドキュメント分析を含む幅広い機械学習分野に大きな関心を集めています。グラフニューラルネットワーク（GNNS）の適用は、主要な情報抽出プロセスの基本的な重要な構造パターンを解明できるため、さまざまなドキュメント関連のタスクで重要になっています。文献の以前の作品は、タスク駆動型モデルを提案しており、グラフの全力を考慮していません。 GNNモデルに基づいたタスクに依存しないドキュメント理解フレームワークであるdoc2graphを提案して、さまざまな種類のドキュメントを考慮してさまざまなタスクを解決します。フォームの理解、請求書レイアウト分析、テーブル検出の主要な情報抽出のための2つの挑戦的なデータセットでアプローチを評価しました

2021

• ドキュメントAI：ベンチマーク、モデル、アプリケーション

  Lei Cui、Yiheng Xu、Tengchao LV、Furu Wei Arxiv 2021

  ドキュメントAIまたはドキュメントインテリジェンスは、ビジネスドキュメントを自動的に読み、理解し、分析するための手法を指す比較的新しい研究トピックです。これは、自然言語処理とコンピュータービジョンの重要な研究方向です。近年、ディープラーニングテクノロジーの人気は、ドキュメントレイアウト分析、視覚情報抽出、ドキュメントの視覚的質問の回答、ドキュメント画像分類など、ドキュメントAIの開発を大きく進めてきました。さらに、初期段階のヒューリスティックなルールベースのドキュメント分析、統計的機械学習アルゴリズム、特にトレーニング前の深い学習アプローチも紹介します。最後に、ドキュメントAI研究の将来の方向性を検討します。

• 人工知能を使用した非構造化ドキュメントの効率的な自動処理：体系的な文献レビューと将来の方向性

  Dipali Baviskar、Swati Ahirrao、Vidyasagar Potdar、Ketan Kotecha IEEEアクセス2021

  構造化されていないデータは、組織の95％に影響を与え、年間数百万ドルの費用がかかります。うまく管理すれば、ビジネスの生産性を大幅に向上させることができます。従来の情報抽出手法は機能が制限されていますが、AIベースの手法はより良い解決策を提供できます。文献には、構造化されていないドキュメントからの自動情報抽出のためのAIベースの手法の徹底的な調査があります。この系統的文献レビュー（SLR）の目的は、構造化されていないドキュメントからの自動情報抽出に使用される技術に関する研究を認識し、分析し、将来の研究の方向性を提供することです。キッチンハムとチャーターによって提案されたSLRガイドラインは、2010年から2020年の間にさまざまなデータベースに関する文献検索を実施するために遵守されました。1。既存の情報抽出技術はテンプレートベースまたはルールベースであることがわかりました。2。したがって、実際の問題を反映する新しいデータセットを開発する必要があります。私たちのSLRは、AIベースのアプローチが、構造化されていないドキュメントから有用な情報を自動的に抽出する強力な可能性があることを発見しました。ただし、構造化されていないドキュメントの複数のレイアウトを処理する際に、特定の課題に直面しています。 SLRは、自動情報抽出のための強力なデータ検証手法を備えた高品質の非構造化ドキュメントデータセットの構築のためのフレームワークの概念化を実現します。また、SLRは、非構造化データ分析のさまざまな課題に対処するために、企業と研究者との間の密接な関連性の必要性を明らかにしています。

2020

• OCRと文書の理解のための深い学習アプローチの調査

  ニシャント・スブラマニ、アレクサンドル・マットン、マルコム・グリーブス、エイドリアン・ラムML-RSAワークショップ2020

  文書は、とりわけ、法律、金融、テクノロジーなど、多くの分野の多くの企業の中心的な部分です。請求書、契約、履歴書などのドキュメントの自動理解は有利であり、多くの新しいビジネスの道を開きます。自然言語処理とコンピュータービジョンの分野は、深い学習の開発を通じて大きな進歩を遂げており、これらの方法が現代の文書理解システムに注入され始めています。この調査論文では、英語で書かれたドキュメントのドキュメント理解のためのさまざまな手法をレビューし、この分野を探索する研究者のジャンプオフポイントとして機能するために文献に存在する方法論を統合します。

• ドキュメントとの会話。ドキュメント中心の支援の調査

  Maartje Ter Hoeve、Robert Sim、Elnaz Nouri、Adam Fourney、Maarten de Rijke、Ryen W. White Chiir 2020

  会話アシスタントの役割は、人々が生産性を向上させるのを助けることに普及しています。ドキュメント中心の支援は、たとえば、個人がドキュメントをすばやくレビューするのに役立つため、ユーザーの生産性を大幅に向上させる可能性があるにもかかわらず、あまり重要ではありません。このタイプのドキュメント中心の支援は、このペーパーの焦点です。私たちの貢献は3つあります。（1）最初に、このシナリオで人々が期待するドキュメント中心の支援のスペースを理解するための調査を最初に提示します。 （2）ドキュメントの支援を求めている間にユーザーがポーズするクエリの種類を調査し、ドキュメント中心の質問がこれらのクエリの大部分を形成することを示します。 （3）（a）ドキュメント中心の質問を正確に検出できることを示す初期マシン学習モデルのセットを提示します。これらの肯定的な結果は勇気づけられており、この興味深い斬新な問題空間を継続的に研究することで、さらに大きな結果が得られる可能性があることを示唆しています。私たちの調査結果は、ドキュメントとの自然な相互作用を介してタスクの完了をサポートするインテリジェントシステムの設計に影響を与えます。

2018年

• ビジネスドキュメントの自動処理の将来のパラダイム
  Matteo Cristania、Andrea Bertolaso​​b、Simone Scannapiecoc、Claudio Tomazzolia International Journal of Information Management 2018

  この論文では、ビジネスドキュメントに適用される自動処理技術の開発に関心のあるコミュニティでこれまでに得られた結果を要約し、それらの技術の現在の段階でも、それ自体または副次セクターの進歩によって要求されるいくつかの進化を考案します。過去30年間に大きく変化した問題を解決するために多大な努力を払っており、現在ではドキュメント処理をワークフロー管理システムに組み込み、もう一方の側面にクラウドコンピューティングテクノロジーの導入によって導出された機能を含めるようになったフィールドの明確な絵が登場します。上記の2つの進化線から生じるビジネスドキュメント処理のための建築スキーマを提案します。

年上

• 印刷されたドキュメントのインテリジェント処理のための機械学習

  F. Esposito、D。Malerba、F。Lisi -2004

  紙のドキュメント処理システムは、印刷されたドキュメントまたは手書きのドキュメントに関する情報をコンピューター宗教形式に変換する情報システムコンポーネントです。紙のドキュメント処理用のインテリジェントシステムでは、この情報キャプチャプロセスは、ドキュメントの特定のレイアウトと論理構造の知識に基づいています。この記事では、手紙や雑誌などの印刷されたドキュメントを管理するIntelligent Document Processing Systemが必要とする特定の知識を取得するための機械学習技術の適用を提案します。知識は、一連のトレーニング文書から自動的に生成された決定ツリーと1次ルールによって表されます。特に、セグメント化されたブロックの分類に使用される意思決定ツリーの取得には、1次学習システムがレイア​​ウトベースの分類とドキュメントの理解に使用されるルールの誘導に適用されます。決定ツリーの増分誘導と1次ルール学習における数値データとシンボリックデータの両方の処理に関する問題について説明し、提案されたソリューションの有効性は、実際の印刷されたドキュメントのセットを処理することにより経験的に評価されます。

• ドキュメントの理解：研究の方向性

  S.スリハリ、S。ラム、V。ゴビンダラジュ、R。スリハリ、J。ハル-1994

  ドキュメントイメージは、ジャーナル記事ページ、ファクシミリカバーページ、技術文書、オフィスレターなどの印刷ページの視覚的な表現です。ドキュメントの研究は、さまざまな表現を通じて文書の採用に関与するすべてのプロセスを研究することで構成されています。有用な種類の表現の一部は次のとおりです。編集可能な説明、正確な複製を可能にする説明、ドキュメントコンテンツに関する高レベルのセマンティック説明。このレポートは、主に印刷されたドキュメントに関連する文書理解内の5つの研究サブドメインの定義です。説明されているトピックは次のとおりです。ドキュメント理解のためのモジュラーアーキテクチャ。ドキュメントの分解と構造分析。モデルベースのOCR;表、図、画像の理解。歪みとノイズの下でのパフォーマンス評価。

研究トピック

• キー情報抽出（KIE）
• ドキュメントレイアウト分析（DLA）
• ドキュメント質問応答（DQA）
• 科学文書の理解（SDU）
• 光学キャラクターのレコーオン（OCR）
• 関連している
  • 一般的な
  • 表形式データ理解（TDC）
  • ロボットプロセスオートメーション（RPA）

その他

リソース

トップに戻ります

トレーニング前の言語モデルのデータセット

1. RVL -CDIPデータセット - データセットは、16のクラスで400,000のグレースケール画像で構成され、クラスごとに25,000の画像があります
2. 業界文書ライブラリ - UCSFライブラリがホストする公衆衛生に影響を与える業界によって作成された数百万の文書へのポータル
3. カラードキュメントデータセット - アムステルダム大学のインテリジェント感覚情報システムから
4. IIT CDIPコレクション - データセットは、1990年代のタバコ産業に対する州の訴訟からの文書で構成されており、約700万の文書で構成されています

PDF処理ツール

1. Borb- PDFドキュメントを読み、書き、操作するための純粋なPythonライブラリです。これは、ネストされたリスト、辞書、プリミティブのJSONのようなデータストラクチャとしてのPDFドキュメントを表しています（数字、文字列、ブール人など）。
2. PAWLS -PDFラベルと構造を使用したPDFアノテーションは、PDFドキュメントに関連付けられた一連の注釈を簡単に収集できるソフトウェアです
3. pdfplumber -各テキスト文字、長方形、および行の詳細については、PDFを配置します。プラス：テーブル抽出と視覚デバッグ
4. pdfminer.six -pdfminer.sixは、元のpdfminerのコミュニティに維持されているフォークです。これは、PDFドキュメントから情報を抽出するためのツールです。テキストデータの取得と分析に焦点を当てています
5. レイアウトパーサー - レイアウトパーサーは、ドキュメント画像レイアウト分析タスクのためのディープラーニングベースのツールです
6. Tabulo-画像からのテーブル抽出
7. ocrmypdf -ocrmypdfは、スキャンされたPDFファイルにOCRテキストレイヤーを追加し、検索またはコピーペストを作成できるようにします
8. PDFBOX -Apache PDFBoxライブラリは、PDFドキュメントを操作するためのオープンソースJavaツールです。このプロジェクトにより、新しいPDFドキュメントの作成、既存のドキュメントの操作、およびドキュメントからコンテンツを抽出する機能が可能になります
9. PDFPIG-このプロジェクトを使用すると、ユーザーはPDFファイルからテキストやその他のコンテンツを読み取り、抽出できます。さらに、ライブラリを使用して、テキストと幾何学的な形状を含む簡単なPDFドキュメントを作成できます。このプロジェクトは、PDFBOXをC＃に移植することを目指しています
10. Parsing-Prickly-PDFS-同じ名前のNicar 2016ワークショップのリソースとワークシート
11. PDF-Text-Extraction-Benchmark-PDFツールベンチマーク
12. 生まれたデジタルPDFスキャナー - PDFが生まれているかどうかを確認する
13. OpenContracts Apache2ライセンスのPDF注釈プラットフォームは、元のレイアウトを保持し、トークンのX、Yの位置データをエクスポートし、スパンの開始と停止を展開します。 Pawlsに基づいていますが、Pythonベースのバックエンドがあり、ローカルマシン、Company Intranet、またはWebにDocker Composeを介して簡単に展開できます。
14. DeepDoctection Deep Dectionは、ドキュメント抽出およびドキュメントレイアウト分析タスクを、深い学習モデルを使用してPDFドキュメントのドキュメントレイアウト分析タスクを調整するPythonライブラリです。モデルを実装するのではなく、オブジェクト検出、OCR、選択されたNLPタスクのために強く認められたライブラリを使用してパイプラインを構築でき、微調整、評価、ランニングモデルの統合フレームワークを提供します。
15. Pydoxtools pydoxtoolsは、dpocument分析用のAIコンポジションライブラリです。複雑なドキュメント分析パイプラインを構築するための広範なツールセットを備えており、ほとんどのドキュメント形式を箱から出して認識しています。キーワード、要約、質問_などの典型的なNLPタスクをサポートしています。高品質の低CPU/メモリテーブル抽出アルゴリズムを備えており、クラスターでのNLPバッチ操作を簡単にします。

会議、ワークショップ

トップに戻ります

一般 /ビジネス /財務

1. 文書分析と認識に関する国際会議（ICDAR） [2021、2019、2017]
2. ドキュメントインテリジェンスに関するワークショップ（DI）[2021、2019]
3. 金融物語加工ワークショップ（FNP）[2021、2020、2019]
4. 経済学と自然言語処理に関するワークショップ（ECONLP）[2021、2019、2018]
5. ドキュメント分析システムに関する国際ワークショップ（DAS）[2020、2018、2016]
6. ACM International Conference on AI in Finance（ICAIF）
7. 金融サービスの構造化されていないデータからの知識発見に関するAAAI-21ワークショップ
8. CVPR 2020ディープラーニング時代のテキストとドキュメントに関するワークショップ
9. 金融の機械学習に関するKDDワークショップ（KDD MLF 2020）
10. Finir 2020：金融の情報検索に関する最初のワークショップ
11. 財務における異常検出に関する第2 KDDワークショップ（KDD 2019）
12. 文書理解会議（DUC 2007）

科学文書の理解

1. 科学文書理解に関するAAAI-21ワークショップ（SDU 2021）
2. 学術文書処理に関する最初のワークショップ（SDPROC 2020）
3. 科学文書分析に関する国際ワークショップ（SCIDOCA）[2020、2018、2017]

ブログ

トップに戻ります

1. 文書理解モデルの調査、2021
2. ドキュメントフォーム抽出、2021
3. 非構造化データでプロセスを自動化する方法、2021
4. RPAとドキュメントの理解を伴うOCRの包括的なガイド、2021
5. グラフ畳み込みネットワークを備えた領収書からの情報抽出、2021
6. 請求書から構造化されたデータを抽出する方法、2021
7. テンプラティックドキュメントから構造化データの抽出、2020
8. AIを適切に適用するには、2020年のフォーム抽出を考えてください
9. Uipath文書の理解ソリューションアーキテクチャとアプローチ、2020
10. 複雑なドキュメントからデータ抽出を自動化するにはどうすればよいですか？、2020
11. LegalTech：法的文書での情報抽出、2020

ソリューション

トップに戻ります

大企業：

1. アビー
2. アクセンチュア
3. アマゾン
4. グーグル
5. マイクロソフト
6. uipath

小さい：

1. Applica.ai
2. base64.ai
3. docstack
4. 要素AI
5. インド
6. Instabase
7. Konfuzio
8. メタマーズ
9. ナノネット
10. ロッサム
11. サイロ

例

視覚的に豊富なドキュメント

トップに戻ります

VRDSでは、レイアウト情報の重要性は、ドキュメント全体を正しく理解するために重要です（これは、ほとんどすべてのビジネスドキュメントの場合です）。人間の場合、空間情報は読みやすさを向上させ、ドキュメントの理解を速くします。

請求書 /履歴書 /ジョブ広告

NDA /年次報告書

重要な情報抽出

トップに戻ります

このタスクの目的は、同様の重要なエンティティを含むドキュメントの特定のコレクションから多くの重要なフィールドのテキストを抽出することです。

スキャンされた領収書

NDA /年次報告書

Kleisterデータセットの実際のビジネスアプリケーションとデータの例（重要なエンティティは青です）

マルチメディアオンラインチラシ

商業用不動産チラシの例と手動で入力されたリスト情報©Promaker Commercial Real Estate LLC、©BrokerSavant Inc.

付加価値税の請求書

ウェブページ

ドキュメントレイアウト分析

トップに戻ります

コンピュータービジョンまたは自然言語処理では、ドキュメントレイアウト分析は、テキストドキュメントのスキャンされた画像で関心のある領域を識別および分類するプロセスです。読み取りシステムでは、テキストゾーンからのテキストゾーンのセグメンテーションと、正しい読み取り順序での配置が必要です。ドキュメントに埋め込まれたテキスト本体、イラスト、数学記号、およびテーブルとしての異なるゾーン（またはブロック）の検出とラベル付けは、幾何学的レイアウト分析と呼ばれます。しかし、テキストゾーンはドキュメント内で異なる論理的役割（タイトル、キャプション、脚注など）を再生し、この種のセマンティックラベルは論理レイアウト分析の範囲です。 （https://en.wikipedia.org/wiki/document_layout_analysis）

科学出版物

歴史的な新聞

ビジネス文書

赤：テキストブロック、青：図。

ドキュメント質問応答

トップに戻ります

docvqaの例

チルトモデルデモ

インスピレーション

トップに戻ります

ドメイン

1. https://github.com/kba/awesome-ocr
2. https://github.com/liquid-legal-institute/legal-text-analytics
3. https://github.com/icoxfog417/awesome-financial-nlp
4. https://github.com/bobld/documentlayoutanalysis
5. https://github.com/bikash/documentunderstanding
6. https://github.com/harpribot/awesome-information-retrieval
7. https://github.com/roomylee/awesome-lesation-extraction
8. https://github.com/caufieldjh/awesome-bioie
9. https://github.com/hellorusk/Entity--関連ペイパー
10. https://github.com/pliang279/awesome-multimodal-ml
11. https://github.com/thunlp/legalpapers
12. https://github.com/heartexlabs/awesome-data-labeling

一般的なAI/DL/ML

1. https://github.com/jsbroks/awesome-dataset-tools
2. https://github.com/ethicalml/awesome-production-machine-rearning
3. https://github.com/eugeneyan/applied-ml
4. https://github.com/awesomedata/awesome-public-datasets
5. https://github.com/keon/awesome-nlp
6. https://github.com/thunlp/plmpapers
7. https://github.com/jbhuang0604/awesome-computer-vision#awesome-lists
8. https://github.com/papers-we-love/papers-we-love
9. https://github.com/bailool/doyouevenlearn
10. https://github.com/hibayesian/awesome-automl-papers