Multi Type TD TSR

多型-TD-TSR

在我們的論文的源代碼中查看它：使用多級管道從文檔圖像中提取表和表結構識別的多型TD-TSR提取表

描述

多型-TD-TSR整個管道

隨著全球趨勢向數據驅動的行業轉移，可以將掃描文檔的數字圖像轉換為機器可讀信息的自動化算法的需求正在迅速增長。除了數據數字化應用數據分析工具的機會之外，還可以對流程自動化有了很大的改進，以前需要手動檢查文檔。儘管引入光學特徵識別（OCR）技術大多解決了將人類可讀字符從圖像轉換為機器可讀字符的任務，但多年來，提取表語義的任務一直不關注。表的識別由兩個主要任務組成，即表檢測和表結構識別。此問題上的大多數先前工作都集中在不提供端到端解決方案的情況下，或者關注文檔圖像中旋轉的圖像或噪聲偽影等實際應用條件。最近的工作表明，由於缺乏足夠大的數據集，使用轉移學習來實現表結構識別的任務的清晰趨勢，再加上轉移學習的任務。在本文中，我們提出了一個名為Multi-Type-TD-TSR的多階段管道，該管道為表識別問題提供了端到端的解決方案。它利用最新的深度學習模型進行表檢測，並根據表的邊界區分了3種不同類型的表。對於表結構識別，我們使用確定性的非DATA驅動算法，該算法適用於所有表類型。我們還提出了兩種算法。一個用於未排序的表，另一個用於邊界表，這是使用的表結構識別算法的基礎。我們在ICDAR 2019表結構識別數據集上評估了多類型TD-TSR，並實現了新的最新技術。

在完全邊界的桌子上的多類TD-TSR

對於完全邊界表上的TSR，我們使用侵蝕和擴張操作來提取無文本或字符的行柱式牢房圖像。侵蝕核通常是較薄的垂直和水平條，比整體字體大小更長，但比最小的網格單元的大小短，尤其不得比最小的桌子邊框寬度更寬。使用這些內核大小約束會導致侵蝕操作在保留表邊框的同時刪除表中的所有字體和字符。為了恢復原始的線形狀，該算法在兩個侵蝕圖像中的每個圖像中使用相同的內核大小應用擴張操作，從而產生具有垂直和第二個帶有水平線的圖像。最後，該算法通過使用位````或''操作''和重新轉移像素值以獲得柵格單元格映像結合了這兩個圖像。然後，我們在網格細胞圖像上使用輪廓函數來為每個網格單元提取邊界框。

在未訂購表上的多型-TD-TSR

未排序表的TSR算法與邊界表的算法相似，但以不同的方式利用侵蝕操作。通常，侵蝕內核是一條細條帶，其水平核的水平尺寸包括完整的圖像寬度和垂直內核的垂直尺寸，完整的圖像高度。該算法從左到右在整個圖像上獨立地滑動兩個內核，以備垂直內核，從上到下進行水平核。在此過程中，它正在尋找不包含任何字符或字體的空行和列。所得的圖像是通過位``````''''和``生產最終輸出''的操作而倒置的。輸出是一個網格單元圖像，類似於TSR的邊界表，其中兩個結果圖像的重疊區域代表每個網格單元的邊界盒。

部分邊界的桌子上的多型-TD-TSR

我們針對邊界和未訂購表的算法的主要目標是通過在未排序的情況下添加邊框並在邊界情況下檢測線來創建網格單元格圖像。如果僅部分邊界表，則阻止未排序的算法在正交方向上添加邊界到現有邊界，而邊界算法只能找到現有的邊界。兩種方法都導致不完整的網格單元圖像。


針對部分邊框表的TSR使用與邊框表中相同的侵蝕算法來檢測現有邊框，但沒有使用它們來創建網格單元格，而是從表圖像中刪除邊框以獲取未訂購的表。這允許將算法應用於未排序的表格，以類比與上面討論的變體創建網格細胞圖像和輪廓。這種方法的一個關鍵特徵是它可以與邊框和未訂購的表：獨立於類型的表。

表結構識別結果

ICDAR 19（軌道B2）

	iou	iou	iou	iou	加權
團隊	0.6	0.7	0.8	0.9	平均的
Cascadetabnet	0.438	0.354	0.19	0.036	0.232
NLPR-PAL	0.365	0.305	0.195	0.035	0.206
多型-TD-TSR	0.589	0.404	0.137	0.015	0.253

指示

配置

源代碼是在以下庫依賴項下開發的

• pytorch = 1.7.0
• 火炬= 0.8.1
• cuda = 10.1
• pyyaml = 5.1

檢測2

表檢測模型基於檢測模型遵循本安裝指南進行設置。

圖像對齊預處理

對於圖像對齊預處理步驟，有一個腳本可用：

• deskew.py

要將圖像對齊算法應用於一個文件夾中的所有圖像，您需要執行：

 python3 deskew.py

帶有以下參數

• --folder輸入文件夾，包括文檔圖像
• --output Deskewed圖像的輸出文件夾

表結構識別（TSR）

對於表結構識別，我們為不同方法提供了一個簡單的腳本

• tsr.py

要將表結構識別算法應用於一個文件夾中的所有圖像，您需要執行：

 python3 tsr.py

帶有以下參數

• --folder輸入文件夾的折路路徑，包括表圖像
• --type表結構識別類型type in ["borderd", "unbordered", "partially", "partially_color_inv"]
• --img_output輸出文件夾路徑的處理圖像
• --xml_output輸出文件夾路徑XML文件，包括邊界框

表檢測和表結構識別（TD＆TSR）

用後面的表結構識別桌子檢測表

• tdtsr.py

要將表結構識別算法應用於一個文件夾中的所有圖像，您需要執行：

 python3 tdtsr.py

帶有以下參數

• --folder輸入文件夾的折路路徑，包括表圖像
• --type表結構識別類型type in ["borderd", "unbordered", "partially", "partially_color_inv"]
• --tsr_img_output輸出文件夾的加工表圖像圖像
• --td_img_output輸出文件夾的生成桌子切口路徑
• --xml_output輸出文件夾路徑的XML文件，用於表和單元格，包括邊界框
• --config檢測到表檢測的配置文件
• --yaml檢測路徑yaml文件用於表檢測
• --weights檢測型號檢測權重量的重量路徑

評估

為了評估表結構識別算法，我們提供以下腳本：

• evaluate.py

要應用評估，XML格式中的表圖像及其標籤必須是相同的名稱，並且應該位於一個文件夾中。評估可以通過：

 python3 evaluate.py

使用以下參數

• --dataset數據集文件夾路徑，包含表圖像和標籤.xml格式

獲取數據

• 可以在此處下載用於表結構識別的測試數據集，包括表圖像和註釋
• 表檢測檢測2型號的權重和配置文件可以在此處下載

引用

 @misc{fischer2021multitypetdtsr,
    title={Multi-Type-TD-TSR - Extracting Tables from Document Images using a Multi-stage Pipeline for Table Detection and Table Structure Recognition: from OCR to Structured Table Representations},
    author={Pascal Fischer and Alen Smajic and Alexander Mehler and Giuseppe Abrami},
    year={2021},
    eprint={2105.11021},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}