Multi Type TD TSR

多型-TD-TSR

在我们的论文的源代码中查看它：使用多级管道从文档图像中提取表和表结构识别的多型TD-TSR提取表

描述

多型-TD-TSR整个管道

随着全球趋势向数据驱动的行业转移，可以将扫描文档的数字图像转换为机器可读信息的自动化算法的需求正在迅速增长。除了数据数字化应用数据分析工具的机会之外，还可以对流程自动化有了很大的改进，以前需要手动检查文档。尽管引入光学特征识别（OCR）技术大多解决了将人类可读字符从图像转换为机器可读字符的任务，但多年来，提取表语义的任务一直不关注。表的识别由两个主要任务组成，即表检测和表结构识别。此问题上的大多数先前工作都集中在不提供端到端解决方案的情况下，或者关注文档图像中旋转的图像或噪声伪影等实际应用条件。最近的工作表明，由于缺乏足够大的数据集，使用转移学习来实现表结构识别的任务的清晰趋势，再加上转移学习的任务。在本文中，我们提出了一个名为Multi-Type-TD-TSR的多阶段管道，该管道为表识别问题提供了端到端的解决方案。它利用最新的深度学习模型进行表检测，并根据表的边界区分了3种不同类型的表。对于表结构识别，我们使用确定性的非DATA驱动算法，该算法适用于所有表类型。我们还提出了两种算法。一个用于未排序的表，另一个用于边界表，这是使用的表结构识别算法的基础。我们在ICDAR 2019表结构识别数据集上评估了多类型TD-TSR，并实现了新的最新技术。

在完全边界的桌子上的多类TD-TSR

对于完全边界表上的TSR，我们使用侵蚀和扩张操作来提取无文本或字符的行柱式牢房图像。侵蚀核通常是较薄的垂直和水平条，比整体字体大小更长，但比最小的网格单元的大小短，尤其不得比最小的桌子边框宽度更宽。使用这些内核大小约束会导致侵蚀操作在保留表边框的同时删除表中的所有字体和字符。为了恢复原始的线形状，该算法在两个侵蚀图像中的每个图像中使用相同的内核大小应用扩张操作，从而产生具有垂直和第二个带有水平线的图像。最后，该算法通过使用位````或''操作''和重新转移像素值以获得栅格单元格映像结合了这两个图像。然后，我们在网格细胞图像上使用轮廓函数来为每个网格单元提取边界框。

在未订购表上的多型-TD-TSR

未排序表的TSR算法与边界表的算法相似，但以不同的方式利用侵蚀操作。通常，侵蚀内核是一条细条带，其水平核的水平尺寸包括完整的图像宽度和垂直内核的垂直尺寸，完整的图像高度。该算法从左到右在整个图像上独立地滑动两个内核，以备垂直内核，从上到下进行水平核。在此过程中，它正在寻找不包含任何字符或字体的空行和列。所得的图像是通过位``````''''和``生产最终输出''的操作而倒置的。输出是一个网格单元图像，类似于TSR的边界表，其中两个结果图像的重叠区域代表每个网格单元的边界盒。

部分边界的桌子上的多型-TD-TSR

我们针对边界和未订购表的算法的主要目标是通过在未排序的情况下添加边框并在边界情况下检测线来创建网格单元格图像。如果仅部分边界表，则阻止未排序的算法在正交方向上添加边界到现有边界，而边界算法只能找到现有的边界。两种方法都导致不完整的网格单元图像。


针对部分边框表的TSR使用与边框表中相同的侵蚀算法来检测现有边框，但没有使用它们来创建网格单元格，而是从表图像中删除边框以获取未订购的表。这允许将算法应用于未排序的表格，以类比与上面讨论的变体创建网格细胞图像和轮廓。这种方法的一个关键特征是它可以与边框和未订购的表：独立于类型的表。

表结构识别结果

ICDAR 19（轨道B2）

	iou	iou	iou	iou	加权
团队	0.6	0.7	0.8	0.9	平均的
Cascadetabnet	0.438	0.354	0.19	0.036	0.232
NLPR-PAL	0.365	0.305	0.195	0.035	0.206
多型-TD-TSR	0.589	0.404	0.137	0.015	0.253

指示

配置

源代码是在以下库依赖项下开发的

• pytorch = 1.7.0
• 火炬= 0.8.1
• cuda = 10.1
• pyyaml = 5.1

检测2

表检测模型基于检测模型遵循本安装指南进行设置。

图像对齐预处理

对于图像对齐预处理步骤，有一个脚本可用：

• deskew.py

要将图像对齐算法应用于一个文件夹中的所有图像，您需要执行：

 python3 deskew.py

带有以下参数

• --folder输入文件夹，包括文档图像
• --output Deskewed图像的输出文件夹

表结构识别（TSR）

对于表结构识别，我们为不同方法提供了一个简单的脚本

• tsr.py

要将表结构识别算法应用于一个文件夹中的所有图像，您需要执行：

 python3 tsr.py

带有以下参数

• --folder输入文件夹的折路路径，包括表图像
• --type表结构识别类型type in ["borderd", "unbordered", "partially", "partially_color_inv"]
• --img_output输出文件夹路径的处理图像
• --xml_output输出文件夹路径XML文件，包括边界框

表检测和表结构识别（TD＆TSR）

用后面的表结构识别桌子检测表

• tdtsr.py

要将表结构识别算法应用于一个文件夹中的所有图像，您需要执行：

 python3 tdtsr.py

带有以下参数

• --folder输入文件夹的折路路径，包括表图像
• --type表结构识别类型type in ["borderd", "unbordered", "partially", "partially_color_inv"]
• --tsr_img_output输出文件夹的加工表图像图像
• --td_img_output输出文件夹的生成桌子切口路径
• --xml_output输出文件夹路径的XML文件，用于表和单元格，包括边界框
• --config检测到表检测的配置文件
• --yaml检测路径yaml文件用于表检测
• --weights检测型号检测权重量的重量路径

评估

为了评估表结构识别算法，我们提供以下脚本：

• evaluate.py

要应用评估，XML格式中的表图像及其标签必须是相同的名称，并且应该位于一个文件夹中。评估可以通过：

 python3 evaluate.py

使用以下参数

• --dataset数据集文件夹路径，包含表图像和标签.xml格式

获取数据

• 可以在此处下载用于表结构识别的测试数据集，包括表图像和注释
• 表检测检测2型号的权重和配置文件可以在此处下载

引用

 @misc{fischer2021multitypetdtsr,
    title={Multi-Type-TD-TSR - Extracting Tables from Document Images using a Multi-stage Pipeline for Table Detection and Table Structure Recognition: from OCR to Structured Table Representations},
    author={Pascal Fischer and Alen Smajic and Alexander Mehler and Giuseppe Abrami},
    year={2021},
    eprint={2105.11021},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}