PaddleOCR2Pytorch

PaddleOCR2Pytorch

簡體中文| English

簡介

”白嫖“ PaddleOCR。

本項目旨在：

• 學習PaddleOCR
• 讓PaddleOCR訓練的模型在pytorch上使用
• 為paddle轉pytorch提供參考

注意

PytorchOCR由PaddleOCRv2.0+動態圖版本移植。

近期更新

• 2024.02.20 PP-OCRv4，提供mobile和server兩種模型
  • PP-OCRv4-mobile：速度可比情況下，中文場景效果相比於PP-OCRv3再提升4.5%，英文場景提升10%，80語種多語言模型平均識別準確率提升8%以上
  • PP-OCRv4-server：發布了目前精度最高的OCR模型，中英文場景上檢測模型精度提升4.9%， 識別模型精度提升2%
• 2023.04.16 公式識別CAN
• 2023.04.07 文本超分Text Telescope
• 2022.10.17 文本識別：ViTSTR
• 2022.10.07 文本檢測：DB++
• 2022.07.24 文本檢測算法(FCENET)
• 2022.07.16 文本識別算法(SVTR)
• 2022.06.19 文本識別算法(SAR)
• 2022.05.29 PP-OCRv3，速度可比情況下，中文場景效果相比於PP-OCRv2再提升5%，英文場景提升11%，80語種多語言模型平均識別準確率提升5%以上
• 2022.05.14 PP-OCRv3文本檢測模型
• 2022.04.17 1種文本識別算法(NRTR)
• 2022.03.20 1種文本檢測算法(PSENet)
• 2021.09.11 PP-OCRv2，CPU推理速度相比於PP-OCR server提升220%；效果相比於PP-OCR mobile 提升7%
• 2021.06.01 更新SRN
• 2021.04.25 更新AAAI 2021論文端到端識別算法PGNet
• 2021.04.24 更新RARE
• 2021.04.12 更新STARNET
• 2021.04.08 更新DB, SAST, EAST, ROSETTA, CRNN
• 2021.04.03 更新多語言識別模型，目前支持語種超過27種，多語言模型下載，包括中文簡體、中文繁體、英文、法文、德文、韓文、日文、意大利文、西班牙文、葡萄牙文、俄羅斯文、阿拉伯文等，後續計劃可以參考多語言研發計劃
• 2021.01.10 白嫖中英文通用OCR模型

特性

高質量推理模型，準確的識別效果

• 超輕量PP-OCR系列：檢測+ 方向分類器+ 識別
• 超輕量ptocr_mobile移動端系列
• 通用ptocr_server系列
• 支持中英文數字組合識別、豎排文本識別、長文本識別
• 支持多語言識別：韓語、日語、德語、法語等

模型列表（更新中）

PyTorch模型下載鏈接：https://pan.baidu.com/s/1r1DELT8BlgxeOP2RqREJEg 提取碼：6clx

PaddleOCR模型百度網盤鏈接：https://pan.baidu.com/s/1getAprT2l_JqwhjwML0g9g 提取碼：lmv7

更多模型下載（包括多語言），可以參考PT-OCR v2.0 系列模型下載

文檔教程

• 快速安裝
• 模型預測
• Pipline
• 效果展示
• 參考文獻
• FAQ
• 參考

TODO

• 前沿算法：文本檢測DRRG，文本識別RFL
• 文本識別：ABINet, VisionLAN, SPIN, RobustScanner
• 表格識別：TableMaster
• PP-Structurev2，系統功能性能全面升級，適配中文場景，新增支持版面復原，支持一行命令完成PDF轉Word
• 版面分析模型優化：模型存儲減少95%，速度提升11倍，平均CPU耗時僅需41ms
• 表格識別模型優化：設計3大優化策略，預測耗時不變情況下，模型精度提升6%
• 關鍵信息抽取模型優化：設計視覺無關模型結構，語義實體識別精度提升2.8%，關係抽取精度提升9.1%
• 文本識別算法(SEED)
• 文檔結構化算法關鍵信息提取算法(SDMGR)
• 3種DocVQA算法(LayoutLM、LayoutLMv2，LayoutXLM)
• 文檔結構分析PP-Structure工具包，支持版面分析與表格識別（含Excel導出）

PP-OCRv2 Pipline

[1] PP-OCR是一個實用的超輕量OCR系統。主要由DB文本檢測、檢測框矯正和CRNN文本識別三部分組成。該系統從骨幹網絡選擇和調整、預測頭部的設計、數據增強、學習率變換策略、正則化參數選擇、預訓練模型使用以及模型自動裁剪量化8個方面，採用19個有效策略，對各個模塊的模型進行效果調優和瘦身(如綠框所示)，最終得到整體大小為3.5M的超輕量中英文OCR和2.8M的英文數字OCR。更多細節請參考PP-OCR技術方案https://arxiv.org/abs/2009.09941

[2] PP-OCRv2在PP-OCR的基礎上，進一步在5個方面重點優化，檢測模型採用CML協同互學習知識蒸餾策略和CopyPaste數據增廣策略；識別模型採用LCNet輕量級骨幹網絡、UDML 改進知識蒸餾策略和Enhanced CTC loss損失函數改進（如上圖紅框所示），進一步在推理速度和預測效果上取得明顯提升。更多細節請參考PP-OCRv2技術報告。

效果展示

• 中文模型

• 英文模型

• 其他語言模型

參考

• https://github.com/PaddlePaddle/PaddleOCR
• https://github.com/WenmuZhou/PytorchOCR
• Paddle
• Pytorch
• https://github.com/frotms/image_classification_pytorch
• https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.7/doc/doc_ch/models_list.md