pd3f

pd3f

Experimentell, mit Sorgfalt verwendet.

pd3f ist eine PDF- Text- Extraktionspipeline, die selbst gehostet, lokal und dockerbasiert ist. Es rekonstruiert den ursprünglichen kontinuierlichen Text mit Hilfe des maschinellen Lernens .

pd3f kann PDFs mit OCRMYPDF (Tesseract) abgescannt und Tabellen mit Camelot und Tabula extrahiert. Es basiert auf der Ausgabe von Parsr. PARSR erkennt Hierarchien des Textes und spaltet den Text in Wörter, Zeilen und Absätze auf.

Obwohl Parsr eine gewisse Struktur in die PDF bringt, ist der Text aufgrund von Bindestrichen immer noch durcheinander. Das zugrunde liegende Python-Paket PD3F-Core versucht, den ursprünglichen kontinuierlichen Text durch Entfernen von Bindestrichen, neuen Zeilen und / oder Räumen zu rekonstruieren. Es verwendet Sprachmodelle, um zu erraten, wie der Originaltext aussah.

pd3f ist besonders nützlich für Sprachen mit langen Wörtern wie Deutsch. Es wurde hauptsächlich entwickelt, um deutsche Briefe und offizielle Dokumente zu analysieren. Neben deutscher pd3f unterstützt PD3F Englisch, Spanisch, Französisch und Italienisch. Weitere Sprachen werden eine spätere Phase hinzugefügt.

pd3f enthält eine webbasierte GUI und einen in Flask-basierten Microservice (API). Sie finden eine Demo unter Demo.pd3f.com.

Dokumentation

Schauen Sie sich die vollständige Dokumentation unter: https://pd3f.com/docs/ an

Zukünftige Arbeit / Todo

PDFs sind schwer zu verarbeiten und es ist schwierig, Informationen zu extrahieren. Die Ergebnisse dieses Tools erfüllen Sie möglicherweise nicht. Es wird mehr Arbeit geben, um diese Software zu verbessern, aber insgesamt ist es unwahrscheinlich, dass sie bald alle Informationen erfolgreich extrahieren wird.

Hier einige Dinge, die sich verbessert werden.

Statik darüber, wie lange Verarbeitung (pro Seite) in der Vergangenheit eingenommen wurde

• Berechnen Sie die Laufzeit basierend auf job.started_at und job.ended_at
• Erhalten Sie die durchschnittliche Laufzeit von Jobs und speichern Sie Daten in der Redis -Liste

Weitere Informationen zu PDF

• Ner
• Entitätsverbinden
• Schlüsselwörter extrahieren
• Verwenden Sie Textak

Fügen Sie mehr Sprache hinzu

• Überprüfen Sie, ob Flair Modell hat
• Was tun, wenn es kein schnelles Modell gibt?

Python -Kunde

• Einfacher Client basierend auf Anfrage
• Senden Sie ganze Ordner

Markdown / HTML -Export

• Gehen Sie über den Text hinaus

Verwenden Sie PDF-Skripte / Ermöglichen Sie mehr Verarbeitung

• Größe reduzieren
• PDF reparieren
• erkennen, ob gescannt
• noch einmal zu OCR zwingen

Protokolle verbessern / besseres Feedback erhalten

• Zeigen Sie Unsicherheit des ML -Modells
• Erlauben Sie unterschiedliche Protokollebenen

Verwandte Arbeit

• https://github.com/axa-grup/parsr
• https://github.com/jzillmann/pdf-to-markdown
• Einige PDF -Verarbeitungstools in meinem Blog -Beitrag

Entwicklung

Gedichte installieren und verwenden.

Anfänglich laufen:

./dev.sh --build

Auslassen --build Sie, wenn die Docker -Bilder nicht erstellen müssen. Derzeit ist Docker + Poesie nicht in der Lage, die Installationen zu speichern, sodass das Erstellen des Bildes ständig unkühl ist.

Beitragen

Wenn Sie eine Frage haben, einen Fehler gefunden haben oder eine neue Funktion vorschlagen möchten, schauen Sie sich die Seite mit Problemen an.

Pull -Anfragen werden besonders begrüßt, wenn sie Fehler beheben oder die Codequalität verbessern.

Lizenz

Affero Allgemeine öffentliche Lizenz 3.0