markdrop

Markdrop

Ein Python -Paket zum Konvertieren von PDFs (oder PDF -URLs) in Markdown beim Extrahieren von Bildern und Tabellen. Mit Markdrop können PDF -Dokumente in das Markdown -Format konvertiert werden und gleichzeitig Bilder und Tabellen erhalten.

Merkmale

• PDF zur Markierung der Konvertierung mit der Formatierungskonservierung mithilfe von Docling
• Automatische Bildextraktion mit Qualitätserhaltung mit Xref ID
• Tabellenerkennung mit Microsofts Tabellentransformator
• PDF -URL -Unterstützung für über drei Funktionen
• Texuelle beschreibende Beschreibungen für eine Bilddatei oder einen Ordner
• OPTISCHE Charaktererkennung (OCR) für Bilder mit eingebettetem Text
• Verbesserte Unterstützung für strukturierte Ausgangsformate (z. B. JSON, YAML)
• Unterstützung für Multisprachler-PDFs

Installation

pip install markdrop  

https://pypi.org/project/markdrop

Schneller Start

 from markdrop import extract_images , make_markdown , extract_tables_from_pdf

source_pdf = 'url/or/path/to/pdf/file'    # Replace with your local PDF file path or a URL
output_dir = 'data/output'                # Replace it with desired output directory's path

make_markdown ( source_pdf , output_dir )
extract_images ( source_pdf , output_dir , verbose = True )
extract_tables_from_pdf ( source_pdf , output_dir = output_dir )

 from markdrop import setup_keys

### API Key Setup
### If using 'openai' or 'gemini' as llm_client in the generate_descriptions function, you need to set up the API keys first.

setup_keys ()

 from markdrop import generate_descriptions

### Image Descriptions Generation

prompt = "Give textual highly detailed descriptions from this image ONLY, nothing else." # Replace it with your desired prompt
input_path = 'path/to/img_file/or/dir'    # Replace it with the path to the images dir or image file
output_dir = 'data/output'                # Replace it with the desired output directory's path
llm_clients = [ 'gemini' , 'llama-vision' ]        # Replace it with the desired models from ['qwen', 'gemini', 'openai', 'llama-vision', 'molmo', 'pixtral'] only

generate_descriptions ( input_path = input_path , output_dir = output_dir , prompt = prompt , llm_client = llm_clients )

API -Referenz

make_markdown (Quelle, output_dir, verbose = false)

Konvertiert ein PDF oder seine URL in Markdown -Format.

Parameter:

• source (STR): Pfad zur Eingabe von PDF oder URL
• output_dir (str): Ausgabeverzeichnispfad
• verbose (bool): detaillierte Protokollierung aktivieren

Extract_images (Quelle, Ausgabe_Dir, verbose = false)

Extrahiert Bilder aus PDF oder der URL und beibehalten Sie die Qualität.

Parameter:

• source (STR): Pfad zur Eingabe von PDF oder URL
• output_dir (str): Ausgabeverzeichnispfad
• verbose (bool): detaillierte Protokollierung aktivieren

extract_tables_from_pdf (pdf_path, ** kwargs)

Erkennt und extrahiert Tabellenbilder.

Parameter:

• pdf_path (STR): Pfad zur Eingabe von PDF oder URL
• start_page (int, optional): Startseitennummer
• end_page (int, optional): Endseitennummer
• threshold (float, optional): Erkennungsvertrauensschwelle
• output_dir (str): Ausgabeverzeichnispfad

generate_descriptions (input_path, output_dir, Eingabeaufforderung, llm_client)

Generiert die Beschreibung der Bild (en) basierend auf der angegebenen Eingabeaufforderung und llm_client in einem CSV

llm clients unterstützt ['Qwen', 'Gemini', 'Openai', 'Lama-Vision', 'Molmo', 'Pixtral']

Parameter:

• input_path (STR): Pfad zur Eingabe von PDF oder URL
• output_dir (str): Ausgabeverzeichnispfad
• prompt (STR): Aufforderung, zusammen mit dem Bild an das Modell gesendet zu werden
• llm_client (Liste): Liste mit mindestens einem Modell von LLM -Clients mit minimalem Modell

Analyze_pdf_images (Quelle, Ausgabe_Dir, verbose = false):

Analysieren Sie verschiedene Arten von Bildreferenzen in einem PDF aus der lokalen Datei oder der URL

Parameter:

• source (STR): Lokaler PDF -Pfad oder URL zu PDF
• output_dir (str): Verzeichnis für temporäre Dateien
• verbose (bool): detaillierte Informationen drucken

Beitragen

Wir begrüßen Beiträge! Weitere Informationen finden Sie in unseren beitragenden Richtlinien.

Entwicklungsaufbau

1. Klonen Sie das Repository:

git clone https://github.com/shoryasethia/markdrop.git  
cd markdrop  

2. Erstellen Sie eine virtuelle Umgebung:

python -m venv venv  
source venv/bin/activate  # On Windows: venvScriptsactivate  

3. Entwicklungsabhängigkeiten installieren:

pip install -r requirements.txt  

Projektstruktur

markdrop/  
├── LICENSE  
├── README.md  
├── CONTRIBUTING.md  
├── CHANGELOG.md  
├── requirements.txt  
├── setup.py  
└── markdrop/ 
    ├── models/
    |   ├── .env
    |   ├── img_descriptions.py
    |   ├── logger.py
    |   ├── model_loader.py
    |   ├── responder.py
    |   └── setup_keys.py
    ├── __init__.py  
    ├── main.py  
    ├── utils.py  
    ├── helper.py
    └── ignore_warnings.py  

Lizenz

Dieses Projekt ist unter der MIT -Lizenz lizenziert - Einzelheiten finden Sie in der Lizenzdatei.

Changelog

Siehe ChangeLog.md für die Versionsgeschichte.

Verhaltenskodex

Bitte beachten Sie, dass dieses Projekt unserem Verhaltenskodex folgt.

Unterstützung

• Ein Problem öffnen