markdrop

Markdrop

Paket Python untuk mengonversi PDF (atau URL PDF) menjadi penurunan harga saat mengekstraksi gambar dan tabel. MarkDrop memudahkan untuk mengubah dokumen PDF menjadi format penurunan harga sambil melestarikan gambar dan tabel.

Fitur

• PDF ke Markdown Conversion dengan pemformatan pelestarian menggunakan DECLING
• Ekstraksi gambar otomatis dengan pelestarian kualitas menggunakan ID XREF
• Deteksi Tabel Menggunakan Transformator Tabel Microsoft
• Dukungan URL PDF untuk di atas tiga fungsionalitas
• Deskripsi deskriptif tekstual untuk file atau folder gambar apa pun
• Optical Character Recognition (OCR) untuk gambar dengan teks tertanam
• Dukungan yang ditingkatkan untuk format output terstruktur (misalnya, JSON, YAML)
• Dukungan untuk PDF multi-bahasa

Instalasi

pip install markdrop  

https://pypi.org/project/markdrop

Awal yang cepat

 from markdrop import extract_images , make_markdown , extract_tables_from_pdf

source_pdf = 'url/or/path/to/pdf/file'    # Replace with your local PDF file path or a URL
output_dir = 'data/output'                # Replace it with desired output directory's path

make_markdown ( source_pdf , output_dir )
extract_images ( source_pdf , output_dir , verbose = True )
extract_tables_from_pdf ( source_pdf , output_dir = output_dir )

 from markdrop import setup_keys

### API Key Setup
### If using 'openai' or 'gemini' as llm_client in the generate_descriptions function, you need to set up the API keys first.

setup_keys ()

 from markdrop import generate_descriptions

### Image Descriptions Generation

prompt = "Give textual highly detailed descriptions from this image ONLY, nothing else." # Replace it with your desired prompt
input_path = 'path/to/img_file/or/dir'    # Replace it with the path to the images dir or image file
output_dir = 'data/output'                # Replace it with the desired output directory's path
llm_clients = [ 'gemini' , 'llama-vision' ]        # Replace it with the desired models from ['qwen', 'gemini', 'openai', 'llama-vision', 'molmo', 'pixtral'] only

generate_descriptions ( input_path = input_path , output_dir = output_dir , prompt = prompt , llm_client = llm_clients )

Referensi API

make_markdown (sumber, output_dir, verbose = false)

Mengubah PDF atau URL ke format penurunan harga.

Parameter:

• source (str): Path to Input PDF atau URL
• output_dir (str): jalur direktori output
• verbose (bool): aktifkan logging terperinci

ekstrak_images (sumber, output_dir, verbose = false)

Mengekstrak gambar dari PDF atau URL -nya sambil mempertahankan kualitas.

Parameter:

• source (str): Path to Input PDF atau URL
• output_dir (str): jalur direktori output
• verbose (bool): aktifkan logging terperinci

ekstrak_tables_from_pdf (pdf_path, ** kwargs)

Mendeteksi dan mengekstrak gambar tabel.

Parameter:

• pdf_path (str): Path to Input PDF atau URL
• start_page (int, opsional): Nomor halaman mulai
• end_page (int, opsional): nomor halaman akhir
• threshold (Float, Opsional): Deteksi Ambang batas Deteksi
• output_dir (str): jalur direktori output

generate_descriptions (input_path, output_dir, prompt, llm_client)

Menghasilkan deskripsi gambar berdasarkan prompt dan llm_client yang diberikan dalam CSV

llm clients yang didukung adalah ['Qwen', 'Gemini', 'Openai', 'Llama-Vision', 'Molmo', 'Pixtral']

Parameter:

• input_path (str): Path to Input PDF atau URL
• output_dir (str): jalur direktori output
• prompt (str): prompt untuk dikirim ke model bersama dengan gambar
• llm_client (daftar): Daftar yang berisi model minimum satu dari klien LLM

analisis_pdf_images (sumber, output_dir, verbose = false):

Menganalisis berbagai jenis referensi gambar dalam PDF dari file atau URL lokal

Parameter:

• source (str): jalur PDF lokal atau URL ke PDF
• output_dir (str): Direktori untuk file sementara
• verbose (bool): Cetak informasi terperinci

Berkontribusi

Kami menyambut kontribusi! Silakan lihat Pedoman Kontribusi kami untuk detailnya.

Pengaturan Pembangunan

1. Klon Repositori:

git clone https://github.com/shoryasethia/markdrop.git  
cd markdrop  

2. Buat lingkungan virtual:

python -m venv venv  
source venv/bin/activate  # On Windows: venvScriptsactivate  

3. Instal Development Dependencies:

pip install -r requirements.txt  

Struktur proyek

markdrop/  
├── LICENSE  
├── README.md  
├── CONTRIBUTING.md  
├── CHANGELOG.md  
├── requirements.txt  
├── setup.py  
└── markdrop/ 
    ├── models/
    |   ├── .env
    |   ├── img_descriptions.py
    |   ├── logger.py
    |   ├── model_loader.py
    |   ├── responder.py
    |   └── setup_keys.py
    ├── __init__.py  
    ├── main.py  
    ├── utils.py  
    ├── helper.py
    └── ignore_warnings.py  

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT - lihat file lisensi untuk detailnya.

Changelog

Lihat Changelog.md untuk riwayat versi.

Kode Etik

Harap dicatat bahwa proyek ini mengikuti kode perilaku kami.

Mendukung

• Buka masalah