ai markdown llm retrieval

Mesin permintaan vectorbb-llm berbasis kain

Proyek ini mengimplementasikan sistem kueri dokumen bertenaga AI menggunakan model bahasa Langchain, Chromadb, dan Openai. Ini memungkinkan pengguna untuk membuat database yang dapat dicari dari dokumen Markdown dan menanyakannya menggunakan bahasa alami.

Fitur

• Pembuatan database vektor dari dokumen penurunan harga
• Estimasi Biaya Menanamkan dan Permintaan
• Pencarian kesamaan pada database
• Pembuatan respons bertenaga AI untuk kueri pengguna

Diagram Arsitektur

Persyaratan

• Python 3.7+
• Dependensi yang tercantum dalam requirements.txt

Instalasi

1. Kloning repositori ini
2. Buat lingkungan virtual:

    python -m venv .venv
   source .venv/bin/activate  # On Windows, use `.venvScriptsactivate`
   

3. Instal Paket yang Diperlukan:

    pip install -r requirements.txt
   

4. Siapkan tombol API OpenAI Anda di file .env :

    OPENAI_API_KEY=your_api_key_here
   

Memulai

Ikuti langkah-langkah ini untuk mengatur dengan cepat dan menggunakan mesin kueri VectorDB-llm berbasis RAG:

1. Buat database dari dokumen penurunan harga Anda:

    python create_database.py --data_folder data/go-docs --chroma_db_path chroma_go_docs/
   

   Perintah ini akan memproses file-file Markdown di direktori Data/ GO-DOCS dan membuat database vektor di folder/ folder CHROMA_GO_DOCS.

2. Permintaan database dengan pertanyaan bahasa alami:

    python query_data.py --query_text "Explain goroutines in go in a sentence" --chroma_db_path chroma_go_docs/ --prompt_model gpt-3.5-turbo
   

3. Lihat respons yang dihasilkan AI:

    Goroutines are lightweight, concurrent functions or methods in Go that run independently, managed by the Go runtime, allowing for efficient parallel execution and easy implementation of concurrent programming patterns.
   

Penggunaan

Untuk instruksi penggunaan yang lebih rinci, lihat bagian berikut:

1. Buat database

    python create_database.py --data_folder path/to/your/markdown/files --chroma_db_path path/to/save/database
   

2. Meminta database

    python query_data.py --query_text "Your question here" --chroma_db_path path/to/database --prompt_model gpt-3.5-turbo
   

Struktur file

• create_database.py : skrip pembuatan database
• query_data.py : skrip permintaan database
• estimate_cost.py : Modul Estimasi Biaya
• get_token_count.py : utilitas penghitungan token
• data/ : Direktori Dokumen Markdown
• chroma/ : Penyimpanan Basis Data Chromadb (GitIgnored)

Catatan

• Menggunakan text-embedding-3-small untuk embeddings dan gpt-3.5-turbo untuk tanggapan secara default
• Tempatkan file markdown dalam data/ atau tentukan jalur khusus
• Database Chromadb disimpan di chroma/ (GitIgnored)

Pemecahan masalah

• Pastikan versi Python yang kompatibel dan instalasi paket yang benar
• Verifikasi Kunci API OpenAI dan Kredit Akun untuk Kesalahan API

Lisensi

Proyek ini dilisensikan berdasarkan ketentuan lisensi MIT. Untuk informasi lebih lanjut, silakan merujuk ke file lisensi.

Dibangun dengan

• Langchain
• Chromadb
• Openai
• Tiktoken

Untuk pertanyaan atau masalah, silakan buka masalah di Github Repository.