ai markdown llm retrieval

เครื่องยนต์แบบสอบถาม vectordb-llm ที่ใช้ RAG

โครงการนี้ใช้ระบบการสืบค้นเอกสารที่ใช้ AI โดยใช้ Langchain, Chromadb และโมเดลภาษาของ Openai ช่วยให้ผู้ใช้สามารถสร้างฐานข้อมูลที่ค้นหาได้จากเอกสาร Markdown และสอบถามโดยใช้ภาษาธรรมชาติ

คุณสมบัติ

• การสร้างฐานข้อมูลเวกเตอร์จากเอกสาร Markdown
• การประเมินค่าใช้จ่ายในการฝังและการสืบค้น
• การค้นหาความคล้ายคลึงกันในฐานข้อมูล
• การสร้างการตอบสนอง AI ที่ขับเคลื่อนด้วยการสืบค้นผู้ใช้

ไดอะแกรมสถาปัตยกรรม

ความต้องการ

• Python 3.7+
• การพึ่งพาที่ระบุไว้ใน requirements.txt

การติดตั้ง

1. โคลนที่เก็บนี้
2. สร้างสภาพแวดล้อมเสมือนจริง:

    python -m venv .venv
   source .venv/bin/activate  # On Windows, use `.venvScriptsactivate`
   

3. ติดตั้งแพ็คเกจที่ต้องการ:

    pip install -r requirements.txt
   

4. ตั้งค่าคีย์ OpenAI API ของคุณในไฟล์ .env :

    OPENAI_API_KEY=your_api_key_here
   

เริ่มต้น

ทำตามขั้นตอนเหล่านี้เพื่อตั้งค่าอย่างรวดเร็วและใช้เครื่องมือค้นหา vectordb-llm ที่ใช้ RAG:

1. สร้างฐานข้อมูลจากเอกสาร Markdown ของคุณ:

    python create_database.py --data_folder data/go-docs --chroma_db_path chroma_go_docs/
   

   คำสั่งนี้จะประมวลผลไฟล์ Markdown ในไดเรกทอรี Data/ Go-Docs และสร้างฐานข้อมูลเวกเตอร์ในโฟลเดอร์ chroma_go_docs/

2. สอบถามฐานข้อมูลด้วยคำถามภาษาธรรมชาติ:

    python query_data.py --query_text "Explain goroutines in go in a sentence" --chroma_db_path chroma_go_docs/ --prompt_model gpt-3.5-turbo
   

3. ดูการตอบสนองที่สร้างขึ้นโดย AI:

    Goroutines are lightweight, concurrent functions or methods in Go that run independently, managed by the Go runtime, allowing for efficient parallel execution and easy implementation of concurrent programming patterns.
   

การใช้งาน

สำหรับคำแนะนำการใช้งานโดยละเอียดเพิ่มเติมโปรดดูส่วนต่อไปนี้:

1. สร้างฐานข้อมูล

    python create_database.py --data_folder path/to/your/markdown/files --chroma_db_path path/to/save/database
   

2. สอบถามฐานข้อมูล

    python query_data.py --query_text "Your question here" --chroma_db_path path/to/database --prompt_model gpt-3.5-turbo
   

โครงสร้างไฟล์

• create_database.py : สคริปต์การสร้างฐานข้อมูล
• query_data.py : สคริปต์การสืบค้นฐานข้อมูล
• estimate_cost.py : โมดูลการประมาณราคา
• get_token_count.py : ยูทิลิตี้การนับโทเค็น
• data/ : DIRECUMENTS MARKDOWN Document
• chroma/ : การจัดเก็บฐานข้อมูล Chromadb (Gitignored)

หมายเหตุ

• ใช้ text-embedding-3-small ของ OpenAI สำหรับ Embeddings และ gpt-3.5-turbo สำหรับการตอบกลับโดยค่าเริ่มต้น
• วางไฟล์ markdown ใน data/ หรือระบุเส้นทางที่กำหนดเอง
• ฐานข้อมูล Chromadb เก็บไว้ใน chroma/ (Gitignored)

การแก้ไขปัญหา

• ตรวจสอบให้แน่ใจว่ารุ่น Python ที่เข้ากันได้และการติดตั้งแพ็คเกจที่ถูกต้อง
• ตรวจสอบคีย์ OpenAI API และเครดิตบัญชีสำหรับข้อผิดพลาด API

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ข้อกำหนดของใบอนุญาต MIT สำหรับข้อมูลเพิ่มเติมโปรดดูไฟล์ใบอนุญาต

สร้างขึ้นด้วย

• คนขี้เกียจ
• Chromadb
• Openai
• tiktoken

สำหรับคำถามหรือปัญหาโปรดเปิดปัญหาเกี่ยวกับที่เก็บ GitHub