chat_with_your_docs

ชื่อ	อีโมจิ	สีจาก	น้ำโคลอร์โต	SDK	sdk_version	app_file	ที่ถูกตรึง	ใบอนุญาต
แชทกับเอกสารของคุณ		สีฟ้า	สีเทา	Gradeio	4.41.0	app.py	เท็จ	มิกซ์

แชทกับเอกสารของคุณ

การแนะนำ

---

แอพแชท ChatwithYourDocs เป็นแอปพลิเคชั่น Python ที่ให้คุณแชทกับรูปแบบเอกสารหลายรูปแบบเช่น PDF, หน้าเว็บและวิดีโอ YouTube คุณสามารถถามคำถามเกี่ยวกับ PDF โดยใช้ภาษาธรรมชาติและแอปพลิเคชันจะให้คำตอบที่เกี่ยวข้องตามเนื้อหาของเอกสาร แอพนี้ใช้รูปแบบภาษาเพื่อสร้างคำตอบที่แม่นยำสำหรับการสืบค้นของคุณ โปรดทราบว่าแอปจะตอบคำถามที่เกี่ยวข้องกับเอกสารที่โหลดเท่านั้น

มันทำงานอย่างไร

---

แอปพลิเคชันทำตามขั้นตอนเหล่านี้เพื่อให้คำตอบสำหรับคำถามของคุณ:

1. การโหลด DOC: แอปอ่านเอกสารหลายประเภทและแยกเนื้อหาข้อความของพวกเขา

2. การถ่ายภาพข้อความ: ข้อความที่สกัดจะถูกแบ่งออกเป็นชิ้นเล็ก ๆ ที่สามารถประมวลผลได้อย่างมีประสิทธิภาพ

3. รูปแบบภาษา: แอปพลิเคชันใช้แบบจำลองภาษาเพื่อสร้างการเป็นตัวแทนของเวกเตอร์ (ฝัง) ของชิ้นข้อความ

4. การจับคู่ความคล้ายคลึงกัน: เมื่อคุณถามคำถามแอพจะเปรียบเทียบกับชิ้นข้อความและระบุคำถามที่คล้ายคลึงกันมากที่สุด

5. การสร้างการตอบสนอง: ชิ้นที่เลือกจะถูกส่งผ่านไปยังรูปแบบภาษาซึ่งสร้างการตอบสนองตามเนื้อหาที่เกี่ยวข้องของเอกสาร

การพึ่งพาและการติดตั้ง

---

หากต้องการติดตั้งแชทกับแอพเอกสารของคุณโปรดทำตามขั้นตอนเหล่านี้:

1. ดาวน์โหลด Ollama Library

    curl https://ollama.ai/install.sh | sh
   

2. ดึงโมเดลแชทที่เราจะใช้ในกรณีนี้เราจะใช้ Llama2, Mistral และ Gemma

    ollama pull llama2
   

    ollama pull mistral
   

    ollama pull gemma
   

3. สร้างสภาพแวดล้อมใหม่ด้วย Python 3.9 และเปิดใช้งานในกรณีนี้เราจะใช้ Conda

    conda create -n cwd python=3.9
   

    conda activate cwd
   

4. โคลนพื้นที่เก็บข้อมูลไปยังเครื่องในพื้นที่ของคุณ

    git clone https://github.com/jorge-armando-navarro-flores/chat_with_your_docs.git
   

    cd chat_with_your_docs
   

5. ติดตั้งการพึ่งพาที่ต้องการโดยเรียกใช้คำสั่งต่อไปนี้:

    pip install -r requirements.txt
   

6. ติดตั้ง ffmpeg สำหรับวิดีโอ YouTube:

    sudo apt-get install ffmpeg
   

การใช้งาน

---

หากต้องการใช้แชทกับแอพเอกสารของคุณให้ทำตามขั้นตอนเหล่านี้:

1. เรียกใช้ไฟล์ main.py โดยใช้ Streamlit CLI ดำเนินการคำสั่งต่อไปนี้:

    python3 main.py
   

2. แอปพลิเคชันจะเปิดตัวในเว็บเบราว์เซอร์เริ่มต้นของคุณโดยแสดงส่วนต่อประสานผู้ใช้

สถาปัตยกรรม

ชั้นเรียน:

• LLM: คลาสนามธรรมนี้ทำหน้าที่เป็นพิมพ์เขียวสำหรับการใช้งาน LLM ที่แตกต่างกัน มันมีคลาสย่อยเช่น OllamaModel , OpenAIModel และ HFModel ที่จัดการผู้ให้บริการ LLM ที่เฉพาะเจาะจง (Ollama, Openai และ Hugging Face)
• เอกสาร: คลาสนี้จัดการเอกสารที่โหลดจากแหล่งต่าง ๆ เช่น PDFs หน้าเว็บและวิดีโอ YouTube
• Vectorstore: คลาสนี้สร้างการแสดงเวกเตอร์ของเอกสารโดยใช้ LLM Embeddings เพื่อการดึงที่มีประสิทธิภาพ
• Chain: คลาสนี้กำหนดไปป์ไลน์การประมวลผลสำหรับ chatbot มันอาจเป็นโซ่ง่ายๆสำหรับการตอบคำถามพื้นฐานหรือห่วงโซ่การดึงข้อมูลที่ค้นหาเอกสารตามประวัติการสนทนา
• chatbot: คลาสนี้จัดการการโต้ตอบของผู้ใช้รักษาประวัติการสนทนาและเรียกใช้วิธีลูกโซ่ที่เหมาะสมเพื่อสร้างคำตอบ
• chatbotcontroller: คลาสนี้เป็นอินเทอร์เฟซหลักสำหรับผู้ใช้ อนุญาตให้ตั้งค่าโมเดล LLM แหล่งเอกสารและตัวเลือกการดึงข้อมูล นอกจากนี้ยังจัดการการสืบค้นผู้ใช้และโต้ตอบกับอินสแตนซ์ chatbot

ฟังก์ชั่น:

1. การตั้งค่า:

   • ผู้ใช้เลือกผู้ให้บริการ LLM (Ollama, Openai หรือ HuggingFace) และรุ่นจากเมนูแบบเลื่อนลง อาจจำเป็นต้องใช้คีย์ API สำหรับผู้ให้บริการบางราย
   • ผู้ใช้สามารถเลือกที่จะเพิ่มเอกสาร (PDF, URL เว็บเพจหรือ URL วิดีโอ YouTube) สำหรับงานดึงข้อมูล

2. กำลังประมวลผล:

   • ขึ้นอยู่กับ LLM และเอกสารที่เลือก (ถ้ามี) คอนโทรลเลอร์กำหนดค่าห่วงโซ่การประมวลผล
   • โซ่แบบง่ายใช้สำหรับการตอบคำถามพื้นฐานโดยไม่ต้องดึงเอกสาร
   • ห่วงโซ่การดึงข้อมูลเกี่ยวข้องกับ:
     • การสร้างการแสดงเวกเตอร์ของเอกสารโดยใช้การฝังของ LLM
     • การกำหนดพรอมต์เพื่อสร้างคำค้นหาตามประวัติการสนทนา
     • การดึงเอกสารที่เกี่ยวข้องตามการสืบค้นที่สร้างขึ้น
     • การใช้เอกสารที่ดึงมาเพื่อตอบคำถามของผู้ใช้

3. ปฏิสัมพันธ์:

   • ผู้ใช้พิมพ์คำถามของพวกเขาในอินเทอร์เฟซแชท
   • คอนโทรลเลอร์เรียกวิธี predict ของ chatbot ผ่านการสืบค้นของผู้ใช้และประวัติการสนทนา (หากเปิดใช้งานการดึงข้อมูล)
   • chatbot ดึงการตอบสนองที่เหมาะสมตามการกำหนดค่าโซ่ที่เลือก

คุณสมบัติเพิ่มเติม:

• อินเทอร์เฟซประกอบด้วยปุ่มสำหรับประวัติการสนทนา "undo" และ "Clear"

โดยรวมแล้วรหัสนี้แสดงให้เห็นถึงสถาปัตยกรรมที่มีโครงสร้างที่ดีสำหรับ chatbot ที่สามารถใช้ประโยชน์จาก LLM ที่แตกต่างกันและรวมการดึงเอกสารเพื่อความสามารถที่เพิ่มขึ้น