หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

AI ตัวแทนการสนทนาอัจฉริยะที่ใช้ RAG สำหรับการสกัดความรู้โดยใช้ Langchain Gemini LLM

ใน Google Colab ด้านบนมีรหัสโดยละเอียด

Retrieval-Augmented Generation (RAG) เป็นกรอบที่รวมการดึงข้อมูลเข้ากับ AI Generative ช่วยให้โมเดลสามารถดึงข้อมูลที่เกี่ยวข้องจากแหล่งข้อมูลภายนอกหรือฐานข้อมูลและใช้ข้อมูลนั้นเพื่อสร้างการตอบสนองที่แม่นยำและเกี่ยวข้องกับบริบทมากขึ้น ด้วยการใช้ประโยชน์จากทั้งการดึงและการสร้าง RAG ปรับปรุงความแม่นยำและความน่าเชื่อถือของโมเดล AI โดยเฉพาะอย่างยิ่งในการให้ข้อมูลที่ทันสมัยหรือจัดการคำถามที่ซับซ้อน

เวิร์กโฟลว์

โครงการนี้ให้ผู้ช่วยผู้สนทนาที่ใช้ AI ซึ่งใช้ประโยชน์จาก Generation Retrieval-Augmented Generation (RAG) เพื่อแยกความรู้จากเอกสาร PDF ระบบรวมการฝังข้อความการค้นหาเวกเตอร์และ LLM เพื่อให้คำตอบสำหรับคำถามผู้ใช้ ด้านล่างนี้เป็นเวิร์กโฟลว์แบบทีละขั้นตอนโดยละเอียดของวิธีการทำงานของแอปพลิเคชัน:

1. การอัปโหลดเอกสาร PDF

  • ผู้ใช้อัปโหลดไฟล์ PDF ผ่านพา ธ ที่กล่าวถึงในสมุดบันทึก ไฟล์ที่อัปโหลดถูกประมวลผลเพื่อแยกข้อความโดยใช้ pdfplumber ซึ่งเป็นไลบรารี Python สำหรับการแยกข้อความจาก PDFS

2. การสกัดข้อความ

  • โน้ตบุ๊กใช้ไลบรารี pdfplumber เพื่อแยกข้อความดิบออกจาก PDF ที่อัปโหลด แต่ละหน้าของเอกสารจะถูกแยกวิเคราะห์และข้อความผลลัพธ์ถูกเตรียมไว้สำหรับการประมวลผลเพิ่มเติม

3. ข้อความ Chunking

  • ข้อความที่สกัดถูกแบ่งออกเป็นชิ้นเล็ก ๆ โดยใช้ RecursiveCharacterTextSplitter สิ่งนี้ทำให้มั่นใจได้ว่าเนื้อหาสามารถจัดการได้สำหรับการฝังและการดึงข้อมูลโดยทั่วไปจะมีขนาดก้อน 500 อักขระและทับซ้อน 50 อักขระ

4. รุ่น Embeddings

  • ข้อความที่ถูกแปลงเป็น embeddings เชิงตัวเลขโดยใช้ SpacyEmbeddings การฝังตัวเหล่านี้แสดงถึงความหมายเชิงความหมายของชิ้นส่วนทำให้การค้นหามีประสิทธิภาพ

ภาพของการฝัง

5. ร้านค้าเวกเตอร์ด้วย chroma

  • ฐานข้อมูลเวกเตอร์ถูกสร้างขึ้นโดยใช้ไลบรารี Chroma ซึ่งจัดเก็บ embeddings ฐานข้อมูลเวกเตอร์อนุญาตให้ดึงข้อมูลที่เกี่ยวข้องอย่างรวดเร็วและมีประสิทธิภาพตามแบบสอบถามผู้ใช้

6. ห่วงโซ่การเรียกคืนการสนทนา

  • ConversationalRetrievalChain ถูกสร้างขึ้นโดยใช้ LangChain ซึ่งรวมการฝังตัวที่เก็บไว้ใน Chroma กับบัฟเฟอร์หน่วยความจำสนทนาเพื่อติดตามประวัติการแชทและบริบท

7. การโต้ตอบ LLM

  • โน้ตบุ๊กรวม ChatGoogleGenerativeAI (Gemini LLM ของ Google) เพื่อสร้างการตอบสนองที่เกี่ยวข้องและอัจฉริยะต่อคำถามของผู้ใช้ตามข้อความที่ดึงมาจากร้านค้าเวกเตอร์

8. คำถามของผู้ใช้และการตอบสนอง AI

  • ผู้ใช้สามารถป้อนคำถามเกี่ยวกับเอกสาร PDF ที่อัปโหลดและระบบตอบสนองโดยการดึงชิ้นส่วนที่เกี่ยวข้องมากที่สุดจากร้านค้าเวกเตอร์และสร้างคำตอบโดยใช้ LLM ประวัติการสนทนาได้รับการเก็บรักษาไว้สำหรับบริบท

9. การแสดงประวัติการสนทนา

  • คุณสมบัติส่วนที่ขยายได้ซึ่งผู้ใช้สามารถดูประวัติการสนทนาได้ ความโปร่งใสนี้ช่วยให้ผู้ใช้สามารถกลับมาสอบถามและตอบกลับที่ผ่านมาได้อีกครั้งเพื่อส่งเสริมความเข้าใจที่ดีขึ้นเกี่ยวกับบริบทและการไหลของการโต้ตอบ

การไหลของผ้าขี้ริ้วในกระบวนการ

แผนภาพการไหลของผ้าขี้ริ้ว

ความสำคัญ

  1. การดึงความรู้ที่มีประสิทธิภาพ : ด้วยการใช้ประโยชน์จากพลังของ RAG ระบบจะรวมการดึงและการสร้างเพื่อตอบคำถามเฉพาะอย่างแม่นยำตามเนื้อหาของเอกสาร PDF ที่อัปโหลด

  2. ความสามารถในการปรับขนาดและความยืดหยุ่น : ด้วยการใช้ข้อความและการฝังตัวแอปสามารถจัดการเอกสารขนาดใหญ่ในขณะที่มั่นใจได้ว่าการดึงข้อมูลที่รวดเร็วและแม่นยำ

  3. AI การสนทนา : หน่วยความจำประวัติการสนทนาทำให้ระบบมีการโต้ตอบมากขึ้นเนื่องจากติดตามคำถามและคำตอบก่อนหน้านี้รักษาบริบทไว้ในการสนทนาที่ยาวนาน

  4. การรวมเครื่องมือ AI ที่ทันสมัย : โครงการนี้แสดงให้เห็นถึงการใช้เครื่องมือขั้นสูงเช่น Chroma สำหรับการจัดเก็บเวกเตอร์, LangChain สำหรับการจัดการการสนทนาและ Gemini LLM ของ Google สำหรับการสร้างคำตอบที่เหมือนมนุษย์

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด