RAG nificent

Rag-Nificent: AI chatbot ขับเคลื่อนโดย LLMs สำหรับการอ้างอิงของ PDF ที่กำหนดเองรายงานและแนวทางปฏิบัติ

ตอนนี้สนับสนุน LLAMA-3.1 โดย Meta AI

Rag-Nificent เป็นพื้นที่เก็บข้อมูลที่ล้ำสมัยที่ใช้ประโยชน์จากพลังของ Generation (RAG) เพื่อให้คำตอบและการอ้างอิงทันทีจากไดเรกทอรีที่รวบรวมไว้ของ PDF ที่มีข้อมูลในหัวข้อใด ๆ เช่นเอกสารคำแนะนำ ระบบนี้ได้รับการออกแบบมาเพื่อช่วยเหลือนักวิจัยผู้กำหนดนโยบายและสาธารณะในการค้นหาข้อมูลเฉพาะภายในเอกสารที่กว้างขวาง

คุณสมบัติ

• อินเทอร์เฟซการสนทนา : มีส่วนร่วมกับระบบโดยใช้แบบสอบถามภาษาธรรมชาติเพื่อรับการตอบกลับที่มาจาก PDF โดยตรง
• การอ้างอิงโดยตรง : การตอบสนองทุกครั้งจากระบบจะมีลิงก์โดยตรงไปยังหน้าต้นฉบับ PDF เพื่อให้มั่นใจว่าการตรวจสอบย้อนกลับและการตรวจสอบ
• ไดเรกทอรี PDF : ชุดเอกสารสำคัญที่กำหนดไว้ล่วงหน้าซึ่งปัจจุบันรวมถึงคำแนะนำของ WHO ในหัวข้อสุขภาพที่สำคัญเช่น schistosomiasis และมาลาเรีย

รุ่นที่มีอยู่

• - LLAMA-3.1-8B-Instant : สัมผัสกับการตอบสนองอย่างรวดเร็วและมีประสิทธิภาพทันทีด้วยโมเดลนี้เหมาะสำหรับการโต้ตอบอย่างรวดเร็ว
• - LLAMA-3.1-70B-Versatile : ใช้โมเดลอเนกประสงค์นี้สำหรับงานภาษาที่ซับซ้อนที่หลากหลายด้วยความแม่นยำสูง
• GPT-3.5-turbo : มีส่วนร่วมกับปฏิสัมพันธ์ที่เหมือนมนุษย์ขั้นสูงเหมาะสำหรับงานการสนทนาที่หลากหลาย
• - LLAMA3-70B-8192 : เพลิดเพลินไปกับการแสดงระดับสูงด้วยโมเดลขนาดใหญ่นี้เหมาะสำหรับการเรียนรู้เชิงลึก
• - LLAMA3-8B-8192 : ความสามารถที่แข็งแกร่งของสายรัดด้วย LLAMA3 รุ่นที่เข้าถึงได้ง่ายกว่านี้เหมาะสำหรับแอปพลิเคชัน AI ที่หลากหลาย
• - Mixtral-8x7b-32768 : ใช้ประโยชน์จากพลังของการสร้างแบบจำลองวงดนตรีด้วยความสามารถที่กว้างขวางของ Mixtral สำหรับความเข้าใจที่เหมาะสมและการสร้างการตอบสนอง
• - GEMMA-7B-IT : สำรวจการโต้ตอบพิเศษและโซลูชั่นที่เน้นเทคโนโลยีกับ Gemma ซึ่งเหมาะสำหรับเนื้อหาด้านไอทีและทางเทคนิค

การสาธิต

มันทำงานอย่างไร

แอปพลิเคชันใช้การรวมกันของ OpenAI EMBEDDING, การค้นหาเวกเตอร์ PINECONE และอินเทอร์เฟซการสนทนาเพื่อมอบประสบการณ์การดึงข้อมูลที่ไร้รอยต่อ เมื่อมีการสืบค้นระบบ:

1. แปลงแบบสอบถามเป็น embeddings
2. ค้นหาส่วนเอกสารที่เกี่ยวข้องมากที่สุดโดยใช้การค้นหาเวกเตอร์ของ Pinecone
3. ส่งคืนคำตอบพร้อมกับการอ้างอิงและลิงก์ไปยังเอกสารต้นฉบับ

การตั้งค่า

1. โคลนที่เก็บ:

   git clone https://github.com/yourusername/RAG-nificent.git

2. ติดตั้งการพึ่งพา:

   pip install -r requirements.txt

3. ตั้งค่าตัวแปรสภาพแวดล้อมใน .env (ดู .env.example ไฟล์:

   • PINECONE_INDEX_NAME
   • PINECONE_NAME_SPACE
   • OPENAI_API_KEY
   • PINECONE_API_KEY
   • GROQ_API_KEY

4. สร้างดัชนี pinecone ที่มีชื่อเดียวกับ PINECONE_INDEX_NAME ตั้งค่าด้วย dimensions=1536 และ metric=cosine

5. วาง pdfs ของคุณในไดเรกทอรี pdf_data และเรียกใช้ data_ingestion.py

6. เรียกใช้แอปพลิเคชัน:

   chainlit run src/app.py

เอกสารแหล่งที่มา

ปัจจุบันระบบมีแนวทางจาก PDF ต่อไปนี้พร้อมลิงก์โดยตรงไปยังเอกสาร:

• ใครเป็นแนวทางในการควบคุมและกำจัด schistosomiasis ของมนุษย์ (2022)
• แนวทางของใครสำหรับโรคมาลาเรีย (2023)