ไปป์ไลน์ RAG (การเพิ่มการดึง)
- ฉันได้สร้างท่อส่งเศษผ้าเพื่อแสดงวิธีที่เราสามารถเพิ่มความรู้ด้วยข้อมูลเพิ่มเติม
คำอธิบายภาพของไปป์ไลน์ผ้าขี้ริ้ว
คำอธิบาย
- RAG เป็นเทคนิคในการเพิ่มความรู้ LLM ด้วยข้อมูลเพิ่มเติม
- LLM สามารถให้เหตุผลเกี่ยวกับหัวข้อที่หลากหลาย แต่ความรู้ของพวกเขา จำกัด เฉพาะข้อมูลสาธารณะจนถึงจุดเฉพาะในเวลาที่พวกเขาได้รับการฝึกฝน
- หากคุณต้องการสร้างแอปพลิเคชัน AI ที่สามารถให้เหตุผลเกี่ยวกับข้อมูลส่วนตัวหรือข้อมูลที่แนะนำหลังจากวันที่ตัดของแบบจำลองคุณต้องเพิ่มความรู้เกี่ยวกับโมเดลด้วยข้อมูลเฉพาะที่ต้องการ
- กระบวนการในการนำข้อมูลที่เหมาะสมและแทรกลงในพรอมต์แบบจำลองนั้นเรียกว่า Generation Augmented Retrieval (RAG)
ห้องสมุดที่ใช้
- langchain == 0.1.20
- Langchain-Community == 0.0.38
- BS4 == 0.0.2
- pypdf == 4.2.0
- Chromadb == 0.5.0
การติดตั้ง
- ข้อกำหนดเบื้องต้น
- กระตวน
- ความคุ้นเคยกับบรรทัดคำสั่ง
- โคลนที่เก็บ:
git clone https://github.com/NebeyouMusie/RAG-Pipeline.git - สร้างและเปิดใช้งานสภาพแวดล้อมเสมือนจริง (แนะนำ)
-
python -m venv venv -
source venv/bin/activate
- นำทางไปยัง
cd ./RAG-Pipeline -pipeline โดยใช้เทอร์มินัลของคุณ - ติดตั้งไลบรารี:
pip install -r requirements.txt - เปิดและเรียกใช้เซลล์ทั้งหมดในโน้ตบุ๊ก
rag_pipeline.ipynb - หรือคุณสามารถดาวน์โหลดเอกสารในไดเรกทอรี
files และโน๊ rag_pipeline.ipynb บุ๊ค rag_pipeline.ipynb จากไดเรกทอรี notebook ในที่เก็บอัพโหลดไฟล์และโน้ตบุ๊กเหล่านั้นไปยัง Google Collab
การทำงานร่วมกัน
กิตติกรรมประกาศ
ติดต่อ
