Retrieval Augmented Generation Intro Project

โครงการอินโทรรุ่น Augmented Generation (RAG)?

ยินดีต้อนรับสู่โครงการ Augmented Generation (RAG) ดึงข้อมูล! - โครงการนี้มีวัตถุประสงค์เพื่อแนะนำและแสดงให้เห็นถึงการใช้งานจริงของ RAG โดยใช้รหัส Python ในสภาพแวดล้อมสมุดบันทึก Jupyter Llamaidex ถูกนำมาใช้ที่นี่ เราเชื่อว่าการเรียนรู้และการทดลองกับผ้าขี้ริ้วควรเป็นทั้งการศึกษาและความสนุกสนาน! -

โครงสร้างโครงการ

โครงการจัดขึ้นเป็นหลายโฟลเดอร์:

• ไฟล์ : โฟลเดอร์นี้มีไฟล์สำคัญสำหรับการอ้างอิงของคุณ:

  • readme.md : คุณกำลังอ่านไฟล์นี้อยู่! มันให้ภาพรวมของโครงการ
  • Intro of Retrieval Augmented Generation (RAG) and application demos_Henry.pdf : ไฟล์นี้อธิบายข้อมูลพื้นหลังและให้ข้อมูลเพิ่มเติมเกี่ยวกับการทดลองเชิงปฏิบัติโดยใช้ RAG เป็นสิ่งที่ต้องอ่านเพื่อเริ่มต้น!

• Python_env : ในโฟลเดอร์นี้คุณจะพบไฟล์ NLP.yml นำเข้าไฟล์ YAML นี้เพื่อสร้างสภาพแวดล้อม Python เฉพาะสำหรับการเรียกใช้รหัสอย่างราบรื่น

• รหัส : โฟลเดอร์ code มีไฟล์โน๊ตบุ๊ค Jupyter สามไฟล์แต่ละไฟล์แสดงถึงการทดลองอื่น:

  • 1_Basic_RAG_Pipeline.ipynb : โน้ตบุ๊กนี้แสดงให้เห็นถึงไปป์ไลน์ RAG พื้นฐาน มันเป็นจุดเริ่มต้นที่ดีสำหรับการทำความเข้าใจพื้นฐานของผ้าขี้ริ้ว
  • 2_Sentence_window_retrieval.ipynb : สมุดบันทึกนี้สำรวจแนวคิดของการดึงหน้าต่างประโยคโดยใช้ RAG ค้นพบวิธีที่ RAG สามารถดึงข้อมูลจากหน้าต่างบริบทที่เฉพาะเจาะจงได้อย่างไร
  • 3_Auto-merging_Retrieval.ipynb : ในโน้ตบุ๊กนี้คุณจะได้เรียนรู้เกี่ยวกับการดึงข้อมูลอัตโนมัติและวิธีปรับปรุงกระบวนการสร้าง สิ่งที่น่าตื่นเต้น!

• ข้อมูล : โฟลเดอร์ data เป็นที่ที่คุณสามารถจัดเก็บเอกสารที่น่าสนใจของคุณเองสำหรับการดึงข้อมูล สำหรับตอนนี้เราได้รวมไฟล์ตัวอย่างชื่อ Henry.txt อย่าลังเลที่จะแทนที่ด้วยเอกสารของคุณเองเพื่อทดลองใช้ผ้าขี้ริ้ว

• Common : ภายในโฟลเดอร์นี้คุณจะพบไฟล์ openAI.env อย่าลืมเพิ่มคีย์ OpenAI API ของคุณในไฟล์นี้เพื่อเปิดใช้งานการโต้ตอบอย่างราบรื่นกับรุ่น OpenAI

เริ่มต้น

ในการเริ่มต้นการเดินทางผ้าขี้ริ้วของคุณให้ทำตามขั้นตอนเหล่านี้:

1. โคลนหรือดาวน์โหลดที่เก็บโปรเจ็กต์นี้ไปยังเครื่องในพื้นที่ของคุณ

2. นำเข้าไฟล์ NLP.yml ในโฟลเดอร์ python_env เพื่อสร้างสภาพแวดล้อม Python เฉพาะ สิ่งนี้ทำให้มั่นใจได้ว่าการพึ่งพาทั้งหมดได้รับการติดตั้งอย่างเหมาะสม

3. ในโฟลเดอร์ common ให้เปิดไฟล์ openAI.env และป้อนคีย์ OpenAI API ของคุณ ขั้นตอนนี้เป็นสิ่งสำคัญสำหรับการเข้าถึงโมเดล OpenAI

4. ทำความคุ้นเคยกับโครงการโดยการอ่าน Intro of Retrieval Augmented Generation (RAG) and application demos_Henry.pdf ไฟล์ใน files ไฟล์ มันให้ข้อมูลพื้นหลังที่สำคัญและการทดลองบนมือ

5. สำรวจไฟล์สมุดบันทึก Jupyter สามไฟล์ ( 1_Basic_RAG_Pipeline.ipynb , 2_Sentence_window_retrieval.ipynb และ 3_Auto-merging_Retrieval.ipynb ) ในโฟลเดอร์ code เรียกใช้สมุดบันทึกเพื่อดูการใช้งานผ้าขี้ริ้ว!

6. ทดลองกับ RAG โดยการแก้ไขตัวอย่างที่ให้ไว้หรือใช้เอกสารของคุณเองในโฟลเดอร์ data อย่าลังเลที่จะสร้างสรรค์และสนุกกับมัน! -

บทสรุป ?

ยินดีด้วย! ตอนนี้คุณได้รับการติดตั้งข้อมูลและเครื่องมือที่จำเป็นในการเรียนรู้สมัครและสนุกกับการดึงการเพิ่ม (RAG) เราหวังว่าโครงการนี้จะประกายความอยากรู้อยากเห็นของคุณและกระตุ้นให้คุณสำรวจโลกที่น่าตื่นเต้นของ RAG โดยใช้สมุดบันทึก Jupyter ที่ให้ไว้ มีความสุขสร้าง! -

หากคุณมีคำถามใด ๆ หรือต้องการความช่วยเหลือเพิ่มเติมโปรดอย่าลังเลที่จะติดต่อ สนุกกับการเดินทางผ้าขี้ริ้วของคุณ! -