หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ส่วนประกอบของบุคคลที่สาม
ดาวน์โหลด

การสร้าง ragai

คำอธิบาย

โครงการนี้พยายามที่จะสอนวิธีสร้างแอปพลิเคชัน Python ด้วยฟังก์ชั่น AI Generative โดยใช้ไลบรารี Langchain และ Transformers

ในขณะที่มีส่วนสำหรับ OpenAI ส่วนใหญ่ของรหัสที่มีอยู่ก่อนหน้านี้มี repurposed และรวมเข้ากับไลบรารี Langchain หรือ Transformers โครงการนี้รวมถึงตัวอย่างโค้ดตัวอย่างแพ็คเกจและสมุดบันทึก Jupyter ที่คุณสามารถเพิ่มคัดลอกหรือเรียนรู้จากตามลำดับ

หากคุณยังใหม่กับการสร้างแอปพลิเคชั่น AI ที่ขับเคลื่อนด้วย AI ฉันขอแนะนำให้คุณเริ่มต้นด้วยการเล่นและเรียกใช้รหัสในสมุดบันทึก Langchain การเห็นรหัสในการดำเนินการแก้ไขด้วยตัวคุณเองและระดมสมองอย่างสร้างสรรค์ความคิดใหม่ ๆ เป็นวิธีที่ดีที่สุดในการเรียนรู้

สารบัญ

ด้านล่างคุณจะพบลิงก์ไปยังและคำอธิบายของส่วนของโครงการนี้เพื่อการนำทางที่ง่าย

readme นี้:

  • เริ่มต้น
  • การติดตั้ง
  • ใบอนุญาต

Langchain:

  • โค้ดตัวอย่าง: ที่นี่คุณจะพบส่วนประกอบ Python ที่สามารถทำได้

    • bufferwindow_memory.py: องค์ประกอบหน่วยความจำอย่างง่ายที่สามารถใช้ในการสนทนา Langchain
    • Chatopenai.py: ส่วนประกอบ LLM ง่าย ๆ ที่สามารถใช้ในการส่งคืนข้อความแชท
    • Multi_QueryVector_Retrieval.py: ส่วนประกอบ Retriever ขั้นสูงที่รวมพลังของการเรียกร้องหลายครั้งและการดึงข้อมูลหลายครั้ง

  • สมุดบันทึก: ที่นี่คุณจะพบสมุดบันทึก Jupyter ที่แนะนำคุณผ่านการใช้คลาส Langchain ที่แตกต่างกันมากมาย

    • MergedDataloader: เรียนรู้วิธีการฝังและสอบถามแหล่งข้อมูลหลายแหล่งผ่าน MergedDataLoader ในสมุดบันทึกนี้เราเรียนรู้วิธีการโคลน GitHub ที่เก็บและเอกสารการตรวจสอบเว็บก่อนที่จะฝังไว้ใน vectorstore ซึ่งเราใช้เป็นรีทรีฟเวอร์ ในตอนท้ายคุณควรใช้ความสะดวกสบายในการใช้แหล่งข้อมูลใด ๆ เป็นบริบทในโครงการผ้าขี้ริ้วของคุณเอง
    • เครื่องมือที่กำหนดเอง: เรียนรู้วิธีการสร้างและใช้เครื่องมือที่กำหนดเองในตัวแทน Langchain
    • การสร้างภาพและคำบรรยายภาพ + การสร้างวิดีโอ: เรียนรู้ที่จะสร้างเอเจนต์ที่เลือกเครื่องมือกำเนิดที่จะใช้ตามพรอมต์ของคุณ ตัวอย่างนี้เริ่มต้นด้วยเอเจนต์ที่สร้างภาพหลังจากปรับปรุงพรอมต์ของผู้ใช้
    • Langsmith Walkthrough: เรียนรู้วิธีการใช้การติดตาม Langsmith และดึงพรอมต์จากเขา Langsmith Hub
    • Generation Augmented Retrieval: เริ่มต้นด้วยการเพิ่มการดึงรุ่นเพื่อเพิ่มประสิทธิภาพของ LLM ของคุณ
    • MongoDB Rag: ทำการค้นหาความคล้ายคลึงกันการกรองข้อมูลเมตาและการตอบคำถามด้วย MongoDB
    • Pinecone และ Chromadb: คำแนะนำพื้นฐานที่ดีกว่า แต่ละเอียดถี่ถ้วนในการดำเนินการสืบค้นแบบสืบค้นด้วยเวกเตอร์สโตร์สองตัวที่แตกต่างกัน
    • Faiss และ HuggingFaceHub: เรียนรู้วิธีใช้ดัชนี FAISS สำหรับการค้นหาความคล้ายคลึงกันด้วยการฝัง HuggingFaceHub ตัวอย่างนี้เป็นตัวเลือกที่เป็นมิตรกับความเป็นส่วนตัวเนื่องจากทุกอย่างทำงานในพื้นที่ ไม่จำเป็นต้องใช้ GPU!
    • Runnables and Chains (ภาษานิพจน์ Langchain): เรียนรู้ความแตกต่างของและวิธีการใช้ Runnables และโซ่ใน Langchain ที่นี่คุณจะดำน้ำลึกเข้าไปในข้อมูลเฉพาะของพวกเขา

  • ตัวอย่างจบ: ที่นี่คุณจะพบสคริปต์ที่ทำออกมาจากกล่อง

    • ผ้าขี้ริ้วกับตัวแทน: เรียนรู้ที่จะใช้ตัวแทนสำหรับผ้าขี้ริ้ว
      • Streamlit chatbot: chatbot streamlit ง่าย ๆ โดยใช้ openai
      • ไดเรกทอรีโหลดเดอร์: ใช้คลาส DirectoryLoader เพื่อโหลดไฟล์สำหรับการสืบค้น
      • Loader ไดเรกทอรี PYPDF: ใช้คลาส PypdfDirectoryLoader เพื่อโหลดไฟล์สำหรับการสืบค้น
      • การค้นหาที่คล้ายคลึงกันของ Facebook AI: ใช้คลาส FacebookAISimilaritySearch เพื่อโหลดไฟล์สำหรับการสืบค้น
      • Vectorstore Rag: เรียนรู้วิธีการใช้ vectorstore ใน Langchain
      • Pinecone: ใช้ฐานข้อมูลเวกเตอร์ Pinecone "ดัชนี" เป็นรีทรีฟเวอร์และแชทกับเอกสารของคุณ

Openai:

  • โค้ดตัวอย่าง: ที่นี่คุณจะพบตัวอย่างโค้ดโดยใช้ไลบรารี Openai Python

    • ข้อความถึงคำพูด: ใช้ Whisper API เพื่อสร้างคำพูดจากข้อความ

  • สมุดบันทึก: ที่นี่คุณจะพบสมุดบันทึก Jupyter ที่แสดงวิธีการใช้ไลบรารี Openai Python

    • Generation Augmented Retrieval: เริ่มต้นด้วยการเพิ่มการดึงและ Pinecone เพื่อเพิ่มประสิทธิภาพของ LLM ของคุณ

Transformers:

  • โค้ดตัวอย่าง: ที่นี่คุณจะพบตัวอย่างโค้ดโดยใช้ไลบรารี Python Transformers

    • Dolphin Mixtral: ฟังก์ชั่นง่าย ๆ ในการสร้างข้อความโดยใช้ pipeline

  • สมุดบันทึก: ที่นี่คุณจะพบสมุดบันทึก Jupyter ที่แสดงวิธีใช้ห้องสมุด Python Transformers

    • การรู้จำเสียงพูดอัตโนมัติ: ถอดความคำพูดโดยใช้ Whisper-V3 ในการสาธิต Gradio

  • แพ็คเกจ: ที่นี่คุณจะพบแอปพลิเคชัน CLI

    • การถอดความเสียง:
      • Mictranscription: ถอดเสียงโดยใช้ไมโครโฟน
      • การสร้างงาน: สร้างงานตามเสียงที่ถอดความ
    • ฝึกอบรมด้วยการเร่งความเร็ว: ปรับแต่งรูปแบบการจำแนกลำดับโดยใช้ความเร่งเพื่อให้สิ่งต่าง ๆ เร็วขึ้น

เริ่มต้น

การติดตั้ง

การดำเนินการและการทดสอบรหัสท้องถิ่น

โครงการนี้ได้รับการพัฒนาโดยใช้ PDM คุณสามารถติดตั้ง PDM โดยใช้ pip :

เริ่มต้นด้วยการนำทางไปยังไดเรกทอรีรากของโครงการนี้จากนั้นเรียกใช้: 

pip install -U pdm

จากนั้นคุณจะต้องติดตั้งการอ้างอิงโดยใช้ PDM: 

pdm install

คำสั่งนี้จะสร้างสภาพแวดล้อมเสมือนจริงใน .venv และติดตั้งการพึ่งพาในสภาพแวดล้อมนั้น หากคุณใช้ MacOS หรือ Linux คุณสามารถเรียกใช้ source .venv/bin/activate เพื่อเปิดใช้งานสภาพแวดล้อม มิฉะนั้นคุณสามารถเรียกใช้คำสั่ง .venv/Scripts/activate หรือ .venv/Scripts/activate.ps1 เพื่อเปิดใช้งานสภาพแวดล้อม

ด้วยการใช้สภาพแวดล้อมเสมือนจริงเราหลีกเลี่ยงการปนเปื้อนสภาพแวดล้อม Python ทั่วโลกของเรา

เมื่อตั้งค่าสภาพแวดล้อมเสมือนจริงของเราเราต้องเลือกเป็นเคอร์เนลของเราสำหรับสมุดบันทึก Jupyter หากคุณอยู่ใน VSCODE คุณสามารถทำสิ่งนี้ได้ที่ด้านบนขวาของสมุดบันทึก หากคุณใช้ IDE ที่แตกต่างกันคุณจะต้องค้นหาความช่วยเหลือในการตั้งค่าออนไลน์

เมื่อเลือกเคอร์เนลให้แน่ใจว่าคุณเลือกอันที่อยู่ภายในไดเรกทอรี .venv และไม่ใช่สภาพแวดล้อม Python ทั่วโลก

ทดสอบสมุดบันทึกเล่มแรกของคุณ

หากคุณยังใหม่ต่อการสร้างแอปพลิเคชันที่ใช้พลังงาน AI ด้วยการเข้าถึงข้อมูลภายนอกโดยเฉพาะการสร้างการเพิ่มการเพิ่มขึ้นโดยเฉพาะให้ตรวจสอบสมุดบันทึก RAG Basics มันเป็นสมุดบันทึกที่ตรงไปตรงมาที่สุดและแนวคิดของมันถูกสร้างขึ้นในสมุดบันทึก 'ผ้าขี้ริ้ว' อื่น ๆ

Google Colab

คลิกที่ป้ายด้านล่างเพื่อเปิดสมุดบันทึก RAG Basics ใน Colab

ใบอนุญาต

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด