rag with amazon opensearch serverless and sagemaker

QA กับ LLM และ RAG (Generation Augmented Retrieval)

โครงการนี้เป็นแอปพลิเคชั่นตอบคำถามที่มีรูปแบบภาษาขนาดใหญ่ (LLMS) และ Amazon OpenSearch Serverless Service แอปพลิเคชั่นที่ใช้วิธีการ RAG (การเพิ่มการเรียกคืนการเรียกคืน) ดึงข้อมูลที่เกี่ยวข้องกับคำขอของผู้ใช้มากที่สุดจากฐานความรู้หรือเนื้อหาขององค์กรรวมเป็นบริบทพร้อมกับคำขอของผู้ใช้เป็นพรอมต์แล้วส่งไปยัง LLM เพื่อรับการตอบกลับ Genai

LLM มีข้อ จำกัด เกี่ยวกับจำนวนคำสูงสุดสำหรับพรอมต์อินพุตดังนั้นการเลือกข้อความที่ถูกต้องระหว่างพันหรือหลายล้านเอกสารในองค์กรมีผลกระทบโดยตรงต่อความถูกต้องของ LLM

ในโครงการนี้ Amazon OpenSearch Serverless Service ใช้สำหรับฐานความรู้

สถาปัตยกรรมโดยรวมเป็นแบบนี้:

เวิร์กโฟลว์โดยรวม

1. ปรับใช้สแต็ค CDK (สำหรับข้อมูลเพิ่มเติมดูที่นี่)
   • จุดสิ้นสุดของ Sagemaker สำหรับการสร้างข้อความ
   • จุดสิ้นสุดของ Sagemaker สำหรับการสร้าง embeddings
   • Amazon เปิดเซิร์ฟเวอร์ Serverearch สำหรับการจัดเก็บ embeddings
2. เปิด Jupyterlab ใน Sagemaker Studio จากนั้นเปิดเทอร์มินัลใหม่
3. เรียกใช้คำสั่งต่อไปนี้ในเทอร์มินัลเพื่อโคลนที่เก็บรหัสสำหรับโครงการนี้:

    git clone https://github.com/aws-samples/rag-with-amazon-opensearch-serverless.git
   

4. เปิด data_ingestion_to_opensearch_serverless.ipynb โน้ตบุ๊กและเรียกใช้ (สำหรับข้อมูลเพิ่มเติมดูที่นี่)
5. เรียกใช้แอปพลิเคชัน Streamlit (สำหรับข้อมูลเพิ่มเติมดูที่นี่)

การอ้างอิง

• สร้างคำถามที่ทรงพลังในการตอบบอทด้วย Amazon Sagemaker, Amazon OpenSearch Service, Streamlit และ Langchain (2023-05-25)
• ใช้โมเดลพื้นฐานที่เป็นกรรมสิทธิ์จาก Amazon Sagemaker Jumpstart ใน Amazon Sagemaker Studio (2023-06-27)
• สร้างแอพ Streamlit ใน Amazon Sagemaker Studio (2023-04-11)
• สร้างแอปพลิเคชัน AI ที่มีความแม่นยำสูงอย่างรวดเร็วบนข้อมูลองค์กรโดยใช้ Amazon Kendra, Langchain และรุ่นภาษาขนาดใหญ่ (2023-05-03)
  • (GitHub) ตัวอย่าง Amazon Kendra Retriver
• การตอบคำถามโดยใช้การเพิ่มการดึงแบบดึงข้อมูลกับโมเดลพื้นฐานใน Amazon Sagemaker Jumpstart (2023-05-02)
• อธิบายความสามารถของฐานข้อมูลเวกเตอร์ของ Service Service Service
• Langchain - กรอบการทำงานสำหรับการพัฒนาแอพพลิเคชั่นที่ขับเคลื่อนด้วยโมเดลภาษา
• Streamlit - วิธีที่เร็วกว่าในการสร้างและแบ่งปันแอพข้อมูล
• ปรับปรุงการค้นหาที่เกี่ยวข้องกับ ML ใน Amazon OpenSearch Service Workshop - โมดูล 7. การสร้างการเพิ่มการดึง
• Rag-With-Amazon-Kendra-แอปพลิเคชันตอบคำถามด้วยรูปแบบภาษาขนาดใหญ่ (LLMS) และ Amazon Kendra
• rag-with-amazon-postgresql-using-pgvector-แอปพลิเคชันตอบคำถามด้วยรูปแบบภาษาขนาดใหญ่ (LLMs) และ Amazon Aurora PostgreSQL
• Rag-With-Amazon-OpenSearch-แอปพลิเคชันตอบคำถามที่มีรูปแบบภาษาขนาดใหญ่ (LLMS) และ Amazon OpenSearch Service กับ Langchain
• Rag-with-haystack-and-amazon-OpenSearch-แอปพลิเคชันตอบคำถามด้วยรุ่นภาษาขนาดใหญ่ (LLMS) และบริการ OpenSearch Amazon พร้อม Haystack

ความปลอดภัย

ดูข้อมูลเพิ่มเติม

ใบอนุญาต

ห้องสมุดนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT-0 ดูไฟล์ใบอนุญาต