หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

แอปพลิเคชัน LLM

คู่มือที่ครอบคลุมเกี่ยวกับการสร้างแอพพลิเคชั่น LLM ที่ใช้ RAG สำหรับการผลิต

  • บล็อกโพสต์ : https://www.anyscale.com/blog/a-comprehensing-guide-for-building-rag-rag-llm-applications-part-1
  • ที่เก็บ GitHub : https://github.com/ray-project/llm-applications
  • สมุดบันทึกแบบอินเทอร์แอคทีฟ : https://github.com/ray-project/llm-applications/blob/main/notebooks/rag.ipynb
  • จุดสิ้นสุดใด ๆ : https://endpoints.anyscale.com/
  • เอกสารของเรย์ : https://docs.ray.io/

ในคู่มือนี้เราจะได้เรียนรู้วิธี:

  • พัฒนาแอปพลิเคชั่น LLM ที่ใช้ Augmented Generation (RAG) จากศูนย์
  • ปรับขนาดส่วนประกอบที่สำคัญ (โหลด, ก้อน, ฝัง, ดัชนี, เสิร์ฟ, ฯลฯ ) ในแอปพลิเคชันของเรา
  • ✅ประเมินการกำหนดค่าที่แตกต่างกันของแอปพลิเคชันของเราเพื่อเพิ่มประสิทธิภาพสำหรับทั้งองค์ประกอบต่อ (เช่น Retrieval_Score) และประสิทธิภาพโดยรวม (Quality_Score)
  • - ใช้วิธีการกำหนดเส้นทาง LLM ไฮบริดเพื่อเชื่อมช่องว่าง b/w oss และปิด LLMs
  • - ให้บริการแอปพลิเคชันในลักษณะที่ปรับขนาดได้สูงและมีอยู่
  • - แบ่งปันคำสั่งซื้อครั้งที่ 1 และการสั่งซื้อครั้งที่ 2 ผลกระทบแอปพลิเคชัน LLM มีต่อผลิตภัณฑ์ของเรา

การตั้งค่า

คีย์ API

เราจะใช้ OpenAI เพื่อเข้าถึงโมเดล ChatGPT เช่น gpt-3.5-turbo , gpt-4 ฯลฯ และจุดสิ้นสุดใด ๆ เพื่อเข้าถึง OSS LLMS เช่น Llama-2-70b อย่าลืมสร้างบัญชีของคุณสำหรับทั้งคู่และเตรียมข้อมูลรับรองของคุณให้พร้อม

คำนวณ

ท้องถิ่น คุณสามารถเรียกใช้สิ่งนี้บนแล็ปท็อปในพื้นที่ของคุณ แต่เราขอแนะนำให้ใช้การตั้งค่าที่มีการเข้าถึง GPU คุณสามารถตั้งค่านี้ได้ด้วยตัวเองหรือใน [Anyscale] (http://anyscale.com/)
ทุกอย่าง
  • เริ่มต้นพื้นที่ทำงานของ Anyscale ใหม่ในการจัดเตรียมโดยใช้โหนดหัว g3.8xlarge ซึ่งมี 2 GPU และ 32 ซีพียู นอกจากนี้เรายังสามารถเพิ่มโหนดคนงาน GPU เพื่อเรียกใช้เวิร์กโหลดได้เร็วขึ้น หากคุณไม่ได้อยู่ใน OneScale คุณสามารถกำหนดค่าอินสแตนซ์ที่คล้ายกันบนคลาวด์ของคุณ
  • ใช้ default_cluster_env_2.6.2_py39 สภาพแวดล้อมคลัสเตอร์
  • ใช้ us-west-2 หากคุณต้องการใช้สิ่งประดิษฐ์ในที่เก็บข้อมูลที่ใช้ร่วมกันของเรา (เอกสารต้นฉบับ, DB DB แบบเวกเตอร์ ฯลฯ )

ที่เก็บ 

git clone https://github.com/ray-project/llm-applications.git .
git config --global user.name < GITHUB-USERNAME >
git config --global user.email < EMAIL-ADDRESS >

ข้อมูล

ข้อมูลของเราพร้อมแล้วที่ /efs/shared_storage/goku/docs.ray.io/en/master/ (ในการแสดงละคร us-east-1 ) แต่ถ้าคุณต้องการโหลดด้วยตัวเองให้เรียกใช้คำสั่ง bash นี้ (เปลี่ยน /desired/output/directory 

git clone https://github.com/ray-project/llm-applications.git .

สิ่งแวดล้อม

จากนั้นตั้งค่าสภาพแวดล้อมอย่างถูกต้องโดยระบุค่าในไฟล์ .env ของคุณและติดตั้งการอ้างอิง: 

pip install --user -r requirements.txt
export PYTHONPATH= $PYTHONPATH : $PWD
pre-commit install
pre-commit autoupdate

ข้อมูลประจำตัว 

touch .env
# Add environment variables to .env
OPENAI_API_BASE= " https://api.openai.com/v1 "
OPENAI_API_KEY= " "  # https://platform.openai.com/account/api-keys
ANYSCALE_API_BASE= " https://api.endpoints.anyscale.com/v1 "
ANYSCALE_API_KEY= " "  # https://app.endpoints.anyscale.com/credentials
DB_CONNECTION_STRING= " dbname=postgres user=postgres host=localhost password=postgres "
source .env

ตอนนี้เราพร้อมที่จะผ่านสมุดบันทึก Rag.ipynb Interactive เพื่อพัฒนาและให้บริการแอปพลิเคชัน LLM ของเรา!

เรียนรู้เพิ่มเติม

  • หากทีมของคุณลงทุนอย่างมากในการพัฒนาแอปพลิเคชัน LLM ให้ติดต่อเราเพื่อเรียนรู้เพิ่มเติมเกี่ยวกับวิธีที่ Ray และ OneScale สามารถช่วยคุณขยายและผลิตทุกอย่าง
  • เริ่มให้บริการ (+การปรับแต่ง) OSS LLMS พร้อมจุดสิ้นสุดใด ๆ (โทเค็น $ 1/m สำหรับ Llama-3-70b ) และจุดสิ้นสุดส่วนตัวที่มีให้เมื่อมีการร้องขอ (การทดลองโทเค็นฟรี 1M)
  • เรียนรู้เพิ่มเติมเกี่ยวกับวิธีการที่ บริษัท อย่าง Openai, Netflix, Pinterest, Verizon, Instacart และอื่น ๆ ใช้ประโยชน์จาก Ray และ OneScale สำหรับเวิร์กโหลด AI ของพวกเขาที่ Ray Summit 2024 นี้ 18-20 กันยายนในซานฟรานซิสโก
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด