llm applications

Aplikasi LLM

Panduan komprehensif untuk membangun aplikasi LLM berbasis RAG untuk produksi.

• Posting Blog : https://www.anyscale.com/blog/a-comprehensive-guide-for-building-rag-rag-llm-applications-part-1
• Repositori Github : https://github.com/ray-project/llm-applications
• Notebook Interaktif : https://github.com/ray-project/llm-applications/blob/main/notebooks/rag.ipynb
• AnyScale Endpoints : https://endpoints.yyscale.com/
• Dokumentasi Ray : https://docs.ray.io/

Dalam panduan ini, kita akan belajar bagaimana:

• Kembangkan aplikasi LLM berbasis generasi augmented (RAG) dari awal.
• Skala komponen utama (beban, potongan, embed, indeks, sajikan, dll.) Dalam aplikasi kami.
• ✅ Evaluasi konfigurasi yang berbeda dari aplikasi kami untuk mengoptimalkan kedua komponen (ex. Retrieval_score) dan kinerja keseluruhan (kualitas_score).
• ? Menerapkan pendekatan routing hybrid LLM untuk menjembatani kesenjangan b/w oss dan llms tertutup.
• ? Sajikan aplikasi dengan cara yang sangat terukur dan tersedia.
• ? Bagikan pesanan pertama dan dampak pesanan ke -2 aplikasi LLM terhadap produk kami.

Pengaturan

Kunci API

Kami akan menggunakan OpenAi untuk mengakses model chatgpt seperti gpt-3.5-turbo , gpt-4 , dll. Dan titik akhir apa pun untuk mengakses OSS LLMS seperti Llama-2-70b . Pastikan untuk membuat akun Anda untuk keduanya dan menyiapkan kredensial Anda.

Menghitung

Lokal

Anda dapat menjalankan ini di laptop lokal Anda tetapi kami sangat merekomendasikan menggunakan pengaturan dengan akses ke GPU. Anda dapat mengatur ini sendiri atau di [AnyScale] (http://anysscale.com/).

Anyscale

• Mulailah ruang kerja AnyScale baru pada pementasan menggunakan simpul kepala g3.8xlarge , yang memiliki 2 GPU dan 32 CPU. Kami juga dapat menambahkan node pekerja GPU untuk menjalankan beban kerja lebih cepat. Jika Anda tidak berada di Anyscale, Anda dapat mengonfigurasi instance serupa di cloud Anda.
• Gunakan lingkungan cluster default_cluster_env_2.6.2_py39 .
• Gunakan us-west-2 jika Anda ingin menggunakan artefak di penyimpanan bersama kami (sumber dokumen, dump vektor DB, dll.).

Gudang

git clone https://github.com/ray-project/llm-applications.git .
git config --global user.name < GITHUB-USERNAME >
git config --global user.email < EMAIL-ADDRESS >

Data

Data kami sudah siap di /efs/shared_storage/goku/docs.ray.io/en/master/ (pada pementasan, us-east-1 ) tetapi jika Anda ingin memuatnya sendiri, jalankan perintah bash ini (perubahan /desired/output/directory , tetapi pastikan itu pada penyimpanan yang dibagikan, sehingga dapat diakses oleh para pekerja)

git clone https://github.com/ray-project/llm-applications.git .

Lingkungan

Kemudian atur lingkungan dengan benar dengan menentukan nilai dalam file .env Anda, dan menginstal dependensi:

pip install --user -r requirements.txt
export PYTHONPATH= $PYTHONPATH : $PWD
pre-commit install
pre-commit autoupdate

Kredensial

touch .env
# Add environment variables to .env
OPENAI_API_BASE= " https://api.openai.com/v1 "
OPENAI_API_KEY= " "  # https://platform.openai.com/account/api-keys
ANYSCALE_API_BASE= " https://api.endpoints.anyscale.com/v1 "
ANYSCALE_API_KEY= " "  # https://app.endpoints.anyscale.com/credentials
DB_CONNECTION_STRING= " dbname=postgres user=postgres host=localhost password=postgres "
source .env

Sekarang kami siap melalui notebook interaktif Rag.ipynb untuk mengembangkan dan melayani aplikasi LLM kami!

Pelajari lebih lanjut

• Jika tim Anda berinvestasi besar -besaran dalam mengembangkan aplikasi LLM, hubungi kami untuk mempelajari lebih lanjut tentang bagaimana Ray dan AnyScale dapat membantu Anda mengukur dan memproduksi semuanya.
• Mulai melayani (+fine-tuning) OSS LLMS dengan titik akhir apa pun (Token $ 1/M untuk Llama-3-70b ) dan titik akhir pribadi yang tersedia berdasarkan permintaan (uji coba Token Gratis).
• Pelajari lebih lanjut tentang bagaimana perusahaan seperti OpenAi, Netflix, Pinterest, Verizon, Instacart dan lainnya memanfaatkan Ray dan Anyscale untuk beban kerja AI mereka di Ray Summit 2024 18-20 September ini di San Francisco.