llm applications

LLM -приложения

Комплексное руководство по строительству приложений LLM на основе тряпки для производства.

• Сообщение в блоге : https://www.anyscale.com/blog/a-comprehany-guide-for-building-rag на основе-llm-applications-part-1
• Репозиторий GitHub : https://github.com/ray-project/llm-applications
• Interactive Notebook : https://github.com/ray-project/llm-applications/blob/main/notebooks/rag.ipynb
• AnyScale Endpoints : https://endpoints.anyscale.com/
• Документация Ray : https://docs.ray.io/

В этом руководстве мы узнаем, как:

• Разработайте приложение LLM на основе получения дополнительной генерации (RAG) с нуля.
• Масштабируйте основные компоненты (нагрузка, кусок, встраивание, индекс, подача и т. Д.) В нашем приложении.
• ✅ Оцените различные конфигурации нашего приложения для оптимизации как для каждого компонента (например, retieval_score), так и общей производительности (Quality_score).
• ? Реализуйте подход гибридной маршрутизации LLM, чтобы преодолеть пропасть B/WSS и закрытые LLMS.
• ? Подавайте приложение очень масштабируемым и доступным образом.
• ? Поделитесь 1 -й заказ, а 2 -й заказ воздействия LLM - на наши продукты.

Настраивать

Ключи API

Мы будем использовать OpenAI для доступа к моделям CHATGPT, таким как gpt-3.5-turbo , gpt-4 и т. Д., А также для получения конечных точек для доступа к LLMS, таким как Llama-2-70b . Обязательно создайте свои учетные записи для обоих и подготовьте свои учетные данные.

Вычислять

Местный

Вы можете запустить это на местном ноутбуке, но мы настоятельно рекомендуем использовать настройку с доступом к графическим процессорам. Вы можете настроить это самостоятельно или на [AnyScale] (http://anyscale.com/).

AnyScale

• Начните новое рабочее пространство с новым масштабным рабочим пространством, используя узел головки g3.8xlarge , который имеет 2 графические процессоры и 32 процессора. Мы также можем добавить узлы работников GPU, чтобы быстрее запустить рабочие нагрузки. Если вы не на Anmescale, вы можете настроить аналогичный экземпляр в своем облаке.
• Используйте среду кластера default_cluster_env_2.6.2_py39 .
• Используйте us-west-2 если вы хотите использовать артефакты в нашем общем хранилище (исходные документы, векторные дампы DB и т. Д.).

Репозиторий

git clone https://github.com/ray-project/llm-applications.git .
git config --global user.name < GITHUB-USERNAME >
git config --global user.email < EMAIL-ADDRESS >

Данные

Наши данные уже готовы по адресу /efs/shared_storage/goku/docs.ray.io/en/master/ goku/docs.ray.io/en/master/ (при постановке, us-east-1 ), но если вы хотите загрузить его самостоятельно, запустите эту команду BASH (измените /desired/output/directory , но убедитесь, что они находятся на общем хранилище, так что он доступен для работников)

git clone https://github.com/ray-project/llm-applications.git .

Среда

Затем правильно настроите среду, указав значения в вашем файле .env и установив зависимости:

pip install --user -r requirements.txt
export PYTHONPATH= $PYTHONPATH : $PWD
pre-commit install
pre-commit autoupdate

Реквизиты для входа

touch .env
# Add environment variables to .env
OPENAI_API_BASE= " https://api.openai.com/v1 "
OPENAI_API_KEY= " "  # https://platform.openai.com/account/api-keys
ANYSCALE_API_BASE= " https://api.endpoints.anyscale.com/v1 "
ANYSCALE_API_KEY= " "  # https://app.endpoints.anyscale.com/credentials
DB_CONNECTION_STRING= " dbname=postgres user=postgres host=localhost password=postgres "
source .env

Теперь мы готовы пройти через интерактивную ноутбук Rag.ipynb, чтобы разработать и обслуживать наше приложение LLM!

Узнать больше

• Если ваша команда вкладывает значительные средства в разработку приложений LLM, обратитесь к нам, чтобы узнать больше о том, как Ray и AnlyScale могут помочь вам масштабировать и производить все.
• Начните подавать (+тонкую настройку) OSS LLM с Antycale конечными точками (токены $ 1/м для Llama-3-70b ) и частными конечными точками, доступными по запросу (1 м бесплатно испытание токенов).
• Узнайте больше о том, как такие компании, как Openai, Netflix, Pinterest, Verizon, Instacart и другие, используют Ray и AnyScale для их рабочих нагрузок на AI на вершине Ray 2024 этого 18-20 сентября в Сан-Франциско.