llm applications

Aplicações LLM

Um guia abrangente para a construção de aplicativos LLM baseados em RAG para produção.

• Postagem do blog : https://www.anyscale.com/blog/a-comprensive-guide-for-building-rag-llm-pplications-part-1
• Repositório do Github : https://github.com/ray-project/llm-applications
• Notebook interativo : https://github.com/ray-project/llm-applications/blob/main/notebooks/rag.ipynb
• Endpoints anyscale : https://endpoints.anyscale.com/
• RAY Documentação : https://docs.ray.io/

Neste guia, aprenderemos a::

• Desenvolva um aplicativo LLM baseado em geração aumentada de recuperação (RAG) do Scratch.
• Escala os principais componentes (carga, parte, incorporação, índice, servir etc.) em nossa aplicação.
• ✅ Avalie diferentes configurações de nosso aplicativo para otimizar tanto para o desempenho por componente (por exemplo, recuperação) e desempenho geral (Quality_score).
• ? Implementar a abordagem de roteamento híbrido LLM para preencher a lacuna B/W OSS e Fechout LLMS.
• ? Sirva o aplicativo de maneira altamente escalável e disponível.
• ? Compartilhe a 1ª ordem e os aplicativos de impactos da 2ª ordem tiveram em nossos produtos.

Configurar

Chaves da API

Usaremos o OpenAI para acessar modelos ChatGPT como gpt-3.5-turbo , gpt-4 , etc. e pontos de extremidade de qualquer escala para acessar o OSS LLMS como Llama-2-70b . Certifique -se de criar suas contas para ambos e ter suas credenciais prontas.

Calcular

Local

Você pode executar isso no laptop local, mas é altamente recomendável usar uma configuração com acesso às GPUs. Você pode configurar isso por conta própria ou em qualquer escala (http://anyscale.com/).

AnyScale

• Inicie um novo espaço de trabalho AnyScale no estadiamento usando um nó de cabeça g3.8xlarge , que possui 2 GPUs e 32 CPUs. Também podemos adicionar nós do trabalhador da GPU para executar as cargas de trabalho mais rapidamente. Se você não estiver em qualquer escala, pode configurar uma instância semelhante em sua nuvem.
• Use o ambiente de cluster default_cluster_env_2.6.2_py39 .
• Use o us-west-2 se desejar usar os artefatos em nosso armazenamento compartilhado (documentos de origem, dumps vetoriais, etc.).

Repositório

git clone https://github.com/ray-project/llm-applications.git .
git config --global user.name < GITHUB-USERNAME >
git config --global user.email < EMAIL-ADDRESS >

Dados

Nossos dados já estão prontos em /efs/shared_storage/goku/docs.ray.io/en/master/ (no staging, us-east-1 ), mas se você quiser carregá-los, execute este comando bash (alteração /desired/output/directory , mas verifique se está no armazenamento compartilhado, para que seja acessível aos trabalhadores)

git clone https://github.com/ray-project/llm-applications.git .

Ambiente

Em seguida, configure o ambiente corretamente especificando os valores no seu arquivo .env e instalando as dependências:

pip install --user -r requirements.txt
export PYTHONPATH= $PYTHONPATH : $PWD
pre-commit install
pre-commit autoupdate

Credenciais

touch .env
# Add environment variables to .env
OPENAI_API_BASE= " https://api.openai.com/v1 "
OPENAI_API_KEY= " "  # https://platform.openai.com/account/api-keys
ANYSCALE_API_BASE= " https://api.endpoints.anyscale.com/v1 "
ANYSCALE_API_KEY= " "  # https://app.endpoints.anyscale.com/credentials
DB_CONNECTION_STRING= " dbname=postgres user=postgres host=localhost password=postgres "
source .env

Agora, estamos prontos para passar pelo notebook interativo Rag.ipynb para desenvolver e servir nosso aplicativo LLM!

Saber mais

• Se sua equipe estiver investindo fortemente no desenvolvimento de aplicativos LLM, entre em contato conosco para saber mais sobre como Ray e Anyscale podem ajudá -lo a escalar e produzir tudo.
• Comece a servir (+ajuste fino) OSS LLMS com pontos de extremidade de qualquer escala (tokens de US $ 1/m para Llama-3-70b ) e pontos de extremidade privados disponíveis mediante solicitação (1M TOKENS FREKEN TRATE).
• Saiba mais sobre como empresas como OpenAI, Netflix, Pinterest, Verizon, Instacart e outras aproveitam Ray e Anyscale para suas cargas de trabalho de IA no Ray Summit 2024, de 18 a 20 de setembro em São Francisco.