aphrodite engine

Respirando a vida na linguagem

Afrodite é o mecanismo de back -end oficial para Pygmalionai. Ele foi projetado para servir como endpoint de inferência para o site da Pygmalionionai e permitir servir modelos compatíveis com o rosto para um grande número de usuários com velocidades rápidas em chamas (graças à atenção paginada da VLLM).

Afrodite se baseia e integra o trabalho excepcional de vários projetos.

A computação necessária para o desenvolvimento da Afrodite é fornecida pelo ARC Compute.

Notícias

(09/2024) V0.6.1 está aqui. Agora você pode carregar os modelos FP16 nos formatos FP2 a FP7 Quant, para obter uma taxa de transferência extremamente alta e salvar na memória.

(09/2024) V0.6.0 é liberado, com enormes melhorias de taxa de transferência, muitos novos formatos de quant (incluindo FP8 e LLM-Compressor), paralelo de tensor assimétrico, paralelo de pipeline e muito mais! Confira a documentação exaustiva para os guias de usuário e desenvolvedor.

Características

• Lotes contínuos
• Gerenciamento de K/V eficiente com Pagedattion da VLLM
• Kernels CUDA otimizados para inferência melhorada
• Suporte de quantização via AQLM, AWQ, Bitsandbytes, GGUF, GPTQ, Quip#, Smoothquant+, Squeezellm, Marlin, FP2-FP12
• Inferência distribuída
• Cache KV de 8 bits para comprimentos de contexto mais altos e taxa de transferência, nos formatos FP8 E5M3 e E4M3.

Investir rápido

Instale o motor:

pip install -U aphrodite-engine

Em seguida, inicie um modelo:

aphrodite run meta-llama/Meta-Llama-3.1-8B-Instruct

Isso criará um servidor API compatível com o OpenAI que pode ser acessado na porta 2242 do host local. Você pode conectar a API a uma interface do usuário que suporta o OpenAI, como o Sillytavern.

Consulte a documentação para obter a lista completa de argumentos e sinalizadores que você pode passar para o mecanismo.

Você pode brincar com o motor na demonstração aqui:

Docker

Além disso, fornecemos uma imagem do Docker para facilitar a implantação. Aqui está um comando básico para você começar:

docker run --runtime nvidia --gpus all 
    -v ~ /.cache/huggingface:/root/.cache/huggingface 
    # --env "CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7" 
    -p 2242:2242 
    --ipc=host 
    alpindale/aphrodite-openai:latest 
    --model NousResearch/Meta-Llama-3.1-8B-Instruct 
    --tensor-parallel-size 8 
    --api-keys " sk-empty "

Isso puxará a imagem do motor Afrodite (download ~ 8GIB) e iniciará o mecanismo com o modelo LLAMA-3.1-8B-INSTRUCT na porta 2242.

Requisitos

• Sistema Operacional: Linux (ou WSL for Windows)
• Python: 3,8 a 3.12

Para usuários do Windows, é recomendável usar o Tabbyapi, se você não precisar de suporte em lote.

Requisitos de construção:

• CUDA> = 11

Para dispositivos suportados, veja aqui. De um modo geral, todas as GPUs semi -modernas são suportadas - até Pascal (GTX 10xx, P40, etc.) também apoiamos GPUs AMD, Intel CPUs e GPUs, Google TPU e AWS Inferentia.

Notas

1. Por design, Afrodite ocupa 90% do VRAM da sua GPU. Se você não está servindo um LLM em escala, convém limitar a quantidade de memória que ele ocupa. Você pode fazer isso no exemplo da API iniciando o servidor com a --gpu-memory-utilization 0.6 (0,6 significa 60%).

2. Você pode visualizar a lista completa de comandos executando aphrodite run --help .

Agradecimentos

O motor de Afrodite não teria sido possível sem o trabalho fenomenal de outros projetos de código aberto. Créditos vão para:

• Vllm (Cacheflow)
• Tensorrt-llm
• xformers
• Flash de atenção
• llama.cpp
• Autoawq
• AutoGPTQ
• Squeezellm
• Exllamav2
• Tabbyapi
• AQLM
• Koboldai
• Geração de texto Webui
• Megatron-lm
• Raio

Contribuindo

Todos são bem -vindos para contribuir. Você pode apoiar o projeto abrindo solicitações de tração de novos recursos, correções ou melhorias gerais de UX.