edgen

Um servidor de API Genai local: um substituto de entrega para a API do OpenAI para Genai local

| Documentação | Blog | Discord | Roteiro |

Edgenchat, um aplicativo de bate -papo local alimentado por ⚡edgen

• API compatível com o OpenAI : ⚡EdGen implementa uma API compatível com o OpenAI, tornando-a uma substituição de drop-in.
• Suporte para Multi-EndPoint : ⚡EdGen expõe vários pontos de extremidade de IA, como conclusões de bate-papo (LLMS) e fala para texto (sussurro) para transcrições de áudio.
• Modelo Agnóstico : LLMS (LLAMA2, Mistral, Mixtral ...), fala para texto (sussurro) e muitos outros.
• Inferência otimizada : você não precisa fazer um doutorado em otimização de IA. ⚡edgen Abstracts A complexidade de otimizar a inferência por diferentes hardware, plataformas e modelos.
• Modular : ⚡edgen é modelo e tempo de execução agnóstico. Novos modelos podem ser adicionados com facilidade e o ⚡EdGen pode selecionar o melhor tempo de execução para o hardware do usuário: você não precisa acompanhar os modelos mais recentes e os horários de execução da ML - ⚡EdGen fará isso por você .
• Cache de modelos : ⚡edgen cache os modelos fundamentais localmente; portanto, 1 modelo pode alimentar centenas de aplicativos diferentes - os usuários não precisam baixar o mesmo modelo várias vezes.
• Nativo : ⚡EdGen é construído? Rust e é compilado nativamente para todas as plataformas populares: Windows, MacOS e Linux . Não é necessário docker.
• Interface gráfica : uma interface gráfica do usuário para ajudar os usuários a gerenciar com eficiência seus modelos, terminais e permissões.

⚡edgen permite usar o Genai em seu aplicativo, completamente localmente nos dispositivos do seu usuário, gratuitamente e com privacia de dados . É uma substituição de drop-in para o OpenAI (ele usa a API compatível), suporta várias funções como geração de texto, fala para texto e funciona no Windows, Linux e MacOS.

Características

• Cache de sessão: ⚡edgen mantém o melhor desempenho com grandes contextos (grandes histórias de bate -papo), por sessões de cache. As sessões são detectadas automaticamente em função do histórico de bate-papo.
• Apoio à GPU: Cuda, Vulkan. Metal

Pontos de extremidade

• [CHAT] Concluções
• [Áudio] transcrições
• [Incorporação] incorporações
• [Imagem] geração
• [CHAT] conclusões multimodais de bate -papo
• [Áudio] Discurso

Modelos suportados

Verifique a documentação

Plataformas suportadas

• Windows
• Linux
• Macos

Tópicos quentes

Por que Genai local?

• Dados Privado : Inferência no dispositivo significa que os dados dos usuários nunca deixam seus dispositivos.

• Escalável : mais e mais usuários? Não há necessidade de incrementar a infraestrutura de computação em nuvem. Deixe seus usuários usarem seu próprio hardware.

• Confiável : sem internet, sem tempo de inatividade, sem limites de taxa, sem chaves da API.

• GRATUITO : Ele é executado localmente no hardware que o usuário já possui.

Investir rápido

1. Baixe e comece ⚡edgen
2. Converse com ⚡EdGenchat

Pronto para iniciar seu próprio aplicativo Genai? Confira nossos guias!

⚡edgen Uso:

 Usage: edgen [<command>] [<args>]

Toplevel CLI commands and options. Subcommands are optional. If no command is provided "serve" will be invoked with default options.

Options:
  --help            display usage information

Commands:
  serve             Starts the edgen server. This is the default command when no
                    command is provided.
  config            Configuration-related subcommands.
  version           Prints the edgen version to stdout.
  oasgen            Generates the Edgen OpenAPI specification.

edgen serve o uso:

 Usage: edgen serve [-b <uri...>] [-g]

Starts the edgen server. This is the default command when no command is provided.

Options:
  -b, --uri         if present, one or more URIs/hosts to bind the server to.
                    `unix://` (on Linux), `http://`, and `ws://` are supported.
                    For use in scripts, it is recommended to explicitly add this
                    option to make your scripts future-proof.
  -g, --nogui       if present, edgen will not start the GUI; the default
                    behavior is to start the GUI.
  --help            display usage information

Suporte à GPU

⚡edgen também suporta compilação e execução em uma GPU, ao construir da fonte, através de Vulkan, Cuda e Metal. Os seguintes recursos de carga permitem a GPU:

• llama_vulkan - Execute LLM Modelos usando Vulkan. Requer que um SDK vulkan seja instalado.
• llama_cuda - Execute os modelos LLM usando CUDA. Requer que um kit de ferramentas CUDA seja instalado.
• llama_metal - Execute os modelos LLM usando metal.
• whisper_cuda - Execute modelos de sussurros usando CUDA. Requer que um kit de ferramentas CUDA seja instalado.

Observe que, no momento, llama_vulkan , llama_cuda e llama_metal não podem ser ativados ao mesmo tempo.

Exemplo de uso (edifício da fonte, você precisa primeiro instalar os pré -requisitos):

 cargo run --features llama_vulkan --release -- serve

Visão geral da arquitetura

Visão geral da arquitetura

Contribuir

Se você não sabe por onde começar, verifique o Roteiro de Edgen! Antes de começar a trabalhar em alguma coisa, veja se existe um problema/solicitação de tração existente. Entre em discórdia para verificar com a equipe ou ver se alguém já está enfrentando.

Canais de comunicação

• Servidor Edgen Discord: discussões em tempo real com a equipe ⚡edgen e outros usuários.
• Problemas do GitHub: solicitações de recursos, bugs.
• Discussões do Github: Perguntas e respostas.
• Blog: Grandes anúncios.

Obrigado especial

• llama.cpp , whisper.cpp e ggml por serem um excelente ponto de entrada para este espaço.