edgen

Un servidor de API de Genai local: un reemplazo de entrega para la API de OpenAI para Genai local

| Documentación | Blog | Discordia | Hoja de ruta |

Edgenchat, una aplicación de chat local impulsada por ⚡Edgen

• API compatible con OpenAI : ⚡Edgen implementa una API compatible de Operai, lo que lo convierte en un reemplazo de entrega.
• Soporte de punto múltiple : ⚡Edgen expone múltiples puntos finales de IA, como complementos de chat (LLM) y voz a texto (Whisper) para transcripciones de audio.
• Modelo Agnóstico : LLMS (LLAMA2, Mistral, Mixtral ...), Speech-to-Text (Whisper) y muchos otros.
• Inferencia optimizada : no necesita tomar un doctorado en la optimización de IA. ⚡Edgen abstra la complejidad de optimizar la inferencia para diferentes hardware, plataformas y modelos.
• Modular : ⚡Edgen es modelo y tiempo de ejecución agnóstico. Los nuevos modelos se pueden agregar fácilmente y ⚡Edgen puede seleccionar el mejor tiempo de ejecución para el hardware del usuario: no necesita mantenerse al día con los últimos modelos y ML Runtimes: ⚡Edgen lo hará por usted .
• Estampado de almacenamiento en caché del modelo : ⚡Edgen cachés Modelos fundamentales localmente, por lo que 1 modelo puede alimentar cientos de aplicaciones diferentes: los usuarios no necesitan descargar el mismo modelo varias veces.
• Nativo : ⚡Edgen está incorporado? Rust y se compila de forma nativa a todas las plataformas populares: Windows, MacOS y Linux . No se requiere Docker.
• Interfaz gráfica : una interfaz gráfica de usuario para ayudar a los usuarios a administrar eficientemente sus modelos, puntos finales y permisos.

⚡Edgen le permite usar Genai en su aplicación, completamente localmente en los dispositivos de su usuario, de forma gratuita y con la privacidad de datos . Es un reemplazo de entrega de OpenAI (utiliza una API compatible), admite varias funciones como generación de texto, voz a texto y funciona en Windows, Linux y macOS.

Características

• Al almacenamiento en caché de la sesión: ⚡Edgen mantiene el mejor rendimiento con grandes contextos (grandes historias de chat), por sesiones de almacenamiento en caché. Las sesiones se detectan automáticamente en función del historial de chat.
• Soporte de GPU: Cuda, Vulkan. Metal

Puntos finales

• [CHAT] Finalización
• Transcripciones [audio]
• [Incrustaciones] incrustaciones
• [Imagen] Generación
• [CHAT] finalizaciones de chat multimodal
• [Audio] discurso

Modelos compatibles

Verifique la documentación

Plataformas compatibles

• Windows
• Linux
• Macosa

Temas calientes

¿Por qué Genai local?

• Datos privados : la inferencia en el dispositivo significa que los datos de los usuarios nunca dejan sus dispositivos.

• Escalable : ¿Más y más usuarios? No hay necesidad de incrementar la infraestructura de computación en la nube. Solo deje que sus usuarios usen su propio hardware.

• Confiable : sin internet, sin tiempo de inactividad, sin límites de tasa, sin claves API.

• GRATIS : se ejecuta localmente en el hardware que el usuario ya posee.

Inicio rápido

1. Descargar y comenzar ⚡Edgen
2. Chatear con ⚡Edgenchat

¿Listo para comenzar su propia aplicación Genai? ¡Vea nuestras guías!

⚡Edgen Uso:

 Usage: edgen [<command>] [<args>]

Toplevel CLI commands and options. Subcommands are optional. If no command is provided "serve" will be invoked with default options.

Options:
  --help            display usage information

Commands:
  serve             Starts the edgen server. This is the default command when no
                    command is provided.
  config            Configuration-related subcommands.
  version           Prints the edgen version to stdout.
  oasgen            Generates the Edgen OpenAPI specification.

edgen serve USAGE:

 Usage: edgen serve [-b <uri...>] [-g]

Starts the edgen server. This is the default command when no command is provided.

Options:
  -b, --uri         if present, one or more URIs/hosts to bind the server to.
                    `unix://` (on Linux), `http://`, and `ws://` are supported.
                    For use in scripts, it is recommended to explicitly add this
                    option to make your scripts future-proof.
  -g, --nogui       if present, edgen will not start the GUI; the default
                    behavior is to start the GUI.
  --help            display usage information

Soporte de GPU

⚡Edgen también admite la compilación y la ejecución en una GPU, cuando se construye desde la fuente, a través de Vulkan, Cuda y Metal. Las siguientes características de carga habilitan la GPU:

• llama_vulkan - Ejecutar modelos LLM usando Vulkan. Requiere que se instale un SDK Vulkan.
• llama_cuda - Ejecutar modelos LLM usando CUDA. Requiere que se instale un kit de herramientas CUDA.
• llama_metal - Ejecutar modelos LLM usando metal.
• whisper_cuda - Ejecutar modelos Whisper usando CUDA. Requiere que se instale un kit de herramientas CUDA.

Tenga en cuenta que, por el momento, llama_vulkan , llama_cuda y llama_metal no se pueden habilitar al mismo tiempo.

Ejemplo de uso (edificio desde la fuente, primero debe instalar los requisitos previos):

 cargo run --features llama_vulkan --release -- serve

Descripción general de la arquitectura

⚡Encantario de la arquitectura de EDGEN

Contribuir

Si no sabe por dónde comenzar, ¡revise la hoja de ruta de Edgen! Antes de comenzar a trabajar en algo, vea si hay un problema/solicitud de extracción existente. Pase en Discord para consultar con el equipo o ver si alguien ya lo está abordando.

Canales de comunicación

• EDGEN Discord Server: discusiones en tiempo real con el equipo ⚡Edgen y otros usuarios.
• Problemas de GitHub: solicitudes de funciones, errores.
• Discusiones de Github: Preguntas y respuestas.
• Blog: grandes anuncios.

Agradecimiento especial

• llama.cpp , whisper.cpp y ggml por ser un excelente punto para este espacio.