edgen

Un serveur API Genai local: un remplacement de rendez-vous pour l'API d'Openai pour le Genai local

| Documentation | Blog | Discorde | Feuille de route |

EdGenchat, une application de chat locale propulsée par ⚡edgen

• API conforme à l'OpenAI : ⚡Edgen implémente une API compatible OpenAI, ce qui en fait un remplacement sans rendez-vous.
• Prise en charge multi-Endpoint : ⚡Edgen expose plusieurs points de terminaison AI tels que les compléments de chat (LLMS) et la parole à texte (Whisper) pour les transcriptions audio.
• Modèle agnostique : LLMS (LLAMA2, Mistral, Mixtral ...), Speech-to-Text (Whisper) et bien d'autres.
• Inférence optimisée : vous n'avez pas besoin de prendre un doctorat dans l'optimisation de l'IA. ⚡Edgen résume la complexité de l'optimisation de l'inférence pour différents matériel, plates-formes et modèles.
• Modulaire : ⚡Edgen est un modèle et un agnostique d'exécution . De nouveaux modèles peuvent être ajoutés facilement et ⚡Edgen peut sélectionner le meilleur temps d'exécution pour le matériel de l'utilisateur: vous n'avez pas besoin de suivre les derniers modèles et les temps de course ML - ⚡Edgen le fera pour vous .
• Modèle Cache : ⚡Edgen cache les modèles fondamentaux localement, de sorte que 1 modèle peut alimenter des centaines d'applications différentes - les utilisateurs n'ont pas besoin de télécharger le même modèle plusieurs fois.
• Native : ⚡Edgen est intégré à la rouille et est compilée nativement à toutes les plates-formes populaires: Windows, MacOS et Linux . Aucun docker requis.
• Interface graphique : une interface utilisateur graphique pour aider les utilisateurs à gérer efficacement leurs modèles, points de terminaison et autorisations.

⚡Edgen vous permet d'utiliser Genai dans votre application, complètement localement sur les appareils de votre utilisateur, gratuitement et avec la privilège de données . Il est un remplacement d'allumage pour OpenAI (il utilise l'API A compatible), prend en charge diverses fonctions comme la génération de texte, la parole en texte et fonctionne sur Windows, Linux et MacOS.

Caractéristiques

• Cache de session: ⚡Edgen maintient les meilleures performances avec de grands contextes (grandes histoires de chat), par des sessions de mise en cache. Les séances sont automatiquement détectées en fonction de l'historique du chat.
• Support GPU: Cuda, Vulkan. Métal

Points de terminaison

• [CHAT] Complétions
• [Audio] Transcriptions
• [Intégres] intégres
• [Image] Génération
• [CHAT] Compléments de chat multimodal
• [Audio] Discours

Modèles pris en charge

Vérifier la documentation

Plates-formes prises en charge

• Fenêtre
• Linux
• Macos

Sujets chauds

Pourquoi le Genai local?

• Données privées : l'inférence à disposition signifie que les données des utilisateurs ne laissent jamais leurs appareils.

• Stumable : de plus en plus d'utilisateurs? Pas besoin d'incrémenter l'infrastructure du cloud computing. Laissez simplement vos utilisateurs utiliser leur propre matériel.

• Fiable : pas Internet, pas de temps d'arrêt, pas de limites de taux, pas de clés API.

• GRATUIT : il s'exécute localement sur le matériel que l'utilisateur possède déjà.

Start

1. Télécharger et démarrer ⚡Edgen
2. Discuter avec ⚡edGenchat

Prêt à démarrer votre propre application Genai? Découvrez nos guides!

⚡Edgen Utilisation:

 Usage: edgen [<command>] [<args>]

Toplevel CLI commands and options. Subcommands are optional. If no command is provided "serve" will be invoked with default options.

Options:
  --help            display usage information

Commands:
  serve             Starts the edgen server. This is the default command when no
                    command is provided.
  config            Configuration-related subcommands.
  version           Prints the edgen version to stdout.
  oasgen            Generates the Edgen OpenAPI specification.

Utilisation edgen serve :

 Usage: edgen serve [-b <uri...>] [-g]

Starts the edgen server. This is the default command when no command is provided.

Options:
  -b, --uri         if present, one or more URIs/hosts to bind the server to.
                    `unix://` (on Linux), `http://`, and `ws://` are supported.
                    For use in scripts, it is recommended to explicitly add this
                    option to make your scripts future-proof.
  -g, --nogui       if present, edgen will not start the GUI; the default
                    behavior is to start the GUI.
  --help            display usage information

Support GPU

⚡Edgen prend également en charge la compilation et l'exécution sur un GPU, lors de la construction de Source, via Vulkan, Cuda et Metal. Les fonctionnalités de cargaison suivantes permettent le GPU:

• llama_vulkan - EXÉCUTER les modèles LLM à l'aide de Vulkan. Nécessite l'installation d'un SDK Vulkan.
• llama_cuda - EXÉCUTER LLM Modèles à l'aide de CUDA. Nécessite une boîte à outils CUDA à installer.
• llama_metal - EXÉCUTER les modèles LLM utilisant du métal.
• whisper_cuda - Exécutez des modèles Whisper à l'aide de CUDA. Nécessite une boîte à outils CUDA à installer.

Notez que, pour le moment, llama_vulkan , llama_cuda et llama_metal ne peuvent pas être activés en même temps.

Exemple d'utilisation (construction de Source, vous devez d'abord installer les conditions préalables):

 cargo run --features llama_vulkan --release -- serve

Aperçu de l'architecture

⚡EDGEN Architecture Présentation

Contribuer

Si vous ne savez pas par où commencer, consultez la feuille de route d'Edgen! Avant de commencer à travailler sur quelque chose, voyez s'il y a un problème / une demande de traction existant. Appartez dans Discord pour vérifier avec l'équipe ou voir si quelqu'un s'attaque déjà.

Canaux de communication

• Edgen Discord Server: discussions en temps réel avec l'équipe ⚡Edgen et d'autres utilisateurs.
• Problèmes de GitHub: Demandes de fonctionnalités, bogues.
• Discussions GitHub: Q&R.
• Blog: GRANDS annonces.

Merci spécial

• llama.cpp , whisper.cpp et ggml pour être un excellent point de mise à pied pour cet espace.