edgen

Ein lokaler Genai-API-Server: Ein Drop-In-Ersatz für die OpenAI-API für lokale Genai

| Dokumentation | Blog | Zwietracht | Roadmap |

Edgenchat, eine lokale Chat -App, die von ⚡edgen betrieben wird

• OpenAI-konforme API : ⚡Dgen implementiert eine openAI-kompatible API, wodurch sie zu einem Drop-In-Ersatz ist.
• Multi-Endpunkt-Unterstützung : ⚡edGen enthält mehrere AI-Endpunkte wie Chat-Abschlüsse (LLMs) und Sprach-zu-Text (Whisper) für Audio-Transkriptionen.
• Model Agnostic : LLMs (LLAMA2, Mistral, Mixtral ...), Speech-to-Text (Whisper) und viele andere.
• Optimierte Inferenz : Sie müssen keine Doktorarbeit in der AI -Optimierung annehmen. ⚡Edgen Abstracts Die Komplexität der Optimierung der Inferenz für verschiedene Hardware, Plattformen und Modelle.
• Modular : ⚡edgen ist Modell und Laufzeit agnostisch. Neue Modelle können leicht hinzugefügt werden und ⚡Dgen kann die beste Laufzeit für die Hardware des Benutzers auswählen: Sie müssen nicht über die neuesten Modelle und ML -Laufzeiten Schritt halten - ⚡Dgen wird dies für Sie tun .
• Model Caching : ⚡edgen Caches Fundamentsmodelle lokal, so dass 1 Modell Hunderte verschiedener Apps mit Strom versorgen kann - Benutzer müssen das gleiche Modell nicht mehrmals herunterladen.
• Native : ⚡edgen ist in? Rost eingebaut und wird nativ mit allen beliebten Plattformen zusammengestellt: Windows, MacOS und Linux . Kein Docker erforderlich.
• Grafische Schnittstelle : Eine grafische Benutzeroberfläche, mit der Benutzer ihre Modelle, Endpunkte und Berechtigungen effizient verwalten können.

Mit ⚡Dgen können Sie Genai in Ihrer App, vollständig lokal auf den Geräten Ihres Benutzers, kostenlos und mit Daten im Bereich verwenden. Es ist ein Drop-In-Ersatz für OpenAI (es verwendet eine kompatible API), unterstützt verschiedene Funktionen wie Textgenerierung, Sprache zu Text und funktioniert unter Windows, Linux und MacOS.

Merkmale

• Session Caching: ⚡edgen hält die Top -Leistung mit großen Kontexten (große Chat -Historien) durch Zwischenspeicherungen. Sitzungen sind in Funktion des Chat-Verlaufs automatisch zu erkennen.
• GPU -Unterstützung: Cuda, Vulkan. Metall

Endpunkte

• [CHAT] Abschlüsse
• [Audio] Transkriptionen
• [Einbettung] Einbettungen
• [Bild] Generation
• [CHAT] Multimodale Chat -Abschluss
• [Audio] Sprache

Unterstützte Modelle

Überprüfen Sie die Dokumentation

Unterstützte Plattformen

• Fenster
• Linux
• Macos

Heiße Themen

Warum lokaler Genai?

• Daten privat : Inferenz für das Gerät bedeutet, dass die Daten der Benutzer ihre Geräte niemals verlassen.

• Skalierbar : Immer mehr Benutzer? Es ist nicht erforderlich, die Cloud -Computing -Infrastruktur zu erhöhen. Lassen Sie Ihre Benutzer einfach ihre eigene Hardware verwenden.

• Zuverlässig : Kein Internet, keine Ausfallzeit, keine Tarifbegrenzungen, keine API -Schlüssel.

• KOSTENLOS : Es wird lokal auf Hardware ausgeführt, die der Benutzer bereits besitzt.

QuickStart

1. Download und starten Sie ⚡edgen
2. Chatten Sie mit ⚡edGenchat

Bereit, eine eigene Genai -Anwendung zu starten? Checkout in unseren Führern!

⚡edgen -Verwendung:

 Usage: edgen [<command>] [<args>]

Toplevel CLI commands and options. Subcommands are optional. If no command is provided "serve" will be invoked with default options.

Options:
  --help            display usage information

Commands:
  serve             Starts the edgen server. This is the default command when no
                    command is provided.
  config            Configuration-related subcommands.
  version           Prints the edgen version to stdout.
  oasgen            Generates the Edgen OpenAPI specification.

Nutzung edgen serve :

 Usage: edgen serve [-b <uri...>] [-g]

Starts the edgen server. This is the default command when no command is provided.

Options:
  -b, --uri         if present, one or more URIs/hosts to bind the server to.
                    `unix://` (on Linux), `http://`, and `ws://` are supported.
                    For use in scripts, it is recommended to explicitly add this
                    option to make your scripts future-proof.
  -g, --nogui       if present, edgen will not start the GUI; the default
                    behavior is to start the GUI.
  --help            display usage information

GPU -Unterstützung

⚡Edgen unterstützt auch Zusammenstellung und Ausführung auf einer GPU, wenn sie aus der Quelle über Vulkan, Cuda und Metall baut. Die folgenden Frachtmerkmale ermöglichen die GPU:

• llama_vulkan - LLM -Modelle mit Vulkan ausführen. Erfordert ein Vulkan -SDK installiert.
• llama_cuda - LLM -Modelle mit CUDA ausführen. Benötigt ein CUDA -Toolkit.
• llama_metal - Führen Sie LLM -Modelle mit Metall aus.
• whisper_cuda - Führen Sie Whisper -Modelle mit CUDA aus. Benötigt ein CUDA -Toolkit.

Beachten Sie, dass llama_vulkan , llama_cuda und llama_metal im Moment nicht gleichzeitig aktiviert werden können.

Beispielnutzung (Gebäude aus der Quelle, Sie müssen zuerst die Voraussetzungen installieren):

 cargo run --features llama_vulkan --release -- serve

Architekturübersicht

⚡Dgen Architekturübersicht

Beitragen

Wenn Sie nicht wissen, wo Sie anfangen sollen, überprüfen Sie die Roadmap von Edgen! Bevor Sie an etwas arbeiten, prüfen Sie, ob es ein vorhandenes Problem/eine Pull-Request gibt. Gehen Sie in Discord, um sich beim Team zu erkundigen oder zu sehen, ob jemand es bereits angeht.

Kommunikationskanäle

• Edgen Discord Server: Echtzeitgespräche mit dem ⚡edGen -Team und anderen Benutzern.
• GitHub -Probleme: Feature -Anfragen, Fehler.
• Github -Diskussionen: Q & A.
• Blog: große Ankündigungen.

Besonderer Dank

• llama.cpp , whisper.cpp und ggml für einen hervorragenden Punkt für diesen Raum.