edgen

Локальный сервер Genai API: замена погружения в API Openai для местного Genai

| Документация | Блог | Раздор | Дорожная карта |

Edgenchat, локальное приложение чата, основанное на ⚡edgen

• API API API OpenAI : ⚡EDGEN реализует API, совместимый с OpenAI, что делает его заменой.
• Поддержка с несколькими элитными точками : ⚡EDGEN раскрывает несколько конечных точек AI, таких как завершение чата (LLMS) и речь в тексте (Whisper) для аудио транскрипций.
• Модель агностик : LLMS (Llama2, Mistral, Mixtral ...), речь в тексте (шепот) и многие другие.
• Оптимизированный вывод : вам не нужно получать докторскую степень в области оптимизации искусственного интеллекта. ⚡EDGEN Аннотация Сложность оптимизации вывода для различных оборудования, платформ и моделей.
• Модульный : ⚡EDGEN - это модельная и агностическая времени . Новые модели могут быть легко добавлены, и ⚡Edgen может выбрать наилучшее время выполнения для оборудования пользователя: вам не нужно идти в ногу с последними моделями и ML -временем - ⚡edgen сделает это для вас .
• Кэширование модели : ⚡edgen Caches Основополагающие модели локально, поэтому 1 модель может питать сотни различных приложений - пользователям не нужно загружать одну и ту же модель несколько раз.
• Native : ⚡Edgen встроен? Rust и изначально скомпилируется для всех популярных платформ: Windows, MacOS и Linux . Docker не требуется.
• Графический интерфейс : графический пользовательский интерфейс, помогающий пользователям эффективно управлять своими моделями, конечными точками и разрешениями.

⚡edgen позволяет использовать Genai в вашем приложении, полностью локально на устройствах вашего пользователя, бесплатно и с помощью данных . Это замена для открытия (он использует совместимый API), поддерживает различные функции, такие как генерация текста, речь в тексте и работает на Windows, Linux и MacOS.

Функции

• Кэширование сеанса: ⚡Edgen поддерживает высшие результаты с большими контекстами (большие истории чата), за счет кэширования сеансов. Сеансы автоматически определяются в функции истории чата.
• Поддержка GPU: Cuda, Vulkan. Металл

Конечные точки

• [ЧАТ] Завершение
• [Аудио] стенограммы
• [Enterdings] Enterdings
• [Изображение] поколение
• [ЧАТ] По завершении мультимодального чата
• [Аудио] Речь

Поддерживаемые модели

Проверьте документацию

Поддерживаемые платформы

• Окна
• Linux
• MacOS

Горячие темы

Почему местный Genai?

• Data Private : вывод на устройстве означает, что данные пользователей никогда не оставляют свои устройства.

• Scalable : все больше и больше пользователей? Нет необходимости увеличивать инфраструктуру облачных вычислений. Просто позвольте вашим пользователям использовать свое собственное оборудование.

• Надежный : нет интернета, нет времени простоя, без ограничений по ставке, нет ключей API.

• Бесплатно : он работает локально на аппаратном обеспечении, которым пользователь уже владеет.

QuickStart

1. Скачать и запустить ⚡edgen
2. Общайтесь с ⚡edgenchat

Готовы начать собственное приложение Genai? Проверьте наши гиды!

⚡edgen Использование:

 Usage: edgen [<command>] [<args>]

Toplevel CLI commands and options. Subcommands are optional. If no command is provided "serve" will be invoked with default options.

Options:
  --help            display usage information

Commands:
  serve             Starts the edgen server. This is the default command when no
                    command is provided.
  config            Configuration-related subcommands.
  version           Prints the edgen version to stdout.
  oasgen            Generates the Edgen OpenAPI specification.

edgen serve использования:

 Usage: edgen serve [-b <uri...>] [-g]

Starts the edgen server. This is the default command when no command is provided.

Options:
  -b, --uri         if present, one or more URIs/hosts to bind the server to.
                    `unix://` (on Linux), `http://`, and `ws://` are supported.
                    For use in scripts, it is recommended to explicitly add this
                    option to make your scripts future-proof.
  -g, --nogui       if present, edgen will not start the GUI; the default
                    behavior is to start the GUI.
  --help            display usage information

Поддержка графического процессора

⚡EDGEN также поддерживает компиляцию и исполнение на графическом процессоре при строительстве из источника, через Vulkan, CUDA и Metal. Следующие функции груза включают GPU:

• llama_vulkan - выполнить модели LLM с использованием Vulkan. Требуется вулкан SDK, который будет установлен.
• llama_cuda - выполнить модели LLM с использованием CUDA. Требуется установка инструментария CUDA.
• llama_metal - выполнить модели LLM с помощью металла.
• whisper_cuda - выполнить модели шепота с помощью CUDA. Требуется установка инструментария CUDA.

Обратите внимание, что на данный момент llama_vulkan , llama_cuda и llama_metal не могут быть включены в одно и то же время.

Пример использования (здание из источника, вам нужно сначала установить предпосылки):

 cargo run --features llama_vulkan --release -- serve

Обзор архитектуры

⚡edgen Architecture Обзор

Способствовать

Если вы не знаете, с чего начать, проверьте дорожную карту Эдгена! Прежде чем начать работать над чем-то, посмотрите, существует ли существующая проблема/pull-request. Зайдите в Discord, чтобы проверить с командой или посмотреть, кто -то уже справится с этим.

Каналы связи

• Эдген Discord Server: дискуссии в реальном времени с командой ⚡Edgen и другими пользователями.
• Проблемы GitHub: запросы функций, ошибки.
• Обсуждения GitHub: Q & A.
• Блог: большие объявления.

Особая благодарность

• llama.cpp , whisper.cpp и ggml за то, что они отлично подходят для этого пространства.