edgen

当地的Genai API服务器：OpenAI的API替换本地Genai

|文档|博客|不和谐|路线图|

EDGENCHAT，由⚡Edgen提供动力的本地聊天应用

• 符合OpenAI的API ：⚡EDGEN实现OpenAI兼容API，使其成为置换式API。
• 多端支持：⚡Edgen公开了多个AI端点，例如聊天完成（LLMS）和语音到文本（窃窃私语），以进行音频转录。
• 模型不可知论：LLMS（Llama2，Mistral，Mixtral ...），语音到文本（窃窃私语）等。
• 优化推理：您无需在AI优化中获得博士学位。 ⚡EDGEN摘要优化不同硬件，平台和模型的推断的复杂性。
• 模块化：⚡Edgen是模型和运行时不可知论。可以轻松添加新型号，并且可以为用户的硬件选择最佳的运行时：您无需跟上最新型号和ML Runtimes- ⚡Edgen将为您做到这一点。
• 模型缓存：⚡EDGENCACHES的基础模型，因此1个模型可以为数百个不同的应用程序供电 - 用户无需多次下载同一模型。
• 本机：⚡Edgen内置？rust，并且本地编译为所有流行的平台： Windows，MacOS和Linux 。无需码头。
• 图形接口：一个图形用户界面，可帮助用户有效地管理其模型，端点和权限。

⚡EDGEN可让您免费在用户的设备上本地使用Genai，并免费提供数据私人。这是OpenAI（使用A兼容API）的替换，它支持文本生成，语音到文本以及Windows，Linux和MacOS上的作品等各种功能。

特征

• 会话缓存：⚡EDGEN通过缓存会话保持了最佳性能（大聊天历史）（大聊天历史）。会话是在聊天历史记录的功能中自动检测的。
• GPU支持：Cuda，Vulkan。金属

端点

• [聊天]完成
• [音频]转录
• [嵌入]嵌入
• [图像]生成
• [聊天]多模式聊天完成
• [音频]语音

支持的模型

检查文档

支持的平台

• 视窗
• Linux
• macos

热门话题

为什么要当地的Genai？

• 数据私有：启用推理意味着用户的数据永远不会离开其设备。

• 可扩展：越来越多的用户？无需增加云计算基础架构。只需让您的用户使用自己的硬件即可。

• 可靠：没有互联网，没有停机时间，没有费率限制，没有API密钥。

• 免费：它在用户已经拥有的硬件上本地运行。

Quickstart

1. 下载并开始⚡Edgen
2. 与Edgenchat聊天

准备启动自己的Genai应用程序了吗？结帐我们的指南！

⚡Edgen用法：

 Usage: edgen [<command>] [<args>]

Toplevel CLI commands and options. Subcommands are optional. If no command is provided "serve" will be invoked with default options.

Options:
  --help            display usage information

Commands:
  serve             Starts the edgen server. This is the default command when no
                    command is provided.
  config            Configuration-related subcommands.
  version           Prints the edgen version to stdout.
  oasgen            Generates the Edgen OpenAPI specification.

edgen serve用法：

 Usage: edgen serve [-b <uri...>] [-g]

Starts the edgen server. This is the default command when no command is provided.

Options:
  -b, --uri         if present, one or more URIs/hosts to bind the server to.
                    `unix://` (on Linux), `http://`, and `ws://` are supported.
                    For use in scripts, it is recommended to explicitly add this
                    option to make your scripts future-proof.
  -g, --nogui       if present, edgen will not start the GUI; the default
                    behavior is to start the GUI.
  --help            display usage information

GPU支持

⚡EDGEN还通过Vulkan，Cuda和Metal构建时，还支持GPU上的汇编和执行。以下货物功能使GPU：

• llama_vulkan使用Vulkan执行LLM型号。需要安装Vulkan SDK。
• llama_cuda使用CUDA执行LLM型号。需要安装一个CUDA工具包。
• llama_metal使用金属执行LLM型号。
• whisper_cuda使用cuda执行耳语模型。需要安装一个CUDA工具包。

请注意，目前无法同时启用llama_vulkan ， llama_cuda和llama_metal 。

示例用法（从源构建，您需要首先安装先决条件）：

 cargo run --features llama_vulkan --release -- serve

体系结构概述

⚡EDGEN架构概述

贡献

如果您不知道从哪里开始，请查看Edgen的路线图！在开始研究某件事之前，请查看是否存在现有问题/拉普雷斯。弹出不和谐与团队联系，或者查看某人是否已经在解决该团队。

沟通渠道

• EDGEN DISCORD服务器：与⚡EDGEN团队和其他用户的实时讨论。
• GitHub问题：功能请求，错误。
• Github讨论：问答。
• 博客：大公告。

特别感谢

• llama.cpp ， whisper.cpp和ggml是这个空间的出色点。