edgen

當地的Genai API服務器：OpenAI的API替換本地Genai

|文檔|博客|不和諧|路線圖|

EDGENCHAT，由⚡Edgen提供動力的本地聊天應用

• 符合OpenAI的API ：⚡EDGEN實現OpenAI兼容API，使其成為置換式API。
• 多端支持：⚡Edgen公開了多個AI端點，例如聊天完成（LLMS）和語音到文本（竊竊私語），以進行音頻轉錄。
• 模型不可知論：LLMS（Llama2，Mistral，Mixtral ...），語音到文本（竊竊私語）等。
• 優化推理：您無需在AI優化中獲得博士學位。 ⚡EDGEN摘要優化不同硬件，平台和模型的推斷的複雜性。
• 模塊化：⚡Edgen是模型和運行時不可知論。可以輕鬆添加新型號，並且可以為用戶的硬件選擇最佳的運行時：您無需跟上最新型號和ML Runtimes- ⚡Edgen將為您做到這一點。
• 模型緩存：⚡EDGENCACHES的基礎模型，因此1個模型可以為數百個不同的應用程序供電 - 用戶無需多次下載同一模型。
• 本機：⚡Edgen內置？rust，並且本地編譯為所有流行的平台： Windows，MacOS和Linux 。無需碼頭。
• 圖形接口：一個圖形用戶界面，可幫助用戶有效地管理其模型，端點和權限。

⚡EDGEN可讓您免費在用戶的設備上本地使用Genai，並免費提供數據私人。這是OpenAI（使用A兼容API）的替換，它支持文本生成，語音到文本以及Windows，Linux和MacOS上的作品等各種功能。

特徵

• 會話緩存：⚡EDGEN通過緩存會話保持了最佳性能（大聊天歷史）（大聊天歷史）。會話是在聊天歷史記錄的功能中自動檢測的。
• GPU支持：Cuda，Vulkan。金屬

端點

• [聊天]完成
• [音頻]轉錄
• [嵌入]嵌入
• [圖像]生成
• [聊天]多模式聊天完成
• [音頻]語音

支持的模型

檢查文檔

支持的平台

• 視窗
• Linux
• macos

熱門話題

為什麼要當地的Genai？

• 數據私有：啟用推理意味著用戶的數據永遠不會離開其設備。

• 可擴展：越來越多的用戶？無需增加雲計算基礎架構。只需讓您的用戶使用自己的硬件即可。

• 可靠：沒有互聯網，沒有停機時間，沒有費率限制，沒有API密鑰。

• 免費：它在用戶已經擁有的硬件上本地運行。

Quickstart

1. 下載並開始⚡Edgen
2. 與Edgenchat聊天

準備啟動自己的Genai應用程序了嗎？結帳我們的指南！

⚡Edgen用法：

 Usage: edgen [<command>] [<args>]

Toplevel CLI commands and options. Subcommands are optional. If no command is provided "serve" will be invoked with default options.

Options:
  --help            display usage information

Commands:
  serve             Starts the edgen server. This is the default command when no
                    command is provided.
  config            Configuration-related subcommands.
  version           Prints the edgen version to stdout.
  oasgen            Generates the Edgen OpenAPI specification.

edgen serve用法：

 Usage: edgen serve [-b <uri...>] [-g]

Starts the edgen server. This is the default command when no command is provided.

Options:
  -b, --uri         if present, one or more URIs/hosts to bind the server to.
                    `unix://` (on Linux), `http://`, and `ws://` are supported.
                    For use in scripts, it is recommended to explicitly add this
                    option to make your scripts future-proof.
  -g, --nogui       if present, edgen will not start the GUI; the default
                    behavior is to start the GUI.
  --help            display usage information

GPU支持

⚡EDGEN還通過Vulkan，Cuda和Metal構建時，還支持GPU上的彙編和執行。以下貨物功能使GPU：

• llama_vulkan使用Vulkan執行LLM型號。需要安裝Vulkan SDK。
• llama_cuda使用CUDA執行LLM型號。需要安裝一個CUDA工具包。
• llama_metal使用金屬執行LLM型號。
• whisper_cuda使用cuda執行耳語模型。需要安裝一個CUDA工具包。

請注意，目前無法同時啟用llama_vulkan ， llama_cuda和llama_metal 。

示例用法（從源構建，您需要首先安裝先決條件）：

 cargo run --features llama_vulkan --release -- serve

體系結構概述

⚡EDGEN架構概述

貢獻

如果您不知道從哪裡開始，請查看Edgen的路線圖！在開始研究某件事之前，請查看是否存在現有問題/拉普雷斯。彈出不和諧與團隊聯繫，或者查看某人是否已經在解決這個問題。

溝通渠道

• EDGEN DISCORD服務器：與⚡EDGEN團隊和其他用戶的實時討論。
• GitHub問題：功能請求，錯誤。
• Github討論：問答。
• 博客：大公告。

特別感謝

• llama.cpp ， whisper.cpp和ggml是這個空間的出色點。