edgen

ローカルジェナイAPIサーバー：ローカルgenaiのOpenaiのAPIのドロップイン交換

|ドキュメント|ブログ|不和|ロードマップ|

Edgenchat、edgenを搭載したローカルチャットアプリ

• Openai Compliant API ：eedgenはOpenai互換性のあるAPIを実装し、ドロップイン交換を行います。
• マルチエンドポイントサポート：edgenは、オーディオトランシシオンのチャット完了（LLMS）やスピーチツーテキスト（ささやき）などの複数のAIエンドポイントを公開します。
• モデル不可知論者：LLMS（LLAMA2、ミストラル、ミックストラル...）、スピーチツーテキスト（ささやき）など。
• 最適化された推論：AI最適化で博士号を取得する必要はありません。 Edgenは、さまざまなハードウェア、プラットフォーム、モデルの推論を最適化する複雑さを抽象化します。
• モジュラー：edgenはモデルであり、ランタイム不可抗力です。新しいモデルを簡単に追加でき、eedgenはユーザーのハードウェアに最適なランタイムを選択できます。最新のモデルやMLランタイムを維持する必要はありません。
• モデルキャッシュ：edgen Cachesの基礎モデルはローカルであるため、1モデルは何百もの異なるアプリを動かすことができます - ユーザーは同じモデルを複数回ダウンロードする必要はありません。
• ネイティブ：edgenは錆びて構築されており、 Windows、MacOS、Linuxのすべての人気のあるプラットフォームにネイティブに編集されています。 Dockerは必要ありません。
• グラフィカルインターフェイス：ユーザーがモデル、エンドポイント、およびアクセス許可を効率的に管理できるグラフィカルユーザーインターフェイス。

edgenでは、アプリでGenaiを使用して、ユーザーのデバイスで完全にローカルで、無料でデータプリバシーを使用できます。これは、OpenAIのドロップイン交換（A互換性のあるAPIを使用）であり、テキスト生成、音声からテキスト、Windows、Linux、MacOの作業などのさまざまな機能をサポートしています。

特徴

• セッションキャッシング：eedgenは、キャッシュセッションによって、大きなコンテキスト（大きなチャット履歴）でトップパフォーマンスを維持します。セッションは、チャット履歴の機能が自動検出されます。
• GPUサポート：Cuda、Vulkan。金属

エンドポイント

• [チャット]完了
• [オーディオ]転写
• [埋め込み]埋め込み
• [画像]生成
• [チャット]マルチモーダルチャットの完了
• [オーディオ]スピーチ

サポートされているモデル

ドキュメントを確認してください

サポートされているプラ​​ットフォーム

• Windows
• Linux
• macos

ホットトピック

なぜ地元のgenai？

• データプライベート：デバイス上の推論は、ユーザーのデータがデバイスを離れることはないことを意味します。

• スケーラブル：ますます多くのユーザー？クラウドコンピューティングインフラストラクチャをインクリメントする必要はありません。ユーザーに独自のハードウェアを使用させてください。

• 信頼性：インターネット、ダウンタイム、レート制限、APIキーなし。

• 無料：ユーザーがすでに所有しているハードウェアでローカルに実行されます。

クイックスタート

1. ダウンロードしてedgenを開始します
2. ededgenchatとチャットします

独自のGenaiアプリケーションを開始する準備はできましたか？ガイドをチェックアウトしてください！

edgenの使用法：

 Usage: edgen [<command>] [<args>]

Toplevel CLI commands and options. Subcommands are optional. If no command is provided "serve" will be invoked with default options.

Options:
  --help            display usage information

Commands:
  serve             Starts the edgen server. This is the default command when no
                    command is provided.
  config            Configuration-related subcommands.
  version           Prints the edgen version to stdout.
  oasgen            Generates the Edgen OpenAPI specification.

edgen serve ：

 Usage: edgen serve [-b <uri...>] [-g]

Starts the edgen server. This is the default command when no command is provided.

Options:
  -b, --uri         if present, one or more URIs/hosts to bind the server to.
                    `unix://` (on Linux), `http://`, and `ws://` are supported.
                    For use in scripts, it is recommended to explicitly add this
                    option to make your scripts future-proof.
  -g, --nogui       if present, edgen will not start the GUI; the default
                    behavior is to start the GUI.
  --help            display usage information

GPUサポート

Edgenは、Vulkan、Cuda、Metalを介して、ソースから構築するときに、GPUでの編集と実行もサポートしています。次の貨物機能により、GPUが可能になります。

• llama_vulkan Vulkanを使用してLLMモデルを実行します。 Vulkan SDKをインストールする必要があります。
• llama_cuda -cudaを使用してLLMモデルを実行します。 CUDAツールキットをインストールする必要があります。
• llama_metal金属を使用してLLMモデルを実行します。
• whisper_cuda cudaを使用してささやきモデルを実行します。 CUDAツールキットをインストールする必要があります。

現時点では、 llama_vulkan 、 llama_cuda 、 llama_metal同時に有効にすることはできないことに注意してください。

使用法の例（ソースからの構築、最初に前提条件をインストールする必要があります）：

 cargo run --features llama_vulkan --release -- serve

アーキテクチャの概要

edgenアーキテクチャの概要

貢献する

どこから始めればよいかわからない場合は、Edgenのロードマップを確認してください！何かに取り組み始める前に、既存の問題/Pull-Requestがあるかどうかを確認してください。不一致に飛び込んでチームに確認するか、誰かがすでにそれに取り組んでいるかどうかを確認してください。

通信チャネル

• Edgen Discord Server：Edgenチームおよび他のユーザーとのリアルタイムディスカッション。
• GitHubの問題：機能要求、バグ。
• GitHubディスカッション：Q＆A。
• ブログ：大きな発表。

特別なありがとう

• llama.cpp 、 whisper.cpp 、およびggml 、このスペースの優れた獲得ポイントであるためです。