edgen

Server API Genai Lokal: Penggantian drop-in untuk API Openai untuk Genai Lokal

| Dokumentasi | Blog | Perselisihan | Peta jalan |

Edgenchat, aplikasi obrolan lokal yang ditenagai oleh ⚡edgen

• Openai Compliant API : ⚡Edgen mengimplementasikan API yang kompatibel dengan OpenAI, menjadikannya pengganti drop-in.
• Dukungan multi-endpoint : ⚡Edgen memaparkan beberapa titik akhir AI seperti penyelesaian obrolan (LLM) dan ucapan-ke-teks (Whisper) untuk transkripsi audio.
• Model agnostik : llms (llama2, mistral, mixtral ...), ucapan-ke-teks (Whisper) dan banyak lainnya.
• Inferensi yang dioptimalkan : Anda tidak perlu mengambil PhD dalam optimasi AI. ⚡Edgen Abstrak Kompleksitas mengoptimalkan inferensi untuk berbagai perangkat keras, platform, dan model.
• Modular : ⚡Edgen adalah model dan runtime agnostik. Model baru dapat ditambahkan dengan mudah dan ⚡Edgen dapat memilih runtime terbaik untuk perangkat keras pengguna: Anda tidak perlu mengimbangi model terbaru dan runtime ML - ⚡Edgen akan melakukannya untuk Anda .
• Model Caching : ⚡Edgen menacakan model dasar lokal, jadi 1 model dapat memberi daya ratusan aplikasi yang berbeda - pengguna tidak perlu mengunduh model yang sama beberapa kali.
• Asli : ⚡Edgen dibangun? Rust dan secara alami dikompilasi untuk semua platform populer: Windows, MacOS dan Linux . Tidak ada Docker yang diperlukan.
• Antarmuka grafis : Antarmuka pengguna grafis untuk membantu pengguna mengelola model, titik akhir, dan izin mereka secara efisien.

⚡EdGen memungkinkan Anda menggunakan Genai di aplikasi Anda, sepenuhnya secara lokal di perangkat pengguna Anda, gratis dan dengan privasi data . Ini adalah penggantian drop-in untuk OpenAI (menggunakan API A yang kompatibel), mendukung berbagai fungsi seperti pembuatan teks, ucapan-ke-teks dan bekerja di Windows, Linux, dan MacOS.

Fitur

• Caching Sesi: ⚡Edgen mempertahankan kinerja terbaik dengan konteks besar (sejarah obrolan besar), dengan sesi caching. Sesi terdeteksi secara otomatis dalam fungsi riwayat obrolan.
• Dukungan GPU: CUDA, VULSAN. Logam

Titik akhir

• [CHAT] Penyelesaian
• [Audio] Transkripsi
• [Embeddings] Embeddings
• Generasi [Gambar]
• [CHAT] Penyelesaian Obrolan Multimodal
• [Audio] pidato

Model yang didukung

Periksa dokumentasi

Platform yang didukung

• Windows
• Linux
• MacOS

Topik hangat

Mengapa Genai Lokal?

• Data Private : Inferensi di perangkat berarti data pengguna tidak pernah meninggalkan perangkat mereka.

• SCalable : Semakin banyak pengguna? Tidak perlu meningkatkan infrastruktur komputasi awan. Biarkan saja pengguna Anda menggunakan perangkat keras mereka sendiri.

• Dapat Diandalkan : Tidak ada internet, tidak ada downtime, tidak ada batasan tarif, tidak ada kunci API.

• GRATIS : Ini berjalan secara lokal pada perangkat keras yang sudah dimiliki pengguna.

QuickStart

1. Unduh dan mulai ⚡Edgen
2. Mengobrol dengan ⚡Edgenchat

Siap memulai aplikasi Genai Anda sendiri? Lihat pemandu kami!

⚡Edgen Usage:

 Usage: edgen [<command>] [<args>]

Toplevel CLI commands and options. Subcommands are optional. If no command is provided "serve" will be invoked with default options.

Options:
  --help            display usage information

Commands:
  serve             Starts the edgen server. This is the default command when no
                    command is provided.
  config            Configuration-related subcommands.
  version           Prints the edgen version to stdout.
  oasgen            Generates the Edgen OpenAPI specification.

edgen serve penggunaan:

 Usage: edgen serve [-b <uri...>] [-g]

Starts the edgen server. This is the default command when no command is provided.

Options:
  -b, --uri         if present, one or more URIs/hosts to bind the server to.
                    `unix://` (on Linux), `http://`, and `ws://` are supported.
                    For use in scripts, it is recommended to explicitly add this
                    option to make your scripts future-proof.
  -g, --nogui       if present, edgen will not start the GUI; the default
                    behavior is to start the GUI.
  --help            display usage information

Dukungan GPU

⚡Edgen juga mendukung kompilasi dan eksekusi pada GPU, ketika membangun dari sumber, melalui vulkan, cuda dan logam. Fitur kargo berikut memungkinkan GPU:

• llama_vulkan - Jalankan model LLM menggunakan Vulkan. Membutuhkan SDK Vulkan untuk diinstal.
• llama_cuda - Jalankan model LLM menggunakan CUDA. Membutuhkan toolkit CUDA untuk diinstal.
• llama_metal - Jalankan model LLM menggunakan logam.
• whisper_cuda - Jalankan Model Whisper menggunakan CUDA. Membutuhkan toolkit CUDA untuk diinstal.

Perhatikan bahwa, saat ini, llama_vulkan , llama_cuda dan llama_metal tidak dapat diaktifkan pada saat yang sama.

Contoh Penggunaan (Bangunan dari Sumber, Anda harus terlebih dahulu menginstal prasyarat):

 cargo run --features llama_vulkan --release -- serve

Tinjauan Arsitektur

Tinjauan Arsitektur Generasi

Menyumbang

Jika Anda tidak tahu harus mulai dari mana, periksa peta jalan Edgen! Sebelum Anda mulai mengerjakan sesuatu, lihat apakah ada masalah/tarik-permintaan yang ada. Masukkan ke dalam perselisihan untuk memeriksa dengan tim atau melihat apakah seseorang sudah menanganinya.

Saluran komunikasi

• Edgen Discord Server: Diskusi waktu nyata dengan tim ⚡Edgen dan pengguna lainnya.
• Masalah GitHub: Permintaan fitur, bug.
• Diskusi GitHub: T&J.
• Blog: Pengumuman besar.

Terima kasih khusus

• llama.cpp , whisper.cpp , dan ggml karena menjadi titik yang sangat baik untuk ruang ini.