edgen

خادم Genai API محلي: استبدال إسقاط لـ Openai's API لـ Genai المحلي

| الوثائق | بلوق | خلاف | خريطة الطريق |

Edgenchat ، تطبيق دردشة محلي مدعوم من ⚡edgen

• API المتوافقة Openai : ⚡edgen تنفذ واجهة برمجة تطبيقات متوافقة مع Openai ، مما يجعله بديلًا.
• الدعم متعدد النقاط : يعرض ⚡edgen نقاط نهاية منظمة العفو الدولية المتعددة مثل إكمال الدردشة (LLMS) والخطاب إلى النص (Whisper) للنسخ الصوتية.
• النموذج اللاأدري : LLMS (LLAMA2 ، MISTRAL ، MIXTRAL ...) ، الكلام إلى النص (الهمس) والعديد من الآخرين.
• الاستدلال الأمثل : لا تحتاج إلى الحصول على درجة الدكتوراه في تحسين الذكاء الاصطناعي. ⚡edgen تجريد تعقيد تحسين الاستدلال لأجهزة ونصات ونماذج مختلفة.
• Modular : ⚡edgen هو النموذج ووقت التشغيل اللاأدري. يمكن إضافة نماذج جديدة بسهولة ويمكن لـ ⚡edgen تحديد أفضل وقت تشغيل لأجهزة المستخدم: لا تحتاج إلى مواكبة أحدث النماذج وأوقات تشغيل ML - سوف تفعل ذلك من أجلك .
• التخزين المؤقت للنماذج : ⚡edgen Caches النماذج التأسيسية محليًا ، بحيث يمكن للموديل 1 أن يعمل على تشغيل مئات التطبيقات المختلفة - لا يحتاج المستخدمون إلى تنزيل نفس النموذج عدة مرات.
• Native : ⚡edgen مدمج في الصدأ ويتم تجميعه أصلاً لجميع المنصات الشائعة: Windows و MacOs و Linux . لا مطلوب Docker.
• الواجهة الرسومية : واجهة مستخدم رسومية لمساعدة المستخدمين على إدارة نماذجهم ونقاط النهاية والأذونات بكفاءة.

يتيح لك ⚡edgen استخدام Genai في تطبيقك ، محليًا تمامًا على أجهزة المستخدم الخاصة بك ، مجانًا وبتعويض البيانات . إنه بديل في Openai (يستخدم واجهة برمجة التطبيقات المتوافقة مع API) ، ويدعم وظائف مختلفة مثل توليد النصوص ، والخطاب إلى النص ، والأعمال على Windows و Linux و MacOS.

سمات

• التخزين المؤقت للجلسة: يحافظ ⚡edgen على أعلى أداء مع سياقات كبيرة (تاريخ الدردشة الكبيرة) ، عن طريق التخزين المؤقت. الجلسات مكتشفة تلقائيًا في وظيفة تاريخ الدردشة.
• دعم GPU: كودا ، فولكان. معدن

نقاط النهاية

• [الدردشة] الانتهاء
• [الصوت] النسخ
• [التضمين] التضمينات
• [صورة] جيل
• [دردش] إكمال الدردشة متعددة الوسائط
• [الصوت] الكلام

النماذج المدعومة

تحقق في الوثائق

المنصات المدعومة

• النوافذ
• Linux
• ماكوس

مواضيع ساخنة

لماذا Genai المحلي؟

• البيانات الخاصة : الاستدلال على الجهاز يعني أن بيانات المستخدمين لا تترك أجهزتهم أبدًا.

• قابلة للتطوير : المزيد والمزيد من المستخدمين؟ لا حاجة لزيادة البنية التحتية للحوسبة السحابية. فقط دع المستخدمين يستخدمون أجهزتهم الخاصة.

• موثوقة : لا الإنترنت ، لا توقف ، لا حدود سعر ، لا مفاتيح واجهة برمجة التطبيقات.

• مجانًا : يتم تشغيله محليًا على الأجهزة التي يمتلكها المستخدم بالفعل.

Quickstart

1. تنزيل وبدء ⚡edgen
2. الدردشة مع ⚡edgenchat

هل أنت مستعد لبدء تطبيق Genai الخاص بك؟ الخروج من أدلةنا!

استخدام ⚡edgen:

 Usage: edgen [<command>] [<args>]

Toplevel CLI commands and options. Subcommands are optional. If no command is provided "serve" will be invoked with default options.

Options:
  --help            display usage information

Commands:
  serve             Starts the edgen server. This is the default command when no
                    command is provided.
  config            Configuration-related subcommands.
  version           Prints the edgen version to stdout.
  oasgen            Generates the Edgen OpenAPI specification.

استخدام edgen serve :

 Usage: edgen serve [-b <uri...>] [-g]

Starts the edgen server. This is the default command when no command is provided.

Options:
  -b, --uri         if present, one or more URIs/hosts to bind the server to.
                    `unix://` (on Linux), `http://`, and `ws://` are supported.
                    For use in scripts, it is recommended to explicitly add this
                    option to make your scripts future-proof.
  -g, --nogui       if present, edgen will not start the GUI; the default
                    behavior is to start the GUI.
  --help            display usage information

دعم GPU

يدعم ⚡edgen أيضًا التجميع والتنفيذ على وحدة معالجة الرسومات ، عند البناء من المصدر ، من خلال Vulkan و Cuda والمعادن. تتيح ميزات الشحن التالية وحدة معالجة الرسومات:

• llama_vulkan - تنفيذ نماذج LLM باستخدام Vulkan. يتطلب تثبيت SDK Vulkan.
• llama_cuda - تنفيذ نماذج LLM باستخدام CUDA. يتطلب تثبيت مجموعة أدوات CUDA.
• llama_metal - تنفيذ نماذج LLM باستخدام المعدن.
• whisper_cuda - تنفيذ نماذج الهمس باستخدام CUDA. يتطلب تثبيت مجموعة أدوات CUDA.

لاحظ أنه في الوقت الحالي ، لا يمكن تمكين llama_vulkan و llama_cuda و llama_metal في نفس الوقت.

مثال على الاستخدام (بناء من المصدر ، تحتاج أولاً إلى تثبيت المتطلبات المسبقة):

 cargo run --features llama_vulkan --release -- serve

نظرة عامة على الهندسة المعمارية

⚡edgen نظرة عامة على الهندسة المعمارية

يساهم

إذا كنت لا تعرف من أين تبدأ ، تحقق من خريطة طريق إدجن! قبل البدء في العمل على شيء ما ، تعرف على ما إذا كانت هناك مشكلة/سحرة موجودة. انطلق في Discord للتحقق من الفريق أو معرفة ما إذا كان شخص ما يعالجه بالفعل.

قنوات الاتصال

• خادم Discord Edgen: مناقشات في الوقت الحقيقي مع فريق ⚡edgen والمستخدمين الآخرين.
• قضايا GitHub: طلبات الميزة ، الأخطاء.
• مناقشات جيثب: سؤال وجواب.
• المدونة: إعلانات كبيرة.

شكر خاص

• llama.cpp ، whisper.cpp ، و ggml لكونها نقطة الحصول على هذه المساحة ممتازة.