web llm chat

دردشة webllm

محادثات منظمة العفو الدولية الخاصة ، بالكامل في المتصفح.

الدردشة الآن

wbllmchat.webm

ملخص

WebLLM Chat هي واجهة دردشة منظمة العفو الدولية الخاصة تجمع بين WebLLM وتصميم سهل الاستخدام ، وتستفيد من WebGPU لتشغيل نماذج لغة كبيرة (LLMS) أصلاً في متصفحك. استمتع بتجربة محادثة منظمة العفو الدولية غير المسبوقة والخاصة ويمكن الوصول إليها.

الميزات الرئيسية

• منظمة العفو الدولية للمتصفح : تجربة نماذج لغة متطورة تعمل أصلاً ضمن متصفح الويب الخاص بك مع تسارع WebGPU ، مما يلغي الحاجة إلى معالجة من جانب الخادم أو التبعيات السحابية.
• خصوصية Ganranteed : مع تشغيل نموذج الذكاء الاصطناعي محليًا على أجهزتك وجميع معالجة البيانات التي تحدث داخل متصفحك ، لا تترك بياناتك ومحادثاتك جهاز الكمبيوتر الخاص بك ، مما يضمن خصوصيتك.
• إمكانية الوصول دون اتصال : قم بتشغيله بالكامل بعد الإعداد والتنزيل الأولي ، مما يتيح لك المشاركة مع المحادثات التي تعمل بالنيابة دون اتصال بالإنترنت نشط.
• دعم نموذج الرؤية : الدردشة مع الذكاء الاصطناعى عن طريق تحميل الصور وإرسالها ، مما يجعل من السهل الحصول على رؤى وإجابات بناءً على المحتوى المرئي.
• واجهة سهلة الاستخدام : استمتع بواجهة المستخدم البديهية والغنية بالميزات ، مع الدعم المميز ، والوضع المظلم ، وتصميم مستجيب محسّن لأحجام الشاشة المختلفة.
• النماذج المخصصة : اتصل بأي نموذج لغة مخصصة على بيئة محلية من خلال MLC-LLM. للحصول على تفاصيل ، تحقق من قسم استخدام النماذج المخصصة.
• المصدر المفتوح والقابل للتخصيص : قم ببناء وتخصيص التطبيقات التي تعمل بالنيابة الخاصة بك من خلال إطار العمل المفتوح المصدر.

WebLLM Chat هي مبادرة رائدة تجمع بين إمكانات الواجهة الخلفية القوية لـ WebLLM مع الواجهة الصديقة للاستخدام لـ NextChat. كجزء من عائلة MLC.AI الأوسع ، يساهم هذا المشروع في مهمتنا المتمثلة في إضفاء الطابع الديمقراطي على تكنولوجيا الذكاء الاصطناعي من خلال إتاحة الأدوات القوية مباشرة للمستخدمين النهائيين. من خلال الاندماج مع NextChat ، لا يعزز WBLLM Chat فقط تجربة الدردشة ولكن أيضًا يوسع نطاق نشر نماذج اللغة المستضافة ذاتيًا والقابلة للتخصيص.

نماذج مدمجة

يدعم WBLLM Chat أصلاً نماذج بناء WBLLM. يمكنك العثور على القائمة الكاملة هنا.

استخدم نماذج مخصصة

تدعم دردشة WBLLM نماذج اللغة المخصصة من خلال MLC-LLM. اتبع الخطوات التالية لاستخدام نماذج مخصصة في بيئتك المحلية:

1. (اختياري) تجميع النموذج في تنسيق MLC باتباع التعليمات.

2. مضيف REST API من خلال MLC-LLM باتباع التعليمات.

3. انتقل إلى دردشة WebLLM ، حدد "الإعدادات" في الشريط الجانبي ، ثم حدد "MLC-LLM REST API (متقدم)" كـ "نوع الطراز" واكتب عنوان URL لبرنامج REST API من الخطوة 2.

تطوير

 # 1. install nodejs and yarn first
# 2. config local env vars in `.env.local`
# 3. run
yarn install
yarn dev

النشر

يبني

يمكنك إنشاء التطبيق كبناء next.js باستخدام yarn build أو كموقع ثابت باستخدام yarn export . لمزيد من المعلومات ، تحقق من توثيق Next.js ؛

عامل ميناء

docker build -t webllm_chat .
docker run -d -p 3000:3000 webllm_chat

يمكنك بدء الخدمة خلف الوكيل:

docker build -t webllm_chat .
docker run -d -p 3000:3000 
   -e PROXY_URL=http://localhost:7890 
   webllm_chat

إذا كان الوكيل يحتاج إلى كلمة مرور ، فاستخدم:

-e PROXY_URL= " http://127.0.0.1:7890 user pass " 

المجتمع والمساهمات

WebLLM الدردشة تزدهر على مشاركة المجتمع. نحن ملتزمون بتعزيز مجتمع شامل ومبتكرة حيث يمكن للمطورين وعشاق الذكاء الاصطناعى التعاون والمساهمة ودفع حدود ما هو ممكن في تكنولوجيا الذكاء الاصطناعي. انضم إلينا على Discord للتواصل مع زملائه المطورين والمساهمة في المشروع.

شكر وتقدير

WebLlm Chat هو مشروع مصاحب لـ WebLLM وهو مبني على العمل الرائع لـ NextChat. نحن نوسع امتناننا الصادق لمطوري ومساهمي هذه المشاريع لجهودهم التي لا تقدر بثمن في تقدم مجال الذكاء الاصطناعى القائم على المتصفح وإنشاء واجهات دردشة سهلة الاستخدام.

علاوة على ذلك ، فإن هذا المشروع ممكن فقط بفضل أكتاف النظم الإيكولوجية مفتوحة المصدر التي نقف عليها. نريد أن نشكر مجتمع Apache TVM ومطورين لجهد Unity TVM. جعل أعضاء مجتمع ML مفتوح المصدر هذه النماذج متاحة للجمهور. Pytorch و Ungging Face Communities تجعل هذه النماذج متاحة. نود أن نشكر الفرق خلف Vicuna ، Sentencepiece ، Llama ، الألبكة. نود أيضًا أن نشكر مجتمعات Webassembly و EmScripten و WebGPU. أخيرًا ، بفضل مطوري Dawn و WebGPU.