web llm chat

Chat webllm

Conversations d'IA privées, entièrement in-naval.

Discuter maintenant

webllmchat.webm

Aperçu

WebLLM CHAT est une interface de chat AI privée qui combine WebLLM avec une conception conviviale, en tirant parti de WebGPU pour exécuter des modèles de grande langue (LLM) nativement dans votre navigateur. Profitez d'une expérience de conversation IA sans précédent, privée et accessible.

Caractéristiques clés

• Browser-Native IA : Expérience des modèles de langage de pointe s'exécutant nativement dans votre navigateur Web avec l'accélération WebGPU, éliminant le besoin de traitement côté serveur ou de dépendances cloud.
• Ganranteed Confidentialité : le modèle AI s'exécutant localement sur votre matériel et tous les traitements de données se déroulent dans votre navigateur, vos données et conversations ne quittent jamais votre ordinateur, assurant votre confidentialité.
• Accessibilité hors ligne : exécutez entièrement hors ligne après la configuration initiale et le téléchargement, vous permettant de vous engager avec des conversations alimentées par l'IA sans connexion Internet active.
• Prise en charge du modèle de vision : discuter avec l'IA en téléchargeant et en envoyant des images, ce qui facilite l'obtention d'informations et de réponses en fonction du contenu visuel.
• Interface conviviale : profitez de l'interface utilisateur intuitive et riche en fonctionnalités, avec support Markdown, mode sombre et conception réactive optimisée pour différentes tailles d'écran.
• Modèles personnalisés : connectez-vous à tout modèle de langue personnalisée sur votre environnement local via MLC-LLM. Pour plus de détails, vérifiez la section Utiliser les modèles personnalisés.
• Open source et personnalisable : créez et personnalisez vos propres applications alimentées par AI avec notre cadre open source.

Webllm Chat est une initiative pionnière qui combine les capacités backend robustes de WebLLM avec l'interface conviviale de NextChat. Dans le cadre de la famille MLC.AI plus large, ce projet contribue à notre mission de démocratiser la technologie de l'IA en rendant les outils puissants accessibles directement aux utilisateurs finaux. En s'intégrant à NextChat, le chat WebLLM améliore non seulement l'expérience de chat, mais élargit également la portée du déploiement de modèles de langage auto-hébergés et personnalisables.

Modèles intégrés

WeBLLM CHAT Native prend en charge les modèles d'intégration WebLLM. Vous pouvez trouver la liste complète ici.

Utiliser des modèles personnalisés

WebLLM CHAT prend en charge les modèles de langage personnalisé via MLC-LLM. Suivez les étapes suivantes pour utiliser des modèles personnalisés sur votre environnement local:

1. (Facultatif) Compilez le modèle au format MLC en suivant les instructions.

2. Hôtez l'API REST via MLC-LLM en suivant les instructions.

3. Accédez au chat WebLLM, sélectionnez "Paramètres" dans la barre latérale, puis sélectionnez "MLC-llm REST API (Advanced)" comme "Type de modèle" et tapez l'URL de point de terminaison de l'API REST à partir de l'étape 2.

Développement

 # 1. install nodejs and yarn first
# 2. config local env vars in `.env.local`
# 3. run
yarn install
yarn dev

Déploiement

Construire

Vous pouvez créer l'application en tant que construction Next.js à l'aide de yarn build ou comme site statique à l'aide yarn export . Pour plus d'informations, vérifiez la documentation Next.js;

Docker

docker build -t webllm_chat .
docker run -d -p 3000:3000 webllm_chat

Vous pouvez commencer le service derrière un proxy:

docker build -t webllm_chat .
docker run -d -p 3000:3000 
   -e PROXY_URL=http://localhost:7890 
   webllm_chat

Si votre proxy a besoin de mot de passe, utilisez:

-e PROXY_URL= " http://127.0.0.1:7890 user pass " 

Communauté et contributions

Le chat Webllm prospère sur la participation communautaire. Nous nous engageons à favoriser une communauté inclusive et innovante où les développeurs et les amateurs d'IA peuvent collaborer, contribuer et repousser les limites de ce qui est possible dans la technologie de l'IA. Rejoignez-nous sur Discord pour vous connecter avec les autres développeurs et contribuer au projet.

Remerciements

Webllm Chat est un projet compagnon de Webllm et il est construit sur le travail remarquable de NextChat. Nous étendons notre sincère gratitude aux développeurs et contributeurs de ces projets pour leurs efforts inestimables dans la progression du domaine de l'IA basé sur le navigateur et la création d'interfaces de chat conviviales.

De plus, ce projet n'est possible que grâce aux épaules des écosystèmes open source sur lesquels nous nous tenons. Nous tenons à remercier la communauté Apache TVM et les développeurs de l'effort TVM Unity. Les membres de la communauté ML open-source ont rendu ces modèles accessibles au public. Les communautés de pytorch et d'étreinte rendent ces modèles accessibles. Nous tenons à remercier les équipes derrière Vicuna, phrase, lama, Alpaca. Nous tenons également à remercier les communautés WebAssembly, Emscripten et WebGPU. Enfin, grâce aux développeurs de Dawn et WebGPU.