chatty

Bavard

Chatty est votre IA privée qui exploite WebGPU pour exécuter des modèles de grande langue (LLMS) nativement et en privé dans votre navigateur, vous apportant l'expérience de l'IA en intercrowser riche les plus riches.

Caractéristiques

• Confidentialité in-naval: Tous les modèles d'IA s'exécutent localement (côté client) sur votre matériel, en vous garantissant que vos données sont traitées uniquement sur votre PC. Pas de traitement côté serveur!
• Offline: Une fois le téléchargement initial d'un modèle traité, vous pourrez l'utiliser sans une connexion Internet active.
• Historique du chat: accès et gérer l'historique de votre conversation.
• Prend en charge de nouveaux modèles open source: Discutez avec des modèles d'oerons ouverts populaires tels que Gemma, Llama2 & 3 et Mistral!
• Conception réactive: Si votre téléphone prend en charge WebGL, vous pourrez utiliser Chatty comme vous le feriez sur le bureau.
• UI intuitif: inspiré des interfaces d'IA populaires telles que Gemini et Chatgpt pour améliorer la similitude de l'expérience utilisateur.
• Markdown & Code Highlight: les messages renvoyés car Markdown seront affichés comme tels et les messages qui incluent le code, seront mis en surbrillance pour un accès facile.
• Discutez avec des fichiers: Chargez des fichiers (PDF et tous les fichiers non binaires pris en charge - même les fichiers de code) et posez des questions aux modèles à leur sujet - entièrement local! Vos documents ne sont jamais traités en dehors de votre environnement local, grâce à XenovatransformèreMeddings & MemoryvectorStore
• Prise en charge de la mémoire personnalisée: ajoutez des instructions / mémoire personnalisées pour permettre à l'IA de fournir des réponses meilleures et plus personnalisées.
• Exporter des messages de chat: générer et enregistrer de manière transparente vos messages de chat au format JSON ou Markdown.
• Prise en charge de l'entrée vocale: utilisez des interactions vocales pour interagir avec les modèles.
• Régénérer les réponses: pas tout à fait la réponse que vous espériez? Régénérez rapidement sans avoir à rédiger votre invite.
• Mode clair et sombre: basculer entre le mode clair et sombre.

Prévisualisation

chatty-vid-preview.mp4

Pourquoi?

Ce projet est censé être la tentative la plus proche pour apporter la familiarité et les fonctionnalités des interfaces d'IA populaires telles que Chatgpt et Gemini dans une expérience de navigateur.

Support de navigateur

Par défaut, WebGPU est activé et pris en charge en Chrome et en bord. Cependant, il est possible de l'activer dans Firefox et Firefox tous les soirs. Vérifiez la compatibilité du navigateur pour plus d'informations.

Comment installer

Si vous voulez juste essayer l'application, il est en direct sur ce site.

Il s'agit d'une application Next.js et nécessite Node.js (18+) et NPM installé pour exécuter le projet localement.

Installer à partir de la source

Si vous souhaitez configurer et exécuter le projet localement, suivez les étapes ci-dessous:

1. Clone le référentiel vers un répertoire sur votre PC via l'invite de commande:

 git clone https://github.com/addyosmani/chatty

2. Ouvrez le dossier:

 cd chatty

3. Installer les dépendances:

 npm install

4. Démarrez le serveur de développement:

 npm run dev

5. Allez à LocalHost: 3000 et commencez à discuter!

Docker

Note

Le Dockerfile n'a pas encore été optimisé pour un environnement de production. Si vous souhaitez le faire vous-même, consultez l'exemple NextJS

 docker build -t chattyui .
docker run -d -p 3000:3000 chattyui

Ou utilisez docker-compose :

 docker compose up

Si vous avez apporté des modifications et que vous souhaitez reconstruire, vous pouvez simplement exécuter docker-compose up --build

Feuille de route

• Mettre en place plusieurs fichiers: la possibilité d'incorporer plusieurs fichiers au lieu d'un à la fois pour chaque session.
• Système de gestion de l'invite: sélectionnez et ajoutez différentes invites système à utiliser rapidement dans une session.

Contributif

Les contributions sont plus que les bienvenues! Cependant, assurez-vous de lire d'abord les directives contributives :)

Exigences matérielles

Note

Pour exécuter efficacement les modèles, vous aurez besoin d'un GPU avec suffisamment de mémoire. Les modèles 7b nécessitent un GPU avec environ 6 Go de mémoire tandis que les modèles 3B nécessitent environ 3 Go.

Les modèles plus petits pourraient ne pas être en mesure de traiter les intégres de fichiers aussi efficaces que les plus grands.

Remerciements et crédits

Chatty est construit à l'aide du projet WebLLM, en utilisant HuggingFace, Open Source LLMS et Langchain. Nous voulons reconnaître leur excellent travail et remercier la communauté open source.

Auteurs

Chatty est créé et entretenu par Addy Osmani et Jakob Hoeg Mørk.