LlamaChat

Discutez avec vos modèles de lama préférés, directement sur votre Mac

---

Llamachat est une application macOS qui vous permet de discuter avec les modèles LLAMA, Alpaca et GPT4ALL tous en cours d'exécution localement sur votre Mac.

Commencer

Llamachat a besoin de macOS 13 Ventura et d'un processeur Intel ou Apple Silicon.

Téléchargement direct

Téléchargez un .dmg contenant la dernière version ici ?.

Bâtiment de Source

git clone https://github.com/alexrozanski/LlamaChat.git
cd LlamaChat
open LlamaChat.xcodeproj

Remarque: Llamachat comprend Sparkle pour Autoupdates, qui ne se chargera pas si Llamachat n'est pas signé. Assurez-vous d'utiliser un certificat de signature valide lors de la construction et de la gestion de Llamachat.

Remarque: L'inférence du modèle s'exécute très lentement dans les builds de débogage, donc si la construction à partir de la source assurez-vous que la Build Configuration dans LlamaChat > Edit Scheme... > Run est définie à Release .

Caractéristiques

• Modèles pris en charge: Llamachat soutient les modèles LLAMA, ALPACA et GPT4ALL OUT OF The Box. Le soutien à d'autres modèles, dont Vicuna et Koala, arrive bientôt. Nous recherchons également des orateurs chinois et français pour ajouter le soutien du lama / alpaga chinois et de Vigogne.
• Formats de modèles flexibles: Llamachat est construit sur le dessus de lama.cpp et llama.swift. L'application prend en charge l'ajout de modèles LLAMA dans leur format brut .pth pytorch de contrôle ou le format .ggml .
• Conversion du modèle: si des points de contrôle Pytorch bruts sont ajoutés, ceux-ci peuvent être convertis en fichiers .ggml compatibles avec llamachat et llama.cpp au sein de l'application.
• Historique du chat: L'historique du chat est persisté dans l'application. L'historique de chat et le contexte du modèle peuvent être effacés à tout moment.
• Avatars Funky: Llamachat expédie avec 7 avatars funky qui peuvent être utilisés avec vos sources de chat.
• NAMING SOURCE AVANCÉ: Llamachat utilise Special Magic ™ pour générer des noms ludiques pour vos sources de chat.
• Débogage du contexte: Pour les passionnés de ML Keen, le contexte du modèle actuel peut être consulté pour un chat dans le popover Info.

? Modèles

Remarque: Llamachat n'en est-il pas expédié avec des fichiers de modèle et exige que vous les obteniez à partir des sources respectives conformément à leurs termes et conditions respectifs.

• Formats de modèles: Llamachat vous permet d'utiliser la famille Llama de modèles dans leur formulaire de point de contrôle Python brut ( .pth ) ou le fichier .ggml pré-converti (le format utilisé par llama.cpp, qui alimente Llamachat).
• Utilisation de modèles LLAMA: lors de l'importation de modèles LLAMA au format .pth :
  • Vous devez sélectionner le répertoire de taille des paramètres approprié (par exemple 7B , 13B , etc.) dans le flux de conversion, qui comprend les fichiers consolidated.NN.pth et params.json .
  • Selon la version du modèle LLAMA, le répertoire parent doit contenir tokenizer.model . Par exemple, pour utiliser le modèle LLAMA-13B, votre répertoire de modèle doit ressembler à ce qui ci-dessous, et vous devez sélectionner le répertoire 13B :

 .
│   ...
├── 13B
│   ├── checklist.chk.txt
│   ├── consolidated.00.pth
│   ├── consolidated.01.pth
│   └── params.json
│   ...
└── tokenizer.model

• Dépannage: si vous utilisez des fichiers .ggml , assurez-vous qu'ils sont à jour. Si vous rencontrez des problèmes, vous devrez peut-être utiliser les scripts de conversion de llama.cpp:
  • Pour le modèle GPT4ALL, vous devrez peut-être utiliser convert-gpt4all-to-ggml.py
  • Pour le modèle alpaca, vous devrez peut-être utiliser convertit-ggml-to-ggml.py
  • Vous devrez peut-être également utiliser migrate-ggml-2023-03-30-pr613.py également. Pour plus d'informations, consultez le repo lama.cpp.

? ‍ Contribution

Les demandes de traction et les problèmes sont les bienvenues et très appréciées. Veuillez vous assurer d'adhérer au code de conduite à tout moment.

Llamachat est entièrement construit à l'aide de Swift et Swiftui, et utilise Llama.swift sous le capot pour exécuter l'inférence et effectuer des opérations de modèle.

Le projet est principalement construit à l'aide de MVVM et utilise fortement la concurrence combinée et rapide.

⚖️ Licence

Llamachat est autorisé en vertu de la licence du MIT.