LlamaChat

Chatten Sie mit Ihren Lieblingslama -Models, direkt auf Ihrem Mac

---

Llamachat ist eine MacOS -App, mit der Sie mit Lama-, Alpaka- und GPT4all -Modellen chatten können, die alle lokal auf Ihrem Mac ausgeführt werden.

Erste Schritte

Llamachat benötigt MacOS 13 Ventura und entweder einen Intel- oder Apfel -Siliziumprozessor.

Direkter Download

Laden Sie hier eine .dmg herunter, die die neueste Version enthält?

Gebäude aus der Quelle

git clone https://github.com/alexrozanski/LlamaChat.git
cd LlamaChat
open LlamaChat.xcodeproj

HINWEIS: Lamachat enthält Sparkle für Autoupdates, die nicht geladen werden, wenn Lamachat nicht unterschrieben ist. Stellen Sie sicher, dass Sie beim Aufbau und Betrieb von Lamachat ein gültiges Unterschriftenzertifikat verwenden.

HINWEIS: Die Modellinferenz läuft in Debug -Builds sehr langsam. Wenn Sie also aus Source erstellen, stellen Sie sicher, dass die Build Configuration in LlamaChat > Edit Scheme... > Run für Release ist.

Merkmale

• Unterstützte Modelle: Llamachat unterstützt Lama-, Alpaka- und GPT4ALL -Modelle aus der Schachtel. Die Unterstützung für andere Modelle, darunter Vicuna und Koala, kommt in Kürze. Wir suchen auch chinesische und französische Redner, um Unterstützung für chinesisches Lama/Alpaka und Vigogne zu unterstützen.
• Flexible Modellformate: Llamachat ist auf Lama.Cpp und Lama.Swift gebaut. Die App unterstützt das Hinzufügen von Lama -Modellen entweder im .pth -Pytorch -Checkpoints -Formular oder im .ggml -Format.
• Modellkonvertierung: Wenn Roh -Pytorch -Kontrollpunkte hinzugefügt werden, können diese in .ggml -Dateien konvertiert werden, die mit Llamachat und Lama.cpp in der App kompatibel sind.
• Chat -Historie: Der Chat -History wird in der App bestehen. Sowohl der Chat -Verlauf als auch der Modellkontext können jederzeit gelöscht werden.
• Funky Avatars: Lamachat wird mit 7 funky Avataren geliefert, die mit Ihren Chat -Quellen verwendet werden können.
• Advanced Source Benennung: Lamachat verwendet Special Magic ™, um spielerische Namen für Ihre Chat -Quellen zu generieren.
• Kontext -Debugging: Für die begeisterten ML -Enthusiasten kann der aktuelle Modellkontext für einen Chat in der Info Popover angesehen werden.

? Modelle

Hinweis: Lamachat wird nicht mit Modelldateien versendet und verlangt, dass Sie diese aus den jeweiligen Quellen gemäß ihren jeweiligen Bedingungen erhalten.

• Modellformate: Lamachat ermöglicht es Ihnen, die Lama-Modelsfamilie entweder in ihrem Raw Python Checkpoint Form ( .pth ) oder in der vorkonvertierten .ggml Datei (das von llama.cpp verwendete Format zu verwenden, das Llamachat verwendet).
• Verwenden von LLAMA -Modellen: Importieren von LLAMA -Modellen im .pth -Format:
  • Sie sollten das entsprechende Verzeichnis der Parametergrößenverzeichnis (z params.json B. 7B , 13B usw.) im Konvertierungsfluss auswählen, der die consolidated.NN.pth Dateien enthält.
  • Gemäß der Lama -Modellveröffentlichung sollte das übergeordnete Verzeichnis tokenizer.model enthalten. Zum Beispiel sollte Ihr Modellverzeichnis etwa das LLAMA-13B-Modell verwenden, und Sie sollten das 13B Verzeichnis auswählen:

 .
│   ...
├── 13B
│   ├── checklist.chk.txt
│   ├── consolidated.00.pth
│   ├── consolidated.01.pth
│   └── params.json
│   ...
└── tokenizer.model

• Fehlerbehebung: Wenn Sie .ggml Dateien verwenden, stellen Sie sicher, dass diese aktuell sind. Wenn Sie auf Probleme stoßen, müssen Sie möglicherweise die Conversion -Skripte von llama.cpp verwenden:
  • Für das GPT4ALL-Modell müssen Sie möglicherweise Convert-GPT4all-to-Ggml.py verwenden
  • Für das Alpaka-Modell müssen Sie möglicherweise konvertuversionierte-ggml-to-ggml.py verwenden
  • Möglicherweise müssen Sie auch Migrate-GGML-2023-03-30-PR613.PY verwenden. Weitere Informationen finden Sie im Lama.cpp Repo.

? ‍ beitragen

Anfragen und Probleme sind willkommen und sehr geschätzt. Bitte halten Sie sich jederzeit an den Verhaltenskodex.

Llamachat ist mit Swift und Swiftui vollständig gebaut und nutzt Lama. Widdet unter der Motorhaube, um Schluss zu führen und Modellvorgänge auszuführen.

Das Projekt wird hauptsächlich mit MVVM gebaut und nutzt die Kombination und die schnelle Parallelität stark.

⚖️ Lizenz

Llamachat ist unter der MIT -Lizenz lizenziert.