LlamaChat

Mengobrol dengan model llama favorit Anda, tepat di mac Anda

---

Llamachat adalah aplikasi macOS yang memungkinkan Anda untuk mengobrol dengan model Llama, Alpaca dan Gpt4all semuanya berjalan secara lokal di Mac Anda.

Memulai

Llamachat membutuhkan MacOS 13 Ventura, dan prosesor silikon Intel atau Apple.

Unduh Langsung

Unduh .dmg yang berisi versi terbaru di sini?

Membangun dari sumber

git clone https://github.com/alexrozanski/LlamaChat.git
cd LlamaChat
open LlamaChat.xcodeproj

Catatan: Llamachat termasuk kilauan untuk AutoupDates, yang akan gagal memuat jika Llamachat tidak ditandatangani. Pastikan Anda menggunakan sertifikat penandatanganan yang valid saat membangun dan menjalankan Llamachat.

Catatan: Model Inference berjalan sangat lambat di Debug Builds, jadi jika membangun dari sumber, pastikan bahwa Build Configuration di LlamaChat > Edit Scheme... > Run diatur untuk Release .

Fitur

• Model yang Didukung: Llamachat mendukung model Llama, Alpaca dan Gpt4all di luar kotak. Dukungan untuk model lain termasuk Vicuna dan Koala akan segera hadir. Kami juga mencari penutur Cina dan Prancis untuk menambah dukungan untuk llama Cina/Alpaca dan Vigogne.
• Format Model Fleksibel: Llamachat dibangun di atas llama.cpp dan llama.swift. Aplikasi ini mendukung penambahan model LLAMA dalam bentuk pos pemeriksaan .pth mentah mereka atau format .ggml .
• Konversi Model: Jika pos pemeriksaan pytorch mentah ditambahkan ini dapat dikonversi ke file .ggml yang kompatibel dengan llamachat dan llama.cpp di dalam aplikasi.
• Riwayat obrolan: Riwayat obrolan tetap ada di dalam aplikasi. Baik riwayat obrolan dan konteks model dapat dihapus kapan saja.
• Avatar Funky: Llamachat kapal dengan 7 avatar funky yang dapat digunakan dengan sumber obrolan Anda.
• Penamaan Sumber Tingkat Lanjut: Llamachat menggunakan Special Magic ™ untuk menghasilkan nama main -main untuk sumber obrolan Anda.
• Konteks Debugging: Untuk penggemar ML yang tajam, konteks model saat ini dapat dilihat untuk obrolan di Info Popover.

? Model

CATATAN: Llamachat tidak mengirim dengan file model apa pun dan mengharuskan Anda mendapatkannya dari sumber masing -masing sesuai dengan syarat dan ketentuan masing -masing.

• Format Model: Llamachat memungkinkan Anda untuk menggunakan keluarga model Llama baik dalam formulir pos pemeriksaan Python mentah ( .pth ) atau file .ggml pra-konversi (format yang digunakan oleh llama.cpp, yang kekuatan llamachat).
• Menggunakan model llama: Saat mengimpor model LLAMA dalam format .pth :
  • params.json harus memilih Direktori Ukuran Parameter consolidated.NN.pth 13B ( 7B .
  • Sesuai rilis model LLAMA, direktori induk harus berisi tokenizer.model . Misalnya untuk menggunakan model LLAMA-13B, Direktori Model Anda harus terlihat seperti di bawah ini, dan Anda harus memilih Direktori 13B :

 .
│   ...
├── 13B
│   ├── checklist.chk.txt
│   ├── consolidated.00.pth
│   ├── consolidated.01.pth
│   └── params.json
│   ...
└── tokenizer.model

• Pemecahan Masalah: Jika menggunakan file .ggml , pastikan ini terkini. Jika Anda mengalami masalah, Anda mungkin perlu menggunakan skrip konversi dari llama.cpp:
  • Untuk model gpt4all, Anda mungkin perlu menggunakan convert-gpt4all-to-ggml.py
  • Untuk model ALPACA, Anda mungkin perlu menggunakan convert-tidakversi-ggml-to-ggml.py
  • Anda mungkin juga perlu menggunakan migrat-ggml-2023-03-30-pr613.py juga. Untuk informasi lebih lanjut, lihat repo llama.cpp.

? ‍ berkontribusi

Permintaan tarik dan masalah dipersilakan dan sangat dihargai. Pastikan untuk mematuhi kode perilaku setiap saat.

Llamachat dibangun sepenuhnya menggunakan Swift dan SwiftUi, dan memanfaatkan llama.swift di bawah kap untuk menjalankan inferensi dan melakukan operasi model.

Proyek ini sebagian besar dibangun menggunakan MVVM dan memanfaatkan konkurensi Combine dan Swift dengan berat.

⚖️ Lisensi

Llamachat dilisensikan di bawah lisensi MIT.