LlamaChat

Общайтесь с любимыми моделями ламы, прямо на вашем Mac

---

Llamachat - это приложение MacOS, которое позволяет вам общаться с моделями Llama, Alpaca и GPT4all, которые работают локально на вашем Mac.

Начиная

Llamachat требует MacOS 13 Ventura, а также процессор Intel или Apple Silicon.

Прямая загрузка

Загрузите .dmg содержащий последнюю версию здесь?

Здание из источника

git clone https://github.com/alexrozanski/LlamaChat.git
cd LlamaChat
open LlamaChat.xcodeproj

Примечание. Лламачат включает в себя Sparkle для Autoupdates, которые не будут загружаться, если Llamachat не будет подписан. Убедитесь, что вы используете действительный сертификат подписания при строительстве и управлении Llamachat.

ПРИМЕЧАНИЕ. Модель вывода работает очень медленно в сборке отладки, поэтому, если построение из источника убедитесь, что Build Configuration в LlamaChat > Edit Scheme... > Run установлен для Release .

Функции

• Поддерживаемые модели: Llamachat поддерживает модели Llama, Alpaca и GPT4all из коробки. Поддержка других моделей, включая Vicuna и Koala, скоро появится. Мы также ищем китайские и французские ораторы, чтобы добавить поддержку китайской ламы/альпаки и Vigogne.
• Гибкие форматы моделей: Llamachat строится на вершине Llama.cpp и Llama.swift. Приложение поддерживает добавление моделей LLAMA либо в их .pth форме контрольных точек Pytorch, либо в формате .ggml .
• Преобразование модели: если добавлены контрольные точки RAW Pytorch, они могут быть преобразованы в файлы .ggml совместимые с Llamachat и Llama.cpp в приложении.
• История чата: история чата сохраняется в приложении. Как история чата, так и контекст модели могут быть очищены в любое время.
• Funky Avatars: Llamachat Ships с 7 причудливыми аватарами, которые можно использовать с вашими источниками чата.
• Усовершенствованное именование источника: Llamachat использует Special Magic ™ для создания игривых имен для источников чата.
• Отладка контекста: для увлеченных энтузиастов ML текущий контекст модели можно просмотреть для чата в Info Popover.

? Модели

Примечание: Llamachat не поставляется с какими -либо модельными файлами и требует, чтобы вы получили их из соответствующих источников в соответствии с их соответствующими условиями.

• Форматы моделей: Llamachat позволяет вам использовать семейство моделей Llama либо в их необработанной форме Python Chepoint ( .pth ), либо в предварительно конвертированном файле .ggml (формат, используемом Llama.cpp, который поддерживает Llamachat).
• Использование моделей Llama: при импорте моделей Llama в формате .pth :
  • Вы должны выбрать соответствующий каталог размера параметра (например, 7B , 13B и т. Д.) В потоке преобразования, который включает файлы consolidated.NN.pth и params.json .
  • Согласно выпуску модели Llama, родительский каталог должен содержать tokenizer.model . Например, чтобы использовать модель Llama-13b, ваш модельный каталог должен выглядеть примерно как приведенный ниже, и вы должны выбрать каталог 13B :

 .
│   ...
├── 13B
│   ├── checklist.chk.txt
│   ├── consolidated.00.pth
│   ├── consolidated.01.pth
│   └── params.json
│   ...
└── tokenizer.model

• Устранение неполадок: при использовании файлов .ggml убедитесь, что они в курсе. Если вы столкнетесь с проблемами, вам может потребоваться использовать сценарии конверсии от llama.cpp:
  • Для модели GPT4all вам может потребоваться использовать Convert-gpt4all-to-ggml.py
  • Для модели Alpaca вам может потребоваться использовать конверт-преобразованный-ggml-to-ggml.py
  • Вам также может потребоваться использовать Migrate-GGML-2023-03-30-PR613.PY также. Для получения дополнительной информации ознакомьтесь с репозитором llama.cpp.

? ‍ Вклад

Запросы на вытягивание и проблемы приветствуются и очень ценятся. Пожалуйста, обязательно придерживайтесь кодекса поведения в любое время.

Llamachat полностью построен с использованием Swift и Swiftui и использует Llama.Swift под капотом для выполнения вывода и выполнения модельных операций.

Проект в основном построен с использованием MVVM и широко использует комбинированную и быструю параллелизм.

⚖ Лицензия

Лламачат лицензирован по лицензии MIT.