LlamaChat

Chatea con tus modelos de llamas favoritos, justo en tu Mac

---

Llamachat es una aplicación MacOS que le permite chatear con Llama, Alpaca y GPT4All modelos que se ejecutan localmente en su Mac.

Empezando

Llamachat requiere MacOS 13 Ventura, y un procesador Intel o Apple Silicon.

Descarga directa

¿Descargar un .dmg que contiene la última versión aquí?

Edificio de la fuente

git clone https://github.com/alexrozanski/LlamaChat.git
cd LlamaChat
open LlamaChat.xcodeproj

Nota: Llamachat incluye Sparkle para Autoupdates, que no se cargará si Llamachat no está firmado. Asegúrese de utilizar un certificado de firma válido al construir y ejecutar Llamachat.

NOTA: La inferencia del modelo se ejecuta realmente lentamente en las compilaciones de depuración, por lo que si se construye desde la fuente, asegúrese de que la Build Configuration en LlamaChat > Edit Scheme... > Run está configurada para Release .

Características

• Modelos compatibles: Llamachat admite modelos Llama, Alpaca y GPT4All fuera de la caja. El apoyo a otros modelos, incluidos Vicuna y Koala, llegará pronto. También estamos buscando hablantes chinos y franceses para agregar apoyo a la Llama China/Alpaca y Vigogne.
• Formatos de modelo flexible: Llamachat se construye en la parte superior de Llama.cpp y llama.swift. La aplicación admite agregar modelos de llama en su formulario RAW .pth Pytorch Checkpoints o en el formato .ggml .
• Conversión del modelo: si se agregan puntos de control de Pytorch sin procesar, estos se pueden convertir en archivos .ggml compatibles con Llamachat y Llama.cpp dentro de la aplicación.
• Historia del chat: el historial de chat está persistido dentro de la aplicación. Tanto el historial de chat como el contexto del modelo se pueden borrar en cualquier momento.
• Avatares funky: Llamachat se envía con 7 avatares funky que se pueden usar con sus fuentes de chat.
• Nombramiento de fuente avanzada: Llamachat usa especial Magic ™ para generar nombres lúdicos para sus fuentes de chat.
• Depuración del contexto: para los entusiastas de ML, el contexto del modelo actual se puede ver para un chat en la información Popover.

? Modelos

Nota: Llamachat no se envía con ningún archivo de modelo y requiere que los obtenga de las fuentes respectivas de acuerdo con sus términos y condiciones respectivas.

• Formatos de modelo: Llamachat le permite usar la familia de modelos LLAMA en su formulario de punto de control de Python Raw ( .pth ) o archivo .ggml preconvertido (el formato utilizado por Llama.CPP, que impulsa Llamachat).
• Uso de modelos de llama: al importar modelos de llama en formato .pth :
  • Debe seleccionar el directorio de tamaño de parámetro apropiado (por ejemplo, 7B , 13B , etc.) en el flujo de conversión, que incluye los archivos consolidated.NN.pth y params.json .
  • Según el lanzamiento del modelo LLAMA, el directorio principal debe contener tokenizer.model . Por ejemplo, para usar el modelo LLAMA-13B, su directorio de modelos debe verse algo así como el siguiente, y debe seleccionar el directorio 13B :

 .
│   ...
├── 13B
│   ├── checklist.chk.txt
│   ├── consolidated.00.pth
│   ├── consolidated.01.pth
│   └── params.json
│   ...
└── tokenizer.model

• Solución de problemas: si usa archivos .ggml , asegúrese de que estén actualizados. Si se encuentra con problemas, es posible que deba usar los scripts de conversión de llama.cpp:
  • Para el modelo GPT4All, es posible que deba usar Convert-GPT4All-to-GGML.PY
  • Para el modelo de Alpaca, es posible que deba usar convertir-inversioned-ggml-to-ggml.py
  • También es posible que deba usar migrate-ggml-2023-03-30-pr613.py también. Para obtener más información, consulte el repositorio de Llama.cpp.

? ‍ contribuyendo

Las solicitudes y los problemas de extracción son bienvenidos y muy apreciados. Asegúrese de adherirse al Código de Conducta en todo momento.

Llamachat está completamente construido con Swift y Swiftui, y utiliza Llama.swift debajo del capó para ejecutar inferencia y realizar operaciones de modelos.

El proyecto se construye principalmente con MVVM y hace un uso intensivo de la concurrencia Combine y Swift.

⚖️ Licencia

Llamachat tiene licencia bajo la licencia MIT.