LlamaChat

Converse com seus modelos de lhama favoritos, bem no seu Mac

---

O Llamachat é um aplicativo MacOS que permite que você converse com os modelos Llama, Alpaca e Gpt4all, todos funcionando localmente no seu Mac.

Começando

O Llamachat exige o MacOS 13 Ventura e um processador Intel ou Apple Silicon.

Download direto

Faça o download de um .dmg contendo a versão mais recente aqui?.

Edifício da fonte

git clone https://github.com/alexrozanski/LlamaChat.git
cd LlamaChat
open LlamaChat.xcodeproj

NOTA: O Llamachat inclui Sparkle para AutoupDates, que não conseguirá carregar se o Llamachat não for assinado. Certifique -se de usar um certificado de assinatura válido ao criar e executar o Llamachat.

Nota: A inferência do modelo é muito lentamente nas compilações de depuração; portanto, se a construção da fonte, verifique se a Build Configuration no LlamaChat > Edit Scheme... > Run está definida para Release .

Características

• Modelos suportados: o Llamachat suporta modelos LLAMA, ALPACA e GPT4ALL fora da caixa. O apoio a outros modelos, incluindo Vicuna e Koala, está chegando em breve. Também estamos procurando falantes chineses e franceses para adicionar apoio à lhama/alpaca chinesa e Viggione.
• Formatos de modelo flexíveis: o Llamachat é construído no topo do llama.cpp e llama.swift. O aplicativo suporta a adição de modelos de llama no seu formulário de ponto de verificação .pth Pytorch Raw ou no formato .ggml .
• Conversão do modelo: Se forem adicionados pontos de verificação de pytorch bruto, eles poderão ser convertidos em arquivos .ggml compatíveis com llamachat e llama.cpp no ​​aplicativo.
• Histórico de bate -papo: o histórico de bate -papo é persistido no aplicativo. Tanto o histórico de bate -papo quanto o contexto do modelo podem ser limpos a qualquer momento.
• Avatares funky: o llamachat envia com 7 avatares descolados que podem ser usados ​​com suas fontes de bate -papo.
• Nomeação avançada da fonte: o Llamachat usa o Special Magic ™ para gerar nomes lúdicos para suas fontes de bate -papo.
• Depuração do contexto: Para os entusiastas do ML Keen, o contexto atual do modelo pode ser visualizado para um bate -papo no popover de informações.

? Modelos

NOTA: O Llamachat não é enviado com nenhum arquivo de modelo e requer que você os obtenha das respectivas fontes de acordo com seus respectivos termos e condições.

• Formatos do modelo: o Llamachat permite que você use a família de modelos LLAMA em seu formulário de ponto de verificação em Python bruto ( .pth ) ou o arquivo .ggml pré-convertido (o formato usado por llama.cpp, que alimenta o Llamachat).
• Usando modelos de lhama: ao importar modelos de lhama no formato .pth :
  • Você deve selecionar o diretório de tamanho de parâmetro apropriado (por exemplo, 7B , 13B etc) no fluxo de conversão, que inclui os arquivos consolidated.NN.pth e params.json .
  • De acordo com o lançamento do modelo LLAMA, o diretório pai deve conter tokenizer.model . Por exemplo, para usar o modelo LLAMA-13B, seu diretório de modelos deve se parecer com algo abaixo e você deve selecionar o diretório 13B :

 .
│   ...
├── 13B
│   ├── checklist.chk.txt
│   ├── consolidated.00.pth
│   ├── consolidated.01.pth
│   └── params.json
│   ...
└── tokenizer.model

• Solução de problemas: Se estiver usando arquivos .ggml , verifique se eles estão atualizados. Se você tiver problemas, pode ser necessário usar os scripts de conversão do llama.cpp:
  • Para o modelo GPT4all, pode ser necessário usar Convert-Gpt4all para-GGML.py
  • Para o modelo de alpaca, pode ser necessário usar o convert-senversion-gggml-to-ggml.py
  • Você também pode precisar usar o Migrate-GGML-2023-03-30-PR613.Py também. Para mais informações, consulte o repo llama.cpp.

? ‍ Contribuindo

Solicitações e problemas de puxar são bem -vindos e muito apreciados. Certifique -se de aderir ao código de conduta o tempo todo.

O Llamachat é totalmente construído usando Swift e SwiftUi e utiliza o LLAMA.Swift sob o capô para executar a inferência e executar operações modelo.

O projeto é construído principalmente usando o MVVM e faz uso pesado da simultaneidade combinada e rápida.

⚖️ Licença

O Llamachat está licenciado sob a licença do MIT.