LlamaChat

与您最喜欢的美洲驼模型聊天，就在您的Mac上

---

Llamachat是一个MacOS应用程序，可让您与Llama，羊驼和GPT4All模型聊天，这些模型均在Mac上本地运行。

入门

Llamachat需要Macos 13 Ventura，以及Intel或Apple Silicon处理器。

直接下载

在此处下载包含最新版本的.dmg 。

从来源建造

git clone https://github.com/alexrozanski/LlamaChat.git
cd LlamaChat
open LlamaChat.xcodeproj

注意： Llamachat包括用于自动汇款的闪光，如果没有签署Llamachat，它们将无法加载。确保在建造和运行Llamachat时使用有效的签名证书。

注意：模型推理在调试构建中非常缓慢地运行，因此，如果从源构建构建，请确保Llamachat中的Build Configuration LlamaChat > Edit Scheme... > Run设置为Release 。

特征

• 支持的模型： Llamachat开箱即用支持Llama，羊驼和GPT4All模型。对包括Vicuna和Koala在内的其他模型的支持即将推出。我们还在寻找中国和法语的人，以增加对中国骆驼/羊驼和维格尼的支持。
• 灵活的模型格式： Llamachat建立在Llama.cpp和Llama.swift的顶部。该应用程序支持在其原始的.pth Pytorch检查点表单或.ggml格式中添加Llama型号。
• 模型转换：如果添加了原始的Pytorch检查点，则可以将其转换为与Llamachat和Llamachat和Llama.cpp兼容的.ggml文件。
• 聊天历史记录：聊天历史记录在应用程序中持续存在。聊天历史记录和模型上下文都可以随时清除。
• 时髦的化身： Llamachat船上，可以与您的聊天来源一起使用7个时髦的化身。
• 高级源命名： Llamachat使用Special Magic™为您的聊天来源生成嬉戏的名字。
• 上下文调试：对于敏锐的ML爱好者，可以在Info Popover中查看当前的模型上下文。

？型号

注意： Llamachat不使用任何型号文件运送，并且要求您根据各自的条款和条件从各个来源获得这些文件。

• 模型格式： Llamachat允许您使用其原始Python检查点表格（ .pth ）或预转换的.ggml文件（Llama.cpp使用的格式）中使用Llama模型家族。
• 使用Llama模型：以.pth格式导入Llama模型时：
  • 您应该在转换流中选择适当的参数大小目录（例如7B ， 13B等），其中包括consolidated.NN.pth和params.json文件。
  • 根据Llama模型发布，父目录应包含tokenizer.model 。例如，要使用Llama-13b模型，您的模型目录应该看起来像以下内容，并且应该选择13B目录：

 .
│   ...
├── 13B
│   ├── checklist.chk.txt
│   ├── consolidated.00.pth
│   ├── consolidated.01.pth
│   └── params.json
│   ...
└── tokenizer.model

• 故障排除：如果使用.ggml文件，请确保这些文件是最新的。如果遇到问题，则可能需要使用Llama.cpp的转换脚本：
  • 对于GPT4All型号，您可能需要使用convert-gpt4all to-ggml.py
  • 对于羊驼模型，您可能需要使用转换 - gggml-to-ggml.py.py
  • 您也可能需要使用Migrate-GGML-2023-03-30-PR613.PY。有关更多信息，请查看Llama.cpp回购。

？‍贡献

欢迎拉拉请求和问题。请确保始终遵守行为准则。

Llamachat是使用Swift and Swiftui完全建造的，并利用Llama.swift在引擎盖下进行推理和执行模型操作。

该项目主要是使用MVVM构建的，并大量使用联合收割机和快速并发。

⚖️许可证

Llamachat已获得MIT许可证的许可。