LLMFarm
v1.4.1
安装稳定安装最新
LLMFARM是一个iOS和MACOS应用程序，可与大型语言模型（LLM）一起使用。它允许您使用某些参数加载不同的LLM。借助LLMFarm，您可以测试iOS和MACOS上不同LLMS的性能，并找到适合您项目的最合适模型。
基于Georgi Gerganov的GGML和Llama.cpp。
骆驼芽皮 GPT2 +脑 Starcoder（Santacoder） 鹘 MPT 盛开 StableLM-3B-4E1T QWEN yi型号 DeepSeek模型混合萌 PLAMO-13B 曼巴 RWKV gptneox请参阅此处的完整列表。
注意：对于猎鹰，羊驼，gpt4all，中国骆驼 /羊驼和中国羊肉2 /羊驼-2，Vigogne（法语），Vicuna，Koala，OpenBuddy（多语言），Pygmalion / Pygmalion / Metharme / Metharme，Wizardlm，Baicharm，Baichuan 1＆2 + derivations，1＆2 + Derivations，，，，2 + Derivations，，，，derivations，，，derivations，，，derivations，，，derivations，，derivations，，，derivational Aquila 1＆2，Mistral AI V0.1，Refact，柿子8B，MPT，Bloom在模型设置中选择llama inference 。
您可以在常见问题解答部分中找到一些问题的答案。
创建聊天时，会生成JSON文件，您可以在其中指定其他推理选项。聊天文件位于“聊天”目录中。您可以在此处查看所有推论选项。
您可以在此处找到一些受支持的模型。
llmfarm_core已移至单独的存储库。要构建llmfarm，您需要递归克隆此存储库：
git clone --recurse-submodules https://github.com/guinmoon/LLMFarm
