LLMFarm
v1.4.1
安裝穩定安裝最新
LLMFARM是一個iOS和MACOS應用程序，可與大型語言模型（LLM）一起使用。它允許您使用某些參數加載不同的LLM。借助LLMFarm，您可以測試iOS和MACOS上不同LLMS的性能，並找到適合您項目的最合適模型。
基於Georgi Gerganov的GGML和Llama.cpp。
駱駝芽皮 GPT2 +腦 Starcoder（Santacoder） 鶻 MPT 盛開 StableLM-3B-4E1T QWEN yi型號 DeepSeek模型混合萌 PLAMO-13B 曼巴 RWKV gptneox請參閱此處的完整列表。
注意：對於獵鷹，羊駝，gpt4all，中國駱駝/羊駝和中國羊肉2 /羊駝-2，Vigogne（法語），Vicuna，Koala，OpenBuddy（多語言），Pygmalion / Pygmalion / Metharme / Metharme，Wizardlm ，Baicharm，Baichuan 1＆2 + derivations，1＆2 + Derivations，，，，2 + Derivations，，，，derivations，，，derivations，，，derivations，，，derivations，，derivations，，，derivational Aquila 1＆2，Mistral AI V0.1 ，Refact，Persimmon 8b，MPT，Bloom在模型設置中選擇llama inference 。
您可以在常見問題解答部分中找到一些問題的答案。
創建聊天時，會生成JSON文件，您可以在其中指定其他推理選項。聊天文件位於“聊天”目錄中。您可以在此處查看所有推論選項。
您可以在此處找到一些受支持的模型。
llmfarm_core已移至單獨的存儲庫。要構建llmfarm，您需要遞歸克隆此存儲庫：
git clone --recurse-submodules https://github.com/guinmoon/LLMFarm
