LLMFarm
v1.4.1
Instalar instalación estable más reciente
LLMFARM es una aplicación iOS y MacOS para trabajar con modelos de idiomas grandes (LLM). Le permite cargar diferentes LLM con ciertos parámetros. Con llmfarm, puede probar el rendimiento de diferentes LLM en iOS y macOS y encontrar el modelo más adecuado para su proyecto.
Basado en GGML y LLAMA.CPP por Georgi Gerganov.
Llama Gema Fi GPT2 + cerebras Código de estrellas (Santacoder) Halcón MPT Floración Stablelm-3b-4e1t Qwen Modelos Yi Modelos de Speek de Deep MIXTRAL MOE Plamo-13b Tipo de serpiente venenosa RWKV GptneoxVea la lista completa aquí.
Nota: Para Falcon, Alpaca, GPT4All, Chinese Llama / Alpaca y Chinese Llama-2 / Alpaca-2, Vigogne (French), Vicuna, Koala, OpenBuddy (multilingüe), Pigmalión / Metharme, Wizardlm, Baichuan 1 y 2 + Derivaciones,, Aquila 1 y 2, Mistral AI V0.1, Refact, Persimmon 8b, MPT, Bloom Select llama inference en la configuración del modelo.
Puede encontrar respuestas a algunas preguntas en la sección Preguntas frecuentes.
Al crear un chat, se genera un archivo JSON en el que puede especificar opciones de inferencia adicionales. Los archivos de chat se encuentran en el directorio "CHATS". Puede ver todas las opciones de inferencia aquí.
Puede encontrar algunos de los modelos compatibles aquí.
llmfarm_core se ha trasladado a un repositorio separado. Para construir llmfarm, debe clonar este repositorio de manera recursiva:
git clone --recurse-submodules https://github.com/guinmoon/LLMFarm
