LLMFarm

Llmfarm

Installer Stable Installer dernier

---

LLMFARM est une application iOS et macOS pour fonctionner avec des modèles de grande langue (LLM). Il vous permet de charger différents LLM avec certains paramètres. Avec LLMFARM, vous pouvez tester les performances de différents LLM sur iOS et MacOS et trouver le modèle le plus approprié pour votre projet.
Basé sur GGML et LLAMA.CPP par Georgi Gerganov.

Caractéristiques

• MacOS (13+)
• iOS (16+)
• Diverses inférences
• Diverses méthodes d'échantillonnage
• Métal (ne travaillez pas sur Intel Mac)
• Modèles de réglage du modèle
• Restaurer l'état de contexte
• Raccourcis en pomme
• CHIFFON

Inférences

• Lama
• Gemme
• Phi
• GPT2 + Cerebras
• Starcoder (Santacoder)
• Faucon
• Mpte
• Floraison
• Stablelm-3b-4e1t
• Qwen
• Modèles YI
• Modèles Deepseek
• Mixtral moe
• Plamo-13b
• Mamba
• Rwkv
• Gptneox

Voir la liste complète ici.

Multimodal

• Modèles LLAVA 1.5, Llava 1.6 Modèles
• Bakllava
• Obsidienne
• Sharegpt4v
• Modèles MobileVLM 1.7b / 3b
• Yi-vl
• Moondream

Remarque: pour Falcon, Alpaca, GPT4ALL, Chinese Llama / Alpaca et Chinese Llama-2 / Alpaca-2, Vigogne (français), Vicuna, Koala, OpenBuddy (multilingue), Pygmalion / Metharme, Wizardlm, Baichuan 1 & 2 + dérivations, Aquila 1 & 2, Mistral Ai v0.1, refact, Persimmon 8b, MPT, Bloom Select llama inference dans les paramètres du modèle.

Méthodes d'échantillonnage

• Température (température, tok-k, top-p)
• Échantillonnage sans queue (TFS)
• Échantillonnage localement typique
• Mirostat
• Cupide
• Grammaire

Commencer

Vous pouvez trouver des réponses à certaines questions dans la section FAQ.

Options d'inférence

Lors de la création d'un CHAT, un fichier JSON est généré dans lequel vous pouvez spécifier des options d'inférence supplémentaires. Les fichiers de chat sont situés dans le répertoire "Chats". Vous pouvez voir toutes les options d'inférence ici.

Modèles

Vous pouvez trouver certains des modèles pris en charge ici.

Développement

llmfarm_core a été déplacé vers un référentiel séparé. Pour construire llmfarm, vous devez cloner ce référentiel récursivement:

git clone --recurse-submodules https://github.com/guinmoon/LLMFarm

A également utilisé des sources de:

• rwkv.cpp par Saharnooby
• MIA par Byroneverson
• Llamachat par Alexrozanski
• Swift-Markdown-UI par Gonzalezreal
• similitude-recherche-kit par ZachnaGengast

❤️ Projet de support