LLMFarm

Llmfarm

Installieren Sie die neueste Installation

---

LLMFarm ist eine iOS- und macOS -App, die mit großen Sprachmodellen (LLM) arbeitet. Sie können verschiedene LLMs mit bestimmten Parametern laden. Mit LLMFarm können Sie die Leistung verschiedener LLMs auf iOS und macOS testen und das am besten geeignete Modell für Ihr Projekt finden.
Basierend auf GGML und LLAMA.CPP von Georgi Gerganov.

Merkmale

• Macos (13+)
• iOS (16+)
• Verschiedene Schlussfolgerungen
• Verschiedene Stichprobenmethoden
• Metall (arbeite nicht auf Intel Mac)
• Modelleinstellungsvorlagen
• Kontextstatus wiederherstellen
• Apple Shortcuts
• LAPPEN

Schlussfolgerungen

• Lama
• Gemma
• Phi
• GPT2 + Cerebras
• StarCoder (Santacoder)
• Falke
• Mpt
• Blühen
• Stablelm-3b-4e1t
• Qwen
• Yi -Modelle
• Deepseek -Modelle
• Mixtral Moe
• Plamo-13b
• Mamba
• Rwkv
• Gptneox

Hier finden Sie die vollständige Liste.

Multimodal

• LLAVA 1.5 Modelle, Llava 1.6 Modelle
• Baklllava
• Obsidian
• Sharegpt4v
• Mobilevlm 1.7B/3B -Modelle
• Yi-vl
• Moondream

Hinweis: Für Falcon, Alpaka, GPT4ALL, Chinese Lama / Alpaka und chinesische LLAMA-2 / Alpaka-2, Vigogne (Französisch), Vicuna, Koala, Openbuddy (mehrsprachige), Pygmalion / Metharme, WizardLM, Baichuan 1 & 2-Derivaten, Derivaten, Derivaten, Ableitungen, Derivaten, Ableitungen, Derivaten, Ableitungen, Derivaten, Ableitungen, Derivaten, Abhilfe Aquila 1 & 2, Mistral AI V0.1, Refact, Persimmon 8B, MPT, Bloom Wählen Sie llama inference in Modelleinstellungen aus.

Stichprobenmethoden

• Temperatur (Temp, Tok-K, Top-P)
• Schwanzfreie Probenahme (TFS)
• Lokal typische Abtastung
• Mirostat
• Gierig
• Grammatik

Erste Schritte

Sie können Antworten auf einige Fragen im FAQ -Abschnitt finden.

Inferenzoptionen

Beim Erstellen eines Chats wird eine JSON -Datei generiert, in der Sie zusätzliche Inferenzoptionen angeben können. Die Chat -Dateien befinden sich im Verzeichnis "Chats". Hier sehen Sie alle Inferenzoptionen.

Modelle

Hier finden Sie einige der unterstützten Modelle.

Entwicklung

llmfarm_core wurde in ein separates Repository verschoben. Um LLMFarm zu erstellen, müssen Sie dieses Repository rekursiv klonen:

git clone --recurse-submodules https://github.com/guinmoon/LLMFarm

Auch verwendete Quellen von:

• rwkv.cpp von saharnooby
• Mia von Byroneverson
• Llamachat von Alexrozanski
• Swift-Markdown-UI von Gonzalezreal
• Ähnlichkeitssuch-Kit von Zachnagengast

❤️ Support -Projekt