LLMFarm

Llmfarm

Instal stabil instal terbaru

---

LLMFARM adalah aplikasi iOS dan macOS untuk bekerja dengan model bahasa besar (LLM). Ini memungkinkan Anda untuk memuat LLM yang berbeda dengan parameter tertentu. Dengan LLMFarm, Anda dapat menguji kinerja LLM yang berbeda di iOS dan macOS dan menemukan model yang paling cocok untuk proyek Anda.
Berdasarkan GGML dan Llama.cpp oleh Georgi Gerganov.

Fitur

• MacOS (13+)
• iOS (16+)
• Berbagai kesimpulan
• Berbagai metode pengambilan sampel
• Logam (jangan bekerja di Intel Mac)
• Templat Pengaturan Model
• Kembalikan keadaan konteks
• Pintasan Apple
• LAP

Kesimpulan

• Llama
• Gemma
• Phi
• GPT2 + cerebras
• Starcoder (Santacoder)
• Elang
• MPT
• Bunga
• STABLELM-3B-4E1T
• Qwen
• Model yi
• Model Deepseek
• Mixtral Moe
• Plamo-13b
• Mamba
• Rwkv
• Gptneox

Lihat daftar lengkap di sini.

Multimodal

• Model LLAVA 1.5, model LLAVA 1.6
• Bakllava
• Obsidian
• Sharegpt4v
• MOBILEVLM 1.7B/3B MODEL
• Yi-vl
• Moondream

Catatan: Untuk Falcon, Alpaca, Gpt4all, Llama Cina / Alpaca dan Llama-2 China-2 / Alpaca-2, Vigogne (Prancis), Vicuna, Koala, Openbuddy (Multilingual), Pygmalion / Metharme, Wizardlm, Baichuan 1 & 2 + Derivasi, Derivasi, Baichuan 1 & 2 +, Derivation,, Baichuan 1 & 2 +, Derivation,, Baichuan, Derivation, Baichuan 1 & 2 +, Derivation,, Baichuan 1 & 2 +, Derivation,, Baichuan, Derivation, Baichuan, Baichmalion, Baichuan, Derivation, Baichuan, Baichmalion, Baichuan, Baichmalion,, Baichuan, Baichmalion, Baichuan,, Baichmalion 1 Aquila 1 & 2, Mistral AI V0.1, Refact, Persimmon 8b, MPT, Bloom Select llama inference dalam Pengaturan Model.

Metode pengambilan sampel

• Suhu (Temp, Tok-K, Top-P)
• Sampling bebas ekor (TFS)
• Pengambilan sampel khas lokal
• Mirostat
• Tamak
• Tata bahasa

Memulai

Anda dapat menemukan jawaban untuk beberapa pertanyaan di bagian FAQ.

Opsi inferensi

Saat membuat obrolan, file JSON dihasilkan di mana Anda dapat menentukan opsi inferensi tambahan. File obrolan terletak di direktori "obrolan". Anda dapat melihat semua opsi inferensi di sini.

Model

Anda dapat menemukan beberapa model yang didukung di sini.

Perkembangan

llmfarm_core telah dipindahkan ke repositori terpisah. Untuk membangun llmfarm, Anda perlu mengkloning repositori ini secara rekursif:

git clone --recurse-submodules https://github.com/guinmoon/LLMFarm

Juga menggunakan sumber dari:

• rwkv.cpp oleh Saharnooby
• Mia oleh Byroneverson
• Llamachat oleh Alexrozanski
• Swift-Markdown-UI oleh Gonzalezreal
• Kesamaan-pencarian-kit oleh Zachnagengast

Project Proyek Dukungan