LLMFarm

llmfarm

ติดตั้ง การติดตั้งที่เสถียรล่าสุด

---

LLMFARM เป็นแอพ iOS และ MacOS เพื่อทำงานกับโมเดลภาษาขนาดใหญ่ (LLM) ช่วยให้คุณโหลด LLM ที่แตกต่างกันด้วยพารามิเตอร์บางอย่างด้วย LLMFARM คุณสามารถทดสอบประสิทธิภาพของ LLMs ที่แตกต่างกันบน iOS และ MacOS และค้นหารุ่นที่เหมาะสมที่สุดสำหรับโครงการของคุณ
ขึ้นอยู่กับ GGML และ LLAMA.CPP โดย Georgi Gerganov

คุณสมบัติ

• MacOS (13+)
• iOS (16+)
• การอนุมานต่าง ๆ
• วิธีการสุ่มตัวอย่างต่างๆ
• โลหะ (ไม่ทำงานกับ Intel Mac)
• เทมเพลตการตั้งค่าแบบจำลอง
• เรียกคืนสถานะบริบท
• ทางลัดแอปเปิ้ล
• ผ้าขี้ริ้ว

การอนุมาน

• ลาม่า
• อัญมณี
• พี
• gpt2 + cerebras
• Starcoder (Santacoder)
• เหยี่ยว
• MPT
• ผลิบาน
• Stablelm-3b-4e1t
• Qwen
• นางแบบยี่
• นางแบบ Deepseek
• Moe Moe
• plamo-13b
• Mamba
• RWKV
• gptneox

ดูรายการทั้งหมดที่นี่

หลายรูปแบบ

• รุ่น Llava 1.5 รุ่น LLAVA 1.6 รุ่น
• Bakllava
• โอ้อวด
• sharegpt4v
• รุ่น Mobilevlm 1.7b/3b
• yi-vl
• ม่านตา

หมายเหตุ: สำหรับ Falcon, Alpaca, GPT4ALL, LLAMA LLAMA / Alpaca และจีน Llama-2 / Alpaca-2, Vigogne (ฝรั่งเศส), Vicuna, Koala, OpenBuddy (หลายภาษา), Pygmalion / Metharme, Wizardlm, Baichuan 1 & 2 Aquila 1 & 2, Mistral Ai V0.1, Refact, ลูกพลับ 8B, MPT, Bloom Select llama inference ในการตั้งค่าแบบจำลอง

วิธีการสุ่มตัวอย่าง

• อุณหภูมิ (อุณหภูมิ, tok-k, top-p)
• การสุ่มตัวอย่างแบบหางฟรี (TFS)
• การสุ่มตัวอย่างทั่วไป
• อิลลินอยส์
• โลภ
• ไวยากรณ์

เริ่มต้น

คุณสามารถค้นหาคำตอบสำหรับคำถามบางอย่างในส่วนคำถามที่พบบ่อย

ตัวเลือกการอนุมาน

เมื่อสร้างการแชทไฟล์ JSON จะถูกสร้างขึ้นซึ่งคุณสามารถระบุตัวเลือกการอนุมานเพิ่มเติมได้ ไฟล์แชทอยู่ในไดเรกทอรี "แชท" คุณสามารถดูตัวเลือกการอนุมานทั้งหมดได้ที่นี่

แบบจำลอง

คุณสามารถค้นหารุ่นที่รองรับได้ที่นี่

การพัฒนา

llmfarm_core ถูกย้ายไปยังที่เก็บแยกต่างหาก ในการสร้าง llmfarm คุณต้องโคลนพื้นที่เก็บข้อมูลนี้ซ้ำ ๆ :

git clone --recurse-submodules https://github.com/guinmoon/LLMFarm

ยังใช้แหล่งที่มาจาก:

• rwkv.cpp โดย saharnooby
• Mia โดย Byroneverson
• LAMACHAT โดย Alexrozanski
• Swift-Markdown-ui โดย Gonzalezreal
• ความคล้ายคลึงกัน-ค้นหา-Kit โดย Zachnagengast

❤โครงการสนับสนุน