auto ollama
1.0.0
การอนุมานหรือเชิงปริมาณแบบจำลองภาษาขนาดใหญ่ (LLMs) ในเครื่องด้วยคำสั่งเดียว
Auto-Ollama เป็นชุดเครื่องมือที่ออกแบบมาเพื่อลดความซับซ้อนของการอนุมานหรือการหาปริมาณของแบบจำลองภาษาขนาดใหญ่ (LLMs) โดยตรงในสภาพแวดล้อมท้องถิ่นของคุณ ด้วยการเน้นความสะดวกในการใช้งานและความยืดหยุ่น Auto-Ollama รองรับการใช้งานโดยตรงและการแปลงโมเดลเป็นรูปแบบที่มีประสิทธิภาพสำหรับการปรับใช้ในท้องถิ่น
สำหรับการหาปริมาณให้ตรวจสอบแพ็คเกจใหม่ที่เรียกว่า Auto-Quantllm ⚡ ขณะนี้อยู่ระหว่างการพัฒนา แต่มีจุดมุ่งหมายเพื่อให้วิธีการที่มีความคล่องตัวและใช้งานง่ายในการหาปริมาณแบบจำลองภาษาขนาดใหญ่ (LLMs) ด้วยวิธีการหาปริมาณที่แตกต่างกัน
โคลนที่เก็บเพื่อเริ่มต้นด้วย Auto-ollama:
git clone https://github.com/monk1337/auto-ollama.git
cd auto-ollamaการเรียกใช้ Auto-ollama ใช้สคริปต์ autollama.sh เพื่ออนุมาน LLMS อย่างรวดเร็ว สคริปต์นี้ต้องการชื่อรุ่นและชื่อไฟล์เชิงปริมาณเป็นอาร์กิวเมนต์
# Deploy Large Language Models (LLMs) locally with Auto-Ollama
# Usage:
# ./scripts/autollama.sh -m <model path> -g <gguf file name>
# Example command:
./scripts/autollama.sh -m TheBloke/MistralLite-7B-GGUF -g mistrallite.Q4_K_M.ggufหากโมเดลที่คุณต้องการไม่สามารถใช้งานได้ในรูปแบบเชิงปริมาณที่เหมาะสมสำหรับการปรับใช้ในท้องถิ่น Auto-Allama เสนอยูทิลิตี้ AutoGGUF เครื่องมือนี้สามารถแปลงรูปแบบใบหน้ากอดใด ๆ เป็นรูปแบบ GGUF และอัปโหลดไปยังฮับโมเดลใบหน้ากอด
# Convert your Hugging Face model to GGUF format for local deployment
# Usage:
# ./scripts/autogguf.sh -m <MODEL_ID> [-u USERNAME] [-t TOKEN] [-q QUANTIZATION_METHODS]
# Example command:
./scripts/autogguf.sh -m unsloth/gemma-2b # if want to upload the gguf model to hub after the conversion, provide the user and token
# Example command:
./scripts/autogguf.sh -m unsloth/gemma-2b -u user_name -t hf_token
# if wants to provide QUANTIZATION_METHODS
# Example command:
./scripts/autogguf.sh -m unsloth/gemma-2b -u user_name -t hf_token -q " q4_k_m,q5_k_m " สำหรับปัญหาข้อเสนอแนะหรือการมีส่วนร่วมโปรดเปิดปัญหาหรือดึงคำขอในที่เก็บ GitHub เรายินดีต้อนรับการมีส่วนร่วมจากชุมชนเพื่อทำให้ Auto-ollama ดียิ่งขึ้น!
