auto ollama
1.0.0
الاستدلال أو تحديد نماذج اللغة الكبيرة (LLMS) محليًا بأمر واحد
Auto-Ollama هي مجموعة أدوات مصممة لتبسيط استدلال أو تقدير نماذج اللغة الكبيرة (LLMS) مباشرة على بيئتك المحلية. مع التركيز على سهولة الاستخدام والمرونة ، يدعم Auto-Allama الاستخدام المباشر وتحويل النماذج إلى تنسيق فعال للنشر المحلي.
للتحديد الكمي ، تحقق من الحزمة الجديدة التي تسمى Auto-Quantllm ⚡. إنه قيد التطوير حاليًا ، ولكنه يهدف إلى توفير نهج مبسط وسهل الاستخدام لتحديد كمية نماذج اللغة الكبيرة (LLMS) مع طرق كمية مختلفة.
استنساخ المستودع للبدء مع Auto-Allama:
git clone https://github.com/monk1337/auto-ollama.git
cd auto-ollamaتشغيل Auto-Aollama استخدم البرنامج النصي Autollama.sh لاستدلال LLMS بسرعة. يتطلب هذا البرنامج النصي اسم النموذج واسم الملف الكمي كوسائط.
# Deploy Large Language Models (LLMs) locally with Auto-Ollama
# Usage:
# ./scripts/autollama.sh -m <model path> -g <gguf file name>
# Example command:
./scripts/autollama.sh -m TheBloke/MistralLite-7B-GGUF -g mistrallite.Q4_K_M.ggufإذا لم يكن النموذج المطلوب متوفرًا بتنسيق كمي مناسب للنشر المحلي ، فإن Auto-Ollama يوفر أداة Autogguf. يمكن لهذه الأداة تحويل أي نموذج وجه معانقة إلى تنسيق GGUF وتحميله إلى محور طراز الوجه المعانقة.
# Convert your Hugging Face model to GGUF format for local deployment
# Usage:
# ./scripts/autogguf.sh -m <MODEL_ID> [-u USERNAME] [-t TOKEN] [-q QUANTIZATION_METHODS]
# Example command:
./scripts/autogguf.sh -m unsloth/gemma-2b # if want to upload the gguf model to hub after the conversion, provide the user and token
# Example command:
./scripts/autogguf.sh -m unsloth/gemma-2b -u user_name -t hf_token
# if wants to provide QUANTIZATION_METHODS
# Example command:
./scripts/autogguf.sh -m unsloth/gemma-2b -u user_name -t hf_token -q " q4_k_m,q5_k_m " للمشكلات أو الاقتراحات أو المساهمات ، يرجى فتح مشكلة أو سحب طلب في مستودع GitHub. نرحب بالمساهمات من المجتمع لجعل Auto-Allama أفضل!
