auto ollama

Auto-Ollama＆auto-gguf⚡️

単一のコマンドでローカルに大きな言語モデル（LLM）を推論または量子化する

概要

Auto-Ollamaは、ローカル環境上の大規模な言語モデル（LLM）の推論または量子化を単純化するために設計されたツールキットです。使いやすさと柔軟性に重点を置いて、Auto-Ollamaは、モデルの直接使用と変換の両方をローカル展開のための効率的な形式にサポートします。

量子化については、auto-quantllm⚡️と呼ばれる新しいパッケージをご覧ください。現在開発中ですが、異なる量子化方法で大規模な言語モデル（LLM）を量子化するための合理化されたユーザーフレンドリーなアプローチを提供することを目的としています。

はじめる

インストール

リポジトリをクローンして、Auto-Ollamaを開始します。

git clone https://github.com/monk1337/auto-ollama.git
cd auto-ollama

クイックツアー

Auto-Ollamaの実行Autollama.shスクリプトを使用して、LLMSをすばやく推論します。このスクリプトには、引数としてモデル名と量子化されたファイル名が必要です。

 # Deploy Large Language Models (LLMs) locally with Auto-Ollama
# Usage:
# ./scripts/autollama.sh -m <model path> -g <gguf file name>


# Example command:
./scripts/autollama.sh -m TheBloke/MistralLite-7B-GGUF -g mistrallite.Q4_K_M.gguf

AutoGGUFを使用して、定量化されていないモデルを処理します

目的のモデルがローカル展開に適した量子形式で利用できない場合、Auto-OllamaはAutoGGUFユーティリティを提供します。このツールは、任意のハグの顔モデルをGGUF形式に変換し、ハグするフェイスモデルハブにアップロードできます。

 # Convert your Hugging Face model to GGUF format for local deployment
# Usage:
# ./scripts/autogguf.sh -m <MODEL_ID> [-u USERNAME] [-t TOKEN] [-q QUANTIZATION_METHODS]

# Example command:
./scripts/autogguf.sh -m unsloth/gemma-2b

その他のオプション

 # if want to upload the gguf model to hub after the conversion, provide the user and token
# Example command:
./scripts/autogguf.sh -m unsloth/gemma-2b -u user_name -t hf_token


# if wants to provide QUANTIZATION_METHODS
# Example command:
./scripts/autogguf.sh -m unsloth/gemma-2b -u user_name -t hf_token -q " q4_k_m,q5_k_m " 

量子化の推奨事項

• 最高のパフォーマンスリソースバランスを得るには、 Q5_K_Mを使用します。
• Q4_K_Mは、メモリを保存する必要がある場合に適しています。
• K_Mバージョンは通常、K_Sよりも優れたパフォーマンスを発揮します。

サポートと貢献

問題、提案、または貢献については、githubリポジトリに問題を開くか、リクエストをプルしてください。 Auto-Ollamaをさらに良くするために、コミュニティからの貢献を歓迎します！