ホーム>プログラミング関連>パイソン
ダウンロード

重要

bigdl-llmは現在ipex-llmになりました（こちらの移行ガイドを参照）。元のBigDLプロジェクトはこちらで見つけることができます。

？ PytorchのためのIntel®LLMライブラリ*

<英語| 中文>

IPEX-LLMは、Intel GPUのLLM加速ライブラリ（例えば、IGPUを備えたローカルPC、ARC、FLEX、MAXなどの離散GPU） 、NPU、CPU 1です。

注記

  • llama.cpp 、 transformers 、 bitsandbytes 、 vLLM 、 qlora 、 AutoGPTQ 、 AutoAWQなどの優れた作品の上に構築されています。
  • Llama.cpp、Ollama、Huggingface Transformers、Langchain、Lamaindex、Vllm、Text-Generation-Webui、deepspeed-autotp、fastchat、axolotlとのシームレスな統合を提供します。
  • 70+ models have been optimized/verified on ipex-llm (eg, Llama, Phi, Mistral, Mixtral, Whisper, Qwen, MiniCPM, Qwen-VL, MiniCPM-V and more), with state-of-art LLM optimizations , XPU acceleration and low-bit (FP8/FP6/FP4/INT4) support ;こちらの完全なリストをご覧ください。

最新のアップデート

  • [2024/12] Intel GPUでOllama 0.4.6を実行するためのサポートを追加しました。
  • [2024/12] Intel Core Ultra NPU（100H、200V、200Kシリーズを含む）にPythonとC ++の両方のサポートを追加しました。
  • [2024/11] Intel Arc GPUでVLLM 0.6.2を実行するためのサポートを追加しました。
その他の更新
  • [2024/07] Intel GPUでローカルLLMを使用してMicrosoftのGraphRagを実行するためのサポートを追加しました。こちらのクイックスタートガイドをご覧ください。
  • [2024/07] Stabled Fusion、Phi-3-Vision、Qwen-VLなどを含む大規模なマルチモーダルモデルに広範なサポートを追加しました。
  • [2024/07] Intel GPUにFP6サポートを追加しました。
  • [2024/06] Intel Core Ultraプロセッサの実験的なNPUサポートを追加しました。ここで例を参照してください。
  • [2024/06]パイプライン並列推論の広範なサポートを追加したため、2つ以上のIntel GPU（ARCなど）を使用して大規模なLLMを簡単に実行できます。
  • [2024/06] Intel GPUでipex-llmを使用してRagflowを実行するためのサポートを追加しました。
  • [2024/05] ipex-llmは、Intel GPUでのLLM FinetuningのAxolotlをサポートしています。こちらのクイックスタートをご覧ください。
  • [2024/05] Docker画像を使用して、 ipex-llm推論、提供、および微調整を簡単に実行できるようになりました。
  • [2024/05]「 1つのコマンド」だけを使用して、Windowsにipex-llmをインストールできるようになりました。
  • [2024/04] ipex-llmを使用してIntel GPUでOpen WebUIを実行できるようになりました。こちらのクイックスタートをご覧ください。
  • [2024/04] llama.cppを使用してipex-llmを使用してollamaを使用してIntel GPUでLlama 3を実行できるようになりました。こちらのクイックスタートをご覧ください。
  • [2024/04] ipex-llm 、Intel GPUとCPUの両方でLlama 3をサポートしています。
  • [2024/04] ipex-llm C ++インターフェイスを提供するようになりました。これは、Intel GPUでllama.cppとOllamaを実行するための加速バックエンドとして使用できます。
  • [2024/03] bigdl-llmがipex-llmになりました（ここの移行ガイドを参照）。元のBigDLプロジェクトはこちらで見つけることができます。
  • [2024/02] ipex-llm 、ModelScope（魔搭）からモデルを直接読み込むことをサポートするようになりました。
  • [2024/02] ipex-llm 16GB VRAMでIntel GPUで大規模LLM（Mixtral-8X7bなど）を実行できるようにするため、初期INT2サポート（LLAMA.CPP IQ2メカニズムに基づく）を追加しました。
  • [2024/02]ユーザーは、Text-Generation-Webui GUIを介してipex-llm使用できるようになりました。
  • [2024/02] ipex-llm 、自己識別的なデコードをサポートするようになりました。実際には、それぞれIntel GPUとCPUでFP16およびBF16推論のレイテンシで約30％のスピードアップをもたらします。
  • [2024/02] ipex-llm 、Intel GPU（Lora、Qlora、DPO、QA-Lora、Reloraを含むLLM Finetuningの包括的なリストをサポートするようになりました。
  • [2024/01] ipex-llm Qloraを使用して、Standford-Alpacaの8 Intel Max 1550 GPUで21分でLlama2-7bを、Llama2-70bを3.14時間で3.14時間獲得することができました（ブログを参照）。
  • [2023/12] ipex-llm Reloraをサポートするようになりました（ 「低ランクの更新によるRelora：ハイランクトレーニング」を参照）。
  • [2023/12] ipex-llm 、Intel GPUとCPUの両方でMixtral-8x7Bをサポートするようになりました。
  • [2023/12] ipex-llm QA-LORAをサポートするようになりました（ 「QA-LORA：QUANTIZATION-AWARE LOW-RANK適応の大規模言語モデルの適応」を参照）。
  • [2023/12] ipex-llm 、Intel GPUのFP8およびFP4推論をサポートするようになりました。
  • [2023/11] GGUF、AWQ、およびGPTQモデルをipex-llmに直接ロードするための初期サポートが利用可能です。
  • [2023/11] ipex-llm Intel GPUとCPUの両方でVLLM連続バッチをサポートするようになりました。
  • [2023/10] ipex-llm Intel GPUとCPUの両方でQlora Finetuningをサポートするようになりました。
  • [2023/10] ipex-llm 、Intel CPUとGPUの両方でFastChatを提供するようになりました。
  • [2023/09] ipex-llmはIntel GPU（IGPU、ARC、FLEX、MAXを含む）をサポートしています。
  • [2023/09] ipex-llmチュートリアルがリリースされます。

ipex-llmデモ

ipex-llmを使用して、Intel Core Ultra IGPU、Intel Core Ultra NPU、シングルカードアークGPU、またはマルチカードアークGPUでローカルLLMを実行するデモを参照してください。

Intel Core Ultra（シリーズ1）Igpu Intel Core Ultra（シリーズ2）NPU Intel Arc DGPU 2カードインテルアークDGPUS
オラマ
（Mistral-7B Q4_K）		ハギングフェイス
（llama3.2-3b sym_int4）		 TextGeneration-Webui
（llama3-8b fp8）		 FastChat
（QWEN1.5-32B FP6）

ipex-llmパフォーマンス

1未満のIntel Core UltraおよびIntel Arc GPUのトークン生成速度を参照してください（詳細については[2] [3] [4]を参照してください）。

ベンチマークガイドに従って、 ipex-llmパフォーマンスベンチマークを自分で実行できます。

モデルの精度

以下の困惑の結果を参照してください（ここでスクリプトを使用してWikitextデータセットでテストされています）。

困惑sym_int4 Q4_K FP6 FP8_E5M2 FP8_E4M3 FP16
llama-2-7b-chat-hf 6.364 6.218 6.092 6.180 6.098 6.096
Mistral-7B-Instruct-V0.2 5.365 5.320 5.270 5.273 5.246 5.244
Baichuan2-7b-chat 6.734 6.727 6.527 6.539 6.488 6.508
qwen1.5-7b-chat 8.865 8.816 8.557 8.846 8.530 8.607
llama-3.1-8b-instruct 6.705 6.566 6.338 6.383 6.325 6.267
gemma-2-9b-it 7.541 7.412 7.269 7.380 7.268 7.270
Baichuan2-13b-chat 6.313 6.160 6.070 6.145 6.086 6.031
llama-2-13b-chat-hf 5.449 5.422 5.341 5.384 5.332 5.329
qwen1.5-14b-chat 7.529 7.520 7.367 7.504 7.297 7.334

ipex-llm QuickStart

Docker

  • C ++のGPU推論： llama.cpp 、 ollamaなどを実行していますipex-llm
  • PythonでのGPU推論：Huggingface transformers 、 LangChain 、 LlamaIndex 、 ModelScopeなどを実行していますipex-llm
  • GPUのVLLM：Intel GPUでipex-llmを使用してvLLM実行する
  • CPUのVLLM：Intel CPUでipex-llmを使用してvLLM実行する
  • GPUのFastChat：Intel GPUでipex-llmを使用してFastChat実行しています
  • GPUのVSCODE：Intel GPUでVSCodeを使用してPythonでipex-llmアプリケーションを実行および開発する

使用

  • NPU：PythonとC ++の両方でIntel NPUでipex-llm実行しています
  • llama.cpp： llama.cppを実行している（ ipex-llmのC ++インターフェイスを使用）Intel GPU
  • Ollama：Intel GPUでOllama （ ipex-llmのC ++インターフェイスを使用）を実行する
  • Pytorch/Huggingface： Pytorch 、 Huggingface 、 Langchain 、 Llamaindexなどの実行（ ipex-llmのPythonインターフェイスを使用）WindowsおよびLinuxのIntel GPU上
  • VLLM：Intel GPUとCPUの両方でVLLMでipex-llmを実行しています
  • FastChat：Intel GPUとCPUの両方でFASTCHATでipex-llmを実行しています
  • 複数のIntel GPUでのサービング：DeepSpeed AutoTPとFastAPIを活用することにより、複数のIntel GPUでサービングするipex-llm実行する
  • Text-Generation-Webui： oobabooga WebUIでipex-llm実行しています
  • Axolotl：LLM FinetuningのためにAxolotlでipex-llmを実行します
  • ベンチマーク：Intel CPUおよびGPUでのipex-llmのベンチマークの実行（レイテンシおよびスループット）ベンチマーク

アプリケーション

  • GraphRag： ipex-llmを使用してローカルLLMを使用してMicrosoftのGraphRAG実行します
  • Ragflow： ipex-llmを使用したRAGFlow （オープンソースラグエンジン）を実行する
  • langchain-chatchat： ipex-llmを備えたLangChain-Chatchat （ rag pipelineを使用したナレッジベースqa ）を実行する
  • Coding Copilot： ipex-llmを使用してContinue （vscodeでCopilotをコーディング）
  • Open WebUI： ipex-llmでOpen WebUI実行します
  • privategpt： PrivateGPTを実行して、 ipex-llmを使用してドキュメントと対話します
  • Difyプラットフォーム： Difyでipex-llmを実行する（生産対応LLMアプリ開発プラットフォーム）

インストール

  • Windows GPU：Intel GPUを使用してWindowsにipex-llmをインストールします
  • Linux GPU：Intel GPUを使用してLinuxにipex-llmをインストールします
  • 詳細については、完全なインストールガイドを参照してください

コードの例

  • 低ビット推論

    • Int4推論：Intel GPUおよびCPUのINT4 LLM推論
    • FP8/FP6/FP4推論：Intel GPU上のFP8 、 FP6 、 FP4 LLM推論
    • Int8推論：Intel GPUおよびCPUのINT8 LLM推論
    • INT2 INTEL GPUのInt2 LLM推論（llama.cpp IQ2メカニズムに基づく）

  • FP16/BF16推論

    • Intel GPUでのFP16 LLM推論。
    • Intel CPUでのBF16 LLM推論。

  • 分散推論

    • Intel GPUのパイプライン並列推論
    • Intel GPUのDeepSpeed AutoTP推論

  • 保存してロードします

    • 低ビットモデル： ipex-llm低ビットモデルの保存とロード（INT4/FP4/FP6/INT8/FP8/FP16/など）
    • GGUF：GGUFモデルをipex-llmに直接ロードします
    • AWQ：AWQモデルをipex-llmに直接ロードします
    • GPTQ：GPTQモデルをipex-llmに直接ロードします

  • 微調整

    • LORA、QLORA、DPO、QA-LORA、RERORAを含むIntel GPUでのLLM Finetuning
    • Intel CPUでのQlora Finetuning

  • コミュニティライブラリとの統合

    • ハギングフェイストランス
    • 標準のPytorchモデル
    • ラングチェーン
    • llamaindex
    • deepspeed-autotp
    • axolotl
    • Huggingface peft
    • Huggingface Trl
    • オートゲン
    • モードスコープ
  • チュートリアル

APIドキュメント

  • ハギングフェイストランススタイルAPI（自動クラス）
  • 任意のPytorchモデルのAPI

よくある質問

  • FAQとトラブルシューティング

検証済みモデル

Llama/Llama2、Mistral、Mixtral、Gemma、Llava、Whisper、Chatglm2/Chatglm3、Baichuan/Baichuan2、Qwen/Qwen-1.5、Internlmなどを含む70以上のモデルがipex-llmで最適化/検証されています。以下のリストを参照してください。

モデルCPUの例GPUの例NPUの例
ラマlink1、link2リンク
ラマ2 link1、link2リンクPythonリンク、C ++リンク
ラマ3リンクリンクPythonリンク、C ++リンク
ラマ3.1リンクリンク
ラマ3.2リンクPythonリンク、C ++リンク
llama 3.2-visionリンク
chatglmリンク
chatglm2リンクリンク
chatglm3リンクリンク
GLM-4リンクリンク
GLM-4Vリンクリンク
GLM-EDEDリンクPythonリンク
GLM-EDED-Vリンク
ミストラルリンクリンク
Mixtralリンクリンク
ファルコンリンクリンク
MPTリンクリンク
Dolly-V1リンクリンク
Dolly-V2リンクリンク
コードを返信しますリンクリンク
レッドパジャマlink1、link2
フェニックスlink1、link2
スターコダーlink1、link2リンク
バイチュアンリンクリンク
Baichuan2リンクリンクPythonリンク
internlmリンクリンク
internvl2リンク
Qwenリンクリンク
QWEN1.5リンクリンク
QWEN2リンクリンクPythonリンク、C ++リンク
QWEN2.5リンクPythonリンク、C ++リンク
QWEN-VLリンクリンク
QWEN2-VLリンク
QWEN2-AUDIOリンク
アクイラリンクリンク
Aquila2リンクリンク
苔リンク
ささやきますリンクリンク
PHI-1_5リンクリンク
flan-t5リンクリンク
llavaリンクリンク
コデラマリンクリンク
スカイワークリンク
internlm-xcomposerリンク
wizardcoder-pythonリンク
コードシェルリンク
fuyuリンク
distil-whisperリンクリンク
yiリンクリンク
Bluelmリンクリンク
マンバリンクリンク
太陽リンクリンク
Phixtralリンクリンク
internlm2リンクリンク
rwkv4リンク
RWKV5リンク
吠えるリンクリンク
speecht5リンク
deepseek-moeリンク
Ziya-Coding-34B-V1.0リンク
PHI-2リンクリンク
PHI-3リンクリンク
Phi-3-visionリンクリンク
yuan2リンクリンク
ジェマリンクリンク
gemma2リンク
デシルム-7bリンクリンク
deepseekリンクリンク
Stablelmリンクリンク
codegemmaリンクリンク
command-r/cohereリンクリンク
CodeGeex2リンクリンク
MinicpmリンクリンクPythonリンク、C ++リンク
minicpm3リンク
MINICPM-Vリンク
MINICPM-V-2リンクリンク
MINICPM-llama3-v-2_5リンクPythonリンク
MINICPM-V-2_6リンクリンクPythonリンク
stablediffusionリンク
BCE-embedding-base-v1 Pythonリンク
speech_paraformer-large Pythonリンク

サポートを受けてください

  • githubの問題を開いてバグを報告するか、機能リクエストを提起してください
  • GitHub Security Advisoryのドラフトを開くことにより、脆弱性を報告してください

脚注

  1. パフォーマンスは、使用、構成、その他の要因によって異なります。 ipex-llm非intel製品に対して同じ程度に最適化することはできません。詳細については、www.intel.com/performanceindexをご覧ください。 ↩2

拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて