intel extension for pytorchダウンロードintel extension for pytorch

intel extension for pytorch

パイソン

v2.5.10+xpu Release Notes

ダウンロード

pytorchのintel®拡張*

Pytorch*のIntel®拡張*は、Intelハードウェアの追加パフォーマンスを高めるための最新の機能を最適化してPytorch*を拡張します。 OptimizationsIntel®AdvancedVector Extensions 512（Intel®AVX-512）ベクトルニューラルネットワーク命令（VNNI）およびIntel®アドバンスマトリックス拡張機能（Intel®AMX）をIntel X ^E Matrix拡張機能（XMX）AI Engines on intel disterte gpus。さらに、Pytorch*のIntel®拡張は、Pytorch* XPUデバイスを介してIntel離散GPUの簡単なGPU加速度を提供します。

IPEX.LLM-大規模な言語モデル（LLMS）最適化

現在の技術的景観では、生成AI（Genai）ワークロードとモデルが広範囲にわたる注目と人気を獲得しています。大規模な言語モデル（LLM）は、これらのGenaiアプリケーションを駆動する支配的なモデルとして浮上しています。 2.1.0から、特定のLLMモデルの特定の最適化が、Pytorch*のIntel®拡張に導入されています。詳細については、 LLMの最適化を確認してください。

最適化されたモデルリスト

モデルファミリー	モデル名（Huggingfaceハブ）	FP32	BF16	静的量子化INT8	体重のみ量子化int8	体重のみ量子化INT4
ラマ	メタラマ/llama-2-7b-hf	？	？	？	？	？
ラマ	メタラマ/llama-2-13b-hf	？	？	？	？	？
ラマ	メタラマ/llama-2-70b-hf	？	？	？	？	？
ラマ	メタラマ/メタラマ-3-8b	？	？	？	？	？
ラマ	メタラマ/メタラマ-3-70B	？	？	？	？	？
ラマ	メタラマ/メタラマ-3.1-8b-instruct	？	？	？	？	？
ラマ	メタラマ/llama-3.2-3b-instruct	？	？	？	？	？
ラマ	メタラマ/llama-3.2-11b-vision-instruct	？	？		？
GPT-J	Eleutherai/GPT-J-6B	？	？	？	？	？
gpt-neox	Eleutherai/gpt-neox-20b	？	？	？	？	？
ドリー	Databricks/Dolly-V2-12B	？	？	？	？	？
ファルコン	Tiiuae/Falcon-7b	？	？	？	？	？
ファルコン	Tiiuae/Falcon-11b	？	？	？	？	？
ファルコン	Tiiuae/Falcon-40b	？	？	？	？	？
Opt	Facebook/opt-30b	？	？	？	？	？
Opt	Facebook/opt-1.3b	？	？	？	？	？
咲く	BigScience/Bloom-1B7	？	？	？	？	？
codegen	Salesforce/CodeGen-2B-Multi	？	？	？	？	？
バイチュアン	Baichuan-inc/baichuan2-7b-chat	？	？	？	？	？
バイチュアン	Baichuan-inc/baichuan2-13b-chat	？	？	？	？	？
バイチュアン	Baichuan-inc/baichuan-13b-chat	？	？	？	？	？
chatglm	thudm/chatglm3-6b	？	？	？	？	？
chatglm	thudm/chatglm2-6b	？	？	？	？	？
gptbigcode	BigCode/StarCoder	？	？	？	？	？
T5	Google/Flan-T5-XL	？	？	？	？
MPT	MOSAICML/MPT-7B	？	？	？	？	？
ミストラル	Mistralai/Mistral-7B-V0.1	？	？	？	？	？
Mixtral	Mistralai/mixtral-8x7b-v0.1	？	？		？	？
Stablelm	stabilityai/stablelm-2-1_6b	？	？	？	？	？
Qwen	qwen/qwen-7b-chat	？	？	？	？	？
Qwen	Qwen/qwen2-7b	？	？	？	？	？
llava	liuhaotian/llava-v1.5-7b	？	？		？	？
git	Microsoft/Git-Base	？	？		？
元	ieityuan/yuan2-102b-hf	？	？		？
ファイ	Microsoft/Phi-2	？	？	？	？	？
ファイ	Microsoft/PHI-3-MINI-4K-Instruct	？	？	？	？	？
ファイ	Microsoft/Phi-3-Mini-128K-Instruct	？	？	？	？	？
ファイ	Microsoft/Phi-3-Medium-4K-Instruct	？	？	？	？	？
ファイ	Microsoft/Phi-3-Medium-128K-Instruct	？	？	？	？	？
ささやきます	Openai/Whisper-Large-V2	？	？	？	？

注：上記の検証済みモデル（Llamaファミリーの「Codellama/Codellama-7B-HF」などの同じモデルファミリーの他のモデルを含む）は、間接アクセスKVキャッシュ、融合ロープ、カスタマイズされた線形カーネルなどのすべての最適化でよくサポートされています。さまざまなデータ型を備えたテーブルのモデルをより適切にサポートするために進行中です。さらに、将来、より多くのモデルが最適化されます。

さらに、Pytorch*のIntel®拡張は、リリース2.3.0以降のモジュールレベル最適化API（プロトタイプ機能）を導入します。この機能は、ニッチまたはカスタマイズされたLLMの最適化のために、一般的に使用されるいくつかのLLMモジュールと機能の最適化された代替案を提供します。 LLMモジュールレベルの最適化実践をお読みください。独自のLLMを最適化し、パフォーマンスを向上させる方法をよりよく理解してください。