intel extension for pytorch - intel extension for pytorch

intel extension for pytorch

Python

v2.5.10+xpu Release Notes

下載

pytorch的英特爾®擴展*

CPU主分支| 快速開始| 文檔| 安裝| LLM示例
GPU主分支| 快速開始| 文檔| 安裝| LLM示例

Pytorch*的Intel®擴展名擴展了Pytorch*，具有最新功能優化功能，以增強英特爾硬件的額外性能。優化利用Intel®高級矢量擴展512（Intel®AVX-512）矢量神經網絡指令（VNNI）和Intel®高級矩陣擴展（Intel®AMX）以及Intel cpus以及Intel X ^E Matrix Extensions（XMX）AI動力（XMX）ai Intel ai in Intel intel intel intel intel intel intel intel intel iNtel iNtel iNTEL iNTEL iNTEL iNTEL iNTEL。此外，Pytorch*的Intel®擴展名通過Pytorch* XPU設備為Intel離散GPU提供了簡單的GPU加速度。

IPEX.LLM-大語言模型（LLMS）優化

在當前的技術格局中，生成的AI（Genai）工作量和模型已廣泛關注和流行。大型語言模型（LLM）已成為推動這些Genai應用的主要模型。從2.1.0開始，在Pytorch*的Intel®擴展中引入了對某些LLM模型的特定優化。檢查LLM優化有關詳細信息。

優化的模型列表

模特家庭	型號名稱（擁抱面樞紐）	fp32	BF16	靜態量化INT8	僅重量量化INT8	僅重量量化INT4
駱駝	meta-llama/llama-2-7b-hf	？	？	？	？	？
駱駝	meta-llama/llama-2-13b-hf	？	？	？	？	？
駱駝	meta-llama/llama-2-70b-hf	？	？	？	？	？
駱駝	meta-llama/meta-llama-3-8b	？	？	？	？	？
駱駝	meta-llama/meta-llama-3-70b	？	？	？	？	？
駱駝	meta-llama/meta-llama-3.1-8b-Instruct	？	？	？	？	？
駱駝	meta-llama/llama-3.2-3b-instruct	？	？	？	？	？
駱駝	meta-llama/Llama-3.2-11b-Vision-Instruct	？	？		？
GPT-J	eleutherai/gpt-j-6b	？	？	？	？	？
gpt-neox	eleutherai/gpt-neox-20b	？	？	？	？	？
多莉	Databricks/Dolly-V2-12B	？	？	？	？	？
鶻	tiiuae/falcon-7b	？	？	？	？	？
鶻	tiiuae/falcon-11b	？	？	？	？	？
鶻	TIIUAE/FALCON-40B	？	？	？	？	？
選擇	Facebook/opt-30b	？	？	？	？	？
選擇	Facebook/opt-1.3b	？	？	？	？	？
盛開	BigScience/Bloom-1b7	？	？	？	？	？
代碼根	Salesforce/codegen-2b-multi	？	？	？	？	？
Baichuan	baichuan-inc/baichuan2-7b-chat	？	？	？	？	？
Baichuan	baichuan-inc/baichuan2-13b-chat	？	？	？	？	？
Baichuan	baichuan-inc/baichuan-13b-chat	？	？	？	？	？
chatglm	thudm/chatglm3-6b	？	？	？	？	？
chatglm	thudm/chatglm2-6b	？	？	？	？	？
gptbigcode	Big Code/Starcoder	？	？	？	？	？
T5	Google/Flan-T5-XL	？	？	？	？
MPT	MOSAICML/MPT-7B	？	？	？	？	？
Mistral	Mistralai/Mistral-7b-v0.1	？	？	？	？	？
混音	Mistralai/Mixtral-8x7b-V0.1	？	？		？	？
穩定	StematieAi/Stablelm-2-1_6b	？	？	？	？	？
QWEN	QWEN/QWEN-7B-CHAT	？	？	？	？	？
QWEN	QWEN/QWEN2-7B	？	？	？	？	？
llava	liuhaotian/llava-v1.5-7b	？	？		？	？
git	Microsoft/git-base	？	？		？
元	Ieityuan/Yuan2-102b-hf	？	？		？
皮	Microsoft/phi-2	？	？	？	？	？
皮	Microsoft/phi-3-Mini-4K教學	？	？	？	？	？
皮	Microsoft/Phi-3-Mini-128k教學	？	？	？	？	？
皮	Microsoft/Phi-3-Medium-4K教學	？	？	？	？	？
皮	Microsoft/Phi-3-Medium-128k教學	？	？	？	？	？
耳語	Openai/hisper-large-v2	？	？	？	？

注意：上述驗證的模型（包括同一模型家族中的其他模型，例如Llama家族的“ Codellama/Codellama-7b-HF”）得到了所有優化的支持，例如間接訪問KV Cache，Fused Rope和自定義的線性內核。我們正在努力更好地支持具有各種數據類型的表中的模型。此外，將來將優化更多的模型。

此外，自版本2.3.0以來，Pytorch*的英特爾®擴展引入了模塊級優化API（原型功能）。該功能為幾個常用的LLM模塊和功能提供了優化的替代方案，以優化利基或自定義LLMS。請閱讀LLM模塊級優化實踐，以更好地了解如何優化自己的LLM並實現更好的性能。