intel extension for pytorch

intel extension for pytorch

Python

v2.5.10+xpu Release Notes

下载

pytorch的英特尔®扩展*

CPU主分支| 快速开始| 文档| 安装| LLM示例
GPU主分支| 快速开始| 文档| 安装| LLM示例

Pytorch*的Intel®扩展名扩展了Pytorch*，具有最新功能优化功能，以增强英特尔硬件的额外性能。优化利用Intel®高级矢量扩展512（Intel®AVX-512）矢量神经网络指令（VNNI）和Intel®高级矩阵扩展（Intel®AMX）以及Intel cpus以及Intel X ^E Matrix Extensions（XMX）AI动力（XMX）ai Intel ai in Intel intel intel intel intel intel intel intel intel iNtel iNtel iNTEL iNTEL iNTEL iNTEL iNTEL。此外，Pytorch*的Intel®扩展名通过Pytorch* XPU设备为Intel离散GPU提供了简单的GPU加速度。

IPEX.LLM-大语言模型（LLMS）优化

在当前的技术格局中，生成的AI（Genai）工作量和模型已广泛关注和流行。大型语言模型（LLM）已成为推动这些Genai应用的主要模型。从2.1.0开始，在Pytorch*的Intel®扩展中引入了对某些LLM模型的特定优化。检查LLM优化有关详细信息。

优化的模型列表

模特家庭	型号名称（拥抱面枢纽）	fp32	BF16	静态量化INT8	仅重量量化INT8	仅重量量化INT4
骆驼	meta-llama/llama-2-7b-hf	？	？	？	？	？
骆驼	meta-llama/llama-2-13b-hf	？	？	？	？	？
骆驼	meta-llama/llama-2-70b-hf	？	？	？	？	？
骆驼	meta-llama/meta-llama-3-8b	？	？	？	？	？
骆驼	meta-llama/meta-llama-3-70b	？	？	？	？	？
骆驼	meta-llama/meta-llama-3.1-8b-Instruct	？	？	？	？	？
骆驼	meta-llama/llama-3.2-3b-instruct	？	？	？	？	？
骆驼	meta-llama/Llama-3.2-11b-Vision-Instruct	？	？		？
GPT-J	eleutherai/gpt-j-6b	？	？	？	？	？
gpt-neox	eleutherai/gpt-neox-20b	？	？	？	？	？
多莉	Databricks/Dolly-V2-12B	？	？	？	？	？
鹘	tiiuae/falcon-7b	？	？	？	？	？
鹘	tiiuae/falcon-11b	？	？	？	？	？
鹘	TIIUAE/FALCON-40B	？	？	？	？	？
选择	Facebook/opt-30b	？	？	？	？	？
选择	Facebook/opt-1.3b	？	？	？	？	？
盛开	BigScience/Bloom-1b7	？	？	？	？	？
代码根	Salesforce/codegen-2b-multi	？	？	？	？	？
Baichuan	baichuan-inc/baichuan2-7b-chat	？	？	？	？	？
Baichuan	baichuan-inc/baichuan2-13b-chat	？	？	？	？	？
Baichuan	baichuan-inc/baichuan-13b-chat	？	？	？	？	？
chatglm	thudm/chatglm3-6b	？	？	？	？	？
chatglm	thudm/chatglm2-6b	？	？	？	？	？
gptbigcode	Big Code/Starcoder	？	？	？	？	？
T5	Google/Flan-T5-XL	？	？	？	？
MPT	MOSAICML/MPT-7B	？	？	？	？	？
Mistral	Mistralai/Mistral-7b-v0.1	？	？	？	？	？
混音	Mistralai/Mixtral-8x7b-V0.1	？	？		？	？
稳定	StematieAi/Stablelm-2-1_6b	？	？	？	？	？
QWEN	QWEN/QWEN-7B-CHAT	？	？	？	？	？
QWEN	QWEN/QWEN2-7B	？	？	？	？	？
llava	liuhaotian/llava-v1.5-7b	？	？		？	？
git	Microsoft/git-base	？	？		？
元	Ieityuan/Yuan2-102b-hf	？	？		？
皮	Microsoft/phi-2	？	？	？	？	？
皮	Microsoft/phi-3-Mini-4K教学	？	？	？	？	？
皮	Microsoft/Phi-3-Mini-128k教学	？	？	？	？	？
皮	Microsoft/Phi-3-Medium-4K教学	？	？	？	？	？
皮	Microsoft/Phi-3-Medium-128k教学	？	？	？	？	？
耳语	Openai/hisper-large-v2	？	？	？	？

注意：上述验证的模型（包括同一模型家族中的其他模型，例如Llama家族的“ Codellama/Codellama-7b-HF”）得到了所有优化的支持，例如间接访问KV Cache，Fused Rope和自定义的线性内核。我们正在努力更好地支持具有各种数据类型的表中的模型。此外，将来将优化更多的模型。

此外，自版本2.3.0以来，Pytorch*的英特尔®扩展引入了模块级优化API（原型功能）。该功能为几个常用的LLM模块和功能提供了优化的替代方案，以优化利基或自定义LLMS。请阅读LLM模块级优化实践，以更好地了解如何优化自己的LLM并实现更好的性能。