intel extension for pytorch Download - intel extension for pytorch Source Code Download

intel extension for pytorch

بايثون

v2.5.10+xpu Release Notes

تنزيل

امتداد Intel® لـ Pytorch*

امتداد Intel® لـ Pytorch* يمتد Pytorch* مع تحسينات ميزات محدثة لزيادة أداء إضافية على أجهزة Intel. تستفيد التحسينات من ملحقات Intel® Advanced Vector 512 (Intel® AVX-512) تعليمات الشبكة العصبية المتجهة (VNNI) و intel® advanced matrix extensions (intel® amx) على وحدة المعالجة المركزية Intel وكذلك امتدادات مصفوفة Intel X ^E (XMX) AI على GPUS المتسارعة. علاوة على ذلك ، يوفر Entel® Extension for Pytorch* تسارعًا سهلاً في وحدة معالجة الرسومات في وحدة معالجة الرسومات Intel المنفصلة من خلال جهاز Pytorch* XPU.

IPEX.LLM - تحسين نماذج اللغة (LLMS)

في المشهد التكنولوجي الحالي ، اكتسبت أعباء العمل والنماذج من الذكاء الاصطناعي (GENAI) اهتمامًا واسعًا وشعبية. ظهرت نماذج لغة كبيرة (LLMS) كنماذج مهيمنة تقود تطبيقات Genai هذه. بدءًا من 2.1.0 ، يتم تقديم تحسينات محددة لبعض نماذج LLM في امتداد Intel® لـ Pytorch*. تحقق من التحسينات LLM للحصول على التفاصيل.

قائمة النموذج الأمثل

عائلة نموذجية	اسم النموذج (Huggingface Hub)	FP32	BF16	كمية ثابتة int8	الوزن الكمي فقط int8	الوزن الكمي فقط int4
لاما	meta-llama/llama-2-7b-hf	؟	؟	؟	؟	؟
لاما	meta-llama/llama-2-13b-hf	؟	؟	؟	؟	؟
لاما	meta-llama/llama-2-70b-hf	؟	؟	؟	؟	؟
لاما	meta-llama/meta-llama-3-8b	؟	؟	؟	؟	؟
لاما	meta-llama/meta-llama-3-70b	؟	؟	؟	؟	؟
لاما	meta-llama/meta-llama-3.1-8b-instruct	؟	؟	؟	؟	؟
لاما	meta-llama/llama-3.2-3b-instruct	؟	؟	؟	؟	؟
لاما	meta-llama/llama-3.2-11b-vision-instruct	؟	؟		؟
GPT-J	Eleutherai/GPT-J-6B	؟	؟	؟	؟	؟
GPT-NEOX	Eleutherai/GPT-NEOX-20B	؟	؟	؟	؟	؟
دوللي	Databricks/dolly-V2-12b	؟	؟	؟	؟	؟
فالكون	tiiuae/falcon-7b	؟	؟	؟	؟	؟
فالكون	tiiuae/falcon-11b	؟	؟	؟	؟	؟
فالكون	tiiuae/falcon-40b	؟	؟	؟	؟	؟
OPT	Facebook/OPT-30B	؟	؟	؟	؟	؟
OPT	Facebook/OPT-1.3b	؟	؟	؟	؟	؟
يزدهر	BigScience/Bloom-1B7	؟	؟	؟	؟	؟
Codegen	Salesforce/codegen-2b-multi	؟	؟	؟	؟	؟
بايتشوان	Baichuan-inc/Baichuan2-7b-Chat	؟	؟	؟	؟	؟
بايتشوان	Baichuan-inc/Baichuan2-13b-Chat	؟	؟	؟	؟	؟
بايتشوان	Baichuan-inc/Baichuan-13B-Chat	؟	؟	؟	؟	؟
ChatGlm	thudm/chatglm3-6b	؟	؟	؟	؟	؟
ChatGlm	thudm/chatglm2-6b	؟	؟	؟	؟	؟
gptbigcode	Bigcode/starcoder	؟	؟	؟	؟	؟
T5	Google/Flan-T5-XL	؟	؟	؟	؟
MPT	Mosaicml/MPT-7B	؟	؟	؟	؟	؟
خطأ	MISTRALAI/MISTRAL-7B-V0.1	؟	؟	؟	؟	؟
mixtral	MISTRALAI/MIXTRAL-8X7B-V0.1	؟	؟		؟	؟
Stablelm	الاستقرار/stablelm-2-1_6b	؟	؟	؟	؟	؟
Qwen	Qwen/Qwen-7b-Chat	؟	؟	؟	؟	؟
Qwen	Qwen/Qwen2-7b	؟	؟	؟	؟	؟
llava	liuhaotian/llava-v1.5-7b	؟	؟		؟	؟
غيت	Microsoft/git-base	؟	؟		؟
يوان	IEITYUAN/YUAN2-102B-HF	؟	؟		؟
فاي	Microsoft/PHI-2	؟	؟	؟	؟	؟
فاي	Microsoft/PHI-3-MINI-4K-instruct	؟	؟	؟	؟	؟
فاي	Microsoft/PHI-3-MINI-128K-instruct	؟	؟	؟	؟	؟
فاي	Microsoft/PHI-3-Medium-4K-instruct	؟	؟	؟	؟	؟
فاي	Microsoft/PHI-3-Medium-128k-instruct	؟	؟	؟	؟	؟
يهمس	Openai/Whisper-Large-V2	؟	؟	؟	؟

ملاحظة : يتم دعم النماذج التي تم التحقق منها أعلاه (بما في ذلك الطرز الأخرى في نفس عائلة النموذج ، مثل "Codellama/Codellama-7B-HF" من عائلة Llama) بشكل جيد مع جميع التحسينات مثل ذاكرة التخزين المؤقت KV غير المباشرة ، والحبل المصهر ، والزبد الخطي المخصص. نحن نعمل في التقدم لدعم النماذج في الجداول بشكل أفضل مع أنواع مختلفة من البيانات. بالإضافة إلى ذلك ، سيتم تحسين المزيد من النماذج في المستقبل.

بالإضافة إلى ذلك ، يقدم امتداد Intel® لـ Pytorch* واجهة برمجة تطبيقات مستوى الوحدة النمطية (ميزة النموذج الأولي) منذ الإصدار 2.3.0. توفر الميزة بدائل محسّنة للعديد من وحدات LLM شائعة الاستخدام ووظائفها لتحسين الأمراض المتخصصة أو LLMs المخصصة. يرجى قراءة ممارسة تحسين مستوى وحدة LLM لفهم أفضل لكيفية تحسين LLM وتحقيق أداء أفضل.

يدعم

يتتبع الفريق الحشرات وطلبات التحسين باستخدام مشكلات github. قبل تقديم اقتراح أو تقرير الأخطاء ، ابحث في مشكلات GitHub الحالية لمعرفة ما إذا كانت مشكلتك قد تم الإبلاغ عنها بالفعل.