หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

Intel® Extension สำหรับ Pytorch*

CPU Main Branch | เริ่มต้นด่วน | เอกสาร ? การติดตั้ง | ตัวอย่าง LLM
GPU Main Branch | เริ่มต้นด่วน | เอกสาร ? การติดตั้ง | ตัวอย่าง LLM

Intel® Extension สำหรับ Pytorch* ขยาย Pytorch* ด้วยการเพิ่มประสิทธิภาพคุณสมบัติที่ทันสมัยสำหรับการเพิ่มประสิทธิภาพพิเศษบนฮาร์ดแวร์ Intel การเพิ่มประสิทธิภาพใช้ประโยชน์จากการขยายเวกเตอร์ขั้นสูงIntel® 512 (Intel® AVX-512) คำแนะนำเครือข่ายประสาทเวกเตอร์ (VNNI) และIntel® Extensions Matrix ขั้นสูง (Intel® AMX) บน Intel CPU และ Intel X E Matrix Extensions (XMX) ยิ่งไปกว่านั้นการขยายIntel®สำหรับ Pytorch* ให้การเร่งความเร็ว GPU ที่ง่ายสำหรับ GPU แบบไม่ต่อเนื่องของ Intel ผ่านอุปกรณ์ Pytorch* XPU

ipex.llm - การเพิ่มประสิทธิภาพแบบจำลองภาษาขนาดใหญ่ (LLMS)

ในภูมิทัศน์ทางเทคโนโลยีในปัจจุบันปริมาณงานและรุ่น Genai (Genai) ได้รับความสนใจและความนิยมอย่างกว้างขวาง โมเดลภาษาขนาดใหญ่ (LLMS) ได้กลายเป็นโมเดลที่โดดเด่นในการขับแอพพลิเคชั่น Genai เหล่านี้ เริ่มต้นจาก 2.1.0 การปรับให้เหมาะสมเฉพาะสำหรับรุ่น LLM บางรุ่นได้รับการแนะนำในส่วนขยายIntel®สำหรับ Pytorch* ตรวจสอบ การเพิ่มประสิทธิภาพ LLM สำหรับรายละเอียด

รายการรุ่นที่ได้รับการปรับปรุง

ครอบครัวนางแบบ ชื่อรุ่น (HuggingFace Hub) fp32 BF16 ปริมาณคงที่ int8 น้ำหนักเท่านั้น quantization int8 น้ำหนักเท่านั้น quantization int4
ลาม่า meta-llama/llama-2-7b-hf - - - - -
ลาม่า meta-llama/llama-2-13b-hf - - - - -
ลาม่า meta-llama/llama-2-70b-hf - - - - -
ลาม่า meta-llama/meta-llama-3-8b - - - - -
ลาม่า meta-llama/meta-llama-3-70b - - - - -
ลาม่า Meta-llama/meta-llama-3.1-8b-Instruct - - - - -
ลาม่า Meta-llama/llama-3.2-3b-Instruct - - - - -
ลาม่า Meta-Llama/Llama-3.2-11b-Vision-Instruct - - -
GPT-J Eleutherai/GPT-J-6B - - - - -
gpt-neox eleutherai/gpt-neox-20b - - - - -
ดอลลี่ Databricks/Dolly-V2-12B - - - - -
เหยี่ยว tiiuae/falcon-7b - - - - -
เหยี่ยว tiiuae/falcon-11b - - - - -
เหยี่ยว tiiuae/falcon-40b - - - - -
เลือก Facebook/opt-30b - - - - -
เลือก Facebook/opt-1.3b - - - - -
ผลิบาน Bigscience/Bloom-1b7 - - - - -
codegen Salesforce/codegen-2b-multi - - - - -
ชาวไชน่า Baichuan-Inc/Baichuan2-7b-Chat - - - - -
ชาวไชน่า Baichuan-Inc/Baichuan2-13b-Chat - - - - -
ชาวไชน่า Baichuan-Inc/Baichuan-13b-Chat - - - - -
chatglm Thudm/chatglm3-6b - - - - -
chatglm Thudm/chatglm2-6b - - - - -
gptbigcode BigCode/Starcoder - - - - -
T5 Google/Flan-T5-XL - - - -
MPT MOSAICML/MPT-7B - - - - -
ผิดพลาด Mistralai/mistral-7b-v0.1 - - - - -
มิกซ์ Mistralai/Mixtral-8x7b-v0.1 - - - -
Stablelm เสถียรภาพ/stablelm-2-1_6b - - - - -
Qwen qwen/qwen-7b-chat - - - - -
Qwen QWEN/QWEN2-7B - - - - -
Llava Liuhaotian/Llava-V1.5-7B - - - -
กระตวน Microsoft/Git-base - - -
หยวน ieityuan/yuan2-102b-hf - - -
พี Microsoft/Phi-2 - - - - -
พี Microsoft/Phi-3-Mini-4K-Instruct - - - - -
พี Microsoft/PHI-3-MINI-128K-Instruct - - - - -
พี Microsoft/Phi-3-Medium-4K-Instruct - - - - -
พี Microsoft/Phi-3-Medium-128K-Instruct - - - - -
กระซิบ Openai/Whisper-Large-V2 - - - -

หมายเหตุ : โมเดลที่ผ่านการตรวจสอบแล้ว (รวมถึงรุ่นอื่น ๆ ในตระกูลรุ่นเดียวกันเช่น "Codellama/Codellama-7b-HF" จากตระกูล Llama) ได้รับการสนับสนุนอย่างดีกับการเพิ่มประสิทธิภาพทั้งหมดเช่นแคชการเข้าถึง KV ทางอ้อมเชือกหลอม เรากำลังทำงานอยู่ระหว่างดำเนินการเพื่อรองรับโมเดลในตารางที่มีประเภทข้อมูลต่างๆ นอกจากนี้จะมีการปรับแต่งโมเดลเพิ่มเติมในอนาคต

นอกจากนี้ส่วนขยายIntel®สำหรับ Pytorch* แนะนำ APIs การเพิ่มประสิทธิภาพระดับโมดูล (คุณสมบัติต้นแบบ) ตั้งแต่ปล่อย 2.3.0 คุณลักษณะนี้ให้ทางเลือกที่ดีที่สุดสำหรับโมดูล LLM ที่ใช้กันทั่วไปหลายรายการและฟังก์ชันการทำงานสำหรับการเพิ่มประสิทธิภาพของช่องหรือ LLM ที่ปรับแต่งเอง โปรดอ่าน แนวทางการเพิ่มประสิทธิภาพระดับโมดูล LLM เพื่อทำความเข้าใจวิธีการเพิ่มประสิทธิภาพ LLM ของคุณเองให้ดีขึ้นและบรรลุประสิทธิภาพที่ดีขึ้น

สนับสนุน

ทีมติดตามข้อบกพร่องและคำขอเพิ่มประสิทธิภาพโดยใช้ปัญหา GitHub ก่อนที่จะส่งรายงานข้อเสนอแนะหรือรายงานข้อผิดพลาดให้ค้นหาปัญหา GitHub ที่มีอยู่เพื่อดูว่าปัญหาของคุณได้รับการรายงานแล้วหรือไม่

ใบอนุญาต

ใบอนุญาต Apache เวอร์ชัน 2.0 ตามที่พบในไฟล์ใบอนุญาต

ความปลอดภัย

ดูศูนย์ความปลอดภัยของ Intel สำหรับข้อมูลเกี่ยวกับวิธีการรายงานปัญหาความปลอดภัยที่อาจเกิดขึ้นหรือช่องโหว่

ดูเพิ่มเติมที่: นโยบายความปลอดภัย

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด