ipex llm

สำคัญ

bigdl-llm ได้กลายเป็น ipex-llm (ดูคู่มือการย้ายถิ่นที่นี่); คุณอาจพบโครงการ BigDL ดั้งเดิมที่นี่

---

- ไลบรารีIntel® LLM สำหรับ Pytorch*

<ภาษาอังกฤษ | 中文>

IPEX-LLM เป็นไลบรารีการเร่งความเร็ว LLM สำหรับ Intel GPU (เช่นพีซีในท้องถิ่นที่มี IGPU, GPU แบบไม่ต่อเนื่องเช่น ARC, Flex และ Max) , NPU และ CPU ¹

บันทึก

• มันถูกสร้างขึ้นบนผลงานที่ยอดเยี่ยมของ llama.cpp , transformers , bitsandbytes , vLLM , qlora , AutoGPTQ , AutoAWQ ฯลฯ
• มันให้การบูรณาการอย่างราบรื่นกับ llama.cpp, ollama, huggingface transformers, langchain, llamainedex, vllm, text-generation-webui, deepspeed-autotp, fastchat, axolotl, huggingface peft, huggingface trl, autescope
• รุ่น 70+ ได้รับการปรับให้เหมาะสม/ตรวจสอบบน ipex-llm (เช่น llama, phi, mistral, mixtral, Whisper, qwen, minicpm, qwen-vl, minicpm-v และอื่น ๆ ) ด้วย การเพิ่มประสิทธิภาพ LLM ที่ ไม่ สมบูรณ์ ดูรายการทั้งหมดที่นี่

อัปเดตล่าสุด

• [2024/12] เราเพิ่มการสนับสนุนสำหรับการเรียกใช้ Ollama 0.4.6 บน Intel GPU
• [2024/12] เราเพิ่มทั้ง Python และ C ++ รองรับ Intel Core Ultra NPU (รวมถึงซีรีย์ 100H, 200V และ 200K)
• [2024/11] เราเพิ่มการสนับสนุนสำหรับการเรียกใช้ VLLM 0.6.2 บน Intel Arc GPU

อัปเดตเพิ่มเติม

• [2024/07] เราเพิ่มการสนับสนุนสำหรับการเรียกใช้ graphrag ของ Microsoft โดยใช้ LLM ในท้องถิ่นบน Intel GPU; ดูคู่มือ QuickStart ที่นี่
• [2024/07] เราได้เพิ่มการสนับสนุนอย่างกว้างขวางสำหรับโมเดลหลายรูปแบบขนาดใหญ่รวมถึง StabledIffusion, Phi-3-Vision, Qwen-VL และอื่น ๆ
• [2024/07] เราเพิ่มการสนับสนุน FP6 ใน Intel GPU
• [2024/06] เราเพิ่มการสนับสนุน NPU ทดลองสำหรับโปรเซสเซอร์ Intel Core Ultra ดูตัวอย่างที่นี่
• [2024/06] เราเพิ่มการสนับสนุนอย่างกว้างขวางของการอนุมาน ขนานกันอย่างกว้างขวาง ซึ่งทำให้ง่ายต่อการใช้ LLM ขนาดใหญ่โดยใช้ Intel GPU 2 ตัวขึ้นไป (เช่น ARC)
• [2024/06] เราเพิ่มการสนับสนุนสำหรับการเรียกใช้ ragflow ด้วย ipex-llm บน Intel GPU
• [2024/05] ตอนนี้ ipex-llm รองรับ Axolotl สำหรับ LLM finetuning บน Intel GPU; ดู Quickstart ที่นี่
• [2024/05] ตอนนี้คุณสามารถเรียกใช้การอนุมาน ipex-llm ได้อย่างง่ายดายการให้บริการและการปรับแต่งโดยใช้ภาพ นักเทียบท่า
• [2024/05] ตอนนี้คุณสามารถติดตั้ง ipex-llm บน Windows โดยใช้ " หนึ่งคำสั่ง "
• [2024/04] ตอนนี้คุณสามารถเรียก ใช้ WebUI บน Intel GPU โดยใช้ ipex-llm ; ดู Quickstart ที่นี่
• [2024/04] ตอนนี้คุณสามารถเรียกใช้ Llama 3 บน Intel GPU โดยใช้ llama.cpp และ ollama ด้วย ipex-llm ; ดู Quickstart ที่นี่
• [2024/04] ตอนนี้ ipex-llm รองรับ Llama 3 ทั้งใน Intel GPU และ CPU
• [2024/04] ตอนนี้ ipex-llm ให้อินเทอร์เฟซ C ++ ซึ่งสามารถใช้เป็นแบ็กเอนด์เร่งสำหรับการใช้งาน llama.cpp และ Ollama บน Intel GPU
• [2024/03] bigdl-llm ได้กลายเป็น ipex-llm (ดูคู่มือการย้ายถิ่นที่นี่); คุณอาจพบโครงการ BigDL ดั้งเดิมที่นี่
• [2024/02] ตอนนี้ ipex-llm รองรับการโหลดแบบจำลองโดยตรงจาก ModelsCope (魔搭)
• [2024/02] ipex-llm เพิ่มการสนับสนุน INT2 เริ่มต้น (ใช้กลไก LLAMA.CPP IQ2) ซึ่งทำให้สามารถใช้ LLM ขนาดใหญ่ (เช่น MixTRAL-8X7B) บน Intel GPU ด้วย 16GB VRAM
• [2024/02] ตอนนี้ผู้ใช้สามารถใช้ ipex-llm ผ่านการสร้างข้อความ Gui Gui
• [2024/02] ตอนนี้ ipex-llm รองรับ การถอดรหัสแบบแยกตัวเอง ซึ่งในทางปฏิบัติจะนำ การเร่งความเร็ว ~ 30% สำหรับ FP16 และ BF16 การอนุมานแฝงใน Intel GPU และ CPU ตามลำดับ
• [2024/02] ตอนนี้ ipex-llm รองรับรายการที่ครอบคลุมของ LLM finetuning บน Intel GPU (รวมถึง Lora, Qlora, DPO, Qa-Lora และ Relora)
• [2024/01] การใช้ ipex-llm Qlora เราจัดการเพื่อ Finetune Llama2-7b ใน 21 นาที และ Llama2-70b ใน 3.14 ชั่วโมง ใน 8 Intel Max 1550 GPU สำหรับ Standford-Alpaca (ดูบล็อกที่นี่)
• [2023/12] ตอนนี้ ipex-llm รองรับ Relora (ดู "Relora: การฝึกอบรมระดับสูงผ่านการอัปเดตระดับต่ำ" )
• [2023/12] ตอนนี้ ipex-llm รองรับ MixTral-8x7b ทั้งใน Intel GPU และ CPU
• [2023/12] ตอนนี้ ipex-llm รองรับ QA-LORA (ดู "QA-LORA: การปรับระดับการปรับระดับต่ำของแบบจำลองภาษาขนาดใหญ่" )
• [2023/12] ตอนนี้ ipex-llm รองรับการอนุมาน FP8 และ FP4 บน Intel GPU
• [2023/11] การสนับสนุนเบื้องต้นสำหรับการโหลดรุ่น GGUF, AWQ และ GPTQ โดยตรงไปยัง ipex-llm พร้อมใช้งาน
• [2023/11] ตอนนี้ ipex-llm รองรับการแบตช์ต่อเนื่อง VLLM ทั้งใน Intel GPU และ CPU
• [2023/10] ตอนนี้ ipex-llm รองรับ Qlora finetuning ทั้งใน Intel GPU และ CPU
• [2023/10] ตอนนี้ ipex-llm รองรับ FastChat ที่ให้บริการทั้ง Intel CPU และ GPU
• [2023/09] ตอนนี้ ipex-llm รองรับ Intel GPU (รวมถึง IGPU, ARC, Flex และ Max)
• [2023/09] การสอน ipex-llm ได้รับการปล่อยตัว

การสาธิต ipex-llm

ดูการสาธิตของการใช้งาน LLMS ในท้องถิ่น บน Intel Core Ultra IGPU, Intel Core Ultra NPU, อาร์คการ์ดเดี่ยว GPU หรือ GPU อาร์คหลายการ์ด โดยใช้ ipex-llm ด้านล่าง

Intel Core Ultra (ซีรี่ส์ 1) IGPU	Intel Core Ultra (Series 2) NPU	Intel Arc DGPU	2 การ์ด Intel Arc DGPUS
โอลลา (MISTRAL-7B Q4_K)	กอด (llama3.2-3b sym_int4)	TextGeneration-Webui (LLAMA3-8B FP8)	Fastchat (QWEN1.5-32B FP6)

ประสิทธิภาพ ipex-llm

ดู ความเร็วในการสร้างโทเค็น บน Intel Core Ultra และ Intel Arc GPU ต่ำกว่า ¹ (และอ้างถึง [2] [3] [4] สำหรับรายละเอียดเพิ่มเติม)

คุณสามารถทำตามคู่มือการเปรียบเทียบเพื่อเรียกใช้มาตรฐานประสิทธิภาพ ipex-llm ด้วยตัวคุณเอง

ความแม่นยำของแบบจำลอง

โปรดดูผลลัพธ์ ที่น่าพิศวง ด้านล่าง (ทดสอบในชุดข้อมูล Wikitext โดยใช้สคริปต์ที่นี่)

ความงุนงง	sym_int4	Q4_K	FP6	FP8_E5M2	FP8_E4M3	FP16
llama-2-7b-chat-hf	6.364	6.218	6.092	6.180	6.098	6.096
MISTRAL-7B-Instruct-V0.2	5.365	5.320	5.270	5.273	5.246	5.244
Baichuan2-7b-Chat	6.734	6.727	6.527	6.539	6.488	6.508
QWEN1.5-7B-Chat	8.865	8.816	8.557	8.846	8.530	8.607
LLAMA-3.1-8B-Instruct	6.705	6.566	6.338	6.383	6.325	6.267
Gemma-2-9b-it	7.541	7.412	7.269	7.380	7.268	7.270
Baichuan2-13b-chat	6.313	6.160	6.070	6.145	6.086	6.031
llama-2-13b-chat-hf	5.449	5.422	5.341	5.384	5.332	5.329
QWEN1.5-14B-Chat	7.529	7.520	7.367	7.504	7.297	7.334

ipex-llm Quickstart

นักเทียบท่า

• การอนุมาน GPU ใน C ++: Running llama.cpp , ollama ฯลฯ ด้วย ipex-llm บน Intel GPU
• การอนุมาน GPU ใน Python: ใช้ transformers Huggingface, LangChain , LlamaIndex , ModelScope ฯลฯ ด้วย ipex-llm บน Intel GPU
• VLLM บน GPU: เรียกใช้ vLLM ที่ให้บริการด้วย ipex-llm บน Intel GPU
• VLLM บน CPU: เรียกใช้ vLLM ที่ให้บริการด้วย ipex-llm บน Intel CPU
• FastChat on GPU: เรียกใช้ FastChat ที่ให้บริการด้วย ipex-llm บน Intel GPU
• VSCODE บน GPU: การทำงานและพัฒนาแอปพลิเคชัน ipex-llm ใน Python โดยใช้ VSCODE บน Intel GPU

ใช้

• NPU: ใช้ ipex-llm บน Intel NPU ทั้งใน Python และ C ++
• llama.cpp: เรียกใช้ llama.cpp ( ใช้อินเตอร์เฟส c ++ ของ ipex-llm ) บน Intel GPU
• Ollama: Running Ollama ( ใช้อินเทอร์เฟซ C ++ ของ ipex-llm ) บน Intel GPU
• Pytorch/HuggingFace: Running Pytorch , HuggingFace , Langchain , Llamaidex , ฯลฯ ( ใช้อินเทอร์เฟซ Python ของ ipex-llm ) บน Intel GPU สำหรับ Windows และ Linux
• VLLM: เรียกใช้ ipex-llm ใน vllm บนทั้ง Intel GPU และ CPU
• FastChat: เรียกใช้ ipex-llm ใน FastChat ที่ให้บริการบนทั้ง Intel GPU และ CPU
• ให้บริการบน Intel GPU หลายรายการ: ใช้ ipex-llm ที่ให้บริการบน Intel GPU หลายตัว โดยใช้ประโยชน์จาก DeepSpeed AutoTP และ Fastapi
• Text-Generation-Webui: รัน ipex-llm ใน oobabooga webui
• Axolotl: เรียกใช้ ipex-llm ใน axolotl สำหรับ llm finetuning
• การเปรียบเทียบ: การทำงาน (เวลาแฝงและปริมาณงาน) การเปรียบเทียบ สำหรับ ipex-llm บน Intel CPU และ GPU

แอปพลิเคชัน

• graphrag: รัน GraphRAG ของ Microsoft โดยใช้ LLM ในท้องถิ่นด้วย ipex-llm
• Ragflow: Running RAGFlow ( เครื่องยนต์ Rag โอเพนซอร์ซ ) พร้อม ipex-llm
• Langchain-Chatchat: การใช้งาน LangChain-Chatchat ( ฐานความรู้ QA โดยใช้ไปป์ไลน์ Rag ) กับ ipex-llm
• CODING COPILOT: Running Continue (การเข้ารหัส copilot ใน vScode) ด้วย ipex-llm
• เปิด webui: เปิด Open WebUI ด้วย ipex-llm
• Privategpt: Running PrivateGPT เพื่อโต้ตอบกับเอกสารด้วย ipex-llm
• แพลตฟอร์ม DIFY: เรียกใช้ ipex-llm ใน Dify ( แพลตฟอร์มการพัฒนาแอพ LLM พร้อมการผลิต )

ติดตั้ง

• Windows GPU: การติดตั้ง ipex-llm บน Windows ด้วย Intel GPU
• Linux GPU: การติดตั้ง ipex-llm บน linux ด้วย Intel GPU
• สำหรับรายละเอียดเพิ่มเติมโปรดดูคู่มือการติดตั้งเต็มรูปแบบ

ตัวอย่างรหัส

• การอนุมานบิตต่ำ

  • INT4 การอนุมาน: การอนุมาน INT4 LLM บน Intel GPU และ CPU
  • การอนุมาน FP8/FP6/FP4: FP8 , FP6 และ FP4 LLM การอนุมานบน Intel GPU
  • INT8 การอนุมาน: การอนุมาน INT8 LLM บน Intel GPU และ CPU
  • INT2 การอนุมาน: การอนุมาน INT2 LLM (ขึ้นอยู่กับกลไก LLAMA.CPP IQ2) บน Intel GPU

• การอนุมาน FP16/BF16

  • การอนุมาน FP16 LLM บน Intel GPU พร้อมการเพิ่มประสิทธิภาพการถอดรหัสการเลือกตนเองที่เป็นไปได้
  • การอนุมาน BF16 LLM ใน Intel CPU พร้อมการเพิ่มประสิทธิภาพการถอดรหัสการเลือกตนเองที่เป็นไปได้

• การอนุมานแบบกระจาย

  • การอนุมาน แบบขนานไปป์ไลน์ บน Intel GPU
  • การอนุมาน AutoTP Deepspeed บน Intel GPU

• บันทึกและโหลด

  • รุ่นต่ำบิต: การบันทึกและการโหลดรุ่น ipex-llm Low-Bit (INT4/FP4/FP6/INT8/FP8/FP16/ฯลฯ )
  • GGUF: โหลดรุ่น GGUF โดยตรงไปยัง ipex-llm
  • AWQ: โหลดโมเดล AWQ โดยตรงไปยัง ipex-llm
  • GPTQ: โหลดรุ่น GPTQ โดยตรงไปยัง ipex-llm

• การทำให้หมดแรง

  • llm finetuning บน Intel GPU รวมถึง Lora, Qlora, DPO, QA-Lora และ Relora
  • Qlora finetuning บน Intel CPU

• บูรณาการกับห้องสมุดชุมชน

  • Huggingface Transformers
  • รุ่น Pytorch มาตรฐาน
  • คนขี้เกียจ
  • llamainedex
  • deepspeed-autotp
  • Axolotl
  • Huggingface Peft
  • huggingface trl
  • autogen
  • รูปแบบ
• บทเรียน

API Doc

• API สไตล์ Transformers HuggingFace (คลาสอัตโนมัติ)
• API สำหรับโมเดล pytorch โดยพลการ

คำถามที่พบบ่อย

• คำถามที่พบบ่อยและมีปัญหา

โมเดลที่ผ่านการตรวจสอบแล้ว

กว่า 70 รุ่นได้รับการปรับให้เหมาะสม/ตรวจสอบบน ipex-llm รวมถึง Llama/Llama2, Mistral, Mixtral, Gemma, Llava, Whisper, Chatglm2/Chatglm3, Baichuan/Baichuan2, Qwen/Qwen-1.5, Internlm และอื่น ๆ ; ดูรายการด้านล่าง

แบบอย่าง	ตัวอย่าง CPU	ตัวอย่าง GPU	ตัวอย่าง NPU
ลาม่า	link1, link2	การเชื่อมโยง
ลามะ 2	link1, link2	การเชื่อมโยง	ลิงค์ Python, C ++ ลิงค์
ลามะ 3	การเชื่อมโยง	การเชื่อมโยง	ลิงค์ Python, C ++ ลิงค์
ลามะ 3.1	การเชื่อมโยง	การเชื่อมโยง
ลามะ 3.2		การเชื่อมโยง	ลิงค์ Python, C ++ ลิงค์
Llama 3.2-Vision		การเชื่อมโยง
chatglm	การเชื่อมโยง
chatglm2	การเชื่อมโยง	การเชื่อมโยง
chatglm3	การเชื่อมโยง	การเชื่อมโยง
GLM-4	การเชื่อมโยง	การเชื่อมโยง
GLM-4V	การเชื่อมโยง	การเชื่อมโยง
GLM-edge		การเชื่อมโยง	ลิงค์ Python
glm-edge-v		การเชื่อมโยง
ผิดพลาด	การเชื่อมโยง	การเชื่อมโยง
มิกซ์	การเชื่อมโยง	การเชื่อมโยง
เหยี่ยว	การเชื่อมโยง	การเชื่อมโยง
MPT	การเชื่อมโยง	การเชื่อมโยง
Dolly-V1	การเชื่อมโยง	การเชื่อมโยง
Dolly-V2	การเชื่อมโยง	การเชื่อมโยง
แก้ไขรหัส	การเชื่อมโยง	การเชื่อมโยง
สีแดง	link1, link2
ฟีนิกซ์	link1, link2
สตาร์โคเดอร์	link1, link2	การเชื่อมโยง
ชาวไชน่า	การเชื่อมโยง	การเชื่อมโยง
Baichuan2	การเชื่อมโยง	การเชื่อมโยง	ลิงค์ Python
ผู้ฝึกงาน	การเชื่อมโยง	การเชื่อมโยง
InternVL2		การเชื่อมโยง
Qwen	การเชื่อมโยง	การเชื่อมโยง
Qwen1.5	การเชื่อมโยง	การเชื่อมโยง
Qwen2	การเชื่อมโยง	การเชื่อมโยง	ลิงค์ Python, C ++ ลิงค์
Qwen2.5		การเชื่อมโยง	ลิงค์ Python, C ++ ลิงค์
qwen-vl	การเชื่อมโยง	การเชื่อมโยง
QWEN2-VL		การเชื่อมโยง
Qwen2-Audio		การเชื่อมโยง
อควิลล่า	การเชื่อมโยง	การเชื่อมโยง
Aquila2	การเชื่อมโยง	การเชื่อมโยง
มอส	การเชื่อมโยง
กระซิบ	การเชื่อมโยง	การเชื่อมโยง
phi-1_5	การเชื่อมโยง	การเชื่อมโยง
Flan-T5	การเชื่อมโยง	การเชื่อมโยง
Llava	การเชื่อมโยง	การเชื่อมโยง
คนโง่	การเชื่อมโยง	การเชื่อมโยง
เวิร์กเวิร์ก	การเชื่อมโยง
internlm-xcomposer	การเชื่อมโยง
WizardCoder-Python	การเชื่อมโยง
codeshell	การเชื่อมโยง
ฟูวู	การเชื่อมโยง
กลั่นกรอง	การเชื่อมโยง	การเชื่อมโยง
ยี่	การเชื่อมโยง	การเชื่อมโยง
Bluelm	การเชื่อมโยง	การเชื่อมโยง
Mamba	การเชื่อมโยง	การเชื่อมโยง
แสงอาทิตย์	การเชื่อมโยง	การเชื่อมโยง
phixtral	การเชื่อมโยง	การเชื่อมโยง
internlm2	การเชื่อมโยง	การเชื่อมโยง
RWKV4		การเชื่อมโยง
RWKV5		การเชื่อมโยง
เห่า	การเชื่อมโยง	การเชื่อมโยง
คำพูด 5		การเชื่อมโยง
Deepseek-Moe	การเชื่อมโยง
Ziya-Coding-34B-V1.0	การเชื่อมโยง
Phi-2	การเชื่อมโยง	การเชื่อมโยง
Phi-3	การเชื่อมโยง	การเชื่อมโยง
phi-3-vision	การเชื่อมโยง	การเชื่อมโยง
หยวน 2	การเชื่อมโยง	การเชื่อมโยง
อัญมณี	การเชื่อมโยง	การเชื่อมโยง
Gemma2		การเชื่อมโยง
Decilm-7b	การเชื่อมโยง	การเชื่อมโยง
ลึกล้ำ	การเชื่อมโยง	การเชื่อมโยง
Stablelm	การเชื่อมโยง	การเชื่อมโยง
Codegemma	การเชื่อมโยง	การเชื่อมโยง
Command-R/Cohere	การเชื่อมโยง	การเชื่อมโยง
codegeex2	การเชื่อมโยง	การเชื่อมโยง
MINICPM	การเชื่อมโยง	การเชื่อมโยง	ลิงค์ Python, C ++ ลิงค์
MINICPM3		การเชื่อมโยง
MINICPM-V		การเชื่อมโยง
MINICPM-V-2	การเชื่อมโยง	การเชื่อมโยง
MINICPM-LLAMA3-V-2_5		การเชื่อมโยง	ลิงค์ Python
MINICPM-V-2_6	การเชื่อมโยง	การเชื่อมโยง	ลิงค์ Python
StabledIffusion		การเชื่อมโยง
BCE-embedding-base-V1			ลิงค์ Python
Speech_paraformer- ใหญ่			ลิงค์ Python

รับการสนับสนุน

• โปรดรายงานข้อผิดพลาดหรือเพิ่มคำขอคุณสมบัติโดยการเปิดปัญหา GitHub
• โปรดรายงานช่องโหว่โดยการเปิดร่างคำแนะนำการรักษาความปลอดภัย GitHub

เชิงอรรถ

1. ประสิทธิภาพแตกต่างกันไปตามการใช้งานการกำหนดค่าและปัจจัยอื่น ๆ ipex-llm อาจไม่ปรับให้เหมาะสมในระดับเดียวกันสำหรับผลิตภัณฑ์ที่ไม่ใช่ Intel เรียนรู้เพิ่มเติมได้ที่ www.intel.com/performanceIndex ↩ ²