Beranda>Terkait pemrograman>ular piton
Unduh

Penting

bigdl-llm sekarang telah menjadi ipex-llm (lihat Panduan Migrasi di sini); Anda dapat menemukan proyek BigDL asli di sini.

? Perpustakaan Intel® LLM untuk Pytorch*

<Bahasa Inggris | 中文>

IPEX-LLM adalah pustaka akselerasi LLM untuk Intel GPU (misalnya, PC lokal dengan IGPU, GPU diskrit seperti ARC, FLEX dan MAX) , NPU dan CPU 1 .

Catatan

  • Ini dibangun di atas karya llama.cpp , transformers , bitsandbytes , vLLM , qlora , AutoGptq, AutoGPTQ , AutoAWQ , dll.
  • Ini memberikan integrasi yang mulus dengan llama.cpp, ollama, transformator huggingface, langchain, llamaindex, vllm, teks-generasi-webui, peft peftface, fastchat, axolotl, huggingface peft, huggingface trl, autogen, modescope, dll.
  • 70+ Model telah dioptimalkan/diverifikasi pada ipex-llm (misalnya, Llama, PHI, Mistral, Mixtral, Whisper, Qwen, MiniCPM, Qwen-VL, MiniCPM-V dan lebih banyak lagi), dengan Optimalisasi LLM/ FP4), FP8/FP6/FP6), FP8/ FP8 /FP6/FP6/FP8/FP8/FP8/FP8/FP8/FP8/FP8/FP8/FP8/FP8/FP8/FP8/FP8/FP8/FP8/FP8/FP8 Lihat daftar lengkap di sini.

Pembaruan terbaru

  • [2024/12] Kami menambahkan dukungan untuk menjalankan Ollama 0.4.6 pada Intel GPU.
  • [2024/12] Kami menambahkan dukungan Python dan C ++ untuk Intel Core Ultra NPU (termasuk seri 100H, 200V dan 200K).
  • [2024/11] Kami menambahkan dukungan untuk menjalankan VLLM 0.6.2 pada Intel Arc GPU.
Lebih banyak pembaruan
  • [2024/07] Kami menambahkan dukungan untuk menjalankan Graphrag Microsoft menggunakan LLM lokal di Intel GPU; Lihat panduan QuickStart di sini.
  • [2024/07] Kami menambahkan dukungan ekstensif untuk model multimodal besar, termasuk Stablediffusion, Phi-3-Vision, Qwen-VL, dan banyak lagi.
  • [2024/07] Kami menambahkan dukungan FP6 pada Intel GPU.
  • [2024/06] Kami menambahkan dukungan NPU eksperimental untuk prosesor Intel Core Ultra; Lihat contoh di sini.
  • [2024/06] Kami menambahkan dukungan luas dari inferensi paralel pipa , yang membuatnya mudah untuk menjalankan LLM berukuran besar menggunakan 2 atau lebih GPU Intel (seperti ARC).
  • [2024/06] Kami menambahkan dukungan untuk menjalankan RAGFLOW dengan ipex-llm di Intel GPU.
  • [2024/05] ipex-llm sekarang mendukung Axolotl untuk LLM Finetuning di Intel GPU; Lihat QuickStart di sini.
  • [2024/05] Anda sekarang dapat dengan mudah menjalankan inferensi ipex-llm , melayani dan finetuning menggunakan gambar Docker .
  • [2024/05] Anda sekarang dapat menginstal ipex-llm pada windows menggunakan hanya " satu perintah ".
  • [2024/04] Anda sekarang dapat menjalankan WebUI terbuka di Intel GPU menggunakan ipex-llm ; Lihat QuickStart di sini.
  • [2024/04] Anda sekarang dapat menjalankan Llama 3 di Intel GPU menggunakan llama.cpp dan ollama dengan ipex-llm ; Lihat QuickStart di sini.
  • [2024/04] ipex-llm sekarang mendukung LLAMA 3 di Intel GPU dan CPU.
  • [2024/04] ipex-llm sekarang menyediakan antarmuka C ++, yang dapat digunakan sebagai backend yang dipercepat untuk menjalankan llama.cpp dan ollama di Intel GPU.
  • [2024/03] bigdl-llm sekarang telah menjadi ipex-llm (lihat Panduan Migrasi di sini); Anda dapat menemukan proyek BigDL asli di sini.
  • [2024/02] ipex-llm sekarang mendukung model memuat langsung dari ModelScope (魔搭).
  • [2024/02] ipex-llm Menambahkan dukungan int2 awal (berdasarkan mekanisme LLAMA.CPP IQ2), yang memungkinkan untuk menjalankan LLM berukuran besar (misalnya, Mixtral-8x7b) pada Intel GPU dengan 16GB VRAM.
  • [2024/02] Pengguna sekarang dapat menggunakan ipex-llm melalui Text-Generation-Webui GUI.
  • [2024/02] ipex-llm sekarang mendukung decoding spekulatif mandiri , yang dalam praktiknya membawa ~ 30% speedup untuk latensi inferensi FP16 dan BF16 masing-masing pada GPU Intel dan CPU.
  • [2024/02] ipex-llm sekarang mendukung daftar komprehensif LLM Finetuning di Intel GPU (termasuk Lora, Qlora, DPO, QA-Lora dan Relora).
  • [2024/01] Menggunakan ipex-llm qlora, kami berhasil finetune llama2-7b dalam 21 menit dan llama2-70b dalam 3,14 jam pada 8 intel max 1550 gpu untuk standford-alpaca (lihat blog di sini).
  • [2023/12] ipex-llm sekarang mendukung Relora (lihat "Relora: pelatihan peringkat tinggi melalui pembaruan peringkat rendah" ).
  • [2023/12] ipex-llm sekarang mendukung Mixtral-8x7b pada GPU Intel dan CPU.
  • [2023/12] ipex-llm sekarang mendukung QA-Lora (lihat "QA-Lora: Kuantisasi-Sadari Adaptasi Rendah Model Bahasa Besar" ).
  • [2023/12] ipex-llm sekarang mendukung inferensi FP8 dan FP4 pada GPU Intel.
  • [2023/11] Dukungan awal untuk langsung memuat model GGUF, AWQ dan GPTQ ke ipex-llm tersedia.
  • [2023/11] ipex-llm sekarang mendukung Batching kontinu VLLM pada GPU Intel dan CPU.
  • [2023/10] ipex-llm sekarang mendukung qlora finetuning pada GPU Intel dan CPU.
  • [2023/10] ipex-llm sekarang mendukung Fastchat yang bertugas di CPU dan GPU Intel.
  • [2023/09] ipex-llm sekarang mendukung Intel GPU (termasuk IGPU, ARC, Flex dan Max).
  • [2023/09] Tutorial ipex-llm dirilis.

demo ipex-llm

Lihat demo menjalankan LLM lokal di Intel Core Ultra IGPU, Intel Core Ultra NPU, GPU ARC kartu tunggal, atau GPU ARC multi-kartu menggunakan ipex-llm di bawah ini.

Intel Core Ultra (Seri 1) IGPU Intel Core Ultra (Seri 2) NPU Intel Arc DGPU 2-kartu Intel Arc DGPUS
Ollama
(MISTRAL-7B Q4_K)		 Huggingface
(Llama3.2-3b sym_int4)		 TextGeneration-Webui
(Llama3-8b fp8)		 Fastchat
(QWEN1.5-32B FP6)

kinerja ipex-llm

Lihat Kecepatan Generasi Token pada Intel Core Ultra dan Intel Arc GPU di bawah 1 (dan lihat [2] [3] [4] untuk detail lebih lanjut).

Anda dapat mengikuti panduan benchmarking untuk menjalankan ipex-llm Performance Benchmark sendiri.

Akurasi model

Silakan lihat hasil kebingungan di bawah ini (diuji pada dataset Wikuxt menggunakan skrip di sini).

Kebingungan sym_int4 q4_k fp6 fp8_e5m2 FP8_E4M3 FP16
LLAMA-2-7B-CHAT-HF 6.364 6.218 6.092 6.180 6.098 6.096
Mistral-7b-instruct-V0.2 5.365 5.320 5.270 5.273 5.246 5.244
Baichuan2-7B-CHAT 6.734 6.727 6.527 6.539 6.488 6.508
QWEN1.5-7B-CHAT 8.865 8.816 8.557 8.846 8.530 8.607
Llama-3.1-8b-instruct 6.705 6.566 6.338 6.383 6.325 6.267
GEMMA-2-9B-IT 7.541 7.412 7.269 7.380 7.268 7.270
Baichuan2-13b-CHAT 6.313 6.160 6.070 6.145 6.086 6.031
LLAMA-2-13B-CHAT-HF 5.449 5.422 5.341 5.384 5.332 5.329
QWEN1.5-14B-CHAT 7.529 7.520 7.367 7.504 7.297 7.334

ipex-llm QuickStart

Buruh pelabuhan

  • Inferensi GPU di C ++: Menjalankan llama.cpp , ollama , dll., Dengan ipex-llm di Intel GPU
  • GPU Inference in Python: Running Huggingface transformers , LangChain , LlamaIndex , ModelScope , dll. Dengan ipex-llm di Intel GPU
  • VLLM di GPU: Menjalankan vLLM Melayani dengan ipex-llm di Intel GPU
  • VLLM ON CPU: Menjalankan vLLM Melayani dengan ipex-llm di Intel CPU
  • Fastchat di GPU: Menjalankan FastChat melayani dengan ipex-llm di intel gpu
  • VScode pada GPU: Menjalankan dan Mengembangkan Aplikasi ipex-llm di Python Menggunakan VScode di Intel GPU

Menggunakan

  • NPU: Menjalankan ipex-llm di Intel NPU di Python dan C ++
  • llama.cpp: Menjalankan llama.cpp ( menggunakan antarmuka C ++ ipex-llm ) di Intel GPU
  • Ollama: Menjalankan Ollama ( menggunakan antarmuka C ++ ipex-llm ) di Intel GPU
  • Pytorch/Huggingface: Menjalankan Pytorch , Huggingface , Langchain , Llamaindex , dll. ( Menggunakan antarmuka python ipex-llm ) pada GPU Intel untuk Windows dan Linux
  • VLLM: Menjalankan ipex-llm di VLLM di Intel GPU dan CPU
  • Fastchat: Menjalankan ipex-llm di fastchat yang disajikan di GPU Intel dan CPU
  • Melayani di beberapa GPU Intel: Menjalankan ipex-llm yang melayani di beberapa Intel GPU dengan memanfaatkan AutoTP dan FASOTPI Deepspeed dan FastAPI
  • Text-Generation-Webui: Menjalankan ipex-llm di oobabooga Webui
  • Axolotl: Menjalankan ipex-llm di Axolotl untuk LLM Finetuning
  • Benchmarking: Menjalankan (latensi dan throughput) tolok ukur untuk ipex-llm di Intel CPU dan GPU

Aplikasi

  • Graphrag: Menjalankan GraphRAG Microsoft menggunakan LLM lokal dengan ipex-llm
  • Ragflow: Menjalankan RAGFlow ( mesin kain open-source ) dengan ipex-llm
  • Langchain-Chatchat: Menjalankan LangChain-Chatchat ( Basis Pengetahuan QA Menggunakan Pipa Rag ) dengan ipex-llm
  • Coding Copilot: Running Continue (Coding Copilot di VScode) dengan ipex-llm
  • Buka WebUI: Menjalankan Open WebUI dengan ipex-llm
  • Privategpt: Menjalankan PrivateGPT untuk Berinteraksi dengan Dokumen dengan ipex-llm
  • Platform Diy: Menjalankan ipex-llm Di Dify ( Platform Pengembangan Aplikasi LLM siap-produksi )

Memasang

  • Windows GPU: Menginstal ipex-llm di Windows dengan Intel GPU
  • Linux GPU: Menginstal ipex-llm di Linux dengan Intel GPU
  • Untuk detail lebih lanjut, silakan merujuk ke panduan instalasi lengkap

Contoh Kode

  • Inferensi bit rendah

    • Inferensi Int4: Inferensi Int4 LLM pada Intel GPU dan CPU
    • Inferensi FP8/FP6/FP4: FP8 , FP6 dan FP4 LLM Inferensi pada Intel GPU
    • Inferensi Int8: Inferensi Int8 LLM pada Intel GPU dan CPU
    • Inferensi Int2: Inter2 LLM Inference (berdasarkan mekanisme LLAMA.CPP IQ2) di Intel GPU

  • Inferensi FP16/BF16

    • FP16 LLM Inferensi pada Intel GPU, dengan kemungkinan optimasi decoding spekulatif diri
    • BF16 LLM Inferensi pada CPU Intel, dengan kemungkinan optimasi decoding spekulatif diri

  • Inferensi Terdistribusi

    • Inferensi paralel pipa pada GPU Intel
    • Inferensi AutoTP Kecepatan Dalam pada GPU Intel

  • Simpan dan Muat

    • Model rendah-bit: Menyimpan dan memuat model bit rendah ipex-llm (int4/fp4/fp6/int8/fp8/fp16/dll.
    • GGUF: langsung memuat model GGUF ke ipex-llm
    • AWQ: langsung memuat model AWQ ke ipex-llm
    • GPTQ: langsung memuat model GPTQ ke ipex-llm

  • Finetuning

    • LLM Finetuning di Intel GPU, termasuk Lora, Qlora, DPO, QA-Lora dan Relora
    • Qlora finetuning di Intel CPU

  • Integrasi dengan perpustakaan komunitas

    • Transformator Huggingface
    • Model Pytorch standar
    • Langchain
    • Llamaindex
    • Deepspeed-Autotp
    • Axolotl
    • Peft Huggingface
    • HUGGINGFACE TRL
    • Autogen
    • Modescope
  • Tutorial

API DOC

  • Huggingface Transformers-style API (Kelas Otomatis)
  • API untuk model pytorch sewenang -wenang

FAQ

  • FAQ & TROUNCAN SOCOCK

Model terverifikasi

Lebih dari 70 model telah dioptimalkan/diverifikasi pada ipex-llm , termasuk Llama/Llama2, Mistral, Mixtral, Gemma, Llava, Whisper, Chatglm2/Chatglm3, Baichuan/Baichuan2, Qwen/Qwen-1.5, internlm dan banyak lagi; Lihat daftar di bawah ini.

Model Contoh CPU Contoh GPU Contoh NPU
Llama link1, link2 link
Llama 2 link1, link2 link Tautan Python, tautan C ++
Llama 3 link link Tautan Python, tautan C ++
Llama 3.1 link link
Llama 3.2 link Tautan Python, tautan C ++
Llama 3.2-visi link
Chatglm link
Chatglm2 link link
Chatglm3 link link
GLM-4 link link
GLM-4V link link
Glm-edge link Tautan Python
Glm-edge-v link
Mistral link link
Mixtral link link
Elang link link
MPT link link
Dolly-V1 link link
Dolly-V2 link link
Kode Replit link link
Redpajama link1, link2
Phoenix link1, link2
Starcoder link1, link2 link
Baichuan link link
Baichuan2 link link Tautan Python
Internlm link link
Internvl2 link
Qwen link link
Qwen1.5 link link
Qwen2 link link Tautan Python, tautan C ++
Qwen2.5 link Tautan Python, tautan C ++
Qwen-vl link link
QWEN2-VL link
Qwen2-audio link
Aquila link link
Aquila2 link link
LUMUT link
Berbisik link link
PHI-1_5 link link
Flan-T5 link link
Llava link link
Codellama link link
SKYWORK link
Internlm-xComposer link
WizardCoder-Python link
Codeshell link
Fuyu link
Distil-whisper link link
Yi link link
Bluelm link link
Mamba link link
TENAGA SURYA link link
Phixtral link link
Internlm2 link link
Rwkv4 link
Rwkv5 link
Kulit pohon link link
Pidato link
Deepseek-Moe link
Ziya-coding-34b-v1.0 link
Phi-2 link link
Phi-3 link link
Phi-3-vision link link
Yuan2 link link
Gemma link link
Gemma2 link
DECILM-7B link link
Deepseek link link
Stablelm link link
Codegemma link link
Command-r/cohere link link
Codegeex2 link link
Minicpm link link Tautan Python, tautan C ++
Minicpm3 link
Minicpm-v link
Minicpm-v-2 link link
Minicpm-llama3-v-2_5 link Tautan Python
Minicpm-v-2_6 link link Tautan Python
Stablediffusion link
BCE-EMBEDDING-BASE-V1 Tautan Python
Pidato_paraformer-large Tautan Python

Dapatkan dukungan

  • Harap laporkan bug atau angkat permintaan fitur dengan membuka masalah gitub
  • Harap laporkan kerentanan dengan membuka konsep penasihat keamanan github

Catatan kaki

  1. Kinerja bervariasi berdasarkan penggunaan, konfigurasi, dan faktor lainnya. ipex-llm mungkin tidak mengoptimalkan ke tingkat yang sama untuk produk non-intel. Pelajari lebih lanjut di www.intel.com/performanceIndex. ↩ ↩ 2

Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua