Página Inicial>Relacionado com a programação>Pitão
Baixar

Importante

bigdl-llm agora se tornou ipex-llm (consulte o guia de migração aqui); Você pode encontrar o projeto BigDL original aqui.

? Biblioteca Intel® LLM para Pytorch*

<Inglês | 中文>

IPEX-LLM é uma biblioteca de aceleração do LLM para GPU Intel (por exemplo, PC local com IGPU, GPU discreto, como ARC, FLEX e MAX) , NPU e CPU 1 .

Observação

  • Ele é construído sobre o excelente trabalho de llama.cpp , transformers , bitsandbytes , vLLM , qlora , AutoGPTQ , AutoAWQ , etc.
  • Ele fornece integração perfeita com llama.cpp, ollama, huggingface Transformers, langchain, llamaindex, vllm, text-geração-webui, profundidade de velocidade-autotp, fastchat, axolotl, huggingface peft, huggingface trl, autogênio, modescope, etc.
  • 70+ models have been optimized/verified on ipex-llm (eg, Llama, Phi, Mistral, Mixtral, Whisper, Qwen, MiniCPM, Qwen-VL, MiniCPM-V and more), with state-of-art LLM optimizations , XPU acceleration and low-bit (FP8/FP6/FP4/INT4) support ; Veja a lista completa aqui.

Última atualização

  • [2024/12] Adicionamos suporte para executar o Ollama 0.4.6 na Intel GPU.
  • [2024/12] Adicionamos suporte Python e C ++ para a Intel Core Ultra NPU (incluindo séries 100H, 200V e 200K).
  • [2024/11] Adicionamos suporte para executar o VLLM 0.6.2 nas GPUs Intel Arc.
Mais atualizações
  • [2024/07] Adicionamos suporte para executar o Graphrag da Microsoft usando LLM local na Intel GPU; Veja o guia do QuickStart aqui.
  • [2024/07] Adicionamos um amplo suporte a grandes modelos multimodais, incluindo StableDIFFUSTION, PHI-3-VISION, QWEN-VL e muito mais.
  • [2024/07] Adicionamos suporte FP6 na GPU Intel.
  • [2024/06] Adicionamos suporte experimental da NPU para processadores Ultra Core Intel; Veja os exemplos aqui.
  • [2024/06] Adicionamos um amplo suporte à inferência paralela do pipeline , o que facilita a execução de LLM de tamanho grande usando 2 ou mais GPUs Intel (como o ARC).
  • [2024/06] Adicionamos suporte para executar o RagFlow com ipex-llm na Intel GPU.
  • [2024/05] ipex-llm agora suporta axolotl para o LLM Finetuning na Intel GPU; Veja o Início Quick aqui.
  • [2024/05] Agora você pode executar facilmente a inferência ipex-llm , porção e finetuning usando as imagens do Docker .
  • [2024/05] Agora você pode instalar ipex-llm no Windows usando apenas " um comando ".
  • [2024/04] Agora você pode executar o Open Webui na Intel GPU usando ipex-llm ; Veja o Início Quick aqui.
  • [2024/04] Agora você pode executar o LLAMA 3 na Intel GPU usando llama.cpp e ollama com ipex-llm ; Veja o Início Quick aqui.
  • [2024/04] ipex-llm agora suporta llama 3 na Intel GPU e na CPU.
  • [2024/04] ipex-llm agora fornece interface C ++, que pode ser usada como um back-end acelerado para executar llama.cpp e ollama na Intel GPU.
  • [2024/03] bigdl-llm agora se tornou ipex-llm (consulte o guia de migração aqui); Você pode encontrar o projeto BigDL original aqui.
  • [2024/02] ipex-llm agora suporta carregando diretamente o modelo do ModelsCope (魔搭).
  • [2024/02] ipex-llm Adicionado suporte INT2 inicial (baseado no mecanismo LLAMA.CPP IQ2), o que possibilita a execução de LLM de grande porte (por exemplo, Mixtral-8x7b) na GPU Intel com VRAM de 16 GB.
  • [2024/02] Agora os usuários podem usar ipex-llm através da GUI da geração de texto-geração-webui.
  • [2024/02] ipex-llm agora suporta a decodificação auto-especulativa , que na prática traz ~ 30% de aceleração para a latência de inferência FP16 e BF16 na GPU e CPU da Intel, respectivamente.
  • [2024/02] ipex-llm agora suporta uma lista abrangente de Finetuning LLM na Intel GPU (incluindo Lora, Qlora, DPO, Qa-Lora e Relora).
  • [2024/01] Usando ipex-llm QLORA, conseguimos o LLAMA2-7B FINETUNE em 21 minutos e LLAMA2-70B em 3,14 horas no 8 Intel Max 1550 GPU para Standford-Alpaca (consulte o blog aqui).
  • [2023/12] ipex-llm agora suporta Relora (consulte "Relora: Treinamento de alto rank através de atualizações de baixo rank" ).
  • [2023/12] ipex-llm agora suporta Mixtral-8x7b na GPU Intel e na CPU.
  • [2023/12] ipex-llm agora suporta qa-lora (consulte "QA-lora: adaptação de baixo rank com consciência de quantização de modelos de idiomas grandes" ).
  • [2023/12] ipex-llm agora suporta a inferência FP8 e FP4 na GPU Intel.
  • [2023/11] O suporte inicial para carregar diretamente os modelos GGUF, AWQ e GPTQ está disponível ipex-llm .
  • [2023/11] ipex-llm agora suporta lotes contínuos do VLLM na GPU Intel e na CPU.
  • [2023/10] ipex-llm agora suporta Qlora Finetuning na Intel GPU e na CPU.
  • [2023/10] ipex-llm agora suporta o FastChat que serve na Intel CPU e GPU.
  • [2023/09] ipex-llm agora suporta Intel GPU (incluindo IGPU, ARC, Flex e Max).
  • [2023/09] O tutorial ipex-llm foi lançado.

demonstração ipex-llm

Consulte Demos da execução de LLMs locais na Intel Core Ultra Igpu, Intel Core Ultra NPU, GPU de arco único ou GPUs de arco de cartão múltiplo usando ipex-llm abaixo.

Intel Core Ultra (Série 1) IGPU Intel Core Ultra (Série 2) NPU Intel arc dgpu Dgpus de 2 card
Ollama
(Mistral-7b Q4_K)		 Huggingface
(Llama3.2-3b sym_int4)		 TextGeneation-Webui
(Llama3-8b fp8)		 FastChat
(QWEN1.5-32B FP6)

Desempenho ipex-llm

Consulte a velocidade de geração de token na Intel Core Ultra e Intel Arc GPU abaixo de 1 (e consulte [2] [3] [4] para obter mais detalhes).

Você pode seguir o guia de benchmarking para executar o desempenho ipex-llm .

Precisão do modelo

Consulte o resultado da perplexidade abaixo (testado no conjunto de dados do Wikitext usando o script aqui).

Perplexidade sym_int4 Q4_K FP6 FP8_E5M2 FP8_E4M3 FP16
LLAMA-2-7B-CHAT-HF 6.364 6.218 6.092 6.180 6.098 6.096
Mistral-7B-Instruct-V0.2 5.365 5.320 5.270 5.273 5.246 5.244
Baichuan2-7b-chat 6.734 6.727 6.527 6.539 6.488 6.508
Qwen1.5-7b-chat 8.865 8.816 8.557 8.846 8.530 8.607
LLAMA-3.1-8B-INSTRUTA 6.705 6.566 6.338 6.383 6.325 6.267
Gemma-2-9b-it 7.541 7.412 7.269 7.380 7.268 7.270
Baichuan2-13b-chat 6.313 6.160 6.070 6.145 6.086 6.031
Lhama-2-13b-chat-hf 5.449 5.422 5.341 5.384 5.332 5.329
Qwen1.5-14b-chat 7.529 7.520 7.367 7.504 7.297 7.334

ipex-llm QuickStart

Docker

  • Inferência de GPU em C ++: executando llama.cpp , ollama , etc., com ipex-llm na gpu Intel
  • Inferência da GPU em Python: Running Huggingface transformers , LangChain , LlamaIndex , ModelScope , etc. Com ipex-llm na Intel GPU
  • vllm na GPU: executando vLLM servindo com ipex-llm na gpu Intel
  • vllm na CPU: executando vLLM servindo com ipex-llm na Intel CPU
  • FastChat na GPU: executando FastChat Servindo com ipex-llm na Intel GPU
  • VSCode na GPU: executando e desenvolvendo aplicativos ipex-llm em Python usando o VSCODE na Intel GPU

Usar

  • NPU: executando ipex-llm na Intel NPU em Python e C ++
  • llama.cpp: executando llama.cpp ( usando a interface C ++ do ipex-llm ) na Intel GPU
  • Ollama: Executando Ollama ( usando a interface C ++ do ipex-llm ) na Intel GPU
  • Pytorch/huggingface: executando pytorch , huggingface , langchain , llamaindex , etc. ( usando a interface python de ipex-llm ) na Intel GPU para Windows e Linux
  • vllm: executando ipex-llm em vllm na Intel GPU e CPU
  • FastChat: executando ipex-llm no fastchat que serve na Intel GPU e CPU
  • Servindo em múltiplos GPUs Intel: executando ipex-llm SERVIÇÃO NO MULTIMA
  • Geração de texto-webui: executando ipex-llm em oobabooga webui
  • AXOLOTL: Executando ipex-llm em Axolotl para LLM Finetuning
  • Benchmarking: Running (latência e rendimento) benchmarks para ipex-llm na Intel CPU e GPU

Aplicações

  • Graphrag: executando GraphRAG da Microsoft usando LLM local com ipex-llm
  • Ragflow: executando RAGFlow ( um motor de pano de código aberto ) com ipex-llm
  • Langchain-Chatchat: executando LangChain-Chatchat ( QA da base de conhecimento usando o pipeline RAG ) com ipex-llm
  • Codificação Copilot: Executando Continue (codificando copilot em vscode) com ipex-llm
  • Open Webui: Executando Open WebUI com ipex-llm
  • Privategpt: executando PrivateGPT para interagir com documentos com ipex-llm
  • Plataforma DIFY: Executando ipex-llm em Dify ( plataforma de desenvolvimento de aplicativos LLM pronta para produção )

Instalar

  • GPU Windows: Instalando ipex-llm no Windows com Intel GPU
  • Linux GPU: Instalando ipex-llm no Linux com a Intel GPU
  • Para mais detalhes, consulte o guia de instalação completo

Exemplos de código

  • Inferência baixa

    • Inferência Int4: Inferência Int4 LLM na Intel GPU e CPU
    • Inferência FP8/FP6/FP4: FP8 , FP6 e FP4 LLM Inferência na GPU Intel
    • Inferência Int8: Inferência Int8 LLM na Intel GPU e CPU
    • Inferência Int2: Int2 LLM Inferência (baseada no mecanismo LLAMA.CPP IQ2) na Intel GPU

  • Inferência FP16/BF16

    • FP16 LLM Inferência na Intel GPU, com possível otimização de decodificação auto-especulativa
    • BF16 LLM Inferência na Intel CPU, com possível otimização de decodificação auto-especializada

  • Inferência distribuída

    • Inferência paralela de pipeline na Intel GPU
    • Inferência de AutoTP de velocidade DeepSed na Intel GPU

  • Salvar e carregar

    • Modelos de baixo bit: Salvando e carregando modelos ipex-llm de baixo bit (int4/fp4/fp6/int8/fp8/fp16/etc.)
    • GGUF: carregando diretamente os modelos GGUF em ipex-llm
    • AWQ: carregando diretamente os modelos AWQ no ipex-llm
    • GPTQ: carregando diretamente os modelos GPTQ em ipex-llm

  • Afinação

    • LLM Finetuning na Intel GPU, incluindo Lora, Qlora, DPO, QA-Lora e Relora
    • Qlora Finetuning na Intel CPU

  • Integração com bibliotecas comunitárias

    • Transformadores de Huggingface
    • Modelo Pytorch padrão
    • Langchain
    • Llamaindex
    • DeepSpeed-Autotp
    • Axolotl
    • Huggingface peft
    • Huggingface trl
    • Autogênico
    • Modescope
  • Tutoriais

API Doc

  • API do estilo dos transformadores de Huggingface (aulas de automóveis)
  • API para modelo arbitrário de pytorch

Perguntas frequentes

  • Perguntas frequentes e tiros de problemas

Modelos verificados

Mais de 70 modelos foram otimizados/verificados no ipex-llm , incluindo llama/llama2, Mistral, Mixtral, Gemma, Llava, Whisper, Chatglm2/Chatglm3, Baichuan/Baichuan2, Qwen/Qwen-1.5, Internlm ; Veja a lista abaixo.

Modelo Exemplo da CPU Exemplo de GPU Exemplo da NPU
Lhama Link1, link2 link
LLAMA 2 Link1, link2 link Link python, link c ++
LLAMA 3 link link Link python, link c ++
LLAMA 3.1 link link
LLAMA 3.2 link Link python, link c ++
LLAMA 3.2-VISÃO link
Chatglm link
Chatglm2 link link
Chatglm3 link link
GLM-4 link link
GLM-4V link link
Glm-Edge link Python Link
Glm-Edge-V link
Mistral link link
Mixtral link link
Falcão link link
Mpt link link
Dolly-v1 link link
Dolly-v2 link link
Código de replicação link link
Redpajama Link1, link2
Fênix Link1, link2
Starcoder Link1, link2 link
Baichuan link link
Baichuan2 link link Python Link
Internlm link link
Internvl2 link
Qwen link link
Qwen1.5 link link
Qwen2 link link Link python, link c ++
Qwen2.5 link Link python, link c ++
QWEN-VL link link
QWEN2-VL link
QWEN2-AUDIO link
Aquila link link
Aquila2 link link
MUSGO link
Sussurrar link link
Phi-1_5 link link
Flan-t5 link link
Llava link link
Codellama link link
Skywork link
Internlm-xcomposer link
WizardCoder-Python link
Codeshell link
Fuyu link
Whisper destil link link
Yi link link
Bluelm link link
Mamba link link
SOLAR link link
Phixtral link link
InternLM2 link link
Rwkv4 link
Rwkv5 link
Latido link link
Discurso5 link
Deepseek-moe link
Ziya-coding-34b-v1.0 link
Phi-2 link link
Phi-3 link link
Phi-3-Vision link link
Yuan2 link link
Gemma link link
Gemma2 link
Decilme-7b link link
Deepseek link link
Stablelm link link
CodeGEMMA link link
Command-r/coere link link
Codegeex2 link link
Minicpm link link Link python, link c ++
Minicpm3 link
Minicpm-v link
Minicpm-V-2 link link
Minicpm-llama3-v-2_5 link Python Link
Minicpm-v-2_6 link link Python Link
StableDIFFUSTION link
BCE-Embetingding-Base-V1 Python Link
Discurso_paraformer-large Python Link

Obtenha suporte

  • Por favor, relate um bug ou aumente uma solicitação de recurso, abrindo um problema do GitHub
  • Por favor, relate uma vulnerabilidade ao abrir um rascunho de consultoria de segurança do Github

Notas de rodapé

  1. O desempenho varia de acordo com o uso, a configuração e outros fatores. ipex-llm pode não otimizar no mesmo grau para produtos que não são inteln. Saiba mais em www.intel.com/performanceIndex. ↩ ↩ 2

Expandir
Informações adicionais
Aplicativos Relacionados
Recomendado para você
Informações Relacionadas Todos