Inicio>Relacionado con la programación>Pitón
Descargar

Importante

bigdl-llm ahora se ha convertido en ipex-llm (consulte la Guía de migración aquí); Puede encontrar el proyecto BigDL original aquí.

? Biblioteca Intel® LLM para Pytorch*

<Inglés | 中文>

IPEX-LLM es una biblioteca de aceleración LLM para Intel GPU (por ejemplo, PC local con IGPU, GPU discreta como ARC, Flex y Max) , NPU y CPU 1 .

Nota

  • Está construido sobre el excelente trabajo de llama.cpp , transformers , bitsandbytes , vLLM , qlora , AutoGPTQ , AutoAWQ , etc.
  • Proporciona una integración perfecta con Llama.cpp, Ollama, Huggingface Transformers, Langchain, Llamaindex, VLLM, Text-Generation-Webui, Deepeed-Autotp, Fastchat, Axolotl, Huggingface Peft, Huggingface TRL, Autogen, Modescope, etc.
  • Se han optimizado/verificado más de 70 modelos en ipex-llm (EG, LLAMA, PHI, Mistral, MixTral, Whisper, QWEN, MinicPM, QWEN-VL, MinicPM-V y más), con optimizaciones de LLM de estado de estado, aceleración XPU y apoyo bajo (FP8/FP6/FP4/FP4/INT4) ; Vea la lista completa aquí.

Última actualización

  • [2024/12] Agregamos apoyo para ejecutar Ollama 0.4.6 en la GPU Intel.
  • [2024/12] Agregamos el soporte de Python y C ++ para Intel Core Ultra NPU (incluidas series 100H, 200V y 200K).
  • [2024/11] Agregamos soporte para ejecutar VLLM 0.6.2 en GPU de arco Intel.
Más actualizaciones
  • [2024/07] Agregamos soporte para ejecutar GraphRAG de Microsoft usando LLM local en Intel GPU; Vea la guía QuickStart aquí.
  • [2024/07] Agregamos un amplio soporte para grandes modelos multimodales, incluidos estabilizaciones, phi-3-visión, qwen-vl y más.
  • [2024/07] Agregamos el soporte FP6 en la GPU Intel.
  • [2024/06] Agregamos el soporte experimental de NPU para los procesadores ultra ultra Core Intel; Vea los ejemplos aquí.
  • [2024/06] Agregamos un amplio soporte de la inferencia paralela de tubería , lo que facilita la ejecución de LLM de gran tamaño usando 2 o más GPU Intel (como ARC).
  • [2024/06] Agregamos soporte para ejecutar Ragflow con ipex-llm en Intel GPU.
  • [2024/05] ipex-llm ahora admite Axolotl para LLM Finetuning en Intel GPU; Vea el inicio rápido aquí.
  • [2024/05] Ahora puede ejecutar fácilmente la inferencia de ipex-llm , servir y Finetuning usando las imágenes Docker .
  • [2024/05] Ahora puede instalar ipex-llm en Windows usando solo " un comando ".
  • [2024/04] Ahora puede ejecutar WebUI Open WebUI en Intel GPU usando ipex-llm ; Vea el inicio rápido aquí.
  • [2024/04] Ahora puede ejecutar Llama 3 en Intel GPU usando llama.cpp y ollama con ipex-llm ; Vea el inicio rápido aquí.
  • [2024/04] ipex-llm ahora admite LLAMA 3 en Intel GPU y CPU.
  • [2024/04] ipex-llm ahora proporciona la interfaz C ++, que puede usarse como un backend acelerado para ejecutar llama.cpp y ollama en Intel GPU.
  • [2024/03] bigdl-llm se ha convertido en ipex-llm (ver la Guía de migración aquí); Puede encontrar el proyecto BigDL original aquí.
  • [2024/02] ipex-llm ahora admite el modelo de carga directa desde ModelsCope (魔搭).
  • [2024/02] ipex-llm agregó el soporte INT2 inicial (basado en el mecanismo LLAMA.CPP IQ2), lo que permite ejecutar LLM de gran tamaño (por ejemplo, MixTral-8x7b) en GPU Intel con 16 GB de VRAM.
  • [2024/02] Los usuarios ahora pueden usar ipex-llm a través de la GUI de Generación de texto de texto.
  • [2024/02] ipex-llm ahora admite la decodificación autopeculativa , que en la práctica trae ~ 30% de aceleración para la latencia de inferencia FP16 y BF16 en la GPU Intel y la CPU respectivamente.
  • [2024/02] ipex-llm ahora admite una lista completa de Finetuning LLM en Intel GPU (incluidas Lora, Qlora, DPO, Qa-Lora y Relora).
  • [2024/01] Usando ipex-llm Qlora, logramos Finetune Llama2-7B en 21 minutos y LLAMA2-70B en 3.14 horas en 8 GPU Intel Max 1550 para Standford-Alpaca (ver el blog aquí).
  • [2023/12] ipex-llm ahora es compatible con RETORA (ver "REMARA: entrenamiento de alto rango a través de actualizaciones de bajo rango" ).
  • [2023/12] ipex-llm ahora es compatible con MixTral-8x7b en Intel GPU y CPU.
  • [2023/12] ipex-llm ahora es compatible con Qa-Lora (ver "Qa-Lora: Adaptación de bajo rango de cuantificación de modelos de idiomas grandes" ).
  • [2023/12] ipex-llm ahora admite inferencia FP8 y FP4 en Intel GPU .
  • [2023/11] El soporte inicial para cargar directamente los modelos GGUF, AWQ y GPTQ en ipex-llm están disponibles.
  • [2023/11] ipex-llm ahora admite un lotes continuos VLLM en Intel GPU y CPU.
  • [2023/10] ipex-llm ahora es compatible con la Finetuning de Qora tanto en la GPU Intel como en la CPU.
  • [2023/10] ipex-llm ahora admite FastChat Siring en CPU Intel y GPU.
  • [2023/09] ipex-llm ahora admite Intel GPU (incluyendo IGPU, ARC, Flex y Max).
  • [2023/09] Se lanza el tutorial ipex-llm .

Demo de ipex-llm

Vea las demostraciones de ejecutar LLMS LOCAL en Intel Core Ultra IGPU, Intel Core Ultra NPU, GPU de arco de una sola tarjeta o GPU de ARC de tarjetas múltiples utilizando ipex-llm a continuación.

Intel Core Ultra (Serie 1) IGPU Intel Core Ultra (Serie 2) NPU Intel Arc DGPU DGPUS Intel Arco de 2 cartas
Ollama
(Mistral-7B Q4_K)		 Cara de abrazo
(Llama3.2-3b Sym_int4)		 TextGeneration-Webui
(Llama3-8b FP8)		 Chaquetón
(QWEN1.5-32B FP6)

rendimiento ipex-llm

Vea la velocidad de generación de tokens en Intel Core Ultra y Intel Arc GPU debajo de 1 (y consulte [2] [3] [4] para obtener más detalles).

Puede seguir la guía de evaluación comparativa para ejecutar el punto de referencia de rendimiento ipex-llm usted mismo.

Precisión del modelo

Consulte el resultado de perplejidad a continuación (probado en el conjunto de datos Wikitext usando el script aquí).

Perplejidad sym_int4 Q4_K FP6 FP8_E5M2 FP8_E4M3 FP16
LLAMA-2-7B-CHAT-HF 6.364 6.218 6.092 6.180 6.098 6.096
Mistral-7B-Instructo-V0.2 5.365 5.320 5.270 5.273 5.246 5.244
Baichuan2-7b-chat 6.734 6.727 6.527 6.539 6.488 6.508
Qwen1.5-7b-chat 8.865 8.816 8.557 8.846 8.530 8.607
Llama-3.1-8b-Instructo 6.705 6.566 6.338 6.383 6.325 6.267
GEMMA-2-9B-IT 7.541 7.412 7.269 7.380 7.268 7.270
Baichuan2-13b-chat 6.313 6.160 6.070 6.145 6.086 6.031
Llama-2-13B-CHAT-HF 5.449 5.422 5.341 5.384 5.332 5.329
Qwen1.5-14b-chat 7.529 7.520 7.367 7.504 7.297 7.334

ipex-llm QuickStart

Estibador

  • Inferencia de GPU en C ++: Running llama.cpp , ollama , etc., con ipex-llm en Intel GPU
  • Inferencia de GPU en Python: Ejecución transformers de Huggingface, LangChain , LlamaIndex , ModelScope , etc. con ipex-llm en Intel GPU
  • VLLM ON GPU: Ejecutando vLLM Sirviendo con ipex-llm en Intel GPU
  • VLLM en CPU: Ejecutar vLLM Siring con ipex-llm en Intel CPU
  • Fastchat en GPU: ejecutar FastChat Serving con ipex-llm en Intel GPU
  • VSCODE en GPU: Ejecutar y desarrollar aplicaciones ipex-llm en Python usando VScode en Intel GPU

Usar

  • NPU: Ejecutar ipex-llm en Intel NPU en Python y C ++
  • Llama.cpp: Ejecutar llama.cpp ( usando la interfaz C ++ de ipex-llm ) en Intel GPU
  • Ollama: Ejecutar Ollama ( usando la interfaz C ++ de ipex-llm ) en Intel GPU
  • Pytorch/Huggingface: Ejecutar Pytorch , Huggingface , Langchain , Llamaindex , etc. ( usando la interfaz Python de ipex-llm ) en Intel GPU para Windows y Linux
  • VLLM: Ejecutar ipex-llm en VLLM en Intel GPU y CPU
  • FastChat: ejecutar ipex-llm en Fastchat Siring en Intel GPU y CPU
  • Sirviendo en múltiples GPU de Intel: ejecutar ipex-llm Sirviendo en múltiples GPU de Intel aprovechando DeepSpeed AutoTP y FastAPI
  • Text-Generation-Webui: Ejecución de ipex-llm en oobabooga Webui
  • Axolotl: ejecutando ipex-llm en axolotl para la finura de LLM
  • Benchmarking: Ejecutar (latencia y rendimiento) puntos de referencia para ipex-llm en CPU Intel y GPU

Aplicaciones

  • Graphrag: Ejecutar GraphRAG de Microsoft usando LLM local con ipex-llm
  • Ragflow: Ejecutar RAGFlow ( un motor de trapo de código abierto ) con ipex-llm
  • Langchain-Chatchat: Ejecutando LangChain-Chatchat ( Qa de la base de conocimiento usando Rag Pipeline ) con ipex-llm
  • Codificación de copiloto: ejecutar Continue (codificación de copiloto en VScode) con ipex-llm
  • Abrir webui: ejecutar Open WebUI con ipex-llm
  • PrivateGPT: ejecutar PrivateGPT para interactuar con documentos con ipex-llm
  • Plataforma DiFy: Ejecución de ipex-llm en Dify ( plataforma de desarrollo de aplicaciones LLM lista para producción )

Instalar

  • GPU de Windows: instalación de ipex-llm en Windows con Intel GPU
  • GPU de Linux: instalación de ipex-llm en Linux con Intel GPU
  • Para obtener más detalles, consulte la guía de instalación completa

Ejemplos de código

  • Inferencia de bits bajo

    • INT4 INFERENCIA: INT4 LLM Inferencia en Intel GPU y CPU
    • Inferencia FP8/FP6/FP4: inferencia FP8 , FP6 y FP4 LLM en Intel GPU
    • INT8 INFERENCIA: INT8 LLM Inferencia en Intel GPU y CPU
    • INT2 INFERENCIA: INT2 LLM Inferencia (basada en el mecanismo Llama.CPP IQ2) en Intel GPU

  • Inferencia FP16/BF16

    • FP16 LLM Inferencia en Intel GPU, con una posible optimización de decodificación autopeculativa
    • Inferencia BF16 LLM en la CPU Intel, con una posible optimización de decodificación autopeculativa

  • Inferencia distribuida

    • Inferencia paralela de tubería en Intel GPU
    • Inferencia AutoTP de Speed de Deepeed en GPU Intel

  • Guardar y cargar

    • Modelos de bajo bits: Guardar y cargar modelos ipex-llm bajo bits (int4/fp4/fp6/int8/fp8/fp16/etc.)
    • GGUF: Cargando directamente los modelos GGUF en ipex-llm
    • AWQ: Cargando directamente los modelos AWQ en ipex-llm
    • GPTQ: Cargando directamente los modelos GPTQ en ipex-llm

  • Sintonia FINA

    • LLM Finetuning en Intel GPU, incluidos Lora, Qlora, DPO, Qa-Lora y Relora
    • Qlora Finetuning en CPU Intel

  • Integración con bibliotecas comunitarias

    • Huggingface Transformers
    • Modelo de pytorch estándar
    • Langchain
    • Llamado
    • Deepeed-Autotp
    • Ajolote
    • Huggingface Peft
    • Huggingface TRL
    • Autógeno
    • Modescopio
  • Tutoriales

API doc

  • API de estilo Huggingface Transformers (clases de automóviles)
  • API para el modelo arbitrario de Pytorch

Preguntas frecuentes

  • Preguntas frecuentes y problemas de problemas

Modelos verificados

Más de 70 modelos se han optimizado/verificado en ipex-llm , incluidos LLAMA/LLAMA2, Mistral, Mixtral, Gemma, Llava, Whisper, ChatGlm2/ChatGlm3, Baichuan/Baichuan2, Qwen/Qwen-1.5, Internlm y más; Vea la lista a continuación.

Modelo Ejemplo de CPU Ejemplo de GPU Ejemplo de NPU
Llama link1, link2 enlace
Llama 2 link1, link2 enlace Enlace de Python, enlace C ++
Llama 3 enlace enlace Enlace de Python, enlace C ++
Llama 3.1 enlace enlace
Llama 3.2 enlace Enlace de Python, enlace C ++
Llama 3.2 visión enlace
Chatglm enlace
Chatglm2 enlace enlace
Chatglm3 enlace enlace
GLM-4 enlace enlace
GLM-4V enlace enlace
Glm de borde enlace Python Link
GLM-EDEDV enlace
Mistral enlace enlace
Mixtral enlace enlace
Halcón enlace enlace
MPT enlace enlace
Dolly-v1 enlace enlace
Dolly-v2 enlace enlace
Código de replicación enlace enlace
Redpajama link1, link2
Fénix link1, link2
Codificador de estrellas link1, link2 enlace
Baichuan enlace enlace
Baichuan2 enlace enlace Python Link
Prostituta enlace enlace
Intervl2 enlace
Qwen enlace enlace
Qwen1.5 enlace enlace
Qwen2 enlace enlace Enlace de Python, enlace C ++
Qwen2.5 enlace Enlace de Python, enlace C ++
Qwen-vl enlace enlace
Qwen2-vl enlace
Qwen2-audio enlace
Águila enlace enlace
Aquila2 enlace enlace
MUSGO enlace
Susurro enlace enlace
Phi-1_5 enlace enlace
Flan-t5 enlace enlace
Llava enlace enlace
Codellama enlace enlace
Trabajo de cielo enlace
Pasador enlace
Wizardcoder-Python enlace
Césped enlace
Fuyu enlace
Awhisper enlace enlace
Yi enlace enlace
Holicero enlace enlace
Tipo de serpiente venenosa enlace enlace
SOLAR enlace enlace
Phixtral enlace enlace
Interlm2 enlace enlace
RWKV4 enlace
RWKV5 enlace
Ladrar enlace enlace
Discurso5 enlace
Deepseek-moe enlace
Ziya codificación-34b-v1.0 enlace
Phi-2 enlace enlace
Phi-3 enlace enlace
Phi-3-visión enlace enlace
Yuan2 enlace enlace
Gema enlace enlace
Gemma2 enlace
Decilm-7b enlace enlace
Veterano enlace enlace
Stablelm enlace enlace
Codegemma enlace enlace
Command-R/Cohere enlace enlace
CodeGeEx2 enlace enlace
Minicpm enlace enlace Enlace de Python, enlace C ++
Minicpm3 enlace
Minicpm-v enlace
Minicpm-v-2 enlace enlace
Minicpm-llama3-v-2_5 enlace Python Link
Minicpm-v-2_6 enlace enlace Python Link
Estabilización enlace
BCE-incrustación-base-V1 Python Link
Speech_paraformer-Large Python Link

Obtener apoyo

  • Informe un error o plantee una solicitud de función abriendo un problema de GitHub
  • Informe una vulnerabilidad abriendo un borrador de Aviso de Seguridad de GitHub

Notas al pie

  1. El rendimiento varía según el uso, la configuración y otros factores. ipex-llm puede no optimizar en el mismo grado para productos que no son Intel. Obtenga más información en www.intel.com/performanceIndex. ↩ ↩ 2

Expandir
Información adicional
Aplicaciones relacionadas
Recomendado para ti
Información relacionada Todo