mlc llm

MLC LLM

Motor de implementación de Universal LLM con compilación ML

Empiece | Documentación | Blog

Acerca de

MLC LLM es un compilador de aprendizaje automático y un motor de implementación de alto rendimiento para modelos de idiomas grandes. La misión de este proyecto es permitir a todos desarrollar, optimizar e implementar modelos de IA de forma nativa en las plataformas de todos.

	AMD GPU	GPU NVIDIA	GPU de manzana	Intel GPU
Linux / Win	✅ Vulkan, Rocm	✅ Vulkan, Cuda	N / A	✅ Vulkan
macosa	✅ Metal (DGPU)	N / A	✅ metal	✅ Metal (IGPU)
Navegador web	✅ WebGPU y WASM
iOS / iPados	✅ Metal en la GPU de la serie A de manzana
Androide	✅ OpenCl en Adreno GPU		✅ OpenCl en Mali GPU

MLC LLM compila y ejecuta código en MLCEngine: un motor de inferencia LLM de alto rendimiento unificado en las plataformas anteriores. MLCEngine proporciona API compatible con OpenAI disponible a través de REST Server, Python, JavaScript, iOS, Android, todos respaldados por el mismo motor y compilador que seguimos mejorando con la comunidad.

Empezar

Visite nuestra documentación para comenzar con MLC LLM.

• Instalación
• Comienzo rápido
• Introducción

Citación

Considere citar nuestro proyecto si lo encuentra útil:

 @software { mlc-llm ,
    author = { {MLC team} } ,
    title = { {MLC-LLM} } ,
    url = { https://github.com/mlc-ai/mlc-llm } ,
    year = { 2023-2024 }
}

Las técnicas subyacentes de MLC LLM incluyen:

Referencias (haga clic para expandir)

 @inproceedings { tensorir ,
    author = { Feng, Siyuan and Hou, Bohan and Jin, Hongyi and Lin, Wuwei and Shao, Junru and Lai, Ruihang and Ye, Zihao and Zheng, Lianmin and Yu, Cody Hao and Yu, Yong and Chen, Tianqi } ,
    title = { TensorIR: An Abstraction for Automatic Tensorized Program Optimization } ,
    year = { 2023 } ,
    isbn = { 9781450399166 } ,
    publisher = { Association for Computing Machinery } ,
    address = { New York, NY, USA } ,
    url = { https://doi.org/10.1145/3575693.3576933 } ,
    doi = { 10.1145/3575693.3576933 } ,
    booktitle = { Proceedings of the 28th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 2 } ,
    pages = { 804–817 } ,
    numpages = { 14 } ,
    keywords = { Tensor Computation, Machine Learning Compiler, Deep Neural Network } ,
    location = { Vancouver, BC, Canada } ,
    series = { ASPLOS 2023 }
}

@inproceedings { metaschedule ,
    author = { Shao, Junru and Zhou, Xiyou and Feng, Siyuan and Hou, Bohan and Lai, Ruihang and Jin, Hongyi and Lin, Wuwei and Masuda, Masahiro and Yu, Cody Hao and Chen, Tianqi } ,
    booktitle = { Advances in Neural Information Processing Systems } ,
    editor = { S. Koyejo and S. Mohamed and A. Agarwal and D. Belgrave and K. Cho and A. Oh } ,
    pages = { 35783--35796 } ,
    publisher = { Curran Associates, Inc. } ,
    title = { Tensor Program Optimization with Probabilistic Programs } ,
    url = { https://proceedings.neurips.cc/paper_files/paper/2022/file/e894eafae43e68b4c8dfdacf742bcbf3-Paper-Conference.pdf } ,
    volume = { 35 } ,
    year = { 2022 }
}

@inproceedings { tvm ,
    author = { Tianqi Chen and Thierry Moreau and Ziheng Jiang and Lianmin Zheng and Eddie Yan and Haichen Shen and Meghan Cowan and Leyuan Wang and Yuwei Hu and Luis Ceze and Carlos Guestrin and Arvind Krishnamurthy } ,
    title = { {TVM}: An Automated {End-to-End} Optimizing Compiler for Deep Learning } ,
    booktitle = { 13th USENIX Symposium on Operating Systems Design and Implementation (OSDI 18) } ,
    year = { 2018 } ,
    isbn = { 978-1-939133-08-3 } ,
    address = { Carlsbad, CA } ,
    pages = { 578--594 } ,
    url = { https://www.usenix.org/conference/osdi18/presentation/chen } ,
    publisher = { USENIX Association } ,
    month = oct,
}