mlc llm

MLC LLM

محرك نشر LLM العالمي مع تجميع ML

ابدأ | الوثائق | مدونة

عن

MLC LLM هو مترجم في التعلم الآلي ومحرك نشر عالي الأداء لنماذج اللغة الكبيرة. تتمثل مهمة هذا المشروع في تمكين الجميع من تطوير نماذج الذكاء الاصطناعى وتحسينها ونشرها أصليًا على منصات الجميع.

	AMD GPU	NVIDIA GPU	Apple GPU	إنتل GPU
Linux / Win	✅ فولكان ، روكم	✅ فولكان ، كودا	ن/أ	✅ فولكان
ماكوس	✅ المعدن (DGPU)	ن/أ	✅ المعدن	✅ المعدن (IGPU)
متصفح الويب	✅ WebGPU و WASM
iOS / iPados	✅ Metal on Apple A-Series GPU
Android	✅ opencl على Adreno GPU		✅ opencl على GPU Mali

يقوم MLC LLM بتجميع الكود وتشغيله على MLCENGINE-وهو محرك استنتاج LLM عالي الأداء موحد عبر المنصات المذكورة أعلاه. يوفر MLCENGINE واجهة برمجة تطبيقات متوافقة مع OpenAI من خلال REST Server و Python و JavaScript و iOS و Android ، وكلها مدعومة بنفس المحرك والمترجم الذي نستمر في تحسينه مع المجتمع.

ابدأ

يرجى زيارة وثائقنا للبدء في MLC LLM.

• تثبيت
• بداية سريعة
• مقدمة

اقتباس

يرجى التفكير في الاستشهاد بمشروعنا إذا وجدت أنه مفيد:

 @software { mlc-llm ,
    author = { {MLC team} } ,
    title = { {MLC-LLM} } ,
    url = { https://github.com/mlc-ai/mlc-llm } ,
    year = { 2023-2024 }
}

تشمل التقنيات الأساسية لـ MLC LLM:

المراجع (انقر للتوسع)

 @inproceedings { tensorir ,
    author = { Feng, Siyuan and Hou, Bohan and Jin, Hongyi and Lin, Wuwei and Shao, Junru and Lai, Ruihang and Ye, Zihao and Zheng, Lianmin and Yu, Cody Hao and Yu, Yong and Chen, Tianqi } ,
    title = { TensorIR: An Abstraction for Automatic Tensorized Program Optimization } ,
    year = { 2023 } ,
    isbn = { 9781450399166 } ,
    publisher = { Association for Computing Machinery } ,
    address = { New York, NY, USA } ,
    url = { https://doi.org/10.1145/3575693.3576933 } ,
    doi = { 10.1145/3575693.3576933 } ,
    booktitle = { Proceedings of the 28th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 2 } ,
    pages = { 804–817 } ,
    numpages = { 14 } ,
    keywords = { Tensor Computation, Machine Learning Compiler, Deep Neural Network } ,
    location = { Vancouver, BC, Canada } ,
    series = { ASPLOS 2023 }
}

@inproceedings { metaschedule ,
    author = { Shao, Junru and Zhou, Xiyou and Feng, Siyuan and Hou, Bohan and Lai, Ruihang and Jin, Hongyi and Lin, Wuwei and Masuda, Masahiro and Yu, Cody Hao and Chen, Tianqi } ,
    booktitle = { Advances in Neural Information Processing Systems } ,
    editor = { S. Koyejo and S. Mohamed and A. Agarwal and D. Belgrave and K. Cho and A. Oh } ,
    pages = { 35783--35796 } ,
    publisher = { Curran Associates, Inc. } ,
    title = { Tensor Program Optimization with Probabilistic Programs } ,
    url = { https://proceedings.neurips.cc/paper_files/paper/2022/file/e894eafae43e68b4c8dfdacf742bcbf3-Paper-Conference.pdf } ,
    volume = { 35 } ,
    year = { 2022 }
}

@inproceedings { tvm ,
    author = { Tianqi Chen and Thierry Moreau and Ziheng Jiang and Lianmin Zheng and Eddie Yan and Haichen Shen and Meghan Cowan and Leyuan Wang and Yuwei Hu and Luis Ceze and Carlos Guestrin and Arvind Krishnamurthy } ,
    title = { {TVM}: An Automated {End-to-End} Optimizing Compiler for Deep Learning } ,
    booktitle = { 13th USENIX Symposium on Operating Systems Design and Implementation (OSDI 18) } ,
    year = { 2018 } ,
    isbn = { 978-1-939133-08-3 } ,
    address = { Carlsbad, CA } ,
    pages = { 578--594 } ,
    url = { https://www.usenix.org/conference/osdi18/presentation/chen } ,
    publisher = { USENIX Association } ,
    month = oct,
}