mlc llm

MLC LLM

เอ็นจิ้นการปรับใช้ LLM Universal พร้อมการรวบรวม ML

เริ่มต้น | เอกสาร บล็อก

เกี่ยวกับ

MLC LLM เป็นคอมไพเลอร์การเรียนรู้ของเครื่องและเอ็นจิ้นการปรับใช้ประสิทธิภาพสูงสำหรับรุ่นภาษาขนาดใหญ่ ภารกิจของโครงการนี้คือการช่วยให้ทุกคนพัฒนาเพิ่มประสิทธิภาพและปรับใช้โมเดล AI บนแพลตฟอร์มของทุกคน

	AMD GPU	Nvidia GPU	Apple GPU	Intel GPU
linux / win	✅ Vulkan, Rocm	✅ Vulkan, Cuda	N/A	✅ Vulkan
แม็กอส	✅โลหะ (DGPU)	N/A	✅โลหะ	✅โลหะ (IGPU)
เว็บเบราว์เซอร์	✅ WebGPU และ WASM
iOS / iPados	✅โลหะบน Apple A-Series GPU
Android	✅ Opencl บน Adreno GPU		✅ opencl บน mali gpu

MLC LLM รวบรวมและเรียกใช้รหัสบน MLCENGINE-เอ็นจิ้นการอนุมาน LLM ที่มีประสิทธิภาพสูงแบบครบวงจรข้ามแพลตฟอร์มด้านบน MLCENGINE ให้บริการ API ที่เข้ากันได้กับ OpenAI ผ่านเซิร์ฟเวอร์ REST, Python, JavaScript, iOS, Android ทั้งหมดได้รับการสนับสนุนจากเครื่องยนต์และคอมไพเลอร์เดียวกันกับที่เราปรับปรุงกับชุมชน

เริ่มต้นใช้งาน

กรุณาเยี่ยมชมเอกสารของเราเพื่อเริ่มต้นด้วย MLC LLM

• การติดตั้ง
• เริ่มต้นอย่างรวดเร็ว
• การแนะนำ

การอ้างอิง

โปรดพิจารณาอ้างถึงโครงการของเราหากคุณพบว่ามีประโยชน์:

 @software { mlc-llm ,
    author = { {MLC team} } ,
    title = { {MLC-LLM} } ,
    url = { https://github.com/mlc-ai/mlc-llm } ,
    year = { 2023-2024 }
}

เทคนิคพื้นฐานของ MLC LLM รวมถึง:

ข้อมูลอ้างอิง (คลิกเพื่อขยาย)

 @inproceedings { tensorir ,
    author = { Feng, Siyuan and Hou, Bohan and Jin, Hongyi and Lin, Wuwei and Shao, Junru and Lai, Ruihang and Ye, Zihao and Zheng, Lianmin and Yu, Cody Hao and Yu, Yong and Chen, Tianqi } ,
    title = { TensorIR: An Abstraction for Automatic Tensorized Program Optimization } ,
    year = { 2023 } ,
    isbn = { 9781450399166 } ,
    publisher = { Association for Computing Machinery } ,
    address = { New York, NY, USA } ,
    url = { https://doi.org/10.1145/3575693.3576933 } ,
    doi = { 10.1145/3575693.3576933 } ,
    booktitle = { Proceedings of the 28th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 2 } ,
    pages = { 804–817 } ,
    numpages = { 14 } ,
    keywords = { Tensor Computation, Machine Learning Compiler, Deep Neural Network } ,
    location = { Vancouver, BC, Canada } ,
    series = { ASPLOS 2023 }
}

@inproceedings { metaschedule ,
    author = { Shao, Junru and Zhou, Xiyou and Feng, Siyuan and Hou, Bohan and Lai, Ruihang and Jin, Hongyi and Lin, Wuwei and Masuda, Masahiro and Yu, Cody Hao and Chen, Tianqi } ,
    booktitle = { Advances in Neural Information Processing Systems } ,
    editor = { S. Koyejo and S. Mohamed and A. Agarwal and D. Belgrave and K. Cho and A. Oh } ,
    pages = { 35783--35796 } ,
    publisher = { Curran Associates, Inc. } ,
    title = { Tensor Program Optimization with Probabilistic Programs } ,
    url = { https://proceedings.neurips.cc/paper_files/paper/2022/file/e894eafae43e68b4c8dfdacf742bcbf3-Paper-Conference.pdf } ,
    volume = { 35 } ,
    year = { 2022 }
}

@inproceedings { tvm ,
    author = { Tianqi Chen and Thierry Moreau and Ziheng Jiang and Lianmin Zheng and Eddie Yan and Haichen Shen and Meghan Cowan and Leyuan Wang and Yuwei Hu and Luis Ceze and Carlos Guestrin and Arvind Krishnamurthy } ,
    title = { {TVM}: An Automated {End-to-End} Optimizing Compiler for Deep Learning } ,
    booktitle = { 13th USENIX Symposium on Operating Systems Design and Implementation (OSDI 18) } ,
    year = { 2018 } ,
    isbn = { 978-1-939133-08-3 } ,
    address = { Carlsbad, CA } ,
    pages = { 578--594 } ,
    url = { https://www.usenix.org/conference/osdi18/presentation/chen } ,
    publisher = { USENIX Association } ,
    month = oct,
}