llm deploy

LLM-Deploy

本教程主要侧重于模型/LLM推理和部署理论与实践，旨在成为你掌握LLM推理与部署艺术的伙伴，无论你是初涉此领域的新人，还是寻求深化专业技能的资深人士，都能在此找到通往成功部署大型语言模型的关键路径。

立项理由

弥补推理和部署方面的缺乏。为更多对本领域感兴趣的同学或行业内外从业人员提供一个不错的入门资料。

项目受众

• 算法工程师。
• 对推理部署感兴趣的同学。

项目亮点

1. 推理部署相关理论与实践。
2. 模型和服务优化实战。
3. 多位有实践经验工程师综合输出。

参与贡献

• 如果你想参与到项目中来欢迎查看项目的 Issue 查看没有被分配的任务。
• 如果你发现了一些问题，欢迎在 Issue 中进行反馈?。
• 如果你对本项目感兴趣想要参与进来可以通过 Discussion 进行交流。

如果你对 Datawhale 很感兴趣并想要发起一个新的项目，欢迎查看 Datawhale 贡献指南。

贡献者名单

姓名	职责	简介	视频
长琴、玉立	项目负责人
茂林	第1章负责人	量化	链接
宇菲	第2章负责人	蒸馏
玉立	第3章负责人	剪枝	链接
望寅	第4章负责人	低秩分解
舒凡	第5章负责人	表示	链接
春阳	第6章负责人	运行
杨卓	第7章负责人	框架
薛博阳	第8章负责人	并行	链接
张泽西	第9章负责人	并发	链接
李太颖	第10章负责人	内存

注：表头可自定义，但必须在名单中标明项目负责人

关注我们

扫描下方二维码关注公众号：Datawhale

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

注：默认使用CC 4.0协议，也可根据自身项目情况选用其他协议