llm deploy

LLM-Deploy

本教程主要側重於模型/LLM推理和部署理論與實踐，旨在成為你掌握LLM推理與部署藝術的伙伴，無論你是初涉此領域的新人，還是尋求深化專業技能的資深人士，都能在此找到通往成功部署大型語言模型的關鍵路徑。

立項理由

彌補推理和部署方面的缺乏。為更多對本領域感興趣的同學或行業內外從業人員提供一個不錯的入門資料。

項目受眾

• 算法工程師。
• 對推理部署感興趣的同學。

項目亮點

1. 推理部署相關理論與實踐。
2. 模型和服務優化實戰。
3. 多位有實踐經驗工程師綜合輸出。

參與貢獻

• 如果你想參與到項目中來歡迎查看項目的Issue 查看沒有被分配的任務。
• 如果你發現了一些問題，歡迎在Issue 中進行反饋?。
• 如果你對本項目感興趣想要參與進來可以通過Discussion 進行交流。

如果你對Datawhale 很感興趣並想要發起一個新的項目，歡迎查看Datawhale 貢獻指南。

貢獻者名單

姓名	職責	簡介	影片
長琴、玉立	項目負責人
茂林	第1章負責人	量化	鏈接
宇菲	第2章負責人	蒸餾
玉立	第3章負責人	剪枝	鏈接
望寅	第4章負責人	低秩分解
舒凡	第5章負責人	表示	鏈接
春陽	第6章負責人	運行
楊卓	第7章負責人	框架
薛博陽	第8章負責人	並行	鏈接
張澤西	第9章負責人	並行	鏈接
李太穎	第10章負責人	內存

注：表頭可自定義，但必須在名單中標明項目負責人

關注我們

掃描下方二維碼關注公眾號：Datawhale

LICENSE

本作品採用知識共享署名-非商業性使用-相同方式共享4.0 國際許可協議進行許可。

注：默認使用CC 4.0協議，也可根據自身項目情況選用其他協議