FineInfer

精細

|紙|

Fineinfer是用於微調和提供大型語言模型的研究原型。

通過以下功能，FineInfer支持並發參數有效的微調和推斷：

• 延期連續批處理
• 混合系統體系結構
• 異構批處理

開始

安裝和示例

當前版本刪除了一些以前的功能。如果需要，請下載以前的版本。

引用

 @inproceedings{FineInfer,
  author = {He, Yongjun and Lu, Yao and Alonso, Gustavo},
  title = {Deferred Continuous Batching in Resource-Efficient Large Language Model Serving},
  year = {2024},
  booktitle = {Proceedings of the 4th Workshop on Machine Learning and Systems},
  pages = {98–106},
  series = {EuroMLSys '24}
}