FineInfer

fininfer

|論文|

Fininferは、大規模な言語モデルを微調整および提供するための研究プロトタイプです。

Fininferは、次の機能を通じて、パラメーター効率の高い微調整と推論をサポートしています。

• 延期された連続バッチ
• ハイブリッドシステムアーキテクチャ
• 不均一なバッチ

始めましょう

インストールと例

現在のバージョンは、以前の機能と機能を削除します。必要な場合は、以前のバージョンをダウンロードしてください。

引用

 @inproceedings{FineInfer,
  author = {He, Yongjun and Lu, Yao and Alonso, Gustavo},
  title = {Deferred Continuous Batching in Resource-Efficient Large Language Model Serving},
  year = {2024},
  booktitle = {Proceedings of the 4th Workshop on Machine Learning and Systems},
  pages = {98–106},
  series = {EuroMLSys '24}
}