FineInfer

Fettinfer

| Papier |

FineInfer ist ein Forschungsprototyp zum Feinabstimmungsmodellen und Serviermodellen.

FineInfer unterstützt die gleichzeitige Parameter-effiziente Feinabstimmung und Inferenz durch folgende Merkmale:

• Aufgeschobene kontinuierliche Charge
• Hybridsystemarchitektur
• Heterogene Charge

Fangen an

Installation und Beispiele

Die aktuelle Version beseitigt einige frühere Funktionen und Funktionen. Wenn Sie sie benötigen, laden Sie bitte frühere Versionen herunter.

Zitat

 @inproceedings{FineInfer,
  author = {He, Yongjun and Lu, Yao and Alonso, Gustavo},
  title = {Deferred Continuous Batching in Resource-Efficient Large Language Model Serving},
  year = {2024},
  booktitle = {Proceedings of the 4th Workshop on Machine Learning and Systems},
  pages = {98–106},
  series = {EuroMLSys '24}
}