FineInfer

FineInfer

| Бумага |

FineInfer-это исследовательский прототип для точной настройки и обслуживания больших языковых моделей.

FineInfer поддерживает одновременную параметр-эффективную тонкую настройку и вывод посредством следующих функций:

• Отложенное непрерывное партия
• Архитектура гибридной системы
• Гетерогенное партия

Начните

Установка и примеры

Текущая версия удаляет некоторые предыдущие функции и функции. Если они вам нужны, пожалуйста, загрузите предыдущие версии.

Цитирование

 @inproceedings{FineInfer,
  author = {He, Yongjun and Lu, Yao and Alonso, Gustavo},
  title = {Deferred Continuous Batching in Resource-Efficient Large Language Model Serving},
  year = {2024},
  booktitle = {Proceedings of the 4th Workshop on Machine Learning and Systems},
  pages = {98–106},
  series = {EuroMLSys '24}
}