FineInfer

Fingir

| Papel |

FineInfer es un prototipo de investigación para ajustar y servir modelos de idiomas grandes.

FineInfer es compatible con el ajuste e inferencia de fino de los parámetros y los parámetros concurrentes a través de las siguientes características:

• Lotes continuos diferidos
• Arquitectura del sistema híbrido
• Lotes heterogéneos

Empezar

Instalación y ejemplos

La versión actual elimina algunas características y funcionalidades anteriores. Si los necesita, descargue versiones anteriores.

Citación

 @inproceedings{FineInfer,
  author = {He, Yongjun and Lu, Yao and Alonso, Gustavo},
  title = {Deferred Continuous Batching in Resource-Efficient Large Language Model Serving},
  year = {2024},
  booktitle = {Proceedings of the 4th Workshop on Machine Learning and Systems},
  pages = {98–106},
  series = {EuroMLSys '24}
}