FineInfer

Fineinfer

| Papel |

O FineInfer é um protótipo de pesquisa para ajustar e servir grandes modelos de idiomas.

O FineInfer suporta o ajuste fino e a inferência com eficiência de parâmetro simultâneos através dos seguintes recursos:

• Lotes contínuos diferidos
• Arquitetura do sistema híbrido
• Lote heterogêneo

Comece

Instalação e exemplos

A versão atual remove alguns recursos e funcionalidades anteriores. Se você precisar deles, faça o download das versões anteriores.

Citação

 @inproceedings{FineInfer,
  author = {He, Yongjun and Lu, Yao and Alonso, Gustavo},
  title = {Deferred Continuous Batching in Resource-Efficient Large Language Model Serving},
  year = {2024},
  booktitle = {Proceedings of the 4th Workshop on Machine Learning and Systems},
  pages = {98–106},
  series = {EuroMLSys '24}
}