FineInfer

FineInfer

| Kertas |

FineInfer adalah prototipe penelitian untuk menyempurnakan dan melayani model bahasa besar.

FineInfer mendukung fine-tuning dan inferensi parameter-efisien bersamaan melalui fitur-fitur berikut:

• Batching kontinu yang ditangguhkan
• Arsitektur Sistem Hibrida
• Batching heterogen

Mulai

Instalasi dan contoh

Versi saat ini menghapus beberapa fitur dan fungsi sebelumnya. Jika Anda membutuhkannya, silakan unduh versi sebelumnya.

Kutipan

 @inproceedings{FineInfer,
  author = {He, Yongjun and Lu, Yao and Alonso, Gustavo},
  title = {Deferred Continuous Batching in Resource-Efficient Large Language Model Serving},
  year = {2024},
  booktitle = {Proceedings of the 4th Workshop on Machine Learning and Systems},
  pages = {98–106},
  series = {EuroMLSys '24}
}