FineInfer

FineInfer

| 종이 |

FineInfer는 대형 언어 모델을 미세 조정하고 제공하기위한 연구 프로토 타입입니다.

FineInfer는 다음 기능을 통해 동시 매개 변수 효율적인 미세 조정 및 추론을 지원합니다.

• 연기 연속 배치
• 하이브리드 시스템 아키텍처
• 이기종 배치

시작하세요

설치 및 예제

현재 버전은 이전 기능과 기능을 제거합니다. 필요한 경우 이전 버전을 다운로드하십시오.

소환

 @inproceedings{FineInfer,
  author = {He, Yongjun and Lu, Yao and Alonso, Gustavo},
  title = {Deferred Continuous Batching in Resource-Efficient Large Language Model Serving},
  year = {2024},
  booktitle = {Proceedings of the 4th Workshop on Machine Learning and Systems},
  pages = {98–106},
  series = {EuroMLSys '24}
}