NanoLLM

Nanollm

양자화, 비전/언어 모델, 멀티 모달 제제, 음성, 벡터 DB 및 래그를위한 포옹 페이스와 같은 API를 사용하여 LLM에 대한 최적화 된 로컬 추론.

메모

튜토리얼은 DOCS 및 JetSon AI Lab의 dusty-nv.github.io/NanoLLM 참조하십시오.

최신 릴리스 : 24.7 ( dustynv/nano_llm:24.7-r36.2.0 )