NanoLLM

Nanollm

用類似HuggingFace的API優化了LLM的本地推斷，用於量化，視覺/語言模型，多模式代理，語音，矢量DB和RAG。

筆記

請參閱Docs和jetson ai實驗室的dusty-nv.github.io/NanoLLM 。

最新版本：24.7（ dustynv/nano_llm:24.7-r36.2.0 ）