NanoLLM

Nanollm

用类似HuggingFace的API优化了LLM的本地推断，用于量化，视觉/语言模型，多模式代理，语音，矢量DB和RAG。

笔记

请参阅Docs和jetson ai实验室的dusty-nv.github.io/NanoLLM 。

最新版本：24.7（ dustynv/nano_llm:24.7-r36.2.0 ）