NanoLLM

Nanollm

Inferência local otimizada por LLMs com APIs do tipo Huggingface para quantização, modelos de visão/idioma, agentes multimodais, fala, DB vetorial e RAG.

Observação

Consulte dusty-nv.github.io/NanoLLM para Docs e Jetson AI Lab for Tutoriais.

Liberação mais recente: 24.7 ( dustynv/nano_llm:24.7-r36.2.0 )