NanoLLM

Nanollm

Inferencia local optimizada para LLM con API similares a la cara de abrazos para cuantización, modelos de visión/lenguaje, agentes multimodales, habla, Vector DB y RAG.

Nota

Ver dusty-nv.github.io/NanoLLM para Docs y Jetson AI Lab para tutoriales.

Último lanzamiento: 24.7 ( dustynv/nano_llm:24.7-r36.2.0 )