NanoLLM

Наноллм

Оптимизированный локальный вывод для LLM с API, похожими на Huggingface для квантования, моделей зрения/языка, мультимодальных агентов, речи, векторного DB и тряпки.

Примечание

См dusty-nv.github.io/NanoLLM для Docs и Jetson AI Lab для учебных пособий.

Последний релиз: 24.7 ( dustynv/nano_llm:24.7-r36.2.0 )