NanoLLM

Nanollm

Inférence locale optimisée pour les LLM avec des API de type étreint pour la quantification, les modèles de vision / langage, les agents multimodaux, la parole, la base de données vectorielle et le chiffon.

Note

Voir dusty-nv.github.io/NanoLLM pour les documents et Jetson AI Lab pour les tutoriels.

Dernière version: 24.7 ( dustynv/nano_llm:24.7-r36.2.0 )