NanoLLM

Nanollm

Optimierte lokale Inferenz für LLMs mit huggingface-ähnlichen APIs für Quantisierung, Seh-/Sprachmodelle, multimodale Wirkstoffe, Sprache, Vektor-DB und Lappen.

Notiz

Siehe dusty-nv.github.io/NanoLLM für Docs und Jetson AI Lab für Tutorials.

Letzte Veröffentlichung: 24.7 ( dustynv/nano_llm:24.7-r36.2.0 )