NanoLLM

Nanollm

Inferensi lokal yang dioptimalkan untuk LLM dengan API seperti pelukan untuk kuantisasi, model visi/bahasa, agen multimodal, ucapan, vektor DB, dan RAG.

Catatan

Lihat dusty-nv.github.io/NanoLLM for Docs dan Jetson AI Lab untuk tutorial.

Rilis Terbaru: 24.7 ( dustynv/nano_llm:24.7-r36.2.0 )