NanoLLM

nanollm

量子化、ビジョン/言語モデル、マルチモーダルエージェント、音声、ベクターDB、およびRAGのためのハギングフェイスのようなAPIを使用したLLMの最適化された局所推論。

注記

dusty-nv.github.io/NanoLLMについては、ドキュメントについては、チュートリアルについてはJetson AIラボを参照してください。

最新リリース：24.7（ dustynv/nano_llm:24.7-r36.2.0 ）