optimate

選擇

[遺產]

該存儲庫現在處於傳統階段，不再積極維護。儘管源代碼在GIT歷史記錄中仍有可用，但是沒有其他更新或官方支持。

[關於Nebuly]

我們的團隊完全致力於為LLMS創建最佳的用戶體驗平台，以便公司在與基於LLM的產品進行交互時可以大規模地了解用戶行為。

• 要了解有關如何開始的更多信息，請訪問我們的官方文件
• 如果您需要企業支持，請在此處與我們聯繫

[關於選擇]

我們已經向社區開源了幾個內部項目，但目前尚未維護它們。 Optimate是旨在幫助您優化AI型號的庫的集合。這是一個由Nebuly AI開發的開源項目，但沒有積極維護。

可幫助您優化的工具是：

✅Speedster：通過利用SOTA優化技術來降低推理成本，該技術將您的AI模型與基礎硬件（GPU和CPU）（GPU和CPU）相結合

✅no：通過利用實時動態分配和彈性配額來最大化Kubernetes GPU群集的利用來降低基礎設施成本

✅Chatlama：通過利用微調優化技術和RLHF對齊方式降低硬件和數據成本