optimate

选择

[遗产]

该存储库现在处于传统阶段，不再积极维护。尽管源代码在GIT历史记录中仍有可用，但是没有其他更新或官方支持。

[关于Nebuly]

我们的团队完全致力于为LLMS创建最佳的用户体验平台，以便公司在与基于LLM的产品进行交互时可以大规模地了解用户行为。

• 要了解有关如何开始的更多信息，请访问我们的官方文件
• 如果您需要企业支持，请在此处与我们联系

[关于选择]

我们已经向社区开源了几个内部项目，但目前尚未维护它们。 Optimate是旨在帮助您优化AI型号的库的集合。这是一个由Nebuly AI开发的开源项目，但没有积极维护。

可帮助您优化的工具是：

✅Speedster：通过利用SOTA优化技术来降低推理成本，该技术将您的AI模型与基础硬件（GPU和CPU）（GPU和CPU）相结合

✅no：通过利用实时动态分配和弹性配额来最大化Kubernetes GPU群集的利用来降低基础设施成本

✅Chatlama：通过利用微调优化技术和RLHF对齐方式降低硬件和数据成本