optimate

Оптимат

[Наследие]

Этот репозиторий сейчас находится в устаревшем этапе и больше не поддерживается. Хотя исходный код все еще доступен в истории GIT, не будет никаких дополнительных обновлений или официальной поддержки.

[О тумаре]

Наша команда полностью привержена созданию лучшей платформы пользователя для LLMS, чтобы компании могли понимать поведение пользователей в масштабе при взаимодействии со своими продуктами на основе LLM.

• Чтобы узнать больше о том, как начать, посетите нашу официальную документацию
• Если вам нужна поддержка предприятия, пожалуйста, свяжитесь с нами здесь

[Об оптимате]

Мы открыли пару внутренних проектов для сообщества, но в настоящее время мы не поддерживаем их. Optimate - это коллекция библиотек, предназначенных для того, чтобы помочь вам оптимизировать ваши модели искусственного интеллекта. Это проект с открытым исходным кодом, разработанный Hemuly AI, но не поддерживается активно .

Инструменты, доступные для вас в оптимизации:

✅ Speedster: Уменьшите затраты на вывод, используя методы оптимизации SOTA, которые лучше всего соединяют ваши модели искусственного интеллекта с базовым аппаратным обеспечением (графические процессоры и процессоры)

✅ NOS: снижение затрат на инфраструктуру за счет использования динамического распределения в режиме реального времени и упругих квот, чтобы максимизировать использование вашего кластера GPU Kubernetes

✅ Chatllama: снизить затраты на оборудование и данные, используя методы оптимизации тонкой настройки и выравнивание RLHF