Официальный веб-сайт www.binance.com/zh-cn :введите официальный веб-сайт ☜☜
Приложение: ☞☞official App Download☜☜
Pruna AI - это стартап из Европы, посвященный разработке алгоритмов сжатия для моделей искусственного интеллекта. Недавно компания объявила, что открыла бы свою структуру оптимизации, чтобы помочь разработчикам сжаться и моделей искусственного интеллекта более эффективно.
Структура, разработанная Pruna AI, сочетает в себе различные подходы к эффективности, включая кэширование, обрезку, квантование и дистилляцию, для повышения производительности моделей ИИ. Эта структура не только стандартизирует хранение и загрузку моделей сжатия, но также оценивает сжатую модель, чтобы определить, значительно ли ее качество упало при измерении улучшений производительности, вызванных сжатием.
«Наша структура аналогична стандартизации Transging Face Transformers и Diffusers, и мы предоставляем единый способ вызвать и использовать различные методы эффективности»,-сказал Джон Ракван, соучредитель и директор по технологиям Pruna AI. Крупные компании, такие как Openai, применяли несколько методов сжатия в своих моделях, такие как использование дистилляции для создания более быстрых версий своих флагманских моделей.
Дистилляция-это технология, которая извлекает знания через модель «учителя-ученика», где разработчики отправляют запросы в модель учителя и записывают результаты. Эти результаты затем используются для обучения модели студента к приблизительному поведению модели учителя. Lahwan отмечает, что, хотя многие крупные компании склонны создавать сами инструменты сжатия, в сообществе с открытым исходным кодом, решения, основанные на одном методе, часто встречаются только, а Pruna AI предоставляет инструмент, который интегрирует несколько методов, значительно упрощая процесс использования.
В настоящее время структура Pruna AI поддерживает различные модели, в том числе крупные языковые модели, диффузионные модели, модели распознавания речи и модели компьютерного зрения. Но в настоящее время компания сосредоточена на оптимизации моделей изображений и генерации видео. Такие компании, как сценарий и фоторум, уже использовали услуги Pruna AI.
В дополнение к версии с открытым исходным кодом, Pruna AI также запустила корпоративную версию, которая включает в себя расширенные функции оптимизации и агент оптимизации. «Самая захватывающая функция, которую мы собираемся выпустить, - это агент сжатия, где пользователям необходимо только предоставить модель и установить требования к скорости и точности, а агент автоматически найдет наилучшую комбинацию сжатия».
Pruna AI взимает почасовую плату, аналогично тому, как пользователи арендуют графические процессоры в облачных сервисах. Используя оптимизированные модели, предприятия могут сэкономить много денег при рассуждении. Например, Pruna AI успешно уменьшил размер модели ламы на восемь раз, с небольшой потерей точности. Компания надеется, что клиенты смогут рассматривать свою структуру сжатия как инвестиции, которая в конечном итоге получает доходность.
Недавно Pruna AI завершила семенное финансирование в размере 6,5 млн. Долл. США, в том числе инвесторы, включая EQT Ventures, Daphni, Motier Ventures и Kima Ventures.
Проект: https://github.com/prunaai/pruna
Ключевые моменты:
Pruna AI запускает структуру оптимизации с открытым исходным кодом, которая объединяет несколько методов сжатия для повышения производительности моделей искусственного интеллекта.
Крупные компании часто используют дистилляцию и другие технологии, а Pruna AI предоставляет инструменты, которые интегрируют несколько методов для упрощения процесса использования.
Enterprise Edition поддерживает расширенные функции, чтобы помочь пользователям достичь сжатия модели и улучшения производительности при сохранении точности.