Bytedance недавно объявила об открытом исходном источнике своей последней системы рассуждений Aibrix, который отмечает его дальнейший прорыв в области искусственного интеллекта. Система Aibrix предназначена для двигателя вывода VLLM для предоставления предприятиям масштабируемой и экономически эффективной поверхности контроля выводов для удовлетворения растущих потребностей ИИ. Запуск этой системы не только демонстрирует глубокое накопление Bytedance в технологии искусственного интеллекта, но также предоставляет предприятиям более эффективные решения искусственного интеллекта.
Запуск Aibrix знаменует собой новую стадию разработки для инфраструктуры рассуждений искусственного интеллекта. Команда проекта надеется заложить прочную основу для построения масштабируемой инфраструктуры вывода в рамках этого проекта с открытым исходным кодом. Система предоставляет полный набор облачных решений, посвященных оптимизации возможностей развертывания, управления и масштабирования крупных языковых моделей. В частности, он глубоко адаптирует необходимость на уровне предприятия, чтобы гарантировать, что пользователи могут пользоваться более эффективными услугами при их использовании. Это инновация не только повышает эффективность работы моделей искусственного интеллекта, но также предоставляет предприятиям более гибкие сценарии применения искусственного интеллекта.
С точки зрения функциональности, первая версия Aibrix фокусируется на нескольких основных функциях. Первым является управление LORA (низкая ранга), функция, предназначенная для упрощения поддержки адаптации легких моделей, позволяя пользователям легче управлять моделями. Во -вторых, Aibrix предоставляет возможности LLM Gateway и маршрутизацию, которые эффективно управляют и выделяют трафик на несколько моделей и реплики, обеспечивая быстро и точно достигать целевой модели. Кроме того, автоматические расширители для приложений LLM также могут динамически корректировать ресурсы вывода в соответствии с требованиями в реальном времени, повышении гибкости системы и скорости отклика. Комбинация этих функций делает Aibrix иметь значительные преимущества в области рассуждений искусственного интеллекта.
Команда Aibrix от Bytedance заявила, что они планируют продолжать продвигать эволюцию и оптимизацию системы путем расширения распределенного квэша KV, внедрения традиционных принципов управления ресурсами и повышения эффективности вычислений на основе анализа производительности. Эта серия технологических инноваций не только улучшит производительность Aibrix, но также предоставит предприятиям больше возможностей в приложениях искусственного интеллекта. В будущем Aibrix, как ожидается, станет важным инструментом в области рассуждений искусственного интеллекта, способствуя широко распространенному применению и популяризации технологии ИИ.