pai
v1.8.0: July 2021 Release
После выпуска V1.8.1 OpenPAI вошел в стабильный режим без существенного выпуска функций. Чтобы сохранить усилия по техническому обслуживанию, мы изменили репо, чтобы прочитать только режим. Для сотрудничества, пожалуйста, свяжитесь с администратором Repo напрямую.
С выпуском V1.0 OpenPAI переключается на более надежную, более мощную и легкую архитектуру. OpenPAI также становится все более и более модульной, так что платформа может быть легко настроена и расширена в соответствии с новыми потребностями. OpenPAI также предоставляет множество удобных для пользователя функций, что облегчает конечным пользователям и администраторам выполнение ежедневных задач AI.
| |
Платформа включает в себя зрелый дизайн, который имеет проверенный послужной список в крупномасштабной производственной среде Microsoft.
OpenPAI - это полное решение. OpenPAI не только поддерживает локальное, гибридное или публичное развертывание облака, но также поддерживает развертывание одного коробки для пользователей испытаний.
Предварительно построенный Docker для популярных фреймворков искусственного интеллекта. Легко включить гетерогенное оборудование. Поддержка распределенного обучения, такого как распределенный тензорфлоу.
OpenPAI является наиболее полным решением для глубокого обучения, поддержки виртуального кластера, совместимого с экосистемой Kubernetes, полный тренировочный трубопровод в одном кластере и т. Д. OpenPAI зачитан модульным образом: различный модуль может быть подключен в зависимости от необходимости. Вот архитектура OpenPAI, подчеркивая технические инновации платформы.
OpenPAI управляет вычислительными ресурсами и оптимизирован для глубокого обучения. Благодаря технологии Docker, вычислительное оборудование отделено программным обеспечением, так что легко запускать распределенные задания, переключаться с различными структурами глубокого обучения или запускать другие виды заданий в последовательных условиях.
Поскольку OpenPAI является платформой, обычно есть две разные роли:
OpenPAI предоставляет сквозные руководства как для пользователей кластера, так и для администраторов.
Руководство администратора является комплексным руководством для администраторов кластера, оно охватывает (но не ограничивается) следующее содержимое:
Установка и обновление . Установка основана на Kubespray, и вот системы. OpenPAI предоставляет руководство по установке для облегчения установки.
Если вы рассматриваете обновление с более старой версии до последней V1.0.0, пожалуйста, обратитесь к таблице ниже для краткого сравнения v0.14.0 и v1.0.0 . Более подробно о соображениях обновления можно найти в руководстве по обновлению.
v0.14.0 | v1.0.0 | |
|---|---|---|
| Архитектура | Kubernetes + hadoop пряжа | Kubernetes |
| Планировщик | Планировщик пряжи | По умолчанию hived / k8s |
| Работа на оркестре | Пряжа фреймворк -пусковая установка | Фреймворк -контроллер |
| RESTFUL API | V1 + V2 | чистый V2 |
| Хранилище | Плагин для хранения команды | ПВ/ПВХ -хранение |
| Рынок | Marketplace V2 | OpenPaimarketPlace |
| SDK | Питон | JavaScript / TypeScript |
Если есть какие -либо вопросы во время развертывания, сначала проверьте часто задаваемые вопросы по установке и устранение неполадок. Если это еще не покрыто, обратитесь к здесь, чтобы задать вопрос или отправить вопрос.
Основное управление кластером . Через веб-порт и инструмент командной строки paictl администраторы могли выполнять управление кластерами, такие как добавление (или удаление) узлов, узлы мониторинга и службы, а также установку в качестве установки и контроль разрешений.
Управление пользователями и группами . Администраторы могут легко управлять пользователями и группами.
Управление оповещениями . Администраторы могут настроить правила и действия оповещений.
Настройка . Администраторы могли бы настроить кластер с помощью плагинов. Администраторы также могут обновлять (или понизить) один компонент (например, серверы отдыха) для удовлетворения индивидуальных требований приложений.
Руководство пользователя является руководством для пользователей кластера, которые могут обучать и выполнять задачи глубокого обучения (и другие) на OpenPAI.
Представление и мониторинг работы . Учебное пособие по быстрому началу - хорошее начало для обучения, как обучать модели на OpenPAI. И больше примеров и поддержки нескольких основных структур (из коробки Docker) находятся здесь. OpenPAI также предоставляет поддержку для хорошей отзыва и расширенной функции работы.
Управление данными . Пользователи могут использовать кластерные, подготовленные в качестве кафедры и пользовательские хранилища в своей работе. Стефорированные кластеры хорошо интегрированы и просты в настройке в задании (см. Здесь).
Сотрудничество и обмен . OpenPAI предоставляет возможности для сотрудничества в командах и организациях. Кластерные, подготовленные, организованы командами (группы). И пользователи могут легко поделиться своими работами (например, работ) на рынке, где другие могут открывать и воспроизводить (клон) одним щелчком.
Помимо веб -портала, OpenPAI предоставляет инструмент расширения и командной строки VS кода (Preview). Расширение кода VS является дружественным клиентским инструментом OpenPAI на основе графического интерфейса, и он настоятельно рекомендуется. Это расширение кода Visual Studio. Он может подать работу, моделировать рабочие места на месте, управлять несколькими средами OpenPAI и т. Д.
С выпуском v1.0.0 OpenPAI начинает использование более модульной конструкции компонентов и реорганизует структуру кода в 1 основное репо вместе с 7 автономными ключевыми компонентами. PAI является основным репо, а 7 -компонентные репо:
Нацеливание на открытость и развитие современных технологий, Microsoft Research (MSR) и Microsoft Software Technology Center Asia (STCA) также выпустили несколько других проектов с открытым исходным кодом.
Этот проект приветствует вклады и предложения. Большинство взносов требуют, чтобы вы согласились с лицензионным соглашением о участнике (CLA), заявив, что вы имеете право и фактически предоставить нам права на использование вашего вклада. Для получения подробной информации посетите https://cla.microsoft.com.
Когда вы отправляете запрос на привлечение, CLA-бот автоматически определит, нужно ли вам предоставить CLA и должным образом украсить PR (например, метка, комментарий). Просто следуйте инструкциям, предоставленным ботом. Вам нужно будет сделать это только один раз во всех репо, используя наш CLA.
Этот проект принял код поведения с открытым исходным кодом Microsoft. Для получения дополнительной информации см. Кодекс поведения FAQ или свяжитесь с [email protected] с любыми дополнительными вопросами или комментариями.
Мы работаем над набором основных функций улучшения и рефакторика, любого, кто знаком с функциями, рекомендуется присоединиться к обзору дизайна и обсуждению в соответствующем билете выпуска.
Одной из ключевых целей OpenPAI является поддержка очень диверсифицированных требований от научных кругов и промышленности. OpenPAI полностью открыт: он находится под лицензией MIT. Это делает OpenPAI особенно привлекательным для оценки различных исследовательских идей, которые включают, но не ограничиваясь компонентами.
OpenPAI работает в открытой модели. Первоначально он разработан и разработан Microsoft Research (MSR) и Microsoft Software Technology Center Asia (STCA). Мы рады, что Пекинский университет, Университет Xi'an Jiaotong, Университет Чжэцзян, Университет науки и технологии Китая и Шанхайский инновационный центр Inesa AI (SHAIIC) присоединились к нам для совместного развития платформы. Взносы от научных кругов и промышленности очень приветствуются.
