pai
v1.8.0: July 2021 Release
Después del lanzamiento de V1.8.1, OpenPAI ha ingresado al modo estable sin un lanzamiento de características importante planeado. Para ahorrar esfuerzos de mantenimiento, cambiamos el modo Repo para leer solo. Para la colaboración, comuníquese con Repo Admin directamente.
Con el lanzamiento de V1.0, Openpai se está cambiando a una arquitectura más robusta, más potente y liviana. Openpai también se está volviendo cada vez más modular para que la plataforma pueda personalizarse y ampliarse fácilmente para satisfacer nuevas necesidades. Openpai también proporciona muchas características fáciles de usar de IA, lo que facilita a los usuarios finales y administradores completar las tareas diarias de IA.
| |
La plataforma incorpora el diseño maduro que tiene un historial probado en el entorno de producción a gran escala de Microsoft.
Openpai es una solución completa de pila. OpenPAI no solo admite la implementación loca, híbrida o de nube pública, sino que también admite la implementación de una caja única para los usuarios de prueba.
Docker preconstruido para marcos de IA populares. Fácil de incluir hardware heterogéneo. Apoya la capacitación distribuida, como el flujo de tensor distribuido.
OpenPAI es una solución más completa para el aprendizaje profundo, admite el clúster virtual, compatible con el ecosistema de Kubernetes, la tubería de entrenamiento completa en un clúster, etc. Openpai está diseñado de manera modular: se pueden conectar diferentes módulos según corresponda. Aquí está la arquitectura de Openpai, destacando las innovaciones técnicas de la plataforma.
Openpai administra los recursos informáticos y está optimizado para el aprendizaje profundo. A través de la tecnología Docker, el hardware informático se desacopla con software, de modo que es fácil ejecutar trabajos distribuidos, cambiar con diferentes marcos de aprendizaje profundo o ejecutar otros tipos de trabajos en entornos consistentes.
Como Openpai es una plataforma, generalmente hay dos roles diferentes:
Openpai proporciona manuales de extremo a extremo tanto para usuarios de clúster como para administradores.
El manual de administración es una guía completa para los administradores de clúster, cubre (entre otros) el siguiente contenido:
Instalación y actualización . La instalación se basa en Kubespray, y aquí están los requisitos del sistema. Openpai proporciona una guía de instalación para facilitar la instalación.
Si está considerando la actualización de la versión anterior a la última V1.0.0, consulte la tabla a continuación para obtener una breve comparación entre v0.14.0 y v1.0.0 . Se pueden encontrar más detalles sobre las consideraciones de actualización.
v0.14.0 | v1.0.0 | |
|---|---|---|
| Arquitectura | Kubernetes + hilo de Hadoop | Kubernetes |
| Planificador | Planificador de hilados | HIVE / K8S predeterminado |
| Job Orquestación | Lanzador de marco de hilo | Controlador marco |
| API de reposo | V1 + V2 | V2 puro |
| Almacenamiento | Complemento de almacenamiento en equipo | Compartir almacenamiento PV/PVC |
| Mercado | Marketplace V2 | OpenPaimarketplace |
| Sdk | Pitón | JavaScript / TypeScript |
Si hay alguna pregunta durante la implementación, verifique las preguntas frecuentes de instalación y la solución de problemas primero. Si aún no está cubierto, consulte aquí para hacer preguntas o enviar un problema.
Gestión básica del clúster . A través paictl portal web y una herramienta de línea de comandos, los administradores podrían completar las administraciones de clúster, como agregar (o eliminar) nodos, monitorear nodos y servicios, y almacenar la configuración y el control de permisos.
Gestión de usuarios y grupos . Los administradores podrían administrar fácilmente a los usuarios y grupos.
Alertas de gestión . Los administradores podrían personalizar las reglas y acciones de las alertas.
Personalización . Los administradores podrían personalizar el clúster mediante complementos. Los administradores también podrían actualizar (o rebajar) un solo componente (por ejemplo, servidores REST) para abordar las demandas de aplicaciones personalizadas.
El manual del usuario es una guía para los usuarios de clúster, que podrían capacitar y servir al aprendizaje profundo (y otras) tareas en OpenPAI.
Envío de trabajo y monitoreo . El tutorial de inicio rápido es un buen comienzo para aprender a entrenar modelos en Openpai. Y están aquí más ejemplos y soportes para múltiples marcos convencionales (imágenes de Docker listas para usar). Openpai también ofrece apoyos para una buena depugabilidad y funcionalidades avanzadas laborales.
Administración de datos . Los usuarios podrían usar almacenes aprovisionados por clúster y almacenes personalizados en sus trabajos. Los almacenes aprovisionados por clúster están bien integrados y fáciles de configurar en un trabajo (consulte aquí).
Colaboración e intercambio . Openpai proporciona instalaciones para la colaboración en equipos y organizaciones. Los almacenes aprovisionados por el clúster están organizados por equipos (grupos). Y los usuarios podrían compartir fácilmente sus trabajos (por ejemplo, trabajos) en el mercado, donde otros podrían descubrir y reproducir (clon) por un solo clic.
Además del Webportal, OpenPAI proporciona una herramienta de extensión y línea de comandos de código VS (vista previa). La extensión VS Code es una herramienta de cliente amigable y basada en GUI de OpenPAI, y es muy recomendable. Es una extensión del código Visual Studio. Puede enviar trabajo, simular trabajos localmente, administrar múltiples entornos OpenPAI, etc.
Con la versión v1.0.0 , OpenPAI comienza a usar un diseño de componentes más modularizado y reorganiza la estructura del código a 1 repositorio principal junto con 7 reposadores de componentes clave independientes. PAI es el repositorio principal, y los 7 reposos de los 7 componentes son:
Dirigido a la apertura y avance de la tecnología de última generación, Microsoft Research (MSR) y Microsoft Software Technology Center Asia (STCA) también habían publicado algunos otros proyectos de código abierto.
Este proyecto da la bienvenida a las contribuciones y sugerencias. La mayoría de las contribuciones requieren que acepte un Acuerdo de Licencia de Contributor (CLA) que declare que tiene derecho y realmente hacernos los derechos para utilizar su contribución. Para más detalles, visite https://cla.microsoft.com.
Cuando envíe una solicitud de extracción, un bote CLA determinará automáticamente si necesita proporcionar un CLA y decorar el PR de manera apropiada (por ejemplo, etiqueta, comentario). Simplemente siga las instrucciones proporcionadas por el bot. Solo necesitará hacer esto una vez en todos los reposos usando nuestro CLA.
Este proyecto ha adoptado el Código de Conducta Open Open Microsoft. Para obtener más información, consulte el Código de Conducta Preguntas frecuentes o comuníquese con [email protected] con cualquier pregunta o comentario adicional.
Estamos trabajando en un conjunto de mejoras principales de mejora y refactor, cualquier persona que esté familiarizada con las características se alienta a unirse a la revisión y discusión de diseño en el boleto de emisión correspondiente.
Un propósito clave de OpenPAI es apoyar los requisitos altamente diversificados de la academia e industria. Openpai está completamente abierto: está bajo la licencia MIT. Esto hace que OpenPAI sea particularmente atractivo para evaluar varias ideas de investigación, que incluyen, entre otros, los componentes.
Openpai opera en un modelo abierto. Inicialmente está diseñado y desarrollado por Microsoft Research (MSR) y el equipo de plataforma de Microsoft Software Technology Center (STCA). Estamos contentos de tener la Universidad de Pekín, la Universidad Xi'an Jiaotong, la Universidad de Zhejiang, la Universidad de Ciencia y Tecnología de China y el Centro de Innovación Shanghai Inesa AI (Shaiic) se unieron a nosotros para desarrollar la plataforma conjuntamente. Las contribuciones de la academia y la industria son muy bienvenidas.
