pai
v1.8.0: July 2021 Release
V1.8.1이 출시 된 후 OpenPai는 주요 기능 릴리스가 계획되지 않은 상태에서 안정적인 모드에 들어갔다. 유지 보수 노력을 저장하기 위해 레포지어를 읽기 전용 모드로 변경했습니다. 협업은 Repo Admin에 직접 문의하십시오.
V1.0이 출시되면서 OpenPai는보다 강력하고 강력하고 가벼운 아키텍처로 전환하고 있습니다. OpenPai는 또한 점점 더 모듈화되어 플랫폼을 새로운 요구에 맞게 쉽게 사용자 정의하고 확장 할 수 있습니다. OpenPai는 또한 많은 AI 사용자 친화적 인 기능을 제공하므로 최종 사용자 및 관리자가 매일 AI 작업을보다 쉽게 완료 할 수 있습니다.
| |
이 플랫폼은 Microsoft의 대규모 생산 환경에서 입증 된 실적을 보유한 성숙한 디자인을 통합합니다.
OpenPai는 풀 스택 솔루션입니다. OpenPAI는 온-프레미스, 하이브리드 또는 퍼블릭 클라우드 배포를 지원할뿐만 아니라 시험 사용자를위한 단일 박스 배포도 지원합니다.
인기있는 AI 프레임 워크를 위해 사전 구축 된 Docker. 이기종 하드웨어를 쉽게 포함시키기 쉽습니다. 분산 텐서 플로와 같은 분산 교육 지원.
OpenPai는 딥 러닝을위한 가장 완벽한 솔루션, Kubernetes Eco-System과 호환되는 가상 클러스터, 하나의 클러스터에서 완전한 교육 파이프 라인 등을 지원합니다. OpenPai는 모듈 식 방식으로 구조적으로 구성됩니다. 다른 모듈을 적절하게 연결할 수 있습니다. 다음은 플랫폼의 기술 혁신을 강조하는 OpenPai의 아키텍처입니다.
OpenPai는 컴퓨팅 리소스를 관리하며 딥 러닝에 최적화되어 있습니다. Docker Technology를 통해 컴퓨팅 하드웨어는 소프트웨어와 분리되어 분산 작업을 쉽게 실행하거나 다양한 딥 러닝 프레임 워크로 전환하거나 일관된 환경에서 다른 종류의 작업을 실행할 수 있습니다.
OpenPai는 플랫폼이므로 일반적으로 두 가지 역할이 있습니다.
OpenPai는 클러스터 사용자와 관리자 모두에게 엔드 투 엔드 매뉴얼을 제공합니다.
관리 매뉴얼은 클러스터 관리자를위한 포괄적 인 안내서이며 다음 내용을 다룹니다.
설치 및 업그레이드 . 설치는 Kubespray를 기반으로하며 시스템 요구 사항은 다음과 같습니다. OpenPai는 설치를 용이하게하기위한 설치 안내서를 제공합니다.
이전 버전에서 최신 V1.0.0으로의 업그레이드를 고려중인 경우 v0.14.0 과 v1.0.0 간략하게 비교하려면 아래 표를 참조하십시오. 업그레이드 고려 사항에 대한 자세한 내용은 업그레이드 가이드를 찾을 수 있습니다.
v0.14.0 | v1.0.0 | |
|---|---|---|
| 건축학 | Kubernetes + Hadoop 원사 | Kubernetes |
| 스케줄러 | 원사 스케줄러 | Hived / K8S 기본값 |
| 구직 조합 | 원사 프레임 워크 런처 | 프레임 워크 컨트롤러 |
| 편안한 API | v1 + v2 | 순수한 v2 |
| 저장 | 팀 별 스토리지 플러그인 | PV/PVC 스토리지 공유 |
| 시장 | 마켓 플레이스 v2 | OpenPaimarketplace |
| SDK | 파이썬 | JavaScript / TypeScript |
배포 중에 질문이 있으시면 먼저 설치 FAQ 및 문제 해결을 확인하십시오. 아직 다루지 않은 경우 여기를 참조하여 질문을하거나 문제를 제출하십시오.
기본 클러스터 관리 . Web-Portal 및 명령 줄 도구 paictl 통해 관리자는 노드 추가 (또는 제거), 노드 및 서비스 모니터링 및 스토리지 설정 및 권한 제어와 같은 클러스터 관리를 완료 할 수 있습니다.
사용자 및 그룹 관리 . 관리자는 사용자와 그룹을 쉽게 관리 할 수 있습니다.
경고 관리 . 관리자는 경고 규칙 및 작업을 사용자 정의 할 수 있습니다.
사용자 정의 . 관리자는 플러그인으로 클러스터를 사용자 정의 할 수 있습니다. 관리자는 또한 단일 구성 요소 (예 : REST 서버)를 업그레이드 (또는 다운 그레이드)하여 맞춤형 응용 프로그램 요구를 해결할 수도 있습니다.
사용자 설명서는 OpenPAI에서 딥 러닝 (및 기타) 작업을 교육하고 서비스 할 수있는 클러스터 사용자를위한 지침입니다.
작업 제출 및 모니터링 . 빠른 시작 튜토리얼은 OpenPAI에서 모델을 훈련시키는 방법을 배우기위한 좋은 시작입니다. 그리고 여러 주류 프레임 워크 (Box of-the-Box Docker 이미지)에 대한 더 많은 예와 지원이 여기에 있습니다. OpenPai는 또한 우수한 디버그 가능성과 고급 직무 기능에 대한 지원을 제공합니다.
데이터 관리 . 사용자는 클러스터 프로비저닝 스토리지 및 사용자 정의 저장을 사용할 수 있습니다. 클러스터 프로비저닝 된 저장소는 잘 통합되어 있으며 작업에서 쉽게 구성 할 수 있습니다 (여기 참조).
협업 및 공유 . OpenPai는 팀 및 조직에서 협력 할 수있는 시설을 제공합니다. 클러스터 프로비저닝 스토리지는 팀 (그룹)에 의해 구성됩니다. 또한 사용자는 시장에서 자신의 작품 (예 : 직업)을 쉽게 공유 할 수 있으며, 다른 사람들은 한 번의 클릭으로 다른 사람들이 발견하고 복제 할 수 있습니다.
WebPortal 외에도 OpenPai는 VS 코드 확장 및 명령 줄 도구 (미리보기)를 제공합니다. VS Code Extension은 OpenPAI의 친절한 GUI 기반 클라이언트 도구이며 적극 권장됩니다. Visual Studio 코드의 확장입니다. 작업을 제출하고, 로컬로 작업을 시뮬레이션하고, 여러 개의 OpenPAI 환경을 관리하는 등을 만들 수 있습니다.
v1.0.0 릴리스를 통해 OpenPai는보다 모듈화 된 구성 요소 설계를 사용하기 시작하고 7 개의 독립형 키 구성 요소 리포지토와 함께 코드 구조를 1 개의 기본 repo로 재구성하기 시작합니다. PAI는 메인 레포이며 7 개의 구성 요소 저장소는 다음과 같습니다.
개방성을 목표로하고 최첨단 기술을 발전시키는 Microsoft Research (MSR) 및 Microsoft Software Technology Center Asia (STCA)도 다른 오픈 소스 프로젝트를 몇 개 발표했습니다.
이 프로젝트는 기여와 제안을 환영합니다. 대부분의 기부금은 귀하가 귀하가 귀하의 기부금을 사용할 권리를 부여 할 권리가 있다고 선언하는 기고자 라이센스 계약 (CLA)에 동의해야합니다. 자세한 내용은 https://cla.microsoft.com을 방문하십시오.
풀 요청을 제출할 때 CLA-BOT은 CLA를 제공하고 PR을 적절하게 장식 해야하는지 자동으로 결정합니다 (예 : 레이블, 댓글). 봇이 제공 한 지침을 따르십시오. CLA를 사용하여 모든 저장소에서 한 번만이 작업을 수행하면됩니다.
이 프로젝트는 Microsoft 오픈 소스 행동 강령을 채택했습니다. 자세한 내용은 추가 질문이나 의견이 있으면 행동 강령 FAQ 또는 [email protected]에 문의하십시오.
우리는 주요 기능 개선 및 리팩터 세트를 작업하고 있습니다.이 기능에 익숙한 사람은 해당 이슈 티켓에서 디자인 검토 및 토론에 참여하도록 권장됩니다.
OpenPai의 주요 목적 중 하나는 학계 및 산업의 다양한 요구 사항을 지원하는 것입니다. OpenPai는 완전히 열려 있습니다 : MIT 라이센스에 따라 있습니다. 이것은 OpenPAI가 구성 요소를 포함하지만 이에 국한되지 않는 다양한 연구 아이디어를 평가하는 데 특히 매력적입니다.
OpenPai는 Open 모델에서 작동합니다. 처음에는 Microsoft Research (MSR) 및 Microsoft Software Technology Center Asia (STCA) 플랫폼 팀이 설계하고 개발했습니다. 우리는 Peking University, Xi'an Jiaotong University, Zhejiang University, Science and University of China 및 Shanghai Inesa AI Innovation Center (Shaiic)가 함께 플랫폼을 공동으로 개발하도록 기쁘게 생각합니다. 학계와 산업의 기여는 모두 매우 환영합니다.
