pai

Platform terbuka untuk AI (OpenPai)

Setelah rilis V1.8.1, OpenPai telah memasuki mode stabil tanpa rilis fitur utama yang direncanakan. Untuk menghemat upaya pemeliharaan, kami mengubah repo untuk membaca hanya mode. Untuk kolaborasi, silakan hubungi Admin Repo secara langsung.

Dengan rilis V1.0, OpenPai beralih ke arsitektur yang lebih kuat, lebih kuat dan ringan. Openpai juga menjadi semakin modular sehingga platform dapat dengan mudah disesuaikan dan diperluas agar sesuai dengan kebutuhan baru. Openpai juga menyediakan banyak fitur ramah pengguna AI, memudahkan pengguna akhir dan administrator untuk menyelesaikan tugas AI harian.

Daftar isi

• Kapan mempertimbangkan openpai
• Mengapa Memilih Openpai
  • Dukungan di tempat dan mudah digunakan
  • Dukung kerangka kerja AI yang populer dan perangkat keras yang heterogen
  • Solusi paling lengkap dan mudah diperluas
• Mulai
  • Untuk administrator cluster
  • Untuk pengguna cluster
• Komponen mandiri
• Referensi
• Proyek terkait
• Terlibat
• Bagaimana berkontribusi
  • Perjanjian Lisensi Kontributor
  • Panggilan untuk kontribusi
  • Siapa yang harus mempertimbangkan berkontribusi pada openpai
  • Kontributor

Kapan mempertimbangkan openpai

1. Ketika organisasi Anda perlu berbagi sumber daya komputasi AI yang kuat (pertanian GPU/FPGA, dll.) Di antara tim.
2. Ketika organisasi Anda perlu berbagi dan menggunakan kembali aset AI umum seperti model, data, lingkungan, dll.
3. Ketika organisasi Anda membutuhkan platform IT OPS yang mudah untuk AI.
4. Saat Anda ingin menjalankan pipa pelatihan lengkap di satu tempat.

Mengapa Memilih Openpai

Platform ini menggabungkan desain dewasa yang memiliki rekam jejak yang terbukti dalam lingkungan produksi skala besar Microsoft.

Dukungan di tempat dan mudah digunakan

Openpai adalah solusi tumpukan penuh. Openpai tidak hanya mendukung penyebaran di tempat, hibrida, atau cloud publik tetapi juga mendukung penyebaran kotak tunggal untuk pengguna uji coba.

Dukung kerangka kerja AI yang populer dan perangkat keras yang heterogen

Docker yang sudah dibangun untuk kerangka AI populer. Mudah disertakan perangkat keras yang heterogen. Dukungan Pelatihan Terdistribusi, seperti TensorFlow Terdistribusi.

Solusi paling lengkap dan mudah diperluas

OpenPAI adalah solusi paling lengkap untuk pembelajaran mendalam, mendukung kluster virtual, kompatibel dengan sistem eko ​​Kubernetes, pipa pelatihan lengkap pada satu cluster dll. Openpai direkeneksi dengan cara modular: modul yang berbeda dapat dicolokkan sesuai kebutuhan. Berikut adalah arsitektur OpenPai, menyoroti inovasi teknis platform.

Mulai

Openpai mengelola sumber daya komputasi dan dioptimalkan untuk pembelajaran yang mendalam. Melalui teknologi Docker, perangkat keras komputasi dipisahkan dengan perangkat lunak, sehingga mudah untuk menjalankan pekerjaan terdistribusi, beralih dengan kerangka kerja pembelajaran mendalam yang berbeda, atau menjalankan jenis pekerjaan lain di lingkungan yang konsisten.

Karena Openpai adalah platform, biasanya ada dua peran yang berbeda:

• Pengguna cluster adalah konsumen sumber daya komputasi cluster. Menurut skenario penyebaran, pengguna cluster dapat menjadi peneliti pembelajaran mesin dan pembelajaran yang mendalam, ilmuwan data, guru laboratorium, siswa dan sebagainya.
• Administrator cluster adalah pemilik dan pengelola sumber daya komputasi. Administrator bertanggung jawab atas penyebaran dan ketersediaan cluster.

Openpai menyediakan manual ujung ke ujung untuk pengguna dan administrator cluster.

Untuk administrator cluster

Manual Admin adalah panduan komprehensif untuk administrator cluster, ini mencakup (tetapi tidak terbatas pada) konten berikut:

• Instalasi dan Tingkatkan . Instalasi didasarkan pada Kubespray, dan di sini adalah persyaratan sistem. Openpai menyediakan panduan instalasi untuk memfasilitasi pemasangan.

  Jika Anda mempertimbangkan untuk meningkatkan dari versi yang lebih lama ke V1.0.0 terbaru, silakan merujuk ke tabel di bawah ini untuk perbandingan singkat antara v0.14.0 dan v1.0.0 . Lebih detail tentang pertimbangan peningkatan dapat ditemukan panduan peningkatan.

  	v0.14.0	v1.0.0
  Arsitektur	Kubernetes + Hadoop Yarn	Kubernetes
  Penjadwal	Penjadwal Benang	Default HIDED / K8S
  Pekerjaan mengatur	Peluncur Kerangka Benang	Pengontrol Kerangka
  API yang tenang	V1 + V2	V2 murni
  Penyimpanan	Plugin penyimpanan tim-bijaksana	Berbagi Penyimpanan PV/PVC
  Pasar	Marketplace v2	OpenPaiMarketplace
  SDK	Python	JavaScript / naskah

  Jika ada pertanyaan selama penempatan, silakan periksa FAQ instalasi dan pemecahan masalah terlebih dahulu. Jika belum dicakup, lihat di sini untuk mengajukan pertanyaan atau mengirimkan masalah.

• Manajemen Cluster Dasar . Melalui portal web dan paictl alat baris perintah, administrator dapat menyelesaikan manajemen cluster, seperti menambahkan (atau menghapus) node, pemantauan node dan layanan, dan pengaturan penyimpanan dan kontrol izin.

• Manajemen pengguna dan grup . Administrator dapat mengelola pengguna dan grup dengan mudah.

• Peringatan Manajemen . Administrator dapat menyesuaikan aturan dan tindakan peringatan.

• Kustomisasi . Administrator dapat menyesuaikan cluster dengan plugin. Administrator juga dapat meningkatkan (atau penurunan peringkat) satu komponen (misalnya server REST) ​​untuk mengatasi permintaan aplikasi yang disesuaikan.

Untuk pengguna cluster

Panduan Pengguna adalah panduan bagi pengguna cluster, yang dapat melatih dan melayani tugas pembelajaran yang mendalam (dan lainnya) di OpenPai.

• Pengajuan dan Pemantauan Pekerjaan . Tutorial Mulai Cepat adalah awal yang baik untuk mempelajari cara melatih model di Openpai. Dan lebih banyak contoh dan dukungan untuk beberapa kerangka kerja utama (gambar Docker out-of-the-box) ada di sini. Openpai juga menyediakan dukungan untuk debuggabilitas yang baik dan fungsionalitas pekerjaan canggih.

• Manajemen Data . Pengguna dapat menggunakan penyimpanan yang disediakan cluster dan penyimpanan khusus dalam pekerjaan mereka. Storage yang disediakan cluster terintegrasi dengan baik dan mudah dikonfigurasi dalam suatu pekerjaan (lihat di sini).

• Kolaborasi dan berbagi . Openpai menyediakan fasilitas untuk kolaborasi dalam tim dan organisasi. Storage yang disediakan cluster diselenggarakan oleh tim (grup). Dan pengguna dapat dengan mudah berbagi karya mereka (misalnya pekerjaan) di pasar, di mana orang lain dapat menemukan dan mereproduksi (klon) dengan satu klik.

Selain WebPortal, OpenPAI menyediakan alat ekstensi dan perintah Command VS (Pratinjau). Ekstensi kode VS adalah alat klien berbasis GUI yang ramah, dan sangat disarankan. Ini adalah ekstensi kode studio visual. Ini dapat mengirimkan pekerjaan, mensimulasikan pekerjaan secara lokal, mengelola beberapa lingkungan openpai, dan sebagainya.

Komponen mandiri

Dengan rilis v1.0.0 , OpenPAI mulai menggunakan desain komponen yang lebih modularisasi dan mengatur kembali struktur kode untuk 1 repo utama bersama dengan 7 repo komponen kunci mandiri. Pai adalah repo utama, dan 7 repo komponen adalah:

• Hivedscheduler adalah Extender Penjadwal Kubernetes untuk kelompok GPU multi-tenant, yang memberikan berbagai keuntungan dibandingkan penjadwal K8S standar.
• FrameworkController dibangun untuk mengatur semua jenis aplikasi pada Kubernetes oleh satu pengontrol.
• Openpai-Protocol adalah spesifikasi Protokol Pekerjaan OpenPAI.
• OpenPai-Runtime menyediakan dukungan runtime yang diperlukan untuk protokol OpenPAI.
• OpenPAISDK adalah SDK JavaScript yang dirancang untuk memfasilitasi pengembang OpenPAI untuk menawarkan pengalaman yang lebih ramah pengguna.
• OpenPaiMarketplace adalah layanan yang menyimpan contoh dan templat pekerjaan. Pengguna dapat menggunakannya dari plugin WebPortal untuk membagikan pekerjaan mereka atau menjalankan dan belajar pekerjaan berbagi orang lain.
• OpenPaivScode adalah ekstensi vScode, yang membuat pengguna menghubungkan cluster OpenPAI, mengirimkan pekerjaan AI, mensimulasikan pekerjaan secara lokal dan mengelola file dalam vScode dengan mudah.

Referensi

• Contoh Pekerjaan Pytorch Cifar-10 dan Tensorflow CIFAR-10
• API yang tenang
• Dokumen desain dapat ditemukan di sini jika Anda penasaran.

Proyek terkait

Menargetkan pada keterbukaan dan memajukan teknologi canggih, Microsoft Research (MSR) dan Microsoft Software Technology Center Asia (STCA) juga telah merilis beberapa proyek sumber terbuka lainnya.

• NNI: Toolkit Open Source Automl untuk pencarian arsitektur saraf dan penyetelan hiper-parameter. Kami mendorong para peneliti dan siswa memanfaatkan proyek -proyek ini untuk mempercepat pengembangan dan penelitian AI.
• MMDNN: Solusi yang komprehensif dan berturut-turut untuk mengonversi, memvisualisasikan dan mendiagnosis model jaringan saraf dalam. "MM" di MMDNN adalah singkatan dari Model Management dan "DNN" adalah akronim untuk jaringan saraf yang dalam.
• NeuronBlocks: NLP Deep Learning Toolkit yang membantu insinyur untuk membangun model DNN seperti bermain Lego. Tujuan utama dari toolkit ini adalah untuk meminimalkan pengembangan biaya untuk pembangunan model jaringan saraf dalam NLP, termasuk tahap pelatihan dan inferensi.
• SPTAG: Pohon dan grafik partisi ruang (SPTAG) adalah perpustakaan open source untuk vektor skala besar perkiraan skenario pencarian tetangga terdekat.

Terlibat

• Stack Overflow: Jika Anda memiliki pertanyaan tentang OpenPai, silakan kirimkan pertanyaan di Stack Overflow di bawah Tag: Openpai
• Obrolan Gitter: Anda juga dapat mengajukan pertanyaan dalam percakapan Microsoft/Pai.
• Buat masalah atau permintaan fitur: Jika Anda memiliki masalah/ bug/ fitur baru, silakan kirimkan ke GitHub.

Bagaimana berkontribusi

Perjanjian Lisensi Kontributor

Proyek ini menyambut kontribusi dan saran. Sebagian besar kontribusi mengharuskan Anda untuk menyetujui perjanjian lisensi kontributor (CLA) yang menyatakan bahwa Anda memiliki hak untuk, dan benar -benar melakukannya, beri kami hak untuk menggunakan kontribusi Anda. Untuk detailnya, kunjungi https://cla.microsoft.com.

Saat Anda mengirimkan permintaan tarik, CLA-bot akan secara otomatis menentukan apakah Anda perlu memberikan CLA dan menghiasi PR secara tepat (misalnya, label, komentar). Cukup ikuti instruksi yang disediakan oleh bot. Anda hanya perlu melakukan ini sekali di semua repo menggunakan CLA kami.

Proyek ini telah mengadopsi kode perilaku open source Microsoft. Untuk informasi lebih lanjut, lihat FAQ Kode Perilaku atau hubungi [email protected] dengan pertanyaan atau komentar tambahan.

Panggilan untuk kontribusi

Kami sedang mengerjakan serangkaian peningkatan fitur utama dan refactor, siapa pun yang akrab dengan fitur didorong untuk bergabung dengan tinjauan desain dan diskusi dalam tiket masalah yang sesuai.

• Masalah penggunaan keadilan GPU 4266

Siapa yang harus mempertimbangkan berkontribusi pada openpai

• Orang yang ingin menambahkan dukungan untuk kerangka kerja ML dan DL lainnya
• Orang -orang yang ingin menjadikan OpenPai platform AI yang lebih kaya (misalnya dukungan untuk lebih banyak pipa ML, tuning hyperparameter)
• Orang yang ingin menulis tutorial/posting blog yang menunjukkan cara menggunakan openpai untuk menyelesaikan masalah AI

Kontributor

Salah satu tujuan utama OpenPAI adalah untuk mendukung persyaratan yang sangat beragam dari akademisi dan industri. Openpai benar -benar terbuka: di bawah lisensi MIT. Ini membuat OpenPai sangat menarik untuk mengevaluasi berbagai ide penelitian, yang termasuk tetapi tidak terbatas pada komponen.

Openpai beroperasi dalam model terbuka. Awalnya dirancang dan dikembangkan oleh Microsoft Research (MSR) dan tim platform Microsoft Software Technology Center (STCA). Kami senang memiliki Universitas Peking, Universitas Xi'an Jiaotong, Universitas Zhejiang, Universitas Sains dan Teknologi Tiongkok dan Shanghai Inesa AI Innovation Center (Shaiic) bergabung dengan kami untuk mengembangkan platform bersama. Kontribusi dari akademisi dan industri semuanya sangat disambut.