Unduh NeuronBlocks - Unduh Kode Sumber NeuronBlocks

NeuronBlocks

ular piton

1.0.0

Unduh

Membangun model NLP DNN Anda seperti bermain Lego

简体中文

Tutorial 中文教程 Video demo

Daftar isi

Ringkasan
Mulailah dalam 60 detik
Siapa yang harus mempertimbangkan menggunakan neuronblocks
Menyumbang
Referensi
Proyek terkait
Lisensi
Kontak

Ringkasan

NeuronBlocks adalah toolkit pemodelan pembelajaran dalam NLP yang membantu para insinyur/peneliti untuk membangun jalur pipa ujung ke ujung untuk pelatihan model jaringan saraf untuk tugas-tugas NLP. Tujuan utama dari toolkit ini adalah untuk meminimalkan pengembangan biaya untuk pembangunan model jaringan saraf dalam NLP, termasuk tahap pelatihan dan inferensi.

NeuronBlocks terdiri dari dua komponen utama: Block Zoo dan Model Zoo .

Di Block Zoo , kami menyediakan komponen jaringan saraf yang umum digunakan sebagai blok bangunan untuk desain arsitektur model.
Di Model Zoo , kami menyediakan serangkaian model NLP untuk tugas NLP umum, dalam bentuk file konfigurasi JSON .

Bahasa didukung

Bahasa inggris
Cina

Tugas NLP didukung

Klasifikasi Kalimat
Analisis sentimen
Pertanyaan menjawab pencocokan
Persyaratan tekstual
Slot Tagging
Pemahaman Membaca Mesin
Distilasi Pengetahuan untuk Kompresi Model
Lebih banyak yang sedang berlangsung

Penggunaan toolkit

Pengguna dapat memilih model yang ada (file konfigurasi) di Model Zoo untuk memulai pelatihan model atau membuat model baru dengan memanfaatkan blok jaringan saraf di Blok Zoo seperti bermain dengan LEGO.

Mulailah dalam 60 detik

Instalasi

Catatan: NeuronBlocks membutuhkan Python 3.6 dan di atas.

Klon proyek ini.

git clone https://github.com/Microsoft/NeuronBlocks

Instal Paket Python di Persyaratan.txt dengan perintah berikut.
```
pip install -r requirements.txt
```
Pasang pytorch ( neuronblocks mendukung pytorch 0.4.1 dan di atas ).
Untuk Linux , jalankan perintah berikut:
```
pip install " torch>=0.4.1 "
```
Untuk Windows , kami sarankan Anda menginstal Pytorch melalui Conda dengan mengikuti instruksi Pytorch.

Awal yang cepat

Mulailah dengan mencoba contoh yang diberikan. Baik Linux/Windows, GPU/CPU didukung. Untuk Windows , kami menyarankan Anda untuk menggunakan PowerShell, bukan CMD.

Kiat: Dalam instruksi berikut, Projectroot menunjukkan direktori root proyek ini.

 # train
cd PROJECT_ROOT
python train.py --conf_path=model_zoo/demo/conf.json

# test
python test.py --conf_path=model_zoo/demo/conf.json

# predict
python predict.py --conf_path=model_zoo/demo/conf.json

Untuk prediksi, neuronblocks memiliki dua mode: interaktif dan batch .

Mode Prediksi Interaktif: Mode interaktif menyediakan antarmuka interaktif, pengguna dapat memasukkan case sesuai dengan pesan cepat yang sesuai dan mendapatkan hasil prediksi realtime dari model terlatih, dan input "keluar" untuk keluar dari antarmuka interaktif.

 # use the above example
# interactive prediction
python predict.py --conf_path=model_zoo/demo/conf.json --predict_mode= ' interactive '

Mode Prediksi Batch: Untuk prediksi kasus batched, neuronBlocks menyediakan mode prediksi batch yang menerima file kasus sebagai input dan menulis hasil prediksi dalam file prediksi.

 # use the above example
# batch prediction
python predict.py --conf_path=model_zoo/demo/conf.json --predict_mode= ' batch ' --predict_data_path=dataset/demo/predict.tsv

Untuk detail lebih lanjut, silakan merujuk ke tutorial.md dan dokumentasi kode.

Siapa yang harus mempertimbangkan menggunakan neuronblocks

Insinyur atau peneliti yang menghadapi tantangan berikut saat menggunakan model jaringan saraf untuk mengatasi masalah NLP:

Banyak kerangka kerja untuk dipilih dan biaya mempelajari kerangka kerja tinggi.
Biaya pengkodean yang berat. Banyak detail menyulitkan debug.
Evolusi Arsitektur Model Cepat. Sulit bagi para insinyur untuk memahami prinsip -prinsip matematika di belakang mereka.
Optimalisasi kode model membutuhkan keahlian yang mendalam.
Persyaratan kompatibilitas platform model. Dibutuhkan pekerjaan pengkodean tambahan untuk model untuk dijalankan pada platform yang berbeda, seperti Linux/Windows, GPU/CPU.

Keuntungan memanfaatkan neuronblocks untuk pelatihan model jaringan saraf NLP meliputi:

Model Building : Untuk pembangunan model dan penyetelan parameter, pengguna hanya perlu menulis file konfigurasi JSON sederhana, yang sangat meminimalkan upaya menerapkan ide -ide baru.
Model Berbagi Sangat mudah untuk berbagi model hanya melalui file JSON, bukan kode jahat. Untuk model atau tugas yang berbeda, pengguna kami hanya perlu mempertahankan satu basis kode sumber terpusat tunggal.
Kembali Kode Ulang : Blok umum dapat dengan mudah dibagikan di berbagai model atau tugas, mengurangi pekerjaan pengkodean duplikat.
Fleksibilitas Platform : NeuronBlocks dapat berjalan pada mesin Linux dan Windows, menggunakan CPU dan GPU. Ini juga mendukung pelatihan tentang platform GPU seperti Philly dan Pai.
Inferensi CPU Inferensi GPU tunggal Inferensi Multi-GPU
Kereta CPU ✓ ✓ ✓
Kereta GPU tunggal ✓ ✓ ✓
Kereta Multi-GPU ✓ ✓ ✓
Visualisasi model : Visualisator model disediakan untuk visualisasi dan mengkonfigurasi pemeriksaan kebenaran, yang membantu pengguna untuk memvisualisasikan arsitektur model dengan mudah selama debugging.
Extensibility : NeuronBlocks dapat diperluas, memungkinkan pengguna untuk menyumbangkan blok baru atau berkontribusi model baru (file JSON).

Menyumbang

NeuronBlocks beroperasi dalam model terbuka. Ini dirancang dan dikembangkan oleh grup STCA NLP, Microsoft . Kontribusi dari akademisi dan industri juga sangat disambut. Untuk detail lebih lanjut, silakan merujuk ke Contributing.md.

Pekerjaan yang berkelanjutan dan panggilan untuk kontribusi

Siapa pun yang akrab dengan sangat dianjurkan untuk menyumbangkan kode.

Distilasi Pengetahuan untuk Kompresi Model. Distilasi Pengetahuan untuk Model Berat seperti Bert, Openai Transformer. Distilasi pengetahuan berbasis guru-siswa adalah salah satu metode umum untuk kompresi model.
Dukungan multi-bahasa
Dukungan Model NER
Dukungan pelatihan multi-tugas

Referensi

NeuronBlocks - Membangun model NLP DNN Anda seperti bermain Lego. EMNLP 2019 , di https://arxiv.org/abs/1904.09535.

 @article{gong2019neuronblocks,
  title={NeuronBlocks--Building Your NLP DNN Models Like Playing Lego},
  author={Gong, Ming and Shou, Linjun and Lin, Wutao and Sang, Zhijie and Yan, Quanjia and Yang, Ze, Cheng, Feixiang and Jiang, Daxin},
  journal={arXiv preprint arXiv:1904.09535},
  year={2019}
}

Proyek terkait

Openpai adalah platform open source yang menyediakan pelatihan model AI lengkap dan kemampuan manajemen sumber daya, mudah untuk memperluas dan mendukung lingkungan di lokasi, cloud dan hibrida dalam berbagai skala.
Sampel untuk AI: Koleksi Pembelajaran Deep Learning dan Proyek. Ini berisi banyak algoritma dan aplikasi pembelajaran mendalam klasik dengan kerangka kerja yang berbeda, yang merupakan entri yang baik bagi para pemula untuk memulai dengan pembelajaran yang mendalam.