nlp architect

️ Penghentian proyek - Proyek ini tidak akan lagi dipertahankan oleh Intel. Proyek ini telah diidentifikasi memiliki pelarian keamanan yang diketahui. Intel telah menghentikan pengembangan dan kontribusi termasuk, tetapi tidak terbatas pada, pemeliharaan, perbaikan bug, rilis baru, atau pembaruan, untuk proyek ini. Intel tidak lagi menerima tambalan untuk proyek ini.

Perpustakaan Pembelajaran NLP/NLU yang mendalam oleh Intel® AI Lab

Ikhtisar | Model | Instalasi | Contoh | Dokumentasi | Tutorial | Berkontribusi

NLP Architect adalah perpustakaan Python open source untuk mengeksplorasi topologi dan teknik pembelajaran yang canggih untuk mengoptimalkan pemrosesan bahasa alami dan pemahaman bahasa alami jaringan saraf.

Ringkasan

NLP Architect adalah perpustakaan NLP yang dirancang agar fleksibel, mudah diperluas, memungkinkan integrasi model NLP yang mudah dan cepat dalam aplikasi dan untuk menampilkan model yang dioptimalkan.

Fitur:

• Model inti NLP yang digunakan dalam banyak tugas NLP dan berguna di banyak aplikasi NLP

• Novel NLU Model yang menampilkan topologi dan teknik novel

• Model NLP/NLU yang dioptimalkan menampilkan algoritma optimasi yang berbeda pada model NLP/NLU saraf

• Desain Berorientasi Model:

  • Latih dan jalankan model dari baris perintah.
  • API untuk menggunakan model untuk inferensi di Python.
  • Prosedur untuk mendefinisikan proses khusus untuk pelatihan, inferensi atau apa pun yang berkaitan dengan pemrosesan.
  • Sub-sistem CLI untuk menjalankan prosedur

• Berdasarkan kerangka kerja pembelajaran mendalam yang dioptimalkan:

  • Tensorflow
  • Pytorch
  • Dynet

• Utilitas Esensial untuk Bekerja dengan Model NLP-Teks/String Pra-Pemrosesan, IO, Manipulasi Data, Metrik, Embeddings.

Memasang NLP Architect

Kami merekomendasikan untuk menginstal NLP Architect di lingkungan Python baru, untuk menggunakan Python 3.6+ dengan pip terkini, setuptools dan h5py .

Instal menggunakan pip

Instal Core Library saja

pip install nlp-architect

Instal dari Sumber (GitHub)

Termasuk perpustakaan inti, contoh, solusi dan tutorial:

git clone https://github.com/IntelLabs/nlp-architect.git
cd nlp-architect
pip install -e .  # install in developer mode

Menjalankan contoh dan solusi

Untuk menjalankan contoh dan solusi yang disediakan, silakan instal perpustakaan dengan [all] bendera yang akan menginstal paket tambahan yang diperlukan. (membutuhkan instalasi dari sumber)

pip install .[all]

Model

Model NLP yang memberikan kinerja terbaik (atau dekat) dalam kelas:

• Kata chunking
• Pengakuan entitas yang disebutkan
• Parsing ketergantungan
• Ekstraksi Inten
• Klasifikasi sentimen
• Model bahasa
• Transformers (untuk tugas NLP)

Model pemahaman bahasa alami (NLU) yang membahas pemahaman semantik:

• Analisis Sentimen Berbasis Aspek (ABSA)
• Deteksi niat bersama dan penandaan slot
• Noun Frase Embedding Representation (NP2VEC)
• Deteksi Sense Kata yang Paling Umum
• Identifikasi Relasi
• Cross Document Coreference
• Frasa kata benda segmentasi semantik

Mengoptimalkan model NLP/NLU dan Misc. Teknik optimasi:

• Bert terkuantisasi (8bit)
• Distilasi Pengetahuan Menggunakan Transformers
• Terjemahan Mesin Saraf yang jarang dan terkuantisasi (GNMT)

Solusi (aplikasi ujung ke ujung) menggunakan satu atau lebih model:

• Istilah Ekspansi Set - Menggunakan Word Chunker yang disertakan sebagai Ekstraktor Frasa Kata benda dan NP2VEC untuk membuat set istilah semantik
• Topik dan Analisis Tren - Menganalisis Frasa Tren dalam Korporal Temporal
• Analisis Sentimen Berbasis Aspek (ABSA)

Dokumentasi

Dokumentasi perpustakaan lengkap dari model NLP, algoritma, solusi, dan instruksi tentang cara menjalankan setiap model dapat ditemukan di situs web kami.

Filosofi Desain Perpustakaan Arsitek NLP

NLP Architect adalah perpustakaan berorientasi model yang dirancang untuk menampilkan novel dan optimasi jaringan saraf yang berbeda. Perpustakaan berisi model terkait NLP/NLU per tugas, berbagai topologi jaringan saraf (yang digunakan dalam model), prosedur untuk menyederhanakan alur kerja di perpustakaan, pemroses data yang telah ditentukan dan pemuat dataset dan utilitas misc. Perpustakaan dirancang untuk menjadi alat untuk pengembangan model: data pra-proses, model membangun, melatih, memvalidasi, menyimpulkan, menyimpan atau memuat model.

Pedoman desain utama adalah:

• Kerangka pembelajaran yang mendalam agnostik
• Model NLP/NLU per tugas
• Topologi berbeda yang digunakan dalam model
• Pamerkan Aplikasi Ujung Ujung Ujung (Solusi) Memanfaatkan satu atau lebih model arsitek NLP
• Loader dataset generik, utilitas pemrosesan data tekstual, dan utilitas lain -lain yang mendukung pengembangan model NLP (pemuat, prosesor teks, IO, metrik, dll.)
• Prosedur untuk mendefinisikan proses untuk pelatihan, inferensi, optimasi atau segala jenis skrip rumit.
• API Pythonic untuk menggunakan model untuk inferensi
• Dokumentasi dan tutorial model yang luas

Catatan

NLP Architect adalah ruang aktif penelitian dan pengembangan; Sepanjang rilis model, solusi, topologi, dan penambahan dan perubahan kerangka kerja baru akan dilakukan. Kami bertujuan untuk memastikan semua model berjalan dengan Python 3.6+. Kami mendorong para peneliti dan pengembang untuk menyumbangkan pekerjaan mereka ke perpustakaan.

Mengutip

Jika Anda menggunakan NLP Architect dalam penelitian Anda, silakan gunakan kutipan berikut:

 @misc{izsak_peter_2018_1477518,
  title        = {NLP Architect by Intel AI Lab},
  month        = nov,
  year         = 2018,
  doi          = {10.5281/zenodo.1477518},
  url          = {https://doi.org/10.5281/zenodo.1477518}
}

Penafian

Arsitek NLP dirilis sebagai kode referensi untuk tujuan penelitian. Ini bukan produk Intel resmi, dan tingkat kualitas dan dukungan mungkin tidak seperti yang diharapkan dari produk resmi. NLP Architect dimaksudkan untuk digunakan secara lokal dan belum dirancang, dikembangkan atau dievaluasi untuk penggunaan produksi atau penempatan web. Algoritma dan lingkungan tambahan direncanakan akan ditambahkan ke kerangka kerja. Umpan balik dan kontribusi dari open source dan komunitas penelitian NLP lebih dari disambut.

Kontak

Hubungi Tim Pengembangan Arsitek NLP melalui masalah gitub atau email: [email protected]