gobbli

Ini adalah perpustakaan yang dirancang untuk menyediakan antarmuka yang seragam ke berbagai model pembelajaran mendalam untuk teks melalui wadah Docker yang dibuat secara terprogram.

Penggunaan

Lihat Docs for Prasyarat, Referensi QuickStart, dan API. Singkatnya, Anda perlu Docker diinstal dengan izin yang sesuai untuk akun pengguna Anda untuk menjalankan perintah Docker dan Python 3.7. Kemudian jalankan berikut ini:

 pip install gobbli

Anda mungkin juga ingin memeriksa tolok ukur untuk melihat beberapa perbandingan implementasi Gobbli dari berbagai model dalam situasi yang berbeda.

Interaktif

GOBBLI menyediakan aplikasi streamlit untuk melakukan beberapa tugas interaktif di browser web, seperti eksplorasi data dan evaluasi model. Setelah Anda menginstal perpustakaan, Anda dapat menjalankan aplikasi yang dibundel menggunakan aplikasi baris perintah gobbli . Periksa dokumen untuk informasi lebih lanjut.

Perkembangan

Dengan asumsi Anda memiliki semua prasyarat yang disebutkan di atas, Anda perlu menginstal paket dan semua yang diperlukan + dependensi opsional dalam mode pengembangan:

 pip install -e ".[augment,tokenize,interactive]"

Instal dependensi dev tambahan:

 pip install -r requirements.txt

Jalankan serat, otomatis, dan tes:

 ./run_ci.sh

Untuk menghindari perbaikan secara manual beberapa kesalahan ini, pertimbangkan untuk mengaktifkan ISORT dan dukungan hitam di editor favorit Anda.

Jika Anda menjalankan tes di lingkungan dengan memori kurang dari 12GB, Anda akan ingin lulus argumen --low-resource saat menjalankan tes untuk menghindari kesalahan memori.

Catatan: Jika berjalan di Mac, bahkan dengan memori yang memadai, Anda dapat menemukan kesalahan memori (Status Keluar 137) saat menjalankan tes. Ini karena tidak cukup memori yang dialokasikan untuk Docker Daemon Anda. Cobalah pergi ke Docker untuk Mac -> Preferensi -> Advanced dan Raising "Memory" menjadi 12Gib atau lebih.

Jika Anda ingin menjalankan tes yang diaktifkan GPU, lihat argumen --use-gpu dan --nvidia-visible-devices di bawah py.test --help . Jika mesin lokal Anda tidak memiliki GPU NVIDIA, tetapi Anda memiliki akses ke yang melakukan melalui SSH, Anda dapat menggunakan skrip test_remote_gpu.sh untuk menjalankan tes dengan GPU diaktifkan melalui SSH.

Dokumen

Untuk menghasilkan dokumen, instal persyaratan dokumen:

 pip install -r docs/requirements.txt

Karena struktur DOC dihasilkan secara otomatis dari perpustakaan, Anda harus memasang perpustakaan (dan semua dependensi) juga.

Kemudian, jalankan yang berikut dari root repositori:

 ./generate_docs.sh

Kemudian telusuri dokumentasi yang dihasilkan di docs/_build/html .

Atribusi

Gobbli tidak akan ada tanpa rilis publik dari beberapa model canggih. Perpustakaan menggabungkan:

• Bert, dirilis oleh Google
• Mt-dnn, dirilis oleh microsoft
• Encoder Kalimat Universal, Dirilis oleh Google
• FastText, dirilis oleh Facebook
• Transformers, dirilis dengan memeluk wajah
• Spacy, dengan ledakan
• scikit-learn

Pekerjaan asli di perpustakaan didanai oleh RTI International.

Desain Logo oleh Marcia Underwood.