indonlu

Indonlu

BACA README INI DALAM BAHASA INDONESIA.

️ Perbarui 16/11/2024: Kami memperbarui tautan ke dataset dan model FastText di Indonlu!

Indonlu adalah kumpulan sumber daya pemahaman bahasa alami (NLU) untuk Bahasa Indonesia dengan 12 tugas hilir. Kami menyediakan kode untuk mereproduksi hasil dan model pra-terlatih besar ( IndoBert dan Indobert-Lite ) yang dilatih dengan sekitar 4 miliar kata korpus ( Indo4B ), lebih dari 20 GB data teks. Proyek ini awalnya dimulai oleh kolaborasi bersama antara universitas dan industri, seperti Institut Teknologi Bandung, Universitas Multimedia Nusantara, Universitas Sains dan Teknologi Hong Kong, Universitas Indonesia, Gojek, dan Prossa.ai.

Makalah Penelitian

Indonlu telah diterima oleh AACL-IJCNLP 2020 dan Anda dapat menemukan detail dalam makalah kami https://www.aclweb.org/anthology/2020.aacl-main.85.pdf. Jika Anda menggunakan komponen apa pun di Indonlu termasuk Indo4b, FastText-Indo4b, atau Indobert dalam pekerjaan Anda, silakan kutip makalah berikut:

 @inproceedings{wilie2020indonlu,
  title={IndoNLU: Benchmark and Resources for Evaluating Indonesian Natural Language Understanding},
  author={Bryan Wilie and Karissa Vincentio and Genta Indra Winata and Samuel Cahyawijaya and X. Li and Zhi Yuan Lim and S. Soleman and R. Mahendra and Pascale Fung and Syafri Bahar and A. Purwarianti},
  booktitle={Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing},
  year={2020}
}

Bagaimana cara berkontribusi pada Indonlu?

Pastikan untuk memeriksa pedoman yang berkontribusi dan hubungi pengelola atau buka masalah untuk mengumpulkan umpan balik sebelum memulai PR Anda.

12 tugas hilir

• Anda dapat memeriksa [tautan]
• Kami menyediakan set kereta, valid, dan tes. Label set tes ditutupi (tidak ada label yang benar) untuk mempertahankan integritas evaluasi. Harap kirimkan prediksi Anda ke portal pengiriman di Codalab

Contoh

• Panduan untuk memuat model IndoBert dan finetune model pada klasifikasi urutan dan tugas penandaan urutan.
• Anda dapat memeriksa tautan

Format pengiriman

Harap periksa tautannya. Untuk setiap tugas, ada format yang berbeda. Setiap file pengiriman selalu dimulai dengan kolom index (ID sampel uji mengikuti urutan set uji bertopeng).

Untuk pengiriman, pertama -tama Anda perlu mengganti nama prediksi Anda menjadi pred.txt , lalu zip file. Setelah itu, Anda perlu mengizinkan sistem untuk menghitung hasilnya. Anda dapat dengan mudah memeriksa kemajuan di tab results Anda.

Dataset Indo4b

Kami menyediakan akses ke dataset pretraining besar kami. Dalam versi ini, kami mengecualikan semua tweet Twitter karena pembatasan kebijakan dan perjanjian pengembang Twitter.

• Dataset Indo4b (23 GB tidak terkompresi, 5,6 GB terkompresi) [tautan]

Model Indobert dan Indobert-Lite

Kami menyediakan 4 model bahasa pretrained indobert dan 4 indobert-lite [tautan]

• Basis indobert
  • Fase 1 [tautan]
  • Fase 2 [tautan]
• Indobert-Large
  • Fase 1 [tautan]
  • Fase 2 [tautan]
• Basis indobert-lite
  • Fase 1 [tautan]
  • Fase 2 [tautan]
• Indobert-lite-large
  • Fase 1 [tautan]
  • Fase 2 [tautan]

FastText (INDO4B)

Kami menyediakan file model FastText yang tidak terbagi penuh (11,9 GB) dan file vektor yang sesuai (3,9 GB)

• Model FastText (11,9 GB) [tautan]
• File vektor (3,9 GB) [tautan]

Kami menyediakan model FastText yang lebih kecil dengan kosakata yang lebih kecil untuk masing -masing dari 12 tugas hilir

• FastText-INDO4B [tautan]
• FastText-CC-ID [tautan]

Papan peringkat

• Portal Komunitas dan Papan Tautan Publik [Tautan]
• Portal pengiriman https://competitions.codalab.org/competitions/26537