long range arena
1.0.0
Arena jarak jauh adalah upaya menuju evaluasi sistematis model transformator yang efisien. Proyek ini bertujuan untuk menetapkan tugas-tugas benchmark/DTASET yang menggunakan yang dapat kami evaluasi model berbasis transformator secara sistematis, dengan menilai kekuatan generalisasi mereka, efisiensi komputasi, cetak kaki memori, dll.
Arena jarak jauh juga mengimplementasikan berbagai varian model transformator dalam JAX, menggunakan rami.
Rilis awal pertama ini termasuk tolok ukur untuk kertas "Long Range Arena: Benchmark untuk Transformers yang Efisien.
Saat ini kami telah merilis semua kode yang diperlukan untuk memulai dan menjalankan tolok ukur kami pada vanilla transformers.
UPDATE Kami telah merilis model XFORMER yang digunakan dalam percobaan kami.
Kami sedang mengerjakan pembaruan ke -2 yang akan merilis lebih banyak model dan baseline untuk rangkaian patokan ini. Pantau terus.
Silakan lihat di bawah untuk lebih banyak contoh tentang cara memulai.
Hasil papan peringkat saat ini dari semua hasil XFORMER pada hasil benchmark kami. (Pada 8 November 2020)
| Model | Listops | Teks | Pengambilan | Gambar | Jalur | Path-x | Rata -rata |
|---|---|---|---|---|---|---|---|
| ATT LOKAL | 15.82 | 52.98 | 53.39 | 41.46 | 66.63 | GAGAL | 46.06 |
| Trans linier. | 16.13 | 65.90 | 53.09 | 42.34 | 75.30 | GAGAL | 50.55 |
| Pembaru | 37.27 | 56.10 | 53.40 | 38.07 | 68.50 | GAGAL | 50.67 |
| Trans jarang. | 17.07 | 63.58 | 59.59 | 44.24 | 71.71 | GAGAL | 51.24 |
| Sinkhorn Trans. | 33.67 | 61.20 | 53.83 | 41.23 | 67.45 | GAGAL | 51.29 |
| Linformer | 35.70 | 53.94 | 52.27 | 38.56 | 76.34 | GAGAL | 51.36 |
| Pemain | 18.01 | 65.40 | 53.82 | 42.77 | 77.05 | GAGAL | 51.41 |
| Synthesizer | 36.99 | 61.68 | 54.67 | 41.61 | 69.45 | GAGAL | 52.88 |
| Longformer | 35.63 | 62.85 | 56.89 | 42.22 | 69.71 | GAGAL | 53.46 |
| Transformator | 36.37 | 64.27 | 57.46 | 42.44 | 71.40 | GAGAL | 54.39 |
| Bigbird | 36.05 | 64.02 | 59.29 | 40.83 | 74.87 | GAGAL | 55.01 |
Kami mencantumkan entri makalah dan pengiriman lain yang menggunakan patokan LRA kami.
| Model | Listops | Teks | Pengambilan | Gambar | Jalur | Path-x | Rata -rata |
|---|---|---|---|---|---|---|---|
| RUMAH SALJU BANGSA ESKIMO | 39.23 | 82 | 75.5 | 47.0 | 67.50 | Na | 62.25 |
| Tlb | 37.05 | 81.88 | 76.91 | 57.51 | 79.06 | GAGAL | 66.48 |
Pengajuan Igloo (oleh Vsevolod Sourkov) - https://github.com/redna11/lra-igloo
TLB (Bottleneck Laten Temporal) - Transformer_tlb
Jika Anda mengetahui pekerjaan yang berguna, silakan kutip makalah kami di:
@inproceedings{
tay2021long,
title={Long Range Arena : A Benchmark for Efficient Transformers },
author={Yi Tay and Mostafa Dehghani and Samira Abnar and Yikang Shen and Dara Bahri and Philip Pham and Jinfeng Rao and Liu Yang and Sebastian Ruder and Donald Metzler},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=qVyeW-grC2k}
}
** Catatan: Harap juga mengutip sumber asli dari kumpulan data ini! **
Silakan kirim tautan makalah (Arxiv, atau diterbitkan) ke Yi Tay atau Mostafa Dehghani (email dalam kertas) untuk memasukkan hasil baru Anda ke papan peringkat. Sama seperti di atas, kami akan menambahkan hasil ke bagian pengiriman eksternal dari papan peringkat. Ini agar kami tidak mendorong pendakian bukit di papan peringkat tetapi agak bermakna perbandingan berdampingan.
Kami bermaksud agar tolok ukur Anda bertindak sebagai alat dan rangkaian untuk memeriksa perilaku model. Karena itu, jika Anda menjalankan pengaturan baru dan Anda telah menyetel HPARAMS, pertimbangkan untuk menjalankan semua model lainnya.
Pengaturan ini untuk orang -orang yang ingin membandingkan dengan hasil yang dipublikasikan secara langsung .
Pengaturan hyperparameter default (setiap tolok ukur harus memiliki file konfigurasi sekarang). Anda tidak diizinkan mengubah hiperparameter seperti ukuran embedding, dimensi tersembunyi, jumlah lapisan model baru.
Model baru harus berada dalam kondisi terbaik 10% lebih besar dalam hal parameter dibandingkan dengan model transformator dasar dalam file konfigurasi yang disediakan.
Anda diizinkan untuk menjalankan ukuran model apa pun dan mengubah hiperparameter model apa pun. Namun, pada akhirnya, Anda tidak akan diizinkan melaporkan hasil dari papan peringkat kami karena mereka tidak lagi sebanding. Anda dapat memilih untuk menjalankan kembali model dari perpustakaan kami dalam pengaturan yang sebanding.
Jika Anda mengembangkan atau dapat memperoleh manfaat dari beragam baselines XFORMER, jangan ragu untuk memberi tahu kami jika Anda tertarik untuk membangun tolok ukur baru. Kami menyambut kontribusi untuk model baru atau lebih lama yang tidak tercakup dalam suite yang ada.
Dalam makalah ini, kami tidak memprioritaskan melakukan sapuan HPARAM. Jika Anda menemukan masalah terkait implementasi atau HPARAM yang lebih baik yang memungkinkan model untuk melakukan lebih baik pada tugas tertentu, kirim PR (atau file konfigurasi baru) dan kami akan menjalankan model lagi secara internal dan melaporkan hasil baru untuk model yang ada.
Hasil resmi hanya untuk kode yang telah diverifikasi dan dijalankan dalam basis kode kami. Kami melaporkan semua pengajuan eksternal sebagai eksternal . Entah mengirimkan PR, email yang menunjukkan kepada kami cara menjalankan model Anda di basis kode kami dan kami akan memperbarui hasilnya. (Catatan karena kendala bandwidth proses ini akan membutuhkan waktu yang besar).
Untuk menjalankan tugas, jalankan file train.py di direktori tugas yang sesuai. (Silakan lihat cara mendapatkan data untuk tugas -tugas tertentu jika berlaku).
PYTHONPATH="$(pwd)":"$PYTHON_PATH" python lra_benchmarks/listops/train.py
--config=lra_benchmarks/listops/configs/transformer_base.py
--model_dir=/tmp/listops
--task_name=basic
--data_dir=$HOME/lra_data/listops/
Bagian ini menjelaskan metode untuk mendapatkan set data dan menjalankan tugas di LRA.
Untuk mengunduh dataset, silakan unduh dari gs://long-range-arena/lra_release . Jika izin gagal, Anda dapat mengunduh seluruh file gziped di https://storage.googleapis.com/long-range-arena/lra_release.gz.
Tugas ini dapat ditemukan di /listops . Kumpulan data yang digunakan dalam percobaan kami dapat ditemukan di Google Cloud Bucket ini dan berada dalam format TSV.
Jika Anda ingin pergi ke panjang urutan yang lebih lama/lebih pendek, kami juga mendukung menghasilkan perpecahan Anda sendiri, jalankan komentar berikut:
PYTHONPATH="$(pwd)":"$PYTHON_PATH" python lra_benchmarks/data/listops.py --
--output_dir=$HOME/lra_data/listops/
Tugas ini dapat ditemukan di /text_classification . Tidak diperlukan tindakan karena tugas ini sudah ditemukan dalam set data tensorflow. Kode harus berjalan sebagaimana adanya.
Silakan unduh dataset di (http://aan.how/download/). Silakan unduh pembagian kereta/tes/dev dari Google Cloud Bucket kami. Sayangnya, kami tidak dapat mendistribusikan kembali kumpulan data ini dan hanya melepaskan ID dalam label paper1_id paper2_id . Anda dapat mengunduh data dari sumber asli dan mengekstrak data tekstual.
Tugas ini dapat ditemukan di /image . Tidak diperlukan tindakan karena tugas ini sudah ditemukan dalam set data tensorflow. Itu harus bekerja di luar kotak.
Silakan lihat direktori ./data , di mana pembangun TFDS untuk dataset Pathfinder dapat ditemukan. Kami menghasilkan dataset yang berbeda untuk tugas Pathfinder, dengan tingkat kesulitan yang berbeda menggunakan skrip yang disediakan di sini. Anda dapat menemukan informasi tentang parameter yang digunakan untuk menghasilkan data dalam kode pembangun TFDS di ./data/pathfinder . Kami sedang mempersiapkan pemisahan data yang tepat untuk rilis saat ini.
Ini bukan produk Google resmi.
