long range arena
1.0.0
長距離アリーナは、効率的な変圧器モデルの体系的な評価に向けた努力です。このプロジェクトの目的は、一般化力、計算効率、メモリフットプリントなどを評価することにより、変圧器ベースのモデルを体系的な方法で評価できるベンチマークタスク/DTASETを確立することを目的としています。
また、長距離アリーナは、亜麻を使用して、JAXの変圧器モデルのさまざまなバリエーションを実装しています。
この最初の初期リリースには、Paperのベンチマークが含まれています。「長距離アリーナ：効率的な変圧器のベンチマークが含まれています。
現在、バニラトランスのベンチマークを開始して実行するために必要なコードをすべてリリースしています。
更新実験で使用されているXFORMERモデルをリリースしました。
このベンチマークスイートのモデルとベースラインをさらにリリースする2番目のアップデートに取り組んでいます。乞うご期待。
開始方法の詳細については、以下をご覧ください。
ベンチマーク結果のすべてのXFORMER結果の現在のリーダーボード結果。 （2020年11月8日現在）
| モデル | リストアップ | 文章 | 検索 | 画像 | パス | パスX | 平均 |
|---|---|---|---|---|---|---|---|
| ローカルatt | 15.82 | 52.98 | 53.39 | 41.46 | 66.63 | 失敗 | 46.06 |
| 線形トランス。 | 16.13 | 65.90 | 53.09 | 42.34 | 75.30 | 失敗 | 50.55 |
| 改革者 | 37.27 | 56.10 | 53.40 | 38.07 | 68.50 | 失敗 | 50.67 |
| まばらなトランス。 | 17.07 | 63.58 | 59.59 | 44.24 | 71.71 | 失敗 | 51.24 |
| Sinkhorn Trans。 | 33.67 | 61.20 | 53.83 | 41.23 | 67.45 | 失敗 | 51.29 |
| Linformer | 35.70 | 53.94 | 52.27 | 38.56 | 76.34 | 失敗 | 51.36 |
| パフォーマー | 18.01 | 65.40 | 53.82 | 42.77 | 77.05 | 失敗 | 51.41 |
| シンセサイザー | 36.99 | 61.68 | 54.67 | 41.61 | 69.45 | 失敗 | 52.88 |
| 長いフォーマー | 35.63 | 62.85 | 56.89 | 42.22 | 69.71 | 失敗 | 53.46 |
| トランス | 36.37 | 64.27 | 57.46 | 42.44 | 71.40 | 失敗 | 54.39 |
| ビッグバード | 36.05 | 64.02 | 59.29 | 40.83 | 74.87 | 失敗 | 55.01 |
LRAベンチマークを使用した他の論文や提出物のエントリをリストします。
| モデル | リストアップ | 文章 | 検索 | 画像 | パス | パスX | 平均 |
|---|---|---|---|---|---|---|---|
| イグルー | 39.23 | 82 | 75.5 | 47.0 | 67.50 | Na | 62.25 |
| TLB | 37.05 | 81.88 | 76.91 | 57.51 | 79.06 | 失敗 | 66.48 |
Igloo Submissions（vsevolod sourkovによる）-https：//github.com/redna11/lra-igloo
TLB（時間的潜在ボトルネック） - Transformer_tlb
仕事が役立つことがわかった場合は、次のような論文を引用してください。
@inproceedings{
tay2021long,
title={Long Range Arena : A Benchmark for Efficient Transformers },
author={Yi Tay and Mostafa Dehghani and Samira Abnar and Yikang Shen and Dara Bahri and Philip Pham and Jinfeng Rao and Liu Yang and Sebastian Ruder and Donald Metzler},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=qVyeW-grC2k}
}
**注：これらのデータセットの元のソースも引用してください！ **
紙（Arxiv、または公開）のリンクをYi TayまたはMostafa Dehghani（紙の電子メール）に送信して、リーダーボードに新しい結果を含めてください。上記のように、リーダーボードの外部提出部分に結果を追加します。これは、リーダーボードのヒルクライミングを奨励するのではなく、むしろ意味のある並んで比較することです。
私たちは、あなたのベンチマークがモデルの動作を検査するためのツールおよびスイートとして機能するようにします。そのため、新しいセットアップを実行していて、Hparamsを調整した場合は、他のすべてのモデルを実行することを検討してください。
この設定は、公開された結果と直接比較したい人向けです。
デフォルトのハイパーパラメーターセットアップ（各ベンチマークには今すぐ構成ファイルが必要です）。埋め込みサイズ、隠された寸法、新しいモデルのレイヤー数などのハイパーパラメーターを変更することは許可されていません。
新しいモデルは、提供された構成ファイルのベーストランスモデルと比較して、パラメーターの点で、せいぜい10％大きい内にある必要があります。
任意のモデルサイズを実行し、モデルのハイパーパラメーターを変更することができます。ただし、最終的には、リーダーボードの結果がもはや匹敵しないため、結果を報告することは許可されません。同等の設定でライブラリからモデルを再実行することを選択できます。
XFormerベースラインの広範な配列を開発または恩恵を受けることができる場合は、新しいベンチマークの構築に興味がある場合はお気軽にお知らせください。既存のスイートではカバーされていない新規モデルまたは古いモデルの貢献を歓迎します。
この論文では、HPARAMスイープを行うことを優先しませんでした。モデルを特定のタスクでより良くすることを可能にする実装関連の問題またはより良いHPARAMを見つけた場合、PR（または新しい構成ファイル）を送信すると、モデルを再び内部で実行し、既存のモデルの新しい結果を報告します。
公式の結果は、コードベースで検証および実行されたコードのみです。すべての外部提出物を外部として報告します。 PRを送信するか、コードベースでモデルを実行する方法を示すメールを送信すると、それに応じて結果を更新します。 （帯域幅の制約により、このプロセスにはかなりの時間がかかります）。
タスクを実行するには、対応するタスクディレクトリでtrain.pyファイルを実行します。 （該当する場合は、特定のタスクのデータを取得する方法をご覧ください）。
PYTHONPATH="$(pwd)":"$PYTHON_PATH" python lra_benchmarks/listops/train.py
--config=lra_benchmarks/listops/configs/transformer_base.py
--model_dir=/tmp/listops
--task_name=basic
--data_dir=$HOME/lra_data/listops/
このセクションでは、データセットを取得してLRAでタスクを実行する方法について説明します。
データセットをダウンロードするには、 gs://long-range-arena/lra_releaseからダウンロードしてください。許可が失敗した場合、https://storage.googleapis.com/long-range-arena/lra_release.gzでGzipedファイル全体をダウンロードできます。
このタスクは/listopsで見つけることができます。実験で使用されるデータセットは、これらのGoogleクラウドバケットで見つけることができ、TSV形式です。
より長い/短いシーケンスの長さに移動したい場合は、独自の分割の生成もサポートします。次のコメントを実行してください。
PYTHONPATH="$(pwd)":"$PYTHON_PATH" python lra_benchmarks/data/listops.py --
--output_dir=$HOME/lra_data/listops/
このタスクは、 /text_classificationで見つけることができます。このタスクはTensorflowデータセットですでに見つかっているため、アクションは必要ありません。コードはそのまま実行する必要があります。
データセット（http://aan.how/download/）をダウンロードしてください。 Google Cloud BucketからTrain/Test/Dev Splitsをダウンロードしてください。残念ながら、このデータセットを再配布することはできず、 label paper1_id paper2_idフォーマットでのみIDをリリースしています。元のソースからデータをダウンロードして、テキストデータを抽出できます。
このタスクは/imageで見つけることができます。このタスクはTensorflowデータセットですでに見つかっているため、アクションは必要ありません。箱から出して動作するはずです。
PathFinderデータセットのTFDSビルダーが見つかる./dataディレクトリをご覧ください。 Pathfinderタスク用の異なるデータセットを生成し、ここで提供されるスクリプトを使用してさまざまなレベルの難易度を使用しました。 ./data/pathfinderのTFDSビルダーコードのデータを生成するために使用されるパラメーターに関する情報を見つけることができます。現時点では、正確なデータスプリットをリリースするために準備しています。
これは公式のGoogle製品ではありません。
