long range arena
1.0.0
Арена на дальность-это попытка систематической оценки эффективных моделей трансформаторов. Проект направлен на создание контрольных задач/DTASETS, которые мы можем систематически оценивать модели на основе трансформаторов, путем оценки их мощности обобщения, эффективности вычислительной техники, печи памяти и т. Д.
Арена на дальность также реализует различные варианты трансформаторных моделей в JAX, используя лен.
Этот первый первоначальный выпуск включает в себя тесты для бумаги «Арена на длинные расстояния: эталон для эффективных трансформаторов.
В настоящее время мы выпустили весь необходимый код, чтобы начать работу и запустить наши тесты на ванильных трансформаторах.
Обновление мы выпустили модели Xformer, используемые в наших экспериментах.
Мы работаем над 2 -м обновлением, которое выпустит больше моделей и базовых линий для этого набора. Следите за обновлениями.
Пожалуйста, смотрите ниже, чтобы получить дополнительные примеры того, как начать.
Текущие результаты таблицы лидеров всех результатов Xformer в наших контрольных результатах. (По состоянию на 8 ноября 2020 г.)
| Модель | Listops | Текст | Поиск | Изображение | Путь | Путь-X | Ав |
|---|---|---|---|---|---|---|---|
| Местный атт | 15.82 | 52,98 | 53,39 | 41.46 | 66.63 | НЕУДАЧА | 46.06 |
| Линейный транс. | 16.13 | 65,90 | 53,09 | 42,34 | 75,30 | НЕУДАЧА | 50,55 |
| Реформатор | 37.27 | 56.10 | 53,40 | 38.07 | 68.50 | НЕУДАЧА | 50.67 |
| Редкий транс. | 17.07 | 63,58 | 59,59 | 44.24 | 71.71 | НЕУДАЧА | 51.24 |
| Верховой транс. | 33,67 | 61.20 | 53,83 | 41.23 | 67.45 | НЕУДАЧА | 51.29 |
| Linformer | 35,70 | 53,94 | 52,27 | 38.56 | 76.34 | НЕУДАЧА | 51.36 |
| Исполнитель | 18.01 | 65,40 | 53,82 | 42,77 | 77.05 | НЕУДАЧА | 51.41 |
| Синтезатор | 36.99 | 61.68 | 54,67 | 41.61 | 69,45 | НЕУДАЧА | 52,88 |
| Longformer | 35,63 | 62,85 | 56.89 | 42,22 | 69,71 | НЕУДАЧА | 53,46 |
| Трансформатор | 36.37 | 64,27 | 57.46 | 42,44 | 71.40 | НЕУДАЧА | 54,39 |
| Bigbird | 36.05 | 64.02 | 59,29 | 40,83 | 74,87 | НЕУДАЧА | 55,01 |
Мы перечислим записи других документов и материалов, которые использовали наш эталон LRA.
| Модель | Listops | Текст | Поиск | Изображение | Путь | Путь-X | Ав |
|---|---|---|---|---|---|---|---|
| ИГЛУ | 39,23 | 82 | 75,5 | 47.0 | 67.50 | НА | 62,25 |
| TLB | 37.05 | 81.88 | 76.91 | 57.51 | 79,06 | НЕУДАЧА | 66.48 |
Igloo Mabsisions (от vsevolod sourkov) - https://github.com/redna11/lra-igloo
TLB (временное скрытое узкое место) - Transformer_tlb
Если вы обнаружите, что работа полезна, пожалуйста, укажите нашу газету по адресу:
@inproceedings{
tay2021long,
title={Long Range Arena : A Benchmark for Efficient Transformers },
author={Yi Tay and Mostafa Dehghani and Samira Abnar and Yikang Shen and Dara Bahri and Philip Pham and Jinfeng Rao and Liu Yang and Sebastian Ruder and Donald Metzler},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=qVyeW-grC2k}
}
** ПРИМЕЧАНИЕ. Пожалуйста, также укажите исходные источники этих наборов данных! **
Пожалуйста, отправьте ссылку на статью (arxiv или опубликовано) на Yi Tay или Mothafa Dehghani (электронные письма в бумаге), чтобы включить ваши новые результаты в таблицу лидеров. Как и выше, мы добавим результаты в внешнюю часть списка лидеров. Это так, что мы не поощряем холм-задействование на таблице лидеров, а скорее значимых сравнений бок о бок.
Мы намерены, чтобы ваш контрольный показатель выступил в качестве инструмента и набора для проверки поведения модели. Таким образом, если вы запускаете новую настройку и настроили Hparams, подумайте о запуске всех других моделей.
Эта настройка предназначена для людей, которые хотят сравнить с нашими опубликованными результатами напрямую .
Настройка гиперпараметра по умолчанию (у каждого теста должен иметь файл конфигурации теперь). Вам не разрешено изменять гиперпараметры, такие как размер встраивания, скрытые размеры, количество слоев новой модели.
Новая модель должна быть в лучшем случае на 10% больше с точки зрения параметров по сравнению с базовой моделью трансформатора в предоставленном файле конфигурации.
Вам разрешено запустить любой размер модели и изменить любой гиперпараметр модели. Однако, в конце концов, вам не разрешат сообщать о результатах нашего таблицы лидеров, потому что они больше не сопоставимы. Вы можете выбрать повторные модели из нашей библиотеки в сопоставимой настройке.
Если вы разрабатываете или можете извлечь выгоду из обширного множества базовых показателей Xformer, пожалуйста, не стесняйтесь сообщить нам, если вы заинтересованы в создании новых тестов. Мы приветствуем вклад для новых или старых моделей, которые не рассматриваются в существующем наборе.
В этой статье мы не приоритет приоритету выполнению HParam Sweeps. Если вам случайно найти проблему, связанную с реализацией, или лучший HParam, который позволяет модели добиться большего успеха по определенной задаче, отправьте PR (или новый файл конфигурации), и мы снова запустим модель и сообщим о новых результатах для существующей модели.
Официальные результаты предназначены только для кода, который был проверен и запускается в нашей кодовой базе. Мы сообщаем о всех внешних представлениях как внешние . Либо отправьте PR, электронное письмо, показывающее нам, как запустить вашу модель в нашей кодовой базе, и мы обновим результаты соответственно. (Примечание из -за ограничений полосы пропускания, этот процесс займет значительное количество времени).
Чтобы запустить задачу, запустите файл train.py в соответствующем каталоге задач. (Пожалуйста, посмотрите, как получить данные для определенных задач, если это применимо).
PYTHONPATH="$(pwd)":"$PYTHON_PATH" python lra_benchmarks/listops/train.py
--config=lra_benchmarks/listops/configs/transformer_base.py
--model_dir=/tmp/listops
--task_name=basic
--data_dir=$HOME/lra_data/listops/
В этом разделе описываются методы получения наборов данных и выполнения задач в LRA.
Чтобы загрузить наборы данных, пожалуйста, загрузите его с gs://long-range-arena/lra_release . Если разрешения не пройдут, вы можете загрузить весь файл gziped по адресу https://storage.googleapis.com/long-range-arena/lra_release.gz.
Эту задачу можно найти по адресу /listops . Наборы данных, используемые в наших экспериментах, могут быть найдены в этих ведрах Google Cloud и находятся в формате TSV.
Если вы хотите перейти к более длинной/более короткой длине последовательности, мы также поддерживаем создание собственного разделения, запустите следующий комментарий:
PYTHONPATH="$(pwd)":"$PYTHON_PATH" python lra_benchmarks/data/listops.py --
--output_dir=$HOME/lra_data/listops/
Эту задачу можно найти по адресу /text_classification . Действие не требуется, потому что эта задача уже найдена в наборах данных TensorFlow. Код должен работать как есть.
Пожалуйста, загрузите набор данных по адресу (http://aan.how/download/). Пожалуйста, загрузите разделения поезда/тест/dev из нашего ведра Google Cloud. К сожалению, мы не смогли переосмыслить эти наборы данных и только выпускаем идентификаторы в label paper1_id paper2_id . Вы можете загрузить данные из исходного источника и извлечь текстовые данные.
Эту задачу можно найти в /image . Действие не требуется, потому что эта задача уже найдена в наборах данных TensorFlow. Это должно работать из коробки.
Пожалуйста, смотрите каталог ./data , где можно найти строитель TFDS для набора данных Pathfinder. Мы сгенерировали различные наборы данных для задачи Pathfinder, с различными уровнями сложности, используя сценарий, предоставленный здесь. Вы можете найти информацию о параметрах, используемых для генерации данных в коде строителя TFDS в ./data/pathfinder . Мы готовим точные разделения данных для выпуска в данный момент.
Это не официальный продукт Google.
