lmtool fwp

Инструментарий для моделирования языка питла (для программистов быстрого веса)

Этот репозиторий содержит официальный код, используемый для экспериментов по языковому моделированию в статье:

• Линейные трансформаторы тайно быстрые программисты (ICML 2021)
• Выходя за рамки линейных трансформаторов с повторяющимися программистами быстрого веса
• ...

В целом, это может быть использовано в качестве инструментария для моделирования языка в Pytorch для экспериментов с:

• Стандартные трансформаторы

• Трансформатор-XL

• Программисты быстрого веса с различными правилами обновления и линейными функциями внимания :

  • Правила обновления: «Сум» и наше правило «дельты» (как предложено в нашей статье; Раздел 4.2)
  • Линейные функции внимания: «Линейное внимание на основе ELU», FAR+»,« Детерминированная проекция без параметров (DPFP) »

  Например, некоторые комбинации приводят к хорошо известным моделям:

  • Линейные трансформаторы = "sum" Правило обновления + "Elu на основе" Линейное внимание
  • Исполнители = "sum" Правило обновления + "предпочтение +"

Быстрые реализации

Эта репозитивность содержит две реализации быстрых весов.

• Custom Cuda Kernel (см. UTILS/FAST_FAST_WEELS и UTILS/CUDA_FAST_WEEL_LAYER.PY)
• Пользовательский torch.autograd.Function (см. Utils/fast_weight.py)

В то время как мы использовали реализацию CUDA только для всех наших окончательных экспериментов (более быстрое/гораздо лучшее использование графических процессоров), версия torch.autograd.Function может быть полезна для быстрого прототипирования с новыми расширениями.

Требования

Этот набор инструментов требует torch питла и ninja ниндзя (для компиляции ядра Cuda).

Эксперименты для бумаги проводились с Python 3.6 и Pytorch 1.4.0 (примечание 24 августа 2023 года. Код также работает с Python 3.11 и Pytorch 2.0.1+Cu117).

Более поздние версии Pytorch еще не поддерживаются этим инструментом, который по-прежнему использует torch.nn.DataParallel для обучения с несколькими GPU. Если вам действительно нужно использовать более недавнюю версию Pytorch, проверьте документацию, чтобы использовать torch.nn.parallel.DistributedDataParallel . Мы надеемся, что скоро это исправим, но мы не можем точно сказать, когда.

Инструментарий поддерживает вес и предубеждения для мониторинга заданий. Если вы используете его, также установите wandb .

Благодарности

Эта репутация содержит много строк кода, взятого и адаптированного из следующих источников:

• Эта репутация была первоначально разбита от официальной реализации Transformer-xl Kimiyoung/Transformer-XL. Код для моделей Transformer-XL и стандартных трансформаторов, а также базовые функциональные возможности, необходимые для языкового моделирования (включая адаптивные вводы и выходные встроения) и подготовку данных (Wikitext-103, Enwik8, ...) из соответствующего хранилища.
• Для исполнителей используются вспомогательные функции из Lucidrains/Performer-Pytorch.
• Для реализаций CUDA наших программистов быстрого веса с правилом Delta:
  • Код от Idiap/Fast-Transformers используется с незначительными изменениями для правила обновления суммы.
  • Мы изменили его для реализации нашего правила обновления. См. Комментарии в коде для точных местоположений и модификаций.

Общие инструкции

Пожалуйста, проверьте файлы в соответствии с example_scripts для общих инструкций и примеров для обучения и оценки моделей.

Бибтекс

 @inproceedings{schlag2021linear,
      title={Linear Transformers Are Secretly Fast Weight Programmers}, 
      author={Imanol Schlag and Kazuki Irie and J"urgen Schmidhuber},
      booktitle={Proc. Int. Conf. on Machine Learning (ICML)},
      address = {Virtual only},
      month = jul,
      year={2021}
}

 @article{irie2021going,
      title={Going Beyond Linear Transformers with Recurrent Fast Weight Programmers}, 
      author={Kazuki Irie and Imanol Schlag and R'obert Csord'as and J"urgen Schmidhuber},
      journal={Preprint arXiv:2106.06295},
      year={2021}
}

Ссылки

• Код для экспериментов по синтетическим поиску в статье «Линейные трансформаторы представляют собой тайно быстрого веса программистов» (ICML 2021), можно найти в Ischlag/Fast-Weight-трансформаторах.
• Полный репозиторий для статьи «выходя за рамки линейных трансформаторов с повторяющимися программистами быстрого веса» можно найти по адресу: Idsia/Recurrent-FWP
• Пост в блоге Jürgen Schmidhuber о быстрого веса программистов (26 марта 2021 г.).