transformer tensorflow

трансформатор

Внедрение внимания TensorFlow - это все, что вам нужно. (2017. 6)

Требования

• Python 3.6
• Tensorflow 1.8
• HB-Config (Singleton Config)
• nltk (токенизатор и синий счет)
• TQDM (Bar Progress)
• Slack входящий URL -адрес webhook

Структура проекта

Проект init от HB-Base

 .
├── config                  # Config files (.yml, .json) using with hb-config
├── data                    # dataset path
├── notebooks               # Prototyping with numpy or tf.interactivesession
├── transformer             # transformer architecture graphs (from input to logits)
    ├── __init__.py             # Graph logic
    ├── attention.py            # Attention (multi-head, scaled_dot_product and etc..)
    ├── encoder.py              # Encoder logic
    ├── decoder.py              # Decoder logic
    └── layer.py                # Layers (FFN)
├── data_loader.py          # raw_date -> precossed_data -> generate_batch (using Dataset)
├── hook.py                 # training or test hook feature (eg. print_variables)
├── main.py                 # define experiment_fn
└── model.py                # define EstimatorSpec

Ссылка: HB-CONFIG, DATASET, EXPERMENTS_FN, COSCATORSPEC

Тодо

• Обучить и оценивать с помощью набора данных WMT German-Anglish (2016)

Конфигурация

Может контролировать всю экспериментальную среду .

Пример: check-round.yml

 data :
  base_path : ' data/ '
  raw_data_path : ' tiny_kor_eng '
  processed_path : ' tiny_processed_data '
  word_threshold : 1

  PAD_ID : 0
  UNK_ID : 1
  START_ID : 2
  EOS_ID : 3

model :
  batch_size : 4
  num_layers : 2
  model_dim : 32
  num_heads : 4
  linear_key_dim : 20
  linear_value_dim : 24
  ffn_dim : 30
  dropout : 0.2

train :
  learning_rate : 0.0001
  optimizer : ' Adam '  ('Adagrad', 'Adam', 'Ftrl', 'Momentum', 'RMSProp', 'SGD')
  
  train_steps : 15000
  model_dir : ' logs/check_tiny '
  
  save_checkpoints_steps : 1000
  check_hook_n_iter : 100
  min_eval_frequency : 100
  
  print_verbose : True
  debug : False
  
slack :
  webhook_url : " "  # after training notify you using slack-webhook

• Режим отладки: использование TFDBG
• check-tiny -это набор данных с примерно 30 предложениями , которые переведены с корейского на английский. (рекомендую прочитать его :))

Использование

Установить требования.

pip install -r requirements.txt

Затем предварительно обработают необработанные данные.

python data_loader.py --config check-tiny

Наконец, запустите поезда и оцените модель

python main.py --config check-tiny --mode train_and_evaluate

Или, вы можете использовать набор данных по английскому вьетнамским данным IWSLT'15.

 sh prepare-iwslt15.en-vi.sh                                        # download dataset
python data_loader.py --config iwslt15-en-vi                       # preprocessing
python main.py --config iwslt15-en-vi --mode train_and_evalueate   # start training

Предсказывать

После обучения вы можете проверить модель.

• командование

python predict.py --config {config} --src {src_sentence}

• пример

$ python predict.py --config check-tiny --src " 안녕하세요. 반갑습니다. "

------------------------------------
Source: 안녕하세요. 반갑습니다.
 > Result: Hello . I ' m glad to see you . <s> vectors . <s> Hello locations . <s> will . <s> . <s> you . <s>

Эксперименты режимы

✅: Работа
◽: еще не тестируется.

• ✅ evaluate : оценить данные оценки.
• ◽ extend_train_hooks : расширяет крючки для обучения.
• ◽ reset_export_strategies : сбрасывает стратегии экспорта с помощью new_export_strategies.
• ◽ run_std_server : Запускает сервер TensorFlow и соединяет поток сервировки.
• ◽ test : тестирование обучения, оценка и экспорта оценки на один шаг.
• ✅ train : соответствует оценке, используя учебные данные.
• ✅ train_and_evaluate : Интерлипировать обучение и оценку.

---

Тенсорбоар

tensorboard --logdir logs

• Перевер на пример

Ссылка

• HB -Research/Примечания - Внимание - это все, что вам нужно
• Бумага - Внимание - это все, что вам нужно (2017. 6) Васвани (команда Google Brain)
• Tensor2tensor - библиотека для обобщенной последовательности для моделей последовательности (Официальный код)

Автор

Dongjun Lee ([email protected])