gpt 2 Pytorch

GPT2-Pytorch с текстовым генератором

Лучшие языковые модели и их последствия

Наша модель, называемая GPT-2 (преемник GPT), была обучена просто предсказать следующее слово в 40 ГБ интернет-текста. Благодаря нашей опасениям по поводу злонамеренного применения технологии, мы не выпускаем обученную модель. В качестве эксперимента по ответственному раскрытию, мы вместо этого выпускаем гораздо меньшую модель для исследователей для экспериментов, а также технической статьи. из блога Openai

Этот репозиторий является простой реализацией GPT-2 о текстовом генераторе в Pytorch с Compress Code

• Оригинальный репертуар openai/gpt-2. Также вы можете прочитать бумагу о GPT-2, «Языковые модели-это неконтролируемые многозадачные ученики». Чтобы понять более подробную концепцию, я рекомендую статьи о модели трансформатора.

• Хорошая реализация GPT-2 в Pytorch, на которую я упомянул, HuggingFace/Pytorch-представленное берт, вы можете увидеть более подробную реализацию в репозитории HuggingFace.

• Трансформатор (самопринятие) бумага: Внимание-это все, что вам нужно (2017)

• Первая статья OpenAI-GPT: улучшение понимания языка путем генеративного предварительного обучения (2018)

• Смотрите блог Openai о GPT-2 и Paper

Быстрый старт

1. Загрузите предварительно обученную модель GPT2 в Pytorch, которая уже сделана Huggingface/Pytorch, представленное-берт! (Спасибо, что поделились! Помогите моей проблеме перенести файл Tensorflow (CKPT) в модель Pytorch!)

$ git clone https://github.com/graykode/gpt-2-Pytorch && cd gpt-2-Pytorch
# download huggingface's pytorch model 
$ curl --output gpt2-pytorch_model.bin https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-pytorch_model.bin
# setup requirements, if using mac os, then run additional setup as descibed below
$ pip install -r requirements.txt

2. Теперь вы можете бежать так.

• Текст из книги 1984, Джордж Оруэлл

$ python main.py --text " It was a bright cold day in April, and the clocks were striking thirteen. Winston Smith, his chin nuzzled into his breast in an effort to escape the vile wind, slipped quickly through the glass doors of Victory Mansions, though not quickly enough to prevent a swirl of gritty dust from entering along with him. "

3. Также вы можете быстро начать в Google Colab

Вариант

• --text : предложение с самого начала.
• --quiet : не печатать все посторонние вещи, такие как "================"
• --nsamples : количество выборки, пробранных в партии, когда используется многономиальная функция
• --unconditional : если это правда, безусловное поколение.
• --batch_size : количество размера партии
• --length : длина предложения (<количество контекста)
• --temperature : термодинамическая температура в распределении (default 0.7)
• --top_k : возвращает самые большие k самые большие элементы данного входного тензора вдоль данного измерения. (default 40)

Смотрите больше подробностей о temperature и top_k здесь

Зависимости

• Pytorch 0,41+
• Редж 2017.4.5

Настройка Mac OS

$ python3 -m venv venv
$ source venv/bin/activate
$ pip install torch tqdm
$ brew install libomp
$ export LC_ALL=en_US.UTF-8
$ export LANG=en_US.UTF-8
$ pip install -r requirements.txt

Автор

• Tae Hwan Jung (Джефф Юнг) @graykode
• Автор Электронная почта: [email protected]

Лицензия

• OpenAI/GPT2 Следуйте лицензии MIT, HuggingFace/Pytorch-Pretrained-Bert является лицензией Apache.
• Я следую лицензии MIT с оригинальным репозиторием GPT2

Подтверждение

Джефф Ву (@wuthefwasthat), Томас Вольф (@thomwolf) за разрешение направлять код.