bert_seq2seq

bert_seq2seq

Легкая маленькая рама, добро пожаловать в звезду, если вам нравится ~ спасибо. Если вы столкнетесь с любыми проблемами, вы также можете задать проблему, и вы обязательно ответите.

В настоящее время версия распределенного обучения отражается. Вы можете напрямую тренировать много-GPus без дополнительных команд или дополнительного кода ! Добро пожаловать на https://github.com/920232796/bert_seq2seq_ddp для получения дополнительной информации

Добро пожаловать, чтобы присоединиться к группе связи ~ Вы можете задать вопросы, дать предложения и общаться друг с другом QQ Group: 975907202

Эта структура в настоящее время может выполнять различные задачи NLP, а поддерживаемые модели:

1. Берт
2. Роберта
3. Роберта-Ларж
4. GPT2
5. T5
6. Модель Huawei Nezha
7. Барт-Китайз

Поддерживаемые задачи:

1. SEQ2SEQ Например, написание стихов, куплетов, автоматических названий, автоматических рефератов и т. Д.
2. CLS_CLASSIFIER классифицирует путем извлечения вектора CLS в начале предложения, такого как анализ настроений, классификация текста, семантическое соответствие и т. Д.
3. Задачи маркировки последовательности последовательности.
4. sequence_labeling_crf Добавить задачу мечения последовательности CRF для лучшего эффекта.
5. Извлечение отношений отношения (Пример мистера Су Цзяньлин не совсем такой.)
6. Модель Симберта Симберта генерирует аналогичные предложения и делает суждения о сходстве для аналогичных предложений.
7. Multi_label_Cls Multi-Label Classification.

Загрузка различных моделей достигается путем настройки параметра «model_name», и различные задачи достигаются путем установки параметра «model_class». Для получения подробной информации вы можете увидеть различные примеры в примерах.

Сводка адреса загрузки предварительно обученной модели:

1. Файлы модели, модель, модель и словаря Роберты должны быть загружены здесь, по адресу https://drive.google.com/file/d/1ineyfhcbjweusilnw_2k6smwxkm4glb_/view. Для получения подробной информации вы можете обратиться к этому репозиторию GitHub ~ https://github.com/ymcui/chinese-bert-wwm, а в нем также можно загрузить модель Roberta-large.
2. BERT MODEL (LAGH в настоящее время не поддерживается), Скачать BERT CINKING PRAINGING WEESE «BERTBASE-CHINESE»: «https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-pytorch_model.bin», загрузка китайского словаря «bert-base-chinese»: "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt".
3. Nezha Model, Dictionary Weight Position (в настоящее время поддерживает только базу): модель Nezha-Base Download: Ссылка: https://pan.baidu.com/s/1z0sjbisskzags0lt9hfyzq Код извлечения: 4awe
4. Модель GPT2, вы можете просмотреть файл gpt_test в тестовом файле для теста на переписывание текста. Адрес загрузки GPT2 Китайской общей модели и словаря: https://pan.baidu.com/s/1vtyc8fjumlqrre5p0jrelw пароль: f5un
5. Английская модель GPT2 специально используется для обозначения предварительно обученной модели https://huggingface.co/pranavpsv/gpt2-genre-story-generator. Для конкретного кода обучения вы можете увидеть gpt2_english_story_train.py в примере
6. Он поддерживает модель T5, как на английском, так и на китайском языке, и напрямую использует пакет Transformers для загрузки. Для получения подробной информации вы можете увидеть соответствующие примеры в папке «Примеры». Параметры предварительной тренировки скачать: https://github.com/renmada/t5-pegasus-pytorch
7. Модель Симберта поддерживает генерацию аналогичных предложений, и предварительно обученная модель может использоваться с Бертом, Робертой и Нечой.
8. Барт китайский модель Адрес: https://huggingface.co/fnlp/bart-base-chinese

На некоторые коды ссылаются https://github.com/huggingface/transformers/ и https://github.com/bojone/bert4keras, большое спасибо! ! !

Скриншоты эффектов некоторых небольших примеров

GPT2 поколение

входить:

Хорошая погода сегодня

Выход:

Я пошел туда, чтобы посмотреть фильм с моими детьми, это было действительно хорошо! Окружающая среда - это нечего. Фильм очень изысканный, и звуковые эффекты очень хорошие. Я не знаю, не открыт ли этот магазин. Я надеюсь, что вы можете проверять это часто, если у вас есть время.

Написание стихотворения

Bert+CRF Ner

входить: Выход:

Классификация текста новостей (14 категорий)

Выход:

Медицинский Нер

входить:

Наркотические взаимодействия могут происходить, если они используются одновременно с другими препаратами. Пожалуйста, проконсультируйтесь с врачом или фармацевтом для получения подробной информации. Возьмите его с кипящей водой, 14 граммов за раз, 3 раза в день. Питательная кровь, регулируйте менструацию и облегчает боль. Он используется для низкого менструального потока, неправильной менструальной боли в животе, Цзяньмин Группа Йекай Тай Медицина (Suizhou) Co., Ltd. 1. Избегайте употребления сырой и холодной пищи. 2. Люди с другими болезнями должны принять его под руководством врача. 3. Если у вас нормальная менструация, вам следует пойти в больницу для лечения после внезапного снижения менструации или иметь неправильный период менструации. 4. Для лечения дисменореи рекомендуется принимать лекарство за 3-5 дней до менструации и взять его в течение одной недели. Если есть требования к фертильности, вы должны принять его под руководством врача. 5. Те, кто не облегчает дисменорею после принятия лекарства или у которых тяжелая дисменорея, должны пойти в больницу для диагностики и лечения. 6. Если симптомы не облегчаются после приема лекарства в течение 2 недель, вам следует пойти в больницу для лечения. 7. Это запрещено для тех, у кого аллергия на этот продукт, и он используется с осторожностью, если у вас аллергия на организм. 8. запрещено использовать при изменении характеристик этого продукта. 9. Пожалуйста, поместите этот продукт в то место, в котором дети не могут достичь. 10. Если вы используете другие лекарства, обратитесь к врачу или фармацевту перед использованием этого продукта. Этот продукт является безрецептурным препаратом для гинекологической нерегулярной менструации. Питательная кровь, регулируйте менструацию и облегчает боль. Он используется для боли в животе во время менструации. Питательная кровь, регулируйте менструацию и облегчает боль. Он используется для низкого менструального потока, неправильной менструальной боли в животе, 14 г*5 мешков безрецептурных лекарств (класс B), Национальный справочник медицинского страхования (класс B), запрещенные беременным женщинам. Диабетикам не разрешается принимать его.

Выход:

куплет

Семантическое соответствие

Причастие

Установить

1. Установите этот Framework pip install bert-seq2seq
2. Установите Pytorch
3. Установка TQDM может использоваться для отображения BARD PIP pip install tqdm
4. Подготовьте свои собственные данные, просто измените функцию read_data в примере кода, постройте ввод и вывод, а затем начните обучение.
5. Перейдите в папку примера и запустите соответствующий файл *_train.py. Для разных задач запустите разные файлы train.py. Вам необходимо изменить структуру входных и выходных данных, а затем провести обучение. Для получения подробной информации вы можете увидеть различные примеры в примерах ~

Некоторые функции объяснений

def load_bert (word2ix, model_name = "roberta", model_class = "seq2seq")

Загрузка модели BERT, параметр MODEL_NAME указывает, какой BERT использовать, в настоящее время поддерживает BERT, ROBERTA и NEZHA; model_class указывает, какую задачу использовать Bert для выполнения, Seq2seq представляет задачу генерации, CLS представляет задачу классификации текста ...

model.load_pretrain_params (pretrain_model_path)

Загрузка параметров модели BERT, обратите внимание, что он загружает только параметры Encoder, то есть параметры предварительно обученной модели, загруженной из Интернета; Например, модель SEQ2SEQ включает параметры модели BERT + полное соединение, и эта функция загружает только первую часть параметров.

def model.load_all_params (недавний_model_path)

Загрузите все параметры модели. После того, как вы обучались в течение некоторого времени и сохранили модель, вы можете загрузить последнюю модель результаты обучения с помощью этой функции, продолжить обучение или тестирование.

Если вы хотите прочитать различные статьи, вы можете перейти на мой веб -сайт ~ http://www.blog.zhxing.online/#/ Поиск стихов, куплетов, NER или классификации текстовых текстов, чтобы найти соответствующую статью. Спасибо за вашу поддержку.

Обновление записей

2021.11.12: Оптимизированный код, поддерживающий модель Roberta-Large.

2021.10.12: метод декодирования NER был оптимизирован. Были ошибки в предыдущем крупнозернистого метода декодирования.

2021.08.18: Большое количество кода было оптимизировано. В настоящее время код фреймворка выглядит более ясным, и было удалено большое количество избыточного кода.

2021.08.17: он поддерживает модель Huawei Nezha. Это очень просто. Просто измените параметр model_name. Добро пожаловать, чтобы проверить эффект.

2021.08.15: добавил пример сегментации слов и добавил код матча в Tokenizer.

2021.07.29: Оптимизация некоторого кода более кратко.

2021.07.20: модель Симберта воспроизводится, и вывод аналогичных предложений может быть выполнен, но из -за небольшого количества данных она еще предстоит протестировать.

2021.03.19: поддерживает расширение модели, и не только использует модель, которая поставляется с структурой, но также может напрямую загружать модель на обнимающееся лицо для обучения и прогнозирования.

2021.03.12: добавил пример китайского обучения GPT2, интерпретация мечты Чжоу Гонга.

2021.03.11: добавлен пример GPT2, вы можете продолжить написание статьи.

2021.03.11: был добавлен метод декодирования случайной генерации, и поколение стало более разнообразным.

2021.03.08: Поиск луча возвращает n результатов, принимая один случайным образом в качестве вывода.

2021.02.25: добавил пример семантического соответствия.

2021.02.06: метод настройки устройства был скорректирован, и теперь он более удобен.

2021.1.27: Структура кода структуры была скорректирована, и есть много изменений. Если есть ошибка, пожалуйста, не стесняйтесь выпустить.

2021.1.21: добавил новый пример, классификация извлечения символов.

2020.12.02: некоторые коды были скорректированы, и было добавлено несколько тестовых файлов, которые могут легко загрузить обученную модель и проверить соответствующие задачи.

2020.11.20: добавлен пример, тройная извлечение F1 может достигать 0,7. Добавлен тестовый код для классификации текстовых новостей.

2020.11.04: Пример запуска BET-CRF для выполнения обычных задач NER, эффект хорош.

2020.10.24: был скорректирован большой объем кода и был добавлен автоматический пример набора данных ThucNews. Теперь обучение должно было быть очень эффективным. В прошлом параметры предварительного обучения не могут быть загружены, и эффект может быть очень плохим.

2020.10.23: Некоторая структура кода была скорректирована, некоторые переменные в каждом примере были записаны в виде глобальных переменных, и код поиска луча был изменен, что было более оптимизировано. Тем не менее, рифмы в письменных стихах на данный момент не поддерживаются. Компенсировать это позже.

2020.09.29: добавлен новый пример обучения конкуренции Tianchi Medical NER (Medical Ner_train.py). Для получения подробной информации, пожалуйста, смотрите интерфейс конкурса: https://tianchi.aliyun.com/competition/entrance/531824/information

2020.08.16: добавил пример совместного обучения стихов куплетов (поэзия couplets_train.py), вы можете писать стихи и тексты песен и куплеты одновременно; Кроме того, добавляется новый тестовый код для поэзии, и вы можете проверить его после обучения модели.

2020.08.08: В этом обновлении много контента, 1. Добавил пример автоматического резюме (auto_title.py) 2. Добавлен код для упрощенного словарного списка. Оригинальные 3W-слова были уменьшены до более чем 1 Вт (потому что некоторые слова никогда не появятся) 3. Изменили некоторый код поиска луча, и эффект был лучше. 4. мелкозернистый NER не может использоваться в настоящее время, и данные немного проблематичны, поэтому поместите его в тестовую папку временно. Если вы найдете правильные данные, вы можете использовать их 5. Добавить новую тестовую папку. Обученная модель может быть проверена в ней, чтобы увидеть эффект.

2020.06.22: Дополнить статью по условной норме слоя. Некоторые из кода были объяснены. http://www.blog.zhxing.online/#/readblog?blogid=347

2020.06.21: было обновлено много кода, и был воспроизведен пример тройной извлечения (Triple Extraction_train.py) ~

2020.06.02: Я недавно был занят выпускным, и все еще существует конкуренция. Я не буду обновлять его на данный момент, и я буду продолжать обновлять его в будущем.

2020.04.18: После обучения модели BERT+CRF скорость обучения слоя CRF кажется достаточно высокой и необходимо улучшить (скорость обучения уровня CRF теперь может быть установлена отдельно, как правило, устанавливается на 0,01).

2020.04.13: Добавлена задача NER + потеря слоя CRF, проходящая посредством обучающих примеров, но алгоритм Viterbi еще не был добавлен.

2020.04.11: Планируйте добавить слой CRF к задаче NER.

2020.04.07: добавил пример Ner.

2020.04.07: Обновлен PYPI и добавил модель для задач аннотации последовательности, таких как NER.

2020.04.04: Код выше PYPI был обновлен. В настоящее время последняя версия составляет 0,0,6. Пожалуйста, используйте последнюю версию, будет меньше ошибок.

2020.04.04: Исправлены некоторые ошибки и добавлены примеры классификации текста заголовка новостей

2020.04.02: Степень наказания за неоднократные слова и рифмы в поиске лучей для написания стихов может быть лучше.

2020.04.02: Добавлена задача с мечтой Чжоу Гонга

2020.04.02: добавлена задача куплетов

2020.04.01: Добавлена задача для написания стихов

2020.04.01: рефакторировал код, и потребовалось меньше времени, чтобы начать обучение новой задачи.

Python setup.py sdist twin upload dist/bert_seq2seq-2.3.5.tar.gz