awesome bert

Этот хранилище предназначено для сбора ресурсов, связанных с Бертом.

AD: Репозиторий для сверточных сетей графиков по адресу https://github.com/jiakui/awesome-gcn (ресурсы для коннусоотражных сетей графика (图卷积神经网络相关资源)).

Документы:

1. Arxiv: 1810.04805, Берт: предварительное обучение глубоких двунаправленных трансформаторов для понимания языка, авторы: Джейкоб Девлин, Мин-Вей Чанг, Кентон Ли, Кристина Тутанова

Нажмите, чтобы увидеть больше

2. Arxiv: 1812.06705, Условное контекстуальное увеличение, авторы: Xing Wu, Shangwen LV, Liangjun Zang, Jizhong Han, Songlin Hu

3. Arxiv: 1812.03593, SDNet: контекстуализированная глубокая сеть, основанная на внимании, для разговорного ответа, авторы: Ченгуан Чжу, Майкл Зенг, Xuedong Huang

4. ARXIV: 1901.02860, Transformer-XL: внимательные языковые модели за пределами контекста с фиксированной длиной, авторы: Зиханг Дай, Чжилин Ян, Йиминг Ян, Уильям В. Коэн, Хайме Карбонэлл, Квок В. Ле и Руслан Салахтудинов.

5. Arxiv: 1901.04085, переход с Бертом, авторы: Родриго Ногейра, Кюнхён Чо

6. Arxiv: 1902.02671, Bert and Pals: Прогнозируемые уровни внимания для эффективной адаптации в многозадачном обучении, авторы: Asa Cooper Stickland, Iain Murray

7. ARXIV: 1904.02232, BERT Post Training для обзора понимания прочитанного и анализ настроений на основе аспектов, авторы: Hu Xu, Bing Liu, Lei Shu, Philip S. Yu, [Code]

Репозитории GitHub:

Официальная реализация:

1. Google-Research/Bert, официальный код тензора и предварительно обученные модели для Bert,

Реализация Берта, кроме TensorFlow:

1. Codertimo/Bert-Pytorch, Google AI 2018 Реализация Bert Pytorch,

2. HuggingFaceface/Pytorch, представленная-Bert, реализация Pytorch модели BERT Google AI с Script для загрузки предварительно обученных моделей Google,

3. DMLC/Gluon-NLP, Gluon + MXNet реализация, которая воспроизводит Bert PretriNing и PeneTuning на клейковом эталоне, команде и т. Д.

4. DBIIR/UER-PY, UER-PY-это инструментарий для предварительного обучения по корпусу общего домена и точной настройки по вниз по течению. UER-PY сохраняет модель модульности и поддерживает расширяемость исследований. Он облегчает использование различных моделей перед тренировкой (например, BERT) и предоставляет интерфейсы для дальнейшего распространения пользователей.
   

5. Brikerman/Kashgari, Simple, многоязычная структура NLP-мощности, позволяет создавать свои модели за 5 минут для распознавания именованных объектов (NER), частичного тегинга (POS) и задач классификации текста. Включает в себя встраивание BERT, GPT-2 и Word2VEC.

6. Kaushaltrivedi/Fast-Bert, Super Easy Library для моделей NLP на основе BERT,

Нажмите, чтобы увидеть больше

7. SHISERIUS/BERT-KERAS, Керас реализация BERT с предварительно обученными весами,

8. Soskek/Bert-Chainer, Реализация цепочки «Bert: предварительное обучение глубоких двунаправленных трансформаторов для понимания языка»,

9. Innodatalabs/Tbert, порт Pytorch модели Bert ML

10. Gootong1988/Bert-Tensorflow, Bert: предварительное обучение глубоких двунаправленных трансформаторов для понимания языка

11. Dreamgonfly/Bert-Pytorch, Pytorch Реализация BERT в «BERT: предварительное обучение глубоких двунаправленных трансформаторов для понимания языка»

12. Cyberzhg/Keras-Bert, реализация BERT, которая может загрузить официальные предварительно обученные модели для извлечения и прогнозирования функций

13. Soskek/Bert-Chainer, Реализация цепочки "Bert: предварительное обучение глубоких двунаправленных трансформаторов для понимания языка"

14. Mazhiyuanbuaa/bert-tf1.4.0, bert-tf1.4.0

15. Dhlee347/Pytorchic-Bert, Pytorch Реализация Google Bert,

16. KPOT/Keras-Transformer, Библиотека Керас для строительных (универсальных) трансформаторов, облегчение моделей BERT и GPT,

17. Mirooozyx/bert_with_keras, версия модели Google Bert's Bert,

18. Conda-Forge/Pytorch, представленное-берт-фишкол, репозиторий кондо-смитания для Pytorch, представленного-берта. В

19. Rshcaroline/bert_pytorch_fastnlp, Pytorch & Fastnlp реализация модели Google AI BERT.

20. nghuyong/ernie-pytorch, версия Ernie Pytorch,

Предварительно подготовленные берт веса:

1. Brightmart/Roberta_ZH, Роберта для китайцев, 中文预训练 Роберта 模型,

2. YMCUI/Китайский-Bert-WWM, предварительный тренировки с маскированием всего слов для китайского Bert (中文 中文 Bertwwm 预训练模型) https://arxiv.org/abs/1906.08101,

3. Thunlp/Openclap, открытый китайский язык

4. YMCUI/Китайский предварительно-xlnet, предварительно обученный китайский XLnet (中文 xlnet 预训练模型),

5. Brightmart/xlnet_zh, 中文预训练 xlnet 模型: предварительно обученный китайский xlnet_large,

Улучшение по сравнению с Бертом:

1. Thunlp/Ernie, исходный код и набор данных для статьи ACL 2019 «Ernie: улучшенное представление языка с информативными объектами», - вооружена берт с неоднородным слиянием информации.

2. PaddlePaddle/Lark, языковые представления, набор для представлений, PaddlePaddle реализация Bert. Он также содержит улучшенную версию Bert, Ernie, для китайских задач NLP. Берт Эрни,

3. Zihangdai/Xlnet, xlnet: обобщенная авторегрессивная предварительная подготовка для понимания языка,

4. Kimiyoung/Transformer-XL, Transformer-XL: внимательные языковые модели за пределами контекста с фиксированной длиной, этот репозиторий содержит код как в Pytorch, так и в Tensorflow для нашей статьи.

5. GAOPENG97/Transformer-Xl-Chinese, Transformer XL 在中文文本生成上的尝试。 (Transformer XL для генерации текста китайского языка),

6. PaddlePaddle/Ernie, реализация Ernie для понимания языка (включая модели предварительного обучения и инструменты с тонкой настройкой) Bert 的中文改进版 Ernie,

7. Pytorch/Fairseq, Facebook AI-исследования, последовательность-последовательность, инструментарий, написанный на Python. Роберта: надежно оптимизированный берт -предварительный подход,

8. FacebookResearch/Spanbert, код для использования и оценки Spanbert. , Этот репозиторий содержит код и модели для статьи: Spanbert: улучшение предварительного обучения, представляя и прогнозируя пролеты.,

9. Brightmart/albert_zh, 海量中文预训练 Albert 模型, Lite Bert для самоотверженного изучения языковых представлений https://arxiv.org/pdf/1909.11942.pdf,

10. Lonepatient/Albert_pytorch, Lite Bert для самоподвока

11. KPE/BERT-FOR-TF2, Керас Тензорфлоу 2.0 Реализация Bert, Albert и Adapter-Bert. https://github.com/kpe/bert-for-tf2,

Другие ресурсы для Берта:

1. Brightmart/bert_language_stronstingding, предварительное обучение глубоких двунаправленных трансформаторов для понимания языка: до тренировки Textcnn,

2. Y1ran/nlp-bert-chineseversion, 谷歌自然语言处理模型 bert ： 论文解析与 Python 代码,

Нажмите, чтобы увидеть больше

3. Yangbisheng2009/cn-bert, bert 在中文 nlp 的应用, 语法检查

4. Jayyip/Bert-Multiple-GPU, многократная версия поддержки GPU Bert,

5. Highcwu/Keras-Bert-TPU, реализация BERT, которая может загрузить официальные предварительно обученные модели для извлечения и прогнозирования функций на TPU,

6. Willyoung2017/bert_attempt, Pytorch Pretred Bert,

7. Pydataman/bert_examples, некоторые примеры Bert, run_classifier.py 是基于谷歌 Bert 实现了 Quora Unicfeer Classification 二分类比赛。run_ner.py 是基于瑞金医院 ai 大赛 第一赛季数据和 Bert 写的一个命名实体识别。

8. Gootong1988/Bert-Chinese, Bert: предварительное обучение глубоких двунаправленных трансформаторов для понимания языка 中文 汉语

9. zhongyunuestc/bert_multitask, 多任务 Задача

10. Microsoft/Azureml-Bert, сквозная прогулка для точной настройки Bert с использованием Azure Machine Learning,

11. Bigboned3/bert_serving, экспорт Bert Model для обслуживания,

12. Yoheikikuta/Bert-Japanese, Bert с предложением для японского текста.

13. WHQWILL/SEQ2SEQ-KEYPHRASE-BERT, добавьте часть BERT в Encoder для https://github.com/memray/seq2seq-keyphrase-pytorch,

14. Algteam/Bert-Examples, Bert-Demo,

15. Cedrickchee/Awesome-Bert-NLP, куратор ресурсов NLP, ориентированный на BERT, механизм внимания, трансформаторные сети и обучение передачи.

16. cnfive/cnbert, 中文注释一下 Bert 代码功能,

17. Brightmart/Bert_customized, Bert с индивидуальными функциями,

18. Jayyip/Bert-Multitask-Learning, Bert for Multisk Learning,

19. yuanxiaosc/bert_paper_chinese_translation, bert: предварительное обучение глубоких двунаправленных трансформаторов для понимания языка 论文的中文翻译。chinese Перевод! https://yuanxiaosc.github.io/2018/12/…,

20. yaserkl/bertvsulmfit, сравнивая результаты классификации текста с использованием встраивания BERT и Ulmfit Entriding,

21. KPOT/Keras-Transformer, Библиотека Керас для строительных (универсальных) трансформаторов, облегчение моделей BERT и GPT,

22. 1234560o/bert-model-code-интерпретация, 解读 tensorflow 版本 bert 中 Modeling.py 数据流

23. Cdathuraliya/Bert-Inference, помощник класса для Google Bert (Devlin et al., 2018) для поддержки онлайн-прогнозирования и модельного трубопровода.

24. GameOfDimension/Java-Bert-Predict, превратите контрольно-пропускной пункт Bert Pretrain в сохраненную модель для получения демонстрации функции в Java

25. 1234560o/bert-model-code-интерпретация, 解读 tensorflow 版本 bert 中 Modeling.py 数据流

Специфический домен Берт:

1. Allenai/Scibert, модель Bert для научного текста. https://arxiv.org/abs/1903.10676,

2. Merajat/oldingalAlanyThingWithbert, Biobert Pytorch

3. kexinhuang12345/clinicalbert, clinicalbert: моделирование клинических заметок и прогнозирование реадмиссии в больнице https://arxiv.org/abs/1904.05342

4. Emilyalsentzer/Clinicalbert, репозиторий для общедоступных клинических построений BERT

Берт развертывает трюки:

1. Zhihu/Cubert, Быстрая реализация вывода Bert непосредственно на NVIDIA (CUDA, CUBLAS) и Intel MKL

2. Xmxoxo/bert-train2deploy, Bert Model Training and Deploy, Bert 模型从训练到部署,

3. https://github.com/nvidia/deeplearningexamples/tree/master/tensorflow/languagemodeling/bert, bert для tensorflow, этот репозиторий обеспечивает сценарий и рецепт для обучения Берта для достижения состояния художественной точности и проверяется и поддерживается Nvidia.

4. Qiangsiwei/bert_distill, Берт дистилляция (基于 Bert 的蒸馏实验）,

5. Кевинмтан/Дистил-Берт, дистилляция знаний от Берта,

Bert QA & RC Задача:

1. Sogou/smrctoolkit, этот инструментарий был разработан для быстрой и эффективной разработки современных моделей понимания машин, включая как опубликованные модели, так и оригинальные прототипы.,

2. Бенивон/Китайскийберт, это китайская модель Берта, специфичная для ответа на вопросы,

3. Matthew-Z/R-Net, R-Net в Pytorch, с Bert и Elmo,

4. NYU-DL/DL4MARCO-BERT, переход с Бертом,

5. xzp27/bert-for-chinese-question-answering,

6. Chiayewken/Bert-Qa, Bert для вопросов, отвечающий на Hotpotqa,

7. ankit-ai/bertqa-attention-on-steroids, bertqa-Внимание к стероидам,

8. Noviscl/bert-race, эта работа основана на реализации Pytorch Bert (https://github.com/huggingface/pytorch-pretraind-bert). Я адаптировал оригинальную модель BERT для работы над пониманием машины с множественным выбором.

9. eva-n27/bert-for-chinese-question-answering,

10. Allenai/Allennlp-Bert-qa-Wrapper, это простая обертка поверх предварительно проведенных моделей QA на основе Bert от Pytorch-представленного Берта для создания модельных архивов Allennlp, чтобы вы могли обслуживать демо от Allennlp.

11. Edmondchensj/Cilinaqa-With-Bert, EECS 496: Расширенные темы в финальном проекте Deep Learn

12. Graykode/Toeicbert, Toeic (тест английского языка для международного общения) с использованием модели Pytorch, представленной, берта.,

13. Graykode/Korquad-beginner, https://github.com/graykode/korquad-beginner

14. Krishna-Sharma19/Sbu-qa, этот репозиторий использует предварительные встраивания Bert для обучения передачи в домене QA

15. Basketballandlearn/Dureader-Bert, Bert Dureader 多文档阅读理解 排名第七, 2019 Dureader 机器阅读理解,

Задача классификации BERT:

1. zhpmatrix/kaggle-quora-incerce-questions-classiation, kaggle 新赛 (базовая линия)-基于 Берт 的 тонкая настройка 方案+基于 tensor2tensor 的 трансформатор Encoder 方案

2. Maksna/Bert-Fine-Tuning-For-Chinese-Multiclass-Classiation, используйте модель предварительного обучения Google Bert для тонкой настройки для китайской многоклассной классификации

3. Nlpscott/Bert-Chinese Classiation-Task, Bert 中文分类实践,

4. Socialbird-ailab/bert-classiation-tutorial,

5. FOOSYNAPTIC/BERT_CLASSIFER_TRIAL, BERT TREAD для класса китайского корпуса

6. xiaopingzhong/bert-finetune-for-classfier, 微调 Bert 模型, 同时构建自己的数据集实现分类

7. pengming617/bert_classification, 利用 Bert 预训练的中文模型进行文本分类,

8. Xieyufei1993/Bert-Pytorch-Chinese-TextClassification, Pytorch Bert Finetune в китайской классификации текста,

9. liyibo/text-classiation-demos, нейронные модели для классификации текста в Tensorflow, таких как CNN, DPCNN, FastText, Bert ...,

10. Circlepi/bert_chinese_text_class_by_pytorch, Pytorch реализует китайский текстовый класс на основе Bert_pretryned_model,

11. Kaushaltrivedi/Bert-Toxic-Comments-Multilabel, многоамериканская классификация для токсичных комментариев.

12. Lonepatient/Bert-Chinese-Text-Classiation-Pytorch, этот репо содержит реализацию Pytorch предварительную модель BERT для классификации текста.,

Анализ настроений Берт

1. Чунг-и-дубан-сентимент-анализ, анализ настроений на набор данных Douban Movie Comments с использованием Bert.

2. Lynnna-Xu/Bert_SA, анализ настроения Bert TensorFlow, обслуживающий с Restful API

3. HSLCY/ABSA-BERT-PAIR, используя BERT для анализа настроений на основе аспектов посредством конструирования вспомогательного предложения (NAACL 2019) https://arxiv.org/abs/1903.09588,

4. Songyouwei/Absa-Pytorch, Анализ настроений, основанный на аспектах, реализации Pytorch. 基于方面的情感分析 使用 使用 Pytorch 实现。,

5. Howardhsu/bert-for-rrc-absa, код для нашей статьи NAACL 2019: «Bert после обучения для обзора понимания прочитанного и анализа настроений на основе аспектов»,

6. BrightMart/testiment_Analysis_fine_grain, многояменная классификация с Bert; Мелкозернистый анализ настроений от AI Challenger,

Задача Берта Нер:

1. zhpmatrix/bert-sequence-tagging, 基于 bert 的中文序列标注

2. kyzhouhzau/bert-ner, используйте Google Bert, чтобы сделать Conll-2003 ner! В

3. King-Menin/Ner-Bert, NER Task Solution (BertBi-LSTM-CRF) с Google Bert https://github.com/google-research.

4. macanv/bert-bilsmt-crf-ner, tensorflow solution задачи NER с использованием модели Bilstm-CRF с Google Bert Fine-Muning,

5. Fuyanzhe2/name-entity-признание, LSTM-CRF, Lattice-CRF, Берт-Ран.

6. MHCAO916/ner_based_on_bert, этот проект основан на модели Google Bert, которая является китайской NER

7. Prohiryu/Bert-Chinese-ner, 使用预训练语言模型 Bert 做中文 ner,

8. Sberbank-Ai/Ner-Bert, Bert-Ren (Nert-Bert) с Google Bert,

9. Kyzhouhzau/bert-bilstm-crf, эта модель база на Bert-service. Структура модели: Bert-Embedding Bilstm CRF. В

10. Hoiy/Berserker, Berserker - Bert Kind Word Tokenizer, Berserker (Bert Kind Word Tokenizer) - китайский токенизатор, построенный на вершине модели Google. В

11. Kyubyong/bert_ner, ner with bert,

12. jiangpinglei/bert_chinesewordsegment, китайская модель сегмента слов, основанная на Bert, F1-Score 97%,

13. Yanwii/Chinesener, 基于 Bi-Gru + CRF 的中文机构名、人名识别 中文实体识别, 支持 Google Bert 模型

14. Lemonhu/ner-bert-pytorch, Pytorch Solution задачи NER с использованием предварительно обученной модели BERT Google AI.

Задача суммирования текста BERT:

1. nlpyang/bertsum, код для бумаги Fine-Tune Bert для добывающей суммирования,

2. Santhoshkolloju/Abstractive-Summarization-Trans-Transer-обучение, абстрактное обобщение с использованием Bert в качестве кодера и декодера трансформатора,

3. nayeon7lee/bert-summarization, реализация «генерации естественного языка на основе предварительной подготовки для суммирования текста», Paper: https://arxiv.org/pdf/1902.09243.pdf

4. DMMILLER612/LECTURE-Summarizer, Суммизатор лекций с BERT

Задача генерации текста BERT:

1. Asyml/Texar, Toolkit для генерации текста и за пределами https://texar.io, Texar-это инструментарий для генерации текста общего назначения, также реализовал здесь BERT для классификации, и приложения для генерации текста, объединяя с другими модулями Texar.

2. voidful/bertgenerate, тонкая настройка Bert для генерации текста, Bert 做 文本生成 的一些實驗 的一些實驗

3. Tiiiger/bert_score, Bert Score for Language Generation,

Задача графика знаний BERT:

1. Lvjianxin/Extraction, 基于中文的知识抽取 基于中文的知识抽取 ， Baseline ： Bi-LSTM+CRF ： ： Берт 预训练

2. Sakuranew/Bert-Attribiteextraction, используя Bert для извлечения атрибутов в знаниях. тонкая настройка и извлечение функций. 使用基于 Берт 的微调和特征提取方法来进行知识图谱百度百科人物词条属性抽取。,

3. Aditya-AI/информация-ретриальная система использования-берат,

4. jkszw2014/bert-kbqa-nlpcc2017, исследование Kbqa на основе Bert для NLPCC2016/2017 Задача 5 (基于 Bert 的中文知识库问答实践 ， 代码可跑通） 博客介绍 博客介绍 https://blog.csdn.net/ai_10460679444/article/details/8678444444444444444444444444444444444444444444444444444444447

5. yuanxiaosc/schema на основе познания-познания-экспрессия, код для http://lic2019.ccf.org.cn/kg 信息抽取。使用基于 bert 的实体抽取和关系抽取的端到端的联合模型。 （将在比赛结束后 ， 完善代码和使用说明）,

6. Yuanxiaosc/Entity-Relation-Extraction, Entity и Extraction на основе Tensorflow. 基于 TensorFlow 的管道式实体及关系抽取 ， 2019 语言与智能技术竞赛信息抽取任务解决方案 (比赛结束后完善代码 比赛结束后完善代码） 。schema. Извлечение знаний, SKE 2019 http://lic2019.ccf.org.cn,

7. Wenrichard/kbqa-bert, 基于知识图谱的问答系统 ， ， 做命名实体识别和句子相似度 做命名实体识别和句子相似度 分为 分为 分为 和 和 模式 ， 博客介绍 https://zhuanlan.zhihu.com/p/62946533,

8. zhpmatrix/bertem, acl2019 论文实现《 Соответствие пробелам: сходство распределения для обучения отношения》,

Резолюция Берт Корфер

1. Ianycxu/rgcn-with-bert, раскоренные графические сети (RGCN) с BERT для задачи разрешения Corefer

2. Isabellebouchard/bert_for_gap-coreerferen

Берт визуализация инструментария:

1. Джессевиг/Бертвиз, инструмент для визуализации внимания Берта,

Берт Чатбот:

1. GAOQ1/RASA_NLU_GQ, превратите естественный язык в структурированные данные (支持中文 自定义了 n 种模型 ， 支持不同的场景和任务),

2. Gaoq1/rasa_chatbot_cn, 基于 rasa-nlu 和 rasa-core 搭建的对话系统 demo,

3. Gaoq1/rasa-bert-finetune, 支持 rasa-nlu 的 bert finetune,

4. geodge831012/bert_robot, 用于智能助手回答问题的训练 ， 基于 Bert 模型进行训练改造

5. Yuanxiaosc/bert-for-sequence-labeling-and-classiation, это код шаблона для использования BERT для последовательности Lableing и классификации текста, чтобы облегчить BERT для большего количества задач. В настоящее время код шаблона включал CONLL-2003 идентификацию сущности, заполнение слотов SNIPS и прогноз намерений.

6. Guillaume-Chevalier/Reubert, простой чат-бот, просто.

Модель языка и встраивание языка:

1. Hanxiao/Bert-AS-Service, отображение предложения с переменной длиной с вектором с фиксированной длиной с использованием предварительной модели BERT,

2. Yc-wind/incedding_study, 中文预训练模型生成字向量学习 ， 测试 bert ， elmo 的中文效果,

3. Kyubyong/Bert-Token-Embeddings, Bert Preting Token Enterdings,

4. xu-song/bert_as_language_model, bert as language model, fork from https://github.com/google-research/bert,

5. yuanxiaosc/diep_dynamic_word_representation, tensorflow код и предварительно обученные модели для глубокого динамического представления слов (DDWR). Он объединяет модель Берта и глубокое представление слова Эльмо.,

6. Imgarylai/Bert-Embedding, встраивание на уровне токенов из модели BERT на MXNET и GLUONNLP http://bert-embedding.readthedocs.io/,

7. Terrifyzhao/Bert-Utils, Bert 生成句向量 ， Bert 做文本分类、文本相似度计算,

8. fennudetudou/bert_implement, 使用 bert 模型进行文本分类 ， 相似句子判断 ， 以及词性标注,

9. WHQWILL/SEQ2SEQ-KEYPHRASE-BERT, добавьте часть BERT в Encoder для https://github.com/memray/seq2seq-keyphrase-pytorch,

10. Charles9n/Bert-Sklearn, обертка Sklearn для модели Google Bert,

11. NVIDIA/MEGATRON-LM, текущие научно-исследовательские тренировочные языковые модели в масштабе, в том числе: BERT,

12. HANKCS/BERT-TOKEN-внесение на уровне уровня, генерируйте внедрение уровня токена BERT без боли

13. FacebookResearch/Lama, Lama: Анализ языковой модели, Lama-это набор разъемов с предварительно обученными языковыми моделями.

БЕРТ Текст совпадает:

1. pengming617/bert_textmatching, 利用预训练的中文模型实现基于 bert 的语义匹配模型 数据集为 lcqmc 官方数据

2. Brokenwind/Bertsimilality, вычисление сходства двух предложений с алгоритмом Google Bert

3. Policeme/Cilina_bert_similality, Bert Kink Sailing

4. Lonepatient/Bert-Sentence-Similality-Pytorch, этот репо содержит реализацию Pytorch предварительно проведенной модели BERT для задачи сходства предложений.

5. Nouhadziri/Dialogentailment, реализация статьи «Оценка когерентности в системах диалога с использованием Entaultment» https://arxiv.org/abs/1904.03371

6. UKPLAB / ПРЕДЛОЖЕНИЯ Трансформаторы, встроенные предложения с BERT & XLNET, Трансформаторы предложений: встроенные предложения с использованием BERT / ROBERTA / XLNET с PYTORCH,

Учебники Берта:

1. Graykode/NLP-tutorial, учебник по обработке естественного языка для исследователей глубокого обучения https://www.reddit.com/r/machinelearn…,

2. Dragen1860/tensorflow-2.x-tutorials, учебные пособия и примеры версии Tensorflow 2.x, включая CNN, RNN, GAN, Auto-Ecoders, Pasterrcnn, GPT, BERT примеры и т. Д. TF 2.0 版入门实例代码 ， 实战教程。,