awesome bert

该存储库是收集与BERT相关的资源。

AD：https://github.com/jiakui/awesome-gcn的图形卷积网络的存储库（图卷积网络的资源）。

文件：

1. ARXIV：1810.04805，BERT：深层双向变压器的培训，以了解语言理解，作者：Jacob Devlin，Ming-Wei Chang，Kenton Lee，Kristina Toutanova

点击查看更多

2. Arxiv：1812.06705，有条件的Bert上下文增强，作者：Xing Wu，Shangwen LV，Liangjun Zang，Jizhong Han，Songlin Hu

3. ARXIV：1812.03593，SDNET：基于情境化的基于注意力的深层网络，用于对话问题回答，作者：Chenguang Zhu，Michael Zeng，Xuedong Huang

4. ARXIV：1901.02860，Transformer-XL：固定长度上下文以外的细心语言模型，作者：Zihang Dai，Zhilin Yang，Yiming Yang，William W. Cohen，Jaime Cohen，Jaime Carbonell，Quoc V. Le和Ruslan Salakhutdinov。

5. Arxiv：1901.04085，与Bert重新排行的通道，作者：Rodrigo Nogueira，Kyunghyun Cho

6. ARXIV：1902.02671，伯特和朋友：多任务学习中有效适应的预计注意力层，作者：Asa Cooper Stickland，Iain Murray

7. ARXIV：1904.02232，BERT培训后培训阅读理解和基于方面的情感分析，作者：Hu Xu，Bing Liu，Lei Shu，Philip S. Yu，[代码]

GitHub存储库：

官方实施：

1. Google-Research/BERT，BERT的主持Tensorflow代码和预训练的模型，

BERT的实施以外的张量：

1. Codertimo/Bert-Pytorch，Google AI 2018 Bert Pytorch实施，

2. Huggingface/Pytorch预测 - 伯特，Google AI的BERT模型的Pytorch实现，带有脚本，以加载Google的预培训模型，

3. DMLC/Gluon-NLP，Gluon + MXNET实现，在胶水基准，小队等上重现BERT预处理和填充

4. dbiir/uer-py，uer-py是用于预先训练通用域语料库和下游任务进行微调的工具包。 UER-PY保持模型模块性并支持研究可扩展性。它有助于使用不同的预训练模型（例如BERT），并为用户提供了进一步扩展的接口。
   

5. Brikerman/Kashgari，简单的，由Keras供电的多语言NLP框架，使您可以在5分钟内构建模型，以构建指定的实体识别（NER），言论部分标记（POS）和文本分类任务。包括Bert，GPT-2和Word2Vec嵌入。

6. Kaushaltrivedi/fast-bert，基于BERT的NLP模型的超级简单库，

点击查看更多

7. Sypemius/Bert-Keras，用预训练的重量实施BERT的KERAS，

8. Soskek/Bert-Chainer，“ Bert：深层双向变压器的预训练以了解语言理解”的Chainer实施，

9. innodatalabs/tbert，bert ml模型的Pytorch港口

10. Guotong1988/Bert-Tensorflow，Bert：深度双向变压器的预训练，以了解语言理解

11. Dreamgonfly/Bert-Pytorch，“ Bert：“ Bert：深层双向变压器的预训练）中的BERT”，以进行语言理解”

12. Cyber​​zhg/Keras-Bert，BERT的实施，可以加载官方的预培训模型以进行特征提取和预测

13. Soskek/Bert-Chainer，“ Bert：深层双向变压器的预训练以了解语言理解”的连锁商实施”

14. Mazhiyuanbuaa/bert-tf1.4.0，bert-tf1.4.0

15. dhlee347/pytorchic-bert，pytorch实施Google Bert，

16. KPOT/KERAS-Transformer，用于建筑物的KERAS库（通用）变压器，促进Bert和GPT模型，

17. Miroozyx/bert_with_keras，Google bert模型的KERAS版本，

18. conda-forge/pytorch-pretretain-bert-feedstock，pytorch-pretretration-bert的conda-smithy sopostory。 ，，，，

19. rshcaroline/bert_pytorch_fastnlp，Google AI的BERT模型的Pytorch＆FastNLP实现。

20. Nghuyong/Ernie-Pytorch，Ernie Pytorch版本，

预处理的伯特重量：

1. Brightmart/Roberta_zh，罗伯塔（Roberta）中文，罗伯塔（Roberta）

2. ymcui/centeral-bert-wwm，预训练中文bert bert-bert-wwm预训练模型）https://arxiv.org/abs/1906.08101，

3. thunlp/openclap，开放式汉语预培训模型动物园，openclap：多领域开源中文预训练语言模型仓库，

4. YMCUI/中文预先培训的XLNET，预训练的中文Xlnet （中文 Xlnet预训练模型），

5. Brightmart/XLNET_ZH，中文预训练XLNET模型：预先训练的中文Xlnet_large，

对伯特的改进：

1. Thunlp/Ernie，ACL 2019论文的源代码和数据集“ Ernie：具有信息实体的增强语言表示”，具有异质信息融合的Imporove Bert。

2. PaddlePaddle/Lark，语言表示套件，Bert的PaddlePaddle实现。它还包含用于中文NLP任务的Bert，Ernie的改进版本。伯特·埃尼（Ernie），

3. Zihangdai/Xlnet，XLNet：通用自动回报预处理以了解语言，

4. Kimiyoung/Transformer-XL，Transformer-XL：固定长度上下文以外的细心语言模型，该存储库在我们的论文中包含Pytorch和Tensorflow中的代码。

5. GAOPENG97/Transformer-XL-中国，变压器XL 在中文文本生成上的尝试。（变压器XL（用于中文的文本生成），）

6. PaddlePaddle/Ernie，Ernie的实现，用于语言理解（包括培训模型和微调工具）Bert的中文改进版Ernie，

7. Pytorch/Fairseq，Facebook AI研究序列到序列工具包，用Python编写。罗伯塔（Roberta）：一种强大优化的伯特预处理方法，

8. Facebook Research/Spanbert，用于使用和评估Spanbert的代码。 ，该存储库包含本文的代码和模型：Spanbert：通过表示和预测跨度，，改善预训练。

9. Brightmart/Albert_zh，海量中文预训练艾伯特（Albert），是一种自我监督语言表示学习的精简版，https://arxiv.org/pdf/1909.11942.pdf，

10. Lonepatient/Albert_pytorch，一种用于自我监督的学习语言表示的Lite Bert，

11. KPE/BERT-FOR-TF2，BERT，ALBERT和ADAPTER-BERT的Keras Tensorflow 2.0实施。 https://github.com/kpe/bert-for-tf2，

伯特的其他资源：

1. Brightmart/bert_language_underdanding，深层双向​​变压器的预训练，用于语言理解：预训练textcnn，

2. y1ran/nlp-bert-- chineseversion，谷歌自然语言处理模型伯特：论文解析与python代码，

点击查看更多

3. yangbisheng2009/cn-bert，bert在中文nlp的应用，语法检查

4. Jayyip/Bert-Multiple-GPU，Bert的多个GPU支持版本，

5. Highcwu/keras-bert-tpu，BERT的实施，可以加载官方的预训练模型，以提取和预测TPU，

6. willyoung2017/bert_attempt，pytorch审计的伯特，

7. pydataman/bert_examples，bert的一些示例，run_classifier.py是基于谷歌bert quora quora insincere iNSINCERE疑问分类二分类比赛。run_ner.py是基于瑞金医院

8. Guotong1988/Bert-Chinese，Bert：深层双向变压器的预训练，用于语言理解中文中文

9. zhongyunuestc/bert_multitask，多任务任务

10. Microsoft/azureml-bert，端到端步行，使用Azure Machine学习进行微调Bert，

11. bigboned3/bert_serving，用于服务的导出bert模型，

12. Yoheikikuta/Bert-Japanese，伯特（Bert），日语文字。

13. whqwill/seq2seq-keyphrase-bert，将bert添加到https://github.com/memray/seq2seq-keyphrase-pytorch的编码器部分，

14. algteam/bert-escamples，bert-demo，

15. Cedrickchee/Awesome-bert-NLP，策划的NLP资源列表，专注于BERT，注意机制，变压器网络和转移学习。

16. cnfive/cnbert，中文注释一下伯特代码功能，

17. Brightmart/bert_customized，具有自定义功能的Bert，

18. Jayyip/Bert-Multitask学习，用于多任务学习的BERT，

19. Yuanxiaosc/bert_paper_chinese_translation，Bert：深度双向变压器的预训练，用于语言理解论文的中文翻译。中国翻译！ https://yuanxiaosc.github.io/2018/12/其他

20. yaserkl/bertvsulmfit，使用bert嵌入和ulmfit嵌入比较文本分类结果，

21. KPOT/KERAS-Transformer，用于建筑物的KERAS库（通用）变压器，促进Bert和GPT模型，

22. 1234560O/bert-Model-code-terpretation，解读tensorflow版本bert中建模

23. Cdathuraliya/bert-推断，Google Bert的助手类（Devlin等，2018），以支持在线预测和模型管道。

24. gameofdimension/java-bert-predict，将Bert Pretrain Checkpoint变成保存的模型，用于在Java中提取演示的功能

25. 1234560O/bert-Model-code-terpretation，解读tensorflow版本bert中建模

域特定的伯特：

1. Allenai/Scibert，科学文本的BERT模型。 https://arxiv.org/abs/1903.10676，

2. Merajat/solvingalostanywhingwithbert，biobert pytorch

3. Kexinhuang12345/Clinicalbert，Clinicalbert：建模临床笔记和预测医院再入院https://arxiv.org/abs/1904.05342

4. Emilyalsentzer/Clinicalbert，用于公开临床BERT嵌入的存储库

伯特部署技巧：

1. Zhihu/Cubert，直接在Nvidia（Cuda，Cublas）和Intel MKL上快速实施BERT推断

2. XMXOXO/BERT-TRAIN2DEPLOY，BERT模型培训和部署，Bert模型从训练到部署，

3. https://github.com/nvidia/deeplearningningexamples/tree/master/master/tensorflow/languagemodeling/bert，bert for Tensorflow，该存储库提供了一个脚本和配方，可以训练Bert来实现ART的准确性，并通过Nvidia进行了测试和维护。

4. Qiangsiwei/bert_distill，Bert蒸馏（基于 bert的蒸馏实验），

5. Kevinmtian/Distill-Bert，Bert的知识蒸馏，

Bert QA和RC任务：

1. 该工具包的Sogou/SmrctoolKit是为现代机器理解模型的快速开发而设计的，包括已发表的模型和原始原型。

2. Benywon/Chinesebert，这是一种针对问答的中文BERT模型，

3. Matthew-Z/R-net，Pytorch的R-NET，与Bert和Elmo，

4. NYU-DL/DL4MARCO-BERT，与Bert重新排行的通道，

5. xzp27/bert-for-for-for-for-ther-question-tewering，

6. chiayewken/bert-qa，伯特（Bert

7. Ankit-ai/bertqa在肉灶上，bertqa - 对类固醇的关注，

8. NovisCl/Bert-Race，这项工作基于Bert的Pytorch实现（https://github.com/huggingface/pytorch-pretratain--bert）。我调整了原始的BERT模型以在多项选择机理解上工作。

9. EVA-N27/BERT-FER-CHINESE-CRESETION-RENSWERING，

10. Allenai/Allennlp-bert-qa-wrapper，这是一个简单的包装器，在Pytorch-pretration-practined-bert的基于BERT的QA模型之上，可以制作Allennlp Model Archives，以便您可以提供Allennlp的演示。

11. Edmondchensj/CentralQa-With-Bert，EECS 496：深度学习最终项目的高级主题：中国问题与Bert回答（Baidu Dureader数据集）

12. Graykode/toeicbert，使用Pytorch-pretretain-bert模型解决的toeic（国际通信的英语测试），。

13. Graykode/korquad-Beginner，https://github.com/graykode/korquad-beginner

14. Krishna-Sharma19/sbu-qa，此存储库使用前BERT嵌入质量固定在QA域中转移学习

15. 篮球和杜德尔 - 伯特·杜勒德（Bert Dureader）

BERT分类任务：

1. zhpmatrix/kaggle-quora-insincere-questions-classification，kaggle新赛（基线） - 基于bert bert的微调方案+tensor2tensor的tensor2tensor的变压器编码器

2. maksna/bert-fine-for-for-phinese-multiclass-classification，使用Google预培训模型BERT进行微调进行微调分类

3. Nlpscott/Bert-Chinese-Classification任务，Bert中文分类实践，

4. 社交鸟 - 伊利布/伯特分类教程，

5. foosynaptic/bert_classifer_trial，中国语料库的BERT试用

6. xiaopingzhong/bert-finetune-for-classfier，微调伯特模型，同时构建自己的数据集实现分类

7. pengming617/bert_classification，利用bert预训练的中文模型进行文本分类，

8. Xieyufei1993/Bert-Pytorch-Chinese-TextClassification，Pytorch Bert Finetune中的中文文本分类，

9. liyibo/text-classification-demos，用于TensorFlow中文本分类的神经模型，例如CNN，DPCNN，FastText，Bert ...，...，

10. circlepi/bert_chinese_text_class_by_pytorch，基于bert_pretrataining_model的中文文本类的pytorch工具，

11. Kaushaltrivedi/Bert-toxic-comments-Multilabel，使用Bert的有毒评论挑战的多标签分类，

12. Lonepatient/Bert-Chinese-Text-classification-Pytorch，该回购包含用于文本分类的预告片BERT模型的Pytorch实现。

伯特情绪分析

1. Chung-I/Douban-Sentiment-Analysis，使用BERT对DOUBAN电影简短评论数据集进行的情感分析。

2. lynnna-xu/bert_sa，bert情感分析tensorflow与RESTFUL API一起服务

3. HSLCY/ABSA-BERT-PAIR，利用BERT通过构建辅助句子（NAACL 2019）https://arxiv.org/abs/1903.09588，

4. Songyouwei/Absa-Pytorch，基于方面的情感分析，Pytorch实现。 基于方面的情感分析，使用pytorch实现。，

5. Howardhsu/bert-for-rrc-absa，我们的NAACL 2019论文的代码：“ BERT培训后的审查阅读理解和基于方面的情感分析”，

6. Brightmart/sentiment_analysis_fine_grain，带有bert的多标签分类； AI Challenger的精细污染情感分析，

Bert Ner任务：

1. zhpmatrix/bert-sequence-tagging，基于bert的中文序列标注

2. kyzhouhzau/bert-ner，使用Google Bert做Conll-2003 NER！ ，，，，

3. King-Menin/ner-Bert，NER任务解决方案（Bert-Bi-LSTM-CRF）与Google Bert https://github.com/google-research。

4. MacAnv/Bert-Bilsmt-Crf-ner，使用Bilstm-CRF模型的NER任务解决方案，并与Google Bert微调，

5. fuyanzhe2/name-entity-regnition，lstm-crf，lattice-crf，bert-ner及近年ner相关论文

6. MHCAO916/ner_based_on_bert，此项目基于Google Bert模型，这是中文NER

7. prohiryu/bert-chinese-ner，使用预训练语言模型bert做中文ner，

8. sberbank-ai/ner-bert，伯特 - 纳（Nert-Bert）与Google Bert，

9. kyzhouhzau/bert-bilstm-crf，此模型基于bert-as服务。模型结构：BERT-EXBED BILSTM CRF。 ，，，，

10. Hoiy/Berserker，Berserker -Bert中文单词Tokenizer，Berserker（Bert中文单词Tokenizer）是一种中国令牌，建在Google的Bert模型之上。 ，，，，

11. kyubyong/bert_ner，ner with bert，

12. jiangpinglei/bert_chinsewordsegment，基于BERT的中文单词段模型，F1得分97％，

13. yanwii/chinesener，基于bi-gru + crf 的中文机构名、人名识别 的中文机构名、人名识别，支持谷歌bert模型

14. Lemonhu/ner-bert-Pytorch，使用Google AI的预训练的BERT模型的NER任务解决方案。

BERT文本摘要任务：

1. nlpyang/bertsum，用于提取摘要的纸微调伯特的代码，

2. santhoshkolloju/抽象 - 萨明化 - 转移学习，抽象摘要，使用bert作为编码器和变压器解码器，

3. nayeon7lee/bert-summarization，实施“基于预训练的文本摘要的自然语言生成”，论文：https：//arxiv.org/pdf/1902.09243.pdf

4. DMMILLER612/演讲仪式，伯特的演讲摘要

BERT文本生成任务：

1. Asyml/texar，文本生成工具包，https://texar.io，Texar是一家通用的文本生成工具包，在这里还实施了BERT进行分类，并通过与Texar的其他模块结合使用文本生成应用程序。

2. 无效/伯特，微调文本生成的伯特，bert做做文本生成

3. tiiiger/bert_score，语言生成的伯特分数，

伯特知识图任务：

1. lvjianxin/知识萃取，基线：bi-lstm+crf升级版：bert预训练

2. Sakuranew/Bert-Attributeextraction，使用BERT属于知识图中的提取。微调和特征提取。 使用基于伯特，

3. aditya-ai/信息 - retrival-system-unity-bert，

4. JKSZW2014/BERT-KBQA-NLPCC2017，基于BERT的KBQA试验NLPCC2016/2017 2017年任务5（bert的中文知识库问答实践，代码可跑通，代码可跑通）

5. 基于Yuanxiaosc/架构基于http://lic2019.ccf.org.cn/kg信息抽取。使用基于bert 的实体抽取和关系抽取的端到端的联合模型。（将在比赛结束后，完善代码和使用说明，完善代码和使用说明）

6. Yuanxioosc/实体缔合 - 萃取，实体和基于张量的关系提取。 基于tensorflow的管道式实体及关系抽取，2019年）基于schema的知识提取，SKE 2019 http://lic2019.ccf.org.cn，

7. Wenrichard/kbqa-bert，基于知识图谱的问答系统，伯特，在线和

8. zhpmatrix/bertem，acl2019 论文实现《匹配空白：关系学习的分布相似性》，

BERT核心分辨率

1. ianycxu/rgcn-with-bert，带有BERT的封闭关系图形卷积网络（RGCN）用于核心分辨率任务

2. isabelleBouchard/bert_for_gap-coreference，bert Finetuning for Gap nobaled代词分辨率

伯特可视化工具包：

1. Jessevig/Bertviz，可视化伯特注意的工具，

伯特聊天机器人：

1. gaoq1/rasa_nlu_gq，将自然语言转换为结构化数据（支持中文，自定义了n种模型，支持不同的场景和任务），

2. gaoq1/rasa_chatbot_cn，基于rasa-nlu和rasa-core搭建的对话系统演示，

3. gaoq1/rasa-bert-finetune，支持rasa-nlu的伯特芬特（Bert Finetune），

4. Geodge831012/bert_robot，用于智能助手回答问题的训练，bert模型进行训练改造

5. Yuanxiaosc/bert-for-for-sequence-sequence-Labeling and Text-classification，这是使用BERT进行序列较差和文本分类的模板代码，以便促进Bert进行更多任务。当前，模板代码包括CONLL-2003命名实体标识，SNIPS插槽填充和意图预测。

6. Guillaume-Chevalier/Reubert，简单地提问的聊天机器人。

BERT语言模型和嵌入：

1. hanxiao/bert-as服务，使用验证的BERT模型将可变长度映射到固定长度向量，

2. yc-wind/embedding_study，中文预训练模型生成字向量学习，bert，elmo的中文效果，

3. kyubyong/bert-token-embeddings，伯特预识别的象征性嵌入，

4. xu-song/bert_as_language_model，bert作为语言模型，fork from https://github.com/google-research/bert，

5. Yuanxiaosc/deep_dynamic_word_presentation，TensorFlow代码和预训练的Deep Dynamic Word表示（DDWR）的模型。它结合了Bert模型和Elmo的深层上下文字表示。

6. imgarylai/bert-embedding，MXNET和gluonnlp上的BERT模型的令牌级别嵌入

7. terrifyzhao/bert-utils，伯特（Bert），伯特（Bert）

8. fennudetudou/bert_implement，使用bert模型进行文本分类，相似句子判断，以及词性标注，以及词性标注，

9. whqwill/seq2seq-keyphrase-bert，将bert添加到https://github.com/memray/seq2seq-keyphrase-pytorch的编码器部分，

10. Charles9n/Bert-Sklearn，Google bert模型的Sklearn包装器，

11. NVIDIA/Megatron-LM，正在进行的研究培训变压器语言模型，包括：BERT，

12. hankcs/bert-token级装饰，产生bert令牌液位而不会疼痛

13. Facebook Research/Lama，Lama：语言模型分析，LAMA是预训练的语言模型的一组连接器。

伯特文字匹配：

1. pengming617/bert_textMatching，利用预训练的中文模型实现基于bert的语义匹配模型lcqmc官方数据

2. broklearwind/bertsiminity，计算两个句子与Google的Bert算法的相似性

3. Policeme/Chinese_bert_simurity，伯特中国的相似性

4. Lonepatient/Bert-sentence相似性 - Pytorch，此存储库包含用于句子相似性任务的预审预定的BERT模型的Pytorch实现。

5. nouhadziri/Dialogentailment，《使用零件评估对话系统中的连贯性》的实施” https://arxiv.org/abs/1904.03371

6. UKPLAB /句子转换器，带有Bert＆Xlnet的句子嵌入，句子变形金刚：使用Bert / Roberta / Xlnet搭配Pytorch的句子嵌入，

伯特教程：

1. Graykode/nlp-Tutorial，深度学习研究人员的自然语言处理教程https://www.reddit.com/r/machinelearn间

2. Dragen1860/TensorFlow-2.x-Tutorials，TensorFlow 2.x版本的教程和示例，包括CNN，RNN，GAN，GAN，AUTO-编码器，Fasterrcnn，GPT，GPT，BERT，BERT，BERT，示例等。