awesome bert

該存儲庫是收集與BERT相關的資源。

AD：https://github.com/jiakui/awesome-gcn的圖形卷積網絡的存儲庫（圖卷積網絡的資源）。

文件：

1. ARXIV：1810.04805，BERT：深層雙向變壓器的培訓，以了解語言理解，作者：Jacob Devlin，Ming-Wei Chang，Kenton Lee，Kristina Toutanova

點擊查看更多

2. Arxiv：1812.06705，有條件的Bert上下文增強，作者：Xing Wu，Shangwen LV，Liangjun Zang，Jizhong Han，Songlin Hu

3. ARXIV：1812.03593，SDNET：基於情境化的基於注意力的深層網絡，用於對話問題回答，作者：Chenguang Zhu，Michael Zeng，Xuedong Huang

4. ARXIV：1901.02860，Transformer-XL：固定長度上下文以外的細心語言模型，作者：Zihang Dai，Zhilin Yang，Yiming Yang，William W. Cohen，Jaime Cohen，Jaime Carbonell，Quoc V. Le和Ruslan Salakhutdinov。

5. Arxiv：1901.04085，與Bert重新排行的通道，作者：Rodrigo Nogueira，Kyunghyun Cho

6. ARXIV：1902.02671，伯特和朋友：多任務學習中有效適應的預計注意力層，作者：Asa Cooper Stickland，Iain Murray

7. ARXIV：1904.02232，BERT培訓後培訓閱讀理解和基於方面的情感分析，作者：Hu Xu，Bing Liu，Lei Shu，Philip S. Yu，[代碼]

GitHub存儲庫：

官方實施：

1. Google-Research/BERT，BERT的主持Tensorflow代碼和預訓練的模型，

BERT的實施以外的張量：

1. Codertimo/Bert-Pytorch，Google AI 2018 Bert Pytorch實施，

2. Huggingface/Pytorch預測 - 伯特，Google AI的BERT模型的Pytorch實現，帶有腳本，以加載Google的預培訓模型，

3. DMLC/Gluon-NLP，Gluon + MXNET實現，在膠水基準，小隊等上重現BERT預處理和填充

4. dbiir/uer-py，uer-py是用於預先訓練通用域語料庫和下游任務進行微調的工具包。 UER-PY保持模型模塊性並支持研究可擴展性。它有助於使用不同的預訓練模型（例如BERT），並為用戶提供了進一步擴展的接口。
   

5. Brikerman/Kashgari，簡單的，由Keras供電的多語言NLP框架，使您可以在5分鐘內構建模型，以構建指定的實體識別（NER），言論部分標記（POS）和文本分類任務。包括Bert，GPT-2和Word2Vec嵌入。

6. Kaushaltrivedi/fast-bert，基於BERT的NLP模型的超級簡單庫，

點擊查看更多

7. Sypemius/Bert-Keras，用預訓練的重量實施BERT的KERAS，

8. Soskek/Bert-Chainer，“ Bert：深層雙向變壓器的預訓練以了解語言理解”的Chainer實施，

9. innodatalabs/tbert，bert ml模型的Pytorch港口

10. Guotong1988/Bert-Tensorflow，Bert：深度雙向變壓器的預訓練，以了解語言理解

11. Dreamgonfly/Bert-Pytorch，“ Bert：“ Bert：深層雙向變壓器的預訓練）中的BERT”，以進行語言理解”

12. Cyber​​zhg/Keras-Bert，BERT的實施，可以加載官方的預培訓模型以進行特徵提取和預測

13. Soskek/Bert-Chainer，“ Bert：深層雙向變壓器的預訓練以了解語言理解”的連鎖商實施”

14. Mazhiyuanbuaa/bert-tf1.4.0，bert-tf1.4.0

15. dhlee347/pytorchic-bert，pytorch實施Google Bert，

16. KPOT/KERAS-Transformer，用於建築物的KERAS庫（通用）變壓器，促進Bert和GPT模型，

17. Miroozyx/bert_with_keras，Google bert模型的KERAS版本，

18. conda-forge/pytorch-pretretain-bert-feedstock，pytorch-pretretration-bert的conda-smithy sopostory。 ，，，，

19. rshcaroline/bert_pytorch_fastnlp，Google AI的BERT模型的Pytorch＆FastNLP實現。

20. Nghuyong/Ernie-Pytorch，Ernie Pytorch版本，

預處理的伯特重量：

1. Brightmart/Roberta_zh，羅伯塔（Roberta）中文，羅伯塔（Roberta）

2. ymcui/centeral-bert-wwm，預訓練中文bert bert-bert-wwm預訓練模型）https://arxiv.org/abs/1906.08101，

3. thunlp/openclap，開放式漢語預培訓模型動物園，openclap：多領域開源中文預訓練語言模型倉庫，

4. YMCUI/中文預先培訓的XLNET，預訓練的中文Xlnet （中文 Xlnet預訓練模型），

5. Brightmart/XLNET_ZH，中文預訓練XLNET模型：預先訓練的中文Xlnet_large，

對伯特的改進：

1. Thunlp/Ernie，ACL 2019論文的源代碼和數據集“ Ernie：具有信息實體的增強語言表示”，具有異質信息融合的Imporove Bert。

2. PaddlePaddle/Lark，語言表示套件，Bert的PaddlePaddle實現。它還包含用於中文NLP任務的Bert，Ernie的改進版本。伯特·埃尼（Ernie），

3. Zihangdai/Xlnet，XLNet：通用自動回報預處理以了解語言，

4. Kimiyoung/Transformer-XL，Transformer-XL：固定長度上下文以外的細心語言模型，該存儲庫在我們的論文中包含Pytorch和Tensorflow中的代碼。

5. GAOPENG97/Transformer-XL-中國，變壓器XL 在中文文本生成上的嘗試。 （變壓器XL（用於中文的文本生成），）

6. PaddlePaddle/Ernie，Ernie的實現，用於語言理解（包括培訓模型和微調工具）Bert的中文改進版Ernie，

7. Pytorch/Fairseq，Facebook AI研究序列到序列工具包，用Python編寫。羅伯塔（Roberta）：一種強大優化的伯特預處理方法，

8. Facebook Research/Spanbert，用於使用和評估Spanbert的代碼。 ，該存儲庫包含本文的代碼和模型：Spanbert：通過表示和預測跨度，，改善預訓練。

9. Brightmart/Albert_zh，海量中文預訓練艾伯特（Albert），是一種自我監督語言表示學習的精簡版，https://arxiv.org/pdf/1909.11942.pdf，

10. Lonepatient/Albert_pytorch，一種用於自我監督的學習語言表示的Lite Bert，

11. KPE/BERT-FOR-TF2，BERT，ALBERT和ADAPTER-BERT的Keras Tensorflow 2.0實施。 https://github.com/kpe/bert-for-tf2，

伯特的其他資源：

1. Brightmart/bert_language_underdanding，深層雙向​​變壓器的預訓練，用於語言理解：預訓練textcnn，

2. y1ran/nlp-bert-- chineseversion，谷歌自然語言處理模型伯特：論文解析與python代碼，

點擊查看更多

3. yangbisheng2009/cn-bert，bert在中文nlp的應用，語法檢查

4. Jayyip/Bert-Multiple-GPU，Bert的多個GPU支持版本，

5. Highcwu/keras-bert-tpu，BERT的實施，可以加載官方的預訓練模型，以提取和預測TPU，

6. willyoung2017/bert_attempt，pytorch審計的伯特，

7. pydataman/bert_examples，bert的一些示例，run_classifier.py是基於谷歌bert quora quora insincere iNSINCERE疑問分類二分類比賽。 run_ner.py是基於瑞金醫院

8. Guotong1988/Bert-Chinese，Bert：深層雙向變壓器的預訓練，用於語言理解中文中文

9. zhongyunuestc/bert_multitask，多任務任務

10. Microsoft/azureml-bert，端到端步行，使用Azure Machine學習進行微調Bert，

11. bigboned3/bert_serving，用於服務的導出bert模型，

12. Yoheikikuta/Bert-Japanese，伯特（Bert），日語文字。

13. whqwill/seq2seq-keyphrase-bert，將bert添加到https://github.com/memray/seq2seq-keyphrase-pytorch的編碼器部分，

14. algteam/bert-escamples，bert-demo，

15. Cedrickchee/Awesome-bert-NLP，策劃的NLP資源列表，專注於BERT，注意機制，變壓器網絡和轉移學習。

16. cnfive/cnbert，中文註釋一下伯特代碼功能，

17. Brightmart/bert_customized，具有自定義功能的Bert，

18. Jayyip/Bert-Multitask學習，用於多任務學習的BERT，

19. Yuanxiaosc/bert_paper_chinese_translation，Bert：深度雙向變壓器的預訓練，用於語言理解論文的中文翻譯。中國翻譯！ https://yuanxiaosc.github.io/2018/12/其他

20. yaserkl/bertvsulmfit，使用bert嵌入和ulmfit嵌入比較文本分類結果，

21. KPOT/KERAS-Transformer，用於建築物的KERAS庫（通用）變壓器，促進Bert和GPT模型，

22. 1234560O/bert-Model-code-terpretation，解讀tensorflow版本bert中建模

23. Cdathuraliya/bert-推斷，Google Bert的助手類（Devlin等，2018），以支持在線預測和模型管道。

24. gameofdimension/java-bert-predict，將Bert Pretrain Checkpoint變成保存的模型，用於在Java中提取演示的功能

25. 1234560O/bert-Model-code-terpretation，解讀tensorflow版本bert中建模

域特定的伯特：

1. Allenai/Scibert，科學文本的BERT模型。 https://arxiv.org/abs/1903.10676，

2. Merajat/solvingalostanywhingwithbert，biobert pytorch

3. Kexinhuang12345/Clinicalbert，Clinicalbert：建模臨床筆記和預測醫院再入院https://arxiv.org/abs/1904.05342

4. Emilyalsentzer/Clinicalbert，用於公開臨床BERT嵌入的存儲庫

伯特部署技巧：

1. Zhihu/Cubert，直接在Nvidia（Cuda，Cublas）和Intel MKL上快速實施BERT推斷

2. XMXOXO/BERT-TRAIN2DEPLOY，BERT模型培訓和部署，Bert模型從訓練到部署，

3. https://github.com/nvidia/deeplearningningexamples/tree/master/master/tensorflow/languagemodeling/bert，bert for Tensorflow，該存儲庫提供了一個腳本和配方，可以訓練Bert來實現ART的準確性，並通過Nvidia進行了測試和維護。

4. Qiangsiwei/bert_distill，Bert蒸餾（基於 bert的蒸餾實驗），

5. Kevinmtian/Distill-Bert，Bert的知識蒸餾，

Bert QA和RC任務：

1. 該工具包的Sogou/SmrctoolKit是為現代機器理解模型的快速開發而設計的，包括已發表的模型和原始原型。

2. Benywon/Chinesebert，這是一種針對問答的中文BERT模型，

3. Matthew-Z/R-net，Pytorch的R-NET，與Bert和Elmo，

4. NYU-DL/DL4MARCO-BERT，與Bert重新排行的通道，

5. xzp27/bert-for-for-for-for-ther-question-tewering，

6. chiayewken/bert-qa，伯特（Bert

7. Ankit-ai/bertqa在肉灶上，bertqa - 對類固醇的關注，

8. NovisCl/Bert-Race，這項工作基於Bert的Pytorch實現（https://github.com/huggingface/pytorch-pretratain--bert）。我調整了原始的BERT模型以在多項選擇機理解上工作。

9. EVA-N27/BERT-FER-CHINESE-CRESETION-RENSWERING，

10. Allenai/Allennlp-bert-qa-wrapper，這是一個簡單的包裝器，在Pytorch-pretration-practined-bert的基於BERT的QA模型之上，可以製作Allennlp Model Archives，以便您可以提供Allennlp的演示。

11. Edmondchensj/CentralQa-With-Bert，EECS 496：深度學習最終項目的高級主題：中國問題與Bert回答（Baidu Dureader數據集）

12. Graykode/toeicbert，使用Pytorch-pretretain-bert模型解決的toeic（國際通信的英語測試），。

13. Graykode/korquad-Beginner，https://github.com/graykode/korquad-beginner

14. Krishna-Sharma19/sbu-qa，此存儲庫使用前BERT嵌入質量固定在QA域中轉移學習

15. 籃球和杜德爾 - 伯特·杜勒德（Bert Dureader）

BERT分類任務：

1. zhpmatrix/kaggle-quora-insincere-questions-classification，kaggle新賽（基線） - 基於bert bert的微調方案+tensor2tensor的tensor2tensor的變壓器編碼器

2. maksna/bert-fine-for-for-phinese-multiclass-classification，使用Google預培訓模型BERT進行微調進行微調分類

3. Nlpscott/Bert-Chinese-Classification任務，Bert中文分類實踐，

4. 社交鳥 - 伊利布/伯特分類教程，

5. foosynaptic/bert_classifer_trial，中國語料庫的BERT試用

6. xiaopingzhong/bert-finetune-for-classfier，微調伯特模型，同時構建自己的數據集實現分類

7. pengming617/bert_classification，利用bert預訓練的中文模型進行文本分類，

8. Xieyufei1993/Bert-Pytorch-Chinese-TextClassification，Pytorch Bert Finetune中的中文文本分類，

9. liyibo/text-classification-demos，用於TensorFlow中文本分類的神經模型，例如CNN，DPCNN，FastText，Bert ...，...，

10. circlepi/bert_chinese_text_class_by_pytorch，基於bert_pretrataining_model的中文文本類的pytorch工具，

11. Kaushaltrivedi/Bert-toxic-comments-Multilabel，使用Bert的有毒評論挑戰的多標籤分類，

12. Lonepatient/Bert-Chinese-Text-classification-Pytorch，該回購包含用於文本分類的預告片BERT模型的Pytorch實現。

伯特情緒分析

1. Chung-I/Douban-Sentiment-Analysis，使用BERT對DOUBAN電影簡短評論數據集進行的情感分析。

2. lynnna-xu/bert_sa，bert情感分析tensorflow與RESTFUL API一起服務

3. HSLCY/ABSA-BERT-PAIR，利用BERT通過構建輔助句子（NAACL 2019）https://arxiv.org/abs/1903.09588，

4. Songyouwei/Absa-Pytorch，基於方面的情感分析，Pytorch實現。 基於方面的情感分析，使用pytorch實現。 ，

5. Howardhsu/bert-for-rrc-absa，我們的NAACL 2019論文的代碼：“ BERT培訓後的審查閱讀理解和基於方面的情感分析”，

6. Brightmart/sentiment_analysis_fine_grain，帶有bert的多標籤分類； AI Challenger的精細污染情感分析，

Bert Ner任務：

1. zhpmatrix/bert-sequence-tagging，基於bert的中文序列標註

2. kyzhouhzau/bert-ner，使用Google Bert做Conll-2003 NER！ ，，，，

3. King-Menin/ner-Bert，NER任務解決方案（Bert-Bi-LSTM-CRF）與Google Bert https://github.com/google-research。

4. MacAnv/Bert-Bilsmt-Crf-ner，使用Bilstm-CRF模型的NER任務解決方案，並與Google Bert微調，

5. fuyanzhe2/name-entity-regnition，lstm-crf，lattice-crf，bert-ner及近年ner相關論文

6. MHCAO916/ner_based_on_bert，此項目基於Google Bert模型，這是中文NER

7. prohiryu/bert-chinese-ner，使用預訓練語言模型bert做中文ner，

8. sberbank-ai/ner-bert，伯特 - 納（Nert-Bert）與Google Bert，

9. kyzhouhzau/bert-bilstm-crf，此模型基於bert-as服務。模型結構：BERT-EXBED BILSTM CRF。 ，，，，

10. Hoiy/Berserker，Berserker -Bert中文單詞Tokenizer，Berserker（Bert中文單詞Tokenizer）是一種中國令牌，建在Google的Bert模型之上。 ，，，，

11. kyubyong/bert_ner，ner with bert，

12. jiangpinglei/bert_chinsewordsegment，基於BERT的中文單詞段模型，F1得分97％，

13. yanwii/chinesener，基於bi-gru + crf 的中文機構名、人名識別 的中文機構名、人名識別，支持谷歌bert模型

14. Lemonhu/ner-bert-Pytorch，使用Google AI的預訓練的BERT模型的NER任務解決方案。

BERT文本摘要任務：

1. nlpyang/bertsum，用於提取摘要的紙微調伯特的代碼，

2. santhoshkolloju/抽象 - 薩明化 - 轉移學習，抽象摘要，使用bert作為編碼器和變壓器解碼器，

3. nayeon7lee/bert-summarization，實施“基於預訓練的文本摘要的自然語言生成”，論文：https：//arxiv.org/pdf/1902.09243.pdf

4. DMMILLER612/演講儀式，伯特的演講摘要

BERT文本生成任務：

1. Asyml/texar，文本生成工具包，https://texar.io，Texar是一家通用的文本生成工具包，在這裡還實施了BERT進行分類，並通過與Texar的其他模塊結合使用文本生成應用程序。

2. 無效/伯特，微調文本生成的伯特，bert做做文本生成

3. tiiiger/bert_score，語言生成的伯特分數，

伯特知識圖任務：

1. lvjianxin/知識萃取，基線：bi-lstm+crf升級版：bert預訓練

2. Sakuranew/Bert-Attributeextraction，使用BERT屬於知識圖中的提取。微調和特徵提取。 使用基於伯特，

3. aditya-ai/信息 - retrival-system-unity-bert，

4. JKSZW2014/BERT-KBQA-NLPCC2017，基於BERT的KBQA試驗NLPCC2016/2017 2017年任務5（bert的中文知識庫問答實踐，代碼可跑通，代碼可跑通）

5. 基於Yuanxiaosc/架構基於http://lic2019.ccf.org.cn/kg信息抽取。使用基於bert 的實體抽取和關係抽取的端到端的聯合模型。 （將在比賽結束後，完善代碼和使用說明，完善代碼和使用說明）

6. Yuanxioosc/實體締合 - 萃取，實體和基於張量的關係提取。 基於tensorflow的管道式實體及關係抽取，2019年）基於schema的知識提取，SKE 2019 http://lic2019.ccf.org.cn，

7. Wenrichard/kbqa-bert，基於知識圖譜的問答系統，伯特，在線和

8. zhpmatrix/bertem，acl2019 論文實現《匹配空白：關係學習的分佈相似性》，

BERT核心分辨率

1. ianycxu/rgcn-with-bert，帶有BERT的封閉關係圖形卷積網絡（RGCN）用於核心分辨率任務

2. isabelleBouchard/bert_for_gap-coreference，bert Finetuning for Gap nobaled代詞分辨率

伯特可視化工具包：

1. Jessevig/Bertviz，可視化伯特注意的工具，

伯特聊天機器人：

1. gaoq1/rasa_nlu_gq，將自然語言轉換為結構化數據（支持中文，自定義了n種模型，支持不同的場景和任務），

2. gaoq1/rasa_chatbot_cn，基於rasa-nlu和rasa-core搭建的對話系統演示，

3. gaoq1/rasa-bert-finetune，支持rasa-nlu的伯特芬特（Bert Finetune），

4. Geodge831012/bert_robot，用於智能助手回答問題的訓練，bert模型進行訓練改造

5. Yuanxiaosc/bert-for-for-sequence-sequence-Labeling and Text-classification，這是使用BERT進行序列較差和文本分類的模板代碼，以便促進Bert進行更多任務。當前，模板代碼包括CONLL-2003命名實體標識，SNIPS插槽填充和意圖預測。

6. Guillaume-Chevalier/Reubert，簡單地提問的聊天機器人。

BERT語言模型和嵌入：

1. hanxiao/bert-as服務，使用驗證的BERT模型將可變長度映射到固定長度向量，

2. yc-wind/embedding_study，中文預訓練模型生成字向量學習，bert，elmo的中文效果，

3. kyubyong/bert-token-embeddings，伯特預識別的象徵性嵌入，

4. xu-song/bert_as_language_model，bert作為語言模型，fork from https://github.com/google-research/bert，

5. Yuanxiaosc/deep_dynamic_word_presentation，TensorFlow代碼和預訓練的Deep Dynamic Word表示（DDWR）的模型。它結合了Bert模型和Elmo的深層上下文字表示。

6. imgarylai/bert-embedding，MXNET和gluonnlp上的BERT模型的令牌級別嵌入

7. terrifyzhao/bert-utils，伯特（Bert），伯特（Bert）

8. fennudetudou/bert_implement，使用bert模型進行文本分類，相似句子判斷，以及詞性標註，以及詞性標註，

9. whqwill/seq2seq-keyphrase-bert，將bert添加到https://github.com/memray/seq2seq-keyphrase-pytorch的編碼器部分，

10. Charles9n/Bert-Sklearn，Google bert模型的Sklearn包裝器，

11. NVIDIA/Megatron-LM，正在進行的研究培訓變壓器語言模型，包括：BERT，

12. hankcs/bert-token級裝飾，產生bert令牌液位而不會疼痛

13. Facebook Research/Lama，Lama：語言模型分析，LAMA是預訓練的語言模型的一組連接器。

伯特文字匹配：

1. pengming617/bert_textMatching，利用預訓練的中文模型實現基於bert的語義匹配模型lcqmc官方數據

2. broklearwind/bertsiminity，計算兩個句子與Google的Bert算法的相似性

3. Policeme/Chinese_bert_simurity，伯特中國的相似性

4. Lonepatient/Bert-sentence相似性 - Pytorch，此存儲庫包含用於句子相似性任務的預審預定的BERT模型的Pytorch實現。

5. nouhadziri/Dialogentailment，《使用零件評估對話系統中的連貫性》的實施” https://arxiv.org/abs/1904.03371

6. UKPLAB /句子轉換器，帶有Bert＆Xlnet的句子嵌入，句子變形金剛：使用Bert / Roberta / Xlnet搭配Pytorch的句子嵌入，

伯特教程：

1. Graykode/nlp-Tutorial，深度學習研究人員的自然語言處理教程https://www.reddit.com/r/machinelearn間

2. Dragen1860/TensorFlow-2.x-Tutorials，Tensorflow 2.x版本的教程和示例，包括CNN，RNN，GAN，GAN，AUTO-編碼器，Fasterrcnn，GPT，GPT，BERT，BERT，BERT示例等。