awesome bert

このリポジトリは、BERT関連のリソースを収集することです。

AD：https://github.com/jiakui/awesome-gcnのグラフ畳み込みネットワークのリポジトリ（グラフ畳み込みネットワークのリソース）。

論文：

1. Arxiv：1810.04805、Bert：言語理解のための深い双方向変圧器の事前訓練、著者：Jacob Devlin、Ming-Wei Chang、Kenton Lee、Kristina Toutanova

クリックして詳細をご覧ください

2. Arxiv：1812.06705、条件付きBERTコンテキスト増強、著者：Xing Wu、Shangwen LV、Liangjun Zang、Jizhong Han、Songlin Hu

3. Arxiv：1812.03593、SDNET：会話の質問に応答するための文脈化された注意ベースのディープネットワーク、著者：Chenguang Zhu、Michael Zeng、Xuedong Huang

4. Arxiv：1901.02860、Transformer-XL：固定長の文脈を超えた丁寧な言語モデル、著者：Zihang Dai、Zhilin Yang、Yiming Yang、William W. Cohen、Jaime Carbonell、Quoc V. Le and Ruslan Salakhutdinov。

5. arxiv：1901.04085、バートとのパッセージの再ランキング、著者：ロドリゴ・ノゲイラ、キュンギョン・チョー

6. Arxiv：1902.02671、Bert and Pals：マルチタスク学習における効率的な適応のための注目の層、著者：ASA Cooper Stickland、Iain Murray

7. Arxiv：1904.02232、レビュー読解とアスペクトベースのセンチメント分析のためのトレーニング後のBert、著者：Hu Xu、Bing Liu、Lei Shu、Philip S. Yu、[Code]

githubリポジトリ：

公式実装：

1. Google-Research/Bert、BERTの役員のテンソルフローコードおよび事前訓練されたモデル、

Tensorflow以外のBertの実装：

1. Codertimo/Bert-Pytorch、Google AI 2018 Bert Pytorchの実装、

2. Huggingface/pytorch-pretrained-bert、GoogleのBERTモデルを使用してGoogleのBERTモデルのPytorch実装で、Googleの事前に訓練されたモデルを読み込んでいます。

3. DMLC/Gluon-NLP、Gluon + MXNetの実装では、接着剤ベンチマーク、分隊などでBert PretrainingとFinetuningを再現します。

4. dbiir/uer-py、uer-pyは、一般的なドメインコーパスでのトレーニング前および下流タスクでの微調整のためのツールキットです。 UER-PYはモデルのモジュール性を維持し、研究の拡張性をサポートします。さまざまなトレーニングモデル（BERTなど）の使用を容易にし、ユーザーがさらに拡張できるインターフェイスを提供します。
   

5. Brikerman/Kashgari、シンプルなKerasを搭載した多言語NLPフレームワークを使用すると、名前付きエンティティ認識（NER）、スピーチタグ付け（POS）、およびテキスト分類タスクのために5分でモデルを構築できます。 BERT、GPT-2、およびWord2Vec Embeddingが含まれます。

6. Kaushaltrivedi/Fast-Bert、BertベースのNLPモデル用の超簡単なライブラリ、

クリックして詳細をご覧ください

7. Separius/Bert-Keras、Kerasの事前に訓練された重量によるBertの実装、

8. Soskek/Bert-Chainer、「Bert：言語理解のための深い双方向変圧器の事前トレーニング」のチェーン実装、

9. Innodatalabs/Tbert、Pytorch Port of Bert MLモデル

10. guotong1988/bert-tensorflow、bert：言語理解のための深い双方向変圧器の事前訓練

11. Dreamgonfly/Bert-Pytorch、「Bert：言語理解のための深い双方向トランスの事前トレーニング」におけるBertのPytorch実装」

12. Cyber​​zhg/Keras-Bert、機能抽出と予測のために公式の事前訓練モデルをロードできるBERTの実装

13. Soskek/Bert-Chainer、「Bert：言語理解のための深い双方向変圧器の事前トレーニング」のチェーン装置の実装」

14. Mazhiyuanbuaa/bert-tf1.4.0、bert-tf1.4.0

15. dhlee347/pytorchic-bert、pytorchの実装Google Bert、

16. Kpot/Keras-Transformer、Keras Library for Building（Universal）Transformer、BertおよびGPTモデルの促進、

17. Miroozyx/bert_with_keras、GoogleのBertモデルのKerasバージョン、

18. Conda-Forge/Pytorch-Preated-Berber-Feedstock、Pytorch-Preated-Bertのコンドラスミスリポジトリ。 、

19. rshcaroline/bert_pytorch_fastnlp、Google AIのBERTモデルのPytorch＆Fastnlp実装。

20. nghuyong/ernie-pytorch、ernie pytorchバージョン、

事前に保護されたバートウェイト：

1. Brightmart/Roberta_zh、中国語のロベルタ、中文预训练roberta模型、

2. ymcui/中国語wwm、中国のbertの全体的なワードマスキングを伴う事前トレーニング（中文 bert-wwm

3. thunlp/openclap、オープン中国語事前訓練を受けたモデル動物園、openclap：多领域开源中文预训练语言模型仓库、

4. ymcui/中国語登録-xlnet、事前に訓練された中国語xlnet

5. BrightMart/XLNET_ZH、中文预训练XLNET模型：事前に訓練された中国語XLNET_LARGE、

バートに対する改善：

1. Thunlp/Ernie、ACL 2019 Paperのソースコードおよびデータセット「アーニー：有益なエンティティによる強化された言語表現」、不均一な情報融合を備えたバート輸入。

2. パドルパドル/ラーク、言語表現キット、バートのパドルパドル実装。また、中国のNLPタスク用のBert、Ernieの改良バージョンも含まれています。バート・アーニー、

3. Zihangdai/xlnet、xlnet：言語理解のための一般化された自己回帰前の事前削除、

4. Kimiyoung/Transformer-XL、Transformer-XL：固定長のコンテキストを超えた丁寧な言語モデルこのリポジトリには、PytorchとTensorflowの両方にコードが含まれています。

5. Gaopeng97/Transformer-XL-Chinese、Transformer XL

6. パドルパドル/アーニー、言語理解のためのアーニーの実装（トレーニング前モデルや微調整ツールを含む）Bert的中文改进版Ernie、

7. Pytorch/Fairseq、Facebook AI研究シーケンスからシーケンスツールキットPythonで書かれています。 Roberta：堅牢に最適化されたBert Pretrainingアプローチ、

8. FacebookResearch/Spanbert、Spanbertを使用および評価するためのコード。 、このリポジトリには、紙のコードとモデルが含まれています。Spanbert：スパンを表現および予測することにより、トレーニング前の改善。

9. BrightMart/Albert_Zh、海量中文预训练アルバート模型、言語表現の自己学習学習のためのライトバートhttps://arxiv.org/pdf/1909.11942.pdf、

10. lonepatient/albert_pytorch、自己監視学習言語表現のためのライトバート、

11. KPE/BERT-FOR-TF2、Keras Tensorflow 2.0 Bert、Albert、Adapter-Bertの実装。 https://github.com/kpe/bert-for-tf2、

バートのその他のリソース：

1. BrightMart/bert_language_understanding、言語理解のための深い双方向変圧器の事前トレーニング：pre-train textcnn、

2. y1ran/nlp-bert- - chineseversion、谷歌自然语言处理模型bert：论文解析与python代码、

クリックして詳細をご覧ください

3. Yangbisheng2009/cn-bert、bert在中文nlp的应用、语法检查

4. jayyip/bert-multiple-gpu、Bertの複数のGPUサポートバージョン、

5. Highcwu/Keras-Bert-TPU、TPUの特徴抽出と予測のための公式事前訓練モデルをロードできるBERTの実装、

6. willyoung2017/bert_attempt、pytorchは冒とくされたバート、

7. Pydataman/bert_examples、bertのいくつかの例、run_classifier.py

8. guotong1988/bert-chinese、bert：言語理解のための深い双方向変圧器の事前訓練

9. Zhongyunuestc/bert_multitask、多任务タスク

10. Microsoft/Azureml-Bert、Azure Machine Learningを使用した微調整バートのためにエンドツーエンドのウォークスルー、

11. bigboned3/bert_serving、bertモデルのエクスポート、サービングのためのエクスポート、

12. yoheikikuta/bert-Japanese、日本のテキストのためのbert with tentepiece。

13. whqwill/seq2seq-keyphrase-bert、https://github.com/memray/seq2seq-keyphrase-pytorchのエンコーダーパーツにbertを追加します、

14. algteam/bert-examples、bert-demo、

15. Cedrickchee/Awesome-Bert-NLP、BERT、注意メカニズム、トランスネットワーク、および転送学習に焦点を当てたNLPリソースのキュレーションリスト。

16. cnfive/cnbert、中文注释一下bert代码功能、

17. BrightMart/bert_customized、bert、カスタマイズされた機能、

18. Jayyip/Bert-Multitask-Learning、Bert for MultiTask Learning、

19. Yuanxiaosc/bert_paper_chinese_translation、bert：言語理解のための深い双方向変圧器の事前トレーニング论文的中文翻译。chinese翻訳！ https://yuanxiaosc.github.io/2018/12/…、

20. yaserkl/bertvsulmfit、Bert EmbeddingとUlmfit Embeddingを使用したテキスト分類結果を比較する、

21. Kpot/Keras-Transformer、Keras Library for Building（Universal）Transformer、BertおよびGPTモデルの促進、

22. 1234560o/bert-model-code-intreplectation、解读tensorflow

23. Cdathuriliya/Bert-Incerence、Google Bert（Devlin et al。、2018）のヘルパークラスで、オンライン予測とモデルのパイプラインをサポートしています。

24. GameOfDimension/Java-Bert-Predict、Bert PretrainチェックポイントをJavaでデモを抽出する機能の保存モデルに変えます

25. 1234560o/bert-model-code-intreplectation、解读tensorflow

ドメイン固有のバート：

1. アレナイ/スシバー、科学テキストのバートモデル。 https://arxiv.org/abs/1903.10676、

2. Merajat/SolvingAnlynythingWithbert、Biobert Pytorch

3. Kexinhuang12345/Clinicalbert、ClinicalBert：臨床ノートのモデリングと病院の再入院の予測https://arxiv.org/abs/1904.05342

4. EmilyAlsentzer/ClinicalBert、公開されている臨床BERT埋め込みのリポジトリ

バート展開トリック：

1. Zhihu/Cubert、Nvidia（Cuda、Cublas）およびIntel MKLに関するBert推論の迅速な実装

2. xmxoxo/bert-train2deploy、bertモデルのトレーニングと展開、bert模型从训练到部署、

3. https://github.com/nvidia/deeplearningexamples/tree/master/tensorflow/languagemodeling/bert、bert for tensorflow、このリポジトリは、アートの精度を達成するためにBertを訓練するためのスクリプトとレシピを提供し、Nvidiaによってテストおよび維持されます。

4. QIANGSIWEI/BERT_DISTILL、BERT DISTILLATION

5. Kevinmtian/Distill-Bert、Bertからの知識の蒸留、

Bert QA＆RCタスク：

1. sogou/smrctoolkit、このツールキットは、公開されたモデルと元のプロトタイプの両方を含む最新の機械理解モデルの高速かつ効率的な開発用に設計されました。

2. Benywon/Chinesebert、これは質問の回答に固有の中国のバートモデルです、

3. Matthew-Z/R-Net、PytorchのR-Net、BertとElmo、

4. NYU-DL/DL4MARCO-BERT、BERTとの再ランキング、パッセージ、

5. xzp27/bert-for-chinese-question-annwering、

6. chiayewken/bert-qa、hotpotqaで始まる質問のためのバート、

7. ankit-ai/bertqa-attention-on-deriods、bertqa-ステロイドへの注意、

8. NOMISCL/BERT-RACE、この作業は、Bert（https://github.com/huggingface/pytorch-pretreandedebert）のPytorch実装に基づいています。元のBERTモデルを適応させて、複数の選択機械理解に取り組みました。

9. EVA-N27/BERT-FOR-CINEES-QUESTION-ANSWERING、

10. Allenai/allennlp-bert-qa-wrapper、これは、Pytorch-Prested-Bertの前提条件のBertベースのQAモデルの上にあるシンプルなラッパーであり、Allennlpモデルアーカイブを作成して、Allennlpからデモを提供できるようにします。

11. edmondchensj/chishqa-with-with-bert、eecs 496：ディープラーニングの高度なトピック最終プロジェクト：Bert（Baidu Dureader Dataset）との中国の質問

12. GrayKode/Toeicbert、Toeic（国際コミュニケーションのための英語のテスト）Pytorch-Prederined-Bertモデルを使用した解決。

13. GrayKode/Korquad-beginner、https：//github.com/graykode/korquad-beginner

14. krishna-sharma19/sbu-qa、このリポジトリは、QAドメインでの転送学習に前のbert埋め込みを使用しています

15. BasketballandLearn/Dureader-Bert、Bert Dureader多文档阅读理解、2019 Dureader机器阅读理解、

バート分類タスク：

1. Zhpmatrix/Kaggle-Quora-insincere-questions-classification、kaggle新赛（ベースライン）-bert的微調整方案+tensor2tensor的トランスエンコーダー方案

2. Maksna/Bert-Fine-Tuning-for-chinese-Multiclass-Classification、Google Pre-Training Model Bertを使用して、中国のマルチクラス分類のために微調整します

3. nlpscott/bert-chinese-classification-task、bert中文分类实践、

4. SocialBird-Ailab/Bert-Classification-Tutorial、

5. foosynaptic/bert_classifer_trial、中国のコーパスクラスフィケーションのBERT試験

6. Xiaopingzhong/bert-finetune-for-classfier、微调bert模型、同时构建自己的数据集实现分类

7. pengming617/bert_classification、利用bert预训练的中文模型进行文本分类、

8. xieyufei1993/bert-pytorch-chinese-textclassification、pytorch bert finetune in chinese text lassification、

9. liyibo/Text-Classification-Demos、CNN、DPCNN、FastText、Bert ...など、Tensorflowのテキスト分類のためのニューラルモデル...

10. circlepi/bert_chinese_text_class_by_pytorch、bert_pretrained_modelに基づいた中国のテキストクラスのpytorch実装、

11. kaushaltrivedi/bert-toxic-comments-multilabel、マルチラベル分類のための毒性コメントのための分類Bertを使用して、

12. Lonepatient/Bert-Chinese-Text-Classification-Pytorch、このレポは、テキスト分類のための前処理されたBERTモデルのPytorch実装が含まれています。

バート感情分析

1. chung-i/douban-sentiment-analysis、bertを使用したDouban Movie Shortコメントデータセットに関するセンチメント分析。

2. lynnna-xu/bert_sa、bertセンチメント分析Tensorflow Restful APIを使用します

3. hslcy/absa-bert-pair、補助文の構築によるアスペクトベースの感情分析のためにBertを利用（NAACL 2019）https://arxiv.org/abs/1903.09588、

4. songyouwei/absa-pytorch、アスペクトベースの感情分析、pytorchの実装。 基于方面的情感分析、使用pytorch实现。、

5. Howardhsu/bert-for-rrc-absa、NAACL 2019ペーパーのコード：「レビューの読解とアスペクトベースのセンチメント分析のためのトレーニング後のトレーニング」、

6. Brightmart/sentiment_analysis_fine_grain、BERTによるマルチラベル分類。 AI Challengerからの細かいセンチメント分析、

バートネルタスク：

1. zhpmatrix/bert-sequence-tagging、基于bert的中文序列标注

2. kyzhouhzau/bert-ner、google bertを使用してconll-2003 nerを行います！ 、

3. Google Bert https://github.com/google-researchを使用したKing-Menin/Ner-Bert、NERタスクソリューション（Bert-Bi-LSTM-CRF）。

4. Google Bert Fine-Tuningを使用してBilstm-CRFモデルを使用したNERタスクのTensorflowソリューション、Macanv/Bert-Bilsmt-CRF-NER、

5. fuyanzhe2/name-entity-recognition、lstm-crf、lattice-crf、bert-ner

6. MHCAO916/NER_BASED_ON_BERT、このプロジェクトはGoogle Bert Modelに基づいています。

7. prohiryu/bert-chinese-ner、使用预训练语言模型bert做中文ner、

8. sberbank-ai/ner-bert、bert-ner（nert-bert）with google bert、

9. kyzhouhzau/bert-bilstm-crf、このモデルはbert-as-serviceに基づいています。モデル構造：bert-rembinding bilstm crf。 、

10. Hoiy/Berserker、Berserker -Bert Chinese Word Tokenizer、Berserker（Bert Chinese Word Tokenizer）は、GoogleのBertモデルの上に構築された中国のトークネザーです。 、

11. kyubyong/bert_ner、ner with bert、

12. jiangpinglei/bert_chinesewordsegment、bertに基づく中国語の単語セグメントモデル、F1スコア97％、

13. Yanwii/Chinesener、基于bi-gru + crf 的中文机构名、人名识别、支持google bert模型

14. Google AIの事前に訓練されたBERTモデルを使用したNERタスクのPytorchソリューション、lemonhu/ner-bert-pytorch。

BERTテキスト要約タスク：

1. nlpyang/bertsum、抽出的な要約のための紙の微調整bertのコード、

2. santhoshkolloju/抽象的 - マーマー化 - 伝達と抽象的な要約、エンコーダーおよびトランスデコーダーとしてのBertを使用した抽象的な要約、

3. nayeon7lee/bert-summarization、「テキスト要約のための事前化ベースの自然言語生成」の実装、論文：https：//arxiv.org/pdf/1902.09243.pdf

4. dmmiller612/lecture-summarizer、lecture summarizer with bert

バートテキスト生成タスク：

1. ASYML/TEXAR、テキスト生成のツールキットおよびhttps://texar.ioを超えて、Texarは一般的なテキスト生成ツールキットであり、Texarの他のモジュールと組み合わせてテキスト生成アプリケーションのためにBERTを実装しています。

2. 無効/bertgenerate、テキスト生成のための細かいチューニングバート、bert

3. Tiiiger/bert_score、言語生成のためのバートスコア、

Bert Knowledge Graphタスク：

1. lvjianxin/知識抽出、基于中文的知识抽取、ベースライン：bi-lstm+crf升级版：bert预训练

2. sakuranew/bert-aTtributeExtraction、bertを使用して知識グラフの属性抽出。微調整と特徴抽出。 使用基于バート的微调和特征提取方法来进行知识图谱百度百科人物词条属性抽取。、

3. Aditya-ai/Information-Retrieval-System-Using-Bert、

4. jkszw2014/bert-kbqa-nlpcc2017、NLPCC2016/2017タスク5のBERTに基づくKBQAの試験

5. Yuanxiaosc/Schema Based-Knowledge-Extraction、http://lic2019.ccf.org.cn/kgのコード

6. Yuanxiaosc/Entity-relation-Extraction、エンティティ、およびTensorflowに基づく関係抽出。 tensorflow的管道式实体及关系抽取、2019年语言与智能技术竞赛信息抽取任务解决方案（比赛结束后完善代码）。シェマベースの知識抽出、SKE 2019 http://lic2019.ccf.org.cn、

7. wenrichard/kbqa-bert、基于知识图谱的问答系统、bert做命名实体识别和句子相似度、分为オンライン和概要

8. Zhpmatrix/Bertem、ACL2019

Bert Coreference Resolution

1. Ianycxu/rgcn-with-bert、ゲートリレーショナルグラフ畳み込みネットワーク（RGCN）Coreference ResolutionタスクのためにBERTを使用して

2. Isabellebouchard/bert_for_gap-coreference、bert fientuning for Gapの公平な代名詞解像度

Bert Visualization Toolkit：

1. Jessevig/Bertviz、Bertの注意を視覚化するためのツール、

バートチャットボット：

1. gaoq1/rasa_nlu_gq、自然言語を構造化されたデータ（支持中文、自定义了n种模型、支持不同的场景和任务）に変え、

2. gaoq1/rasa_chatbot_cn、基于rasa-nlu

3. gaoq1/rasa-bert-finetune、支持rasa-nlu

4. geodge831012/bert_robot、用于智能助手回答问题的训练、基于bert模型进行训练改造

5. Yuanxiaosc/bert-for-for-for-sequence-labeling-and-text-classification、これは、より多くのタスクのためにBertを容易にするために、シーケンスのラーブルとテキスト分類にBERTを使用するテンプレートコードです。現在、テンプレートコードには、Entity Identification、Snipsスロットの充填、意図の予測という名前のConll-2003が含まれています。

6. Guillaume-Chevalier/Reubert、質問をしているチャットボット、単純に。

バート言語モデルと埋め込み：

1. hanxiao/bert-as-service、前処理されたbertモデルを使用して、可変長の文を固定長ベクトルにマッピングします。

2. yc-wind/embedding_study、中文预训练模型生成字向量学习、测试bert、elmo的中文效果、

3. kyubyong/bert-token-medbeddings、bert retrainedトークン埋め込み、

4. xu-song/bert_as_language_model、bert as language model、fork from https://github.com/google-research/bert、

5. Yuanxiaosc/deep_dynamic_word_representation、Tensorflowコード、およびDeep Dynamic Word表現のための事前訓練モデル（DDWR）。 BertモデルとElmoの深い文脈の表現を組み合わせています。

6. Imgarylai/Bert-embedding、MXNETおよびGluonnlpのBERTモデルからのトークンレベルの埋め込みhttp://bert-embedding.readthedocs.io/、

7. Terrifezhao/Bert-utils、Bert生成句向量、Bert 做文本分类、文本相似度计算、

8. fennudetudou/bert_implement、使用bert模型进行文本分类、相似句子判断、以及词性标注、

9. whqwill/seq2seq-keyphrase-bert、https://github.com/memray/seq2seq-keyphrase-pytorchのエンコーダーパーツにbertを追加します、

10. Charles9n/Bert-Sklearn、GoogleのBertモデルのSklearnラッパー、

11. nvidia/megatron-lm、継続的な研究トレーニングトランス語モデルの大規模なモデル：Bert、

12. HANKCS/BERT-TOKEN-REVEL-embeddingは、痛みなくBertトークンレベルの埋め込みを生成します

13. FacebookResearch/Lama、Lama：Language Model Analysis、Lamaは、事前に訓練された言語モデルのコネクタのセットです。

バートテキストマッチ：

1. pengming617/bert_textmatching、利用预训练的中文模型实现基于bert的语义匹配模型lcqmc官方数据

2. BrokenWind/Bertsimilarity、GoogleのBertアルゴリズムとの2つの文の類似性を計算する

3. Policeme/chinese_bert_similarity、bert chinese類似性

4. Lonepatient/Bert-Sentence-Similarity-Pytorch、このレポは、文の類似性タスクのための前処理されたBERTモデルのPytorch実装が含まれています。

5. nouhadziri/dialogentailment、論文の実装「同意を使用してダイアログシステムの一貫性を評価する」https://arxiv.org/abs/1904.03371

6. ukplab / cente-transformers、bert＆xlnetを使用した文の埋め込み、文の変圧器：PytorchとBert / roberta / xlnetを使用した文の埋め込み、

BERTチュートリアル：

1. GrayKode/NLP-Tutorial、Deep Learning Researchersのための自然言語処理チュートリアルhttps://www.reddit.com/r/machinelearn>、

2. dragen1860/tensorflow-2.x-tutorials、tensorflow 2.xバージョンのチュートリアルとCNN、RNN、GAN、自動エンコーダー、FasterRCNN、GPT、BERTの例など。