awesome bert

Repositori ini adalah untuk mengumpulkan sumber daya terkait Bert.

Iklan: Repositori untuk jaringan konvolusional grafik di https://github.com/jiakui/awesome-gcn (sumber daya untuk jaringan konvolusional grafik （图卷积神经网络相关资源）).

Dokumen:

1. Arxiv: 1810.04805, Bert: Pra-pelatihan transformator dua arah yang dalam untuk pemahaman bahasa, penulis: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova

Klik untuk melihat lebih banyak

2. Arxiv: 1812.06705, augmentasi kontekstual berkontis, penulis: Xing Wu, Shangwen LV, Liangjun Zang, Jizhong Han, Songlin Hu

3. ARXIV: 1812.03593, SDNET: Jaringan mendalam berbasis perhatian yang dikontekstualisasikan untuk menjawab pertanyaan percakapan, Penulis: Chenguang Zhu, Michael Zeng, Xuedong Huang

4. Arxiv: 1901.02860, Transformer-XL: Model Bahasa yang perhatian di luar konteks panjang tetap, penulis: Zihang Dai, Zhilin Yang, Yiming Yang, William W. Cohen, Jaime Carbonell, Quoc V. Le dan Ruslan Salakhutdinov.

5. ARXIV: 1901.04085, peringkat kembali dengan Bert, penulis: Rodrigo Nogueira, Kyunghyun Cho

6. ARXIV: 1902.02671, Bert and Pals: Lapisan perhatian yang diproyeksikan untuk adaptasi yang efisien dalam pembelajaran multi-tugas, penulis: ASA Cooper Stickland, Iain Murray

7. Arxiv: 1904.02232, Bert pasca-pelatihan untuk pemahaman bacaan ulasan dan analisis sentimen berbasis aspek, penulis: Hu Xu, Bing Liu, Lei Shu, Philip S. Yu, [kode]

Repositori GitHub:

Implement resmi:

1. Google-Research/Bert, kode tensorflow resmi dan model pra-terlatih untuk Bert,

Implement dari Bert selain Tensorflow:

1. Codertimo/Bert-Pytorch, Google AI 2018 Bert Pytorch Implementasi,

2. HuggingFace/Pytorch-Pretrained-Bert, implementasi Pytorch dari model Bert Google AI dengan skrip untuk memuat model pra-terlatih Google,

3. DMLC/Gluon-NLP, Gluon + MXNet Implementasi yang mereproduksi Bert pretraining dan finetuning pada tolok ukur lem, skuad, dll,

4. DBIIR/UER-PY, UER-PY adalah toolkit untuk pra-pelatihan pada corpus domain umum dan fine-tuning pada tugas hilir. Uer-py mempertahankan modularitas model dan mendukung ekstensibilitas penelitian. Ini memfasilitasi penggunaan model pra-pelatihan yang berbeda (misalnya Bert), dan menyediakan antarmuka bagi pengguna untuk memperpanjang lebih lanjut.
   

5. Brikerman/Kashgari, kerangka NLP multibahasa yang sederhana dan bertenaga keras, memungkinkan Anda untuk membangun model dalam 5 menit untuk pengenalan entitas bernama (NER), penandaan bagian-of-speech (POS) dan tugas klasifikasi teks. Termasuk embedding Bert, GPT-2 dan Word2Vec.

6. Kaushaltrivedi/Fast-Bert, perpustakaan super mudah untuk model NLP berbasis Bert,

Klik untuk melihat lebih banyak

7. EPARIUS/BERT-BERAS, Implementasi Keras dari Bert dengan bobot pra-terlatih,

8. Soskek/Bert-Chainer, Implementasi Chainer dari "Bert: Pra-Pelatihan Transformer Day-Day untuk Pemahaman Bahasa",

9. Innodatalabs/Tbert, Pytorch Port dari Bert ML Model

10. Guotong1988/Bert-Tensorflow, Bert: Pra-pelatihan transformer dua arah yang dalam untuk pemahaman bahasa

11. DreamGonfly/Bert-Pytorch, Pytorch Implementasi Bert di "Bert: Pra-Pelatihan Transformator Day-Dip Transformers untuk Pemahaman Bahasa"

12. Cyberzhg/Keras-Beri, implementasi Bert yang dapat memuat model resmi terlatih untuk ekstraksi dan prediksi fitur

13. Soskek/Bert-Chainer, Implementasi Chainer dari "Bert: Pra-Pelatihan Transformer Day-Deep Dip Transformers Untuk Bahasa"

14. Mazhiyuanbuaa/Bert-tf1.4.0, Bert-tf1.4.0

15. Dhlee347/Pytorchic-Bert, Implementasi Pytorch dari Google Bert,

16. KPOT/KERAS-Transformer, Perpustakaan Keras untuk Membangun Transformer (Universal), memfasilitasi model Bert dan GPT,

17. Miroozyx/Bert_with_keras, versi keras dari model Bert Google,

18. Conda-Forge/Pytorch-Pretrained-Bert-Feedstock, sebuah repositori conda-smithy untuk Pytorch-pretrained-Bert. ,

19. Rshcaroline/Bert_pytorch_fastnlp, implementasi Pytorch & FastNLP dari model Bert Google AI.

20. Versi Nghuyong/Ernie-Pytorch, Ernie Pytorch,

Bobot Bert Pretrained:

1. BrightMart/Roberta_zh, Roberta untuk Cina, 中文预训练 Roberta 模型,

2. ymcui/cina-erbet-wwm, pra-pelatihan dengan seluruh kata masking untuk Bert （中文 Bert-wwm 预训练模型） https://arxiv.org/abs/1906.08101,

3. thunlp/openclap, Open Chinese Pre-Latih Model Zoo, OpenClap: 多领域开源中文预训练语言模型仓库,

4. ymcui/cina-pretrained-xlnet, pra-terlatih cina xlnet （中文 xlnet 预训练模型）,

5. brightmart/xlnet_zh, 中文预训练 xlnet 模型: Pra-terlatih Cina xlnet_large,

Peningkatan atas Bert:

1. Thunlp/Ernie, Kode Sumber dan Dataset untuk Kertas ACL 2019 "Ernie: Peningkatan Representasi Bahasa dengan Entitas Informatif", Bert Imporove dengan Fusi Informasi Heterogen.

2. Paddlepaddle/Lark, Kit Representasi Bahasa, Implementasi Paddlepaddle dari Bert. Ini juga berisi versi yang lebih baik dari Bert, Ernie, untuk tugas -tugas NLP Cina. Bert 的中文改进版 Ernie,

3. Zihangdai/xlnet, xlnet: pretraining autoregresif umum untuk pemahaman bahasa,

4. Kimiyoung/Transformer-XL, Transformer-XL: Model bahasa yang penuh perhatian di luar konteks panjang tetap, repositori ini berisi kode dalam pytorch dan tensorflow untuk makalah kami.

5. GAOPENG97/Transformer-XL-Chinese, Transformer XL 在中文文本生成上的尝试。（ Transformer XL untuk generasi teks Cina）,

6. Paddlepaddle/Ernie, Implementasi Ernie untuk Pemahaman Bahasa (termasuk model pra-pelatihan dan alat penyetelan) Bert 的中文改进版 Ernie,

7. Pytorch/Fairseq, Facebook AI Research Sequence-to-sequence Toolkit yang ditulis dalam Python. Roberta: Pendekatan pretraining Bert yang dioptimalkan dengan kuat,

8. FacebookResearch/Spanbert, kode untuk menggunakan dan mengevaluasi Spanbert. , Repositori ini berisi kode dan model untuk makalah: Spanbert: Meningkatkan pra-pelatihan dengan mewakili dan memprediksi rentang.,

9. BrightMart/Albert_zh, 海量中文预训练 Albert 模型, Lite Bert untuk pembelajaran swadaya dari representasi bahasa https://arxiv.org/pdf/1909.11942.pdf,

10. LONEPATIENT/ALBERT_PYTORCH, Lite Bert untuk representasi bahasa pembelajaran sendiri,

11. KPE/Bert-for-TF2, Implementasi Keras Tensorflow 2.0 dari Bert, Albert dan Adapter-Bert. https://github.com/kpe/bert-for-tf2,

Sumber daya lain untuk Bert:

1. BrightMart/Bert_language_understanding, pra-pelatihan transformer dua arah yang dalam untuk pemahaman bahasa: Textcnn pra-train,

2. Y1RAN/NLP-BERT-CHINESEVERSION, 谷歌自然语言处理模型 BERT ： 论文解析与 Python 代码,

Klik untuk melihat lebih banyak

3. Yangbisheng2009/cn-eri, Bert 在中文 nlp 的应用, 语法检查

4. Jayyip/Bert-Multiple-GPU, Versi Dukungan GPU Berganda dari Bert,

5. HighCWU/Keras-BERT-TPU, Implementasi Bert yang dapat memuat model pra-terlatih resmi untuk ekstraksi dan prediksi fitur pada TPU,

6. Willyoung2017/Bert_attempt, Pytorch pretrained Bert,

7. Pydataman/Bert_examples, beberapa contoh Bert, run_classifier.py 是基于谷歌 Bert 实现了 Klasifikasi pertanyaan tidak tulus 实现了run_ner.py 是基于瑞金医院 ai 大赛 第一赛季数据和 Bert 写的一个命名实体识别。

8. Guotong1988/Bert-Chinese, Bert: Pra-pelatihan transformer dua arah yang dalam untuk pemahaman bahasa 中文 汉语

9. Zhongyunuestc/Bert_multitask, 多任务 Tugas

10. Microsoft/Azureml-Bert, berjalan ujung ke ujung untuk menyempurnakan Bert menggunakan Azure Machine Learning,

11. Bigboned3/Bert_Serving, Ekspor Model Bert untuk Disajikan,

12. Yoheikikuta/Bert-Jepang, Bert dengan kalimat untuk teks Jepang.

13. whqwill/seq2seq-keyphrase-bert, tambahkan Bert ke bagian encoder untuk https://github.com/memray/seq2seq-keyphrase-pytorch,

14. Algteam/Bert-Examples, Bert-Demo,

15. Cedrickchee/Awesome-Bert-NLP, daftar sumber daya NLP yang dikuratori yang berfokus pada Bert, mekanisme perhatian, jaringan transformator, dan pembelajaran transfer.

16. CNFIVE/CNBERT, 中文注释一下 BERT 代码功能,

17. BrightMart/Bert_customized, Bert dengan fitur yang disesuaikan,

18. Jayyip/Bert-Multitask-Learning, Bert for Multitask Learning,

19. Yuanxiaosc/Bert_paper_chinese_translation, Bert: Pra-pelatihan transformator dua arah yang dalam untuk pemahaman bahasa 论文的中文翻译。 Terjemahan Rakyat! https://yuanxiaosc.github.io/2018/12/…,

20. YASERKL/BERTVSULMFIT, Membandingkan hasil klasifikasi teks menggunakan embedding Bert dan embedding ulmfit,

21. KPOT/KERAS-Transformer, Perpustakaan Keras untuk Membangun Transformer (Universal), memfasilitasi model Bert dan GPT,

22. 1234560O/Bert-Model-Code-Interpretation, 解读 TensorFlow 版本 Bert 中 Modeling.py 数据流

23. CDATHURALIYA/Bert-Inference, kelas pembantu untuk Google Bert (Devlin et al., 2018) untuk mendukung prediksi online dan memodelkan pipa.

24. GameofDimension/Java-Beri-Predict, Ubah pos pemeriksaan pretrain Bert menjadi model yang disimpan untuk demo ekstrak fitur di java

25. 1234560O/Bert-Model-Code-Interpretation, 解读 TensorFlow 版本 Bert 中 Modeling.py 数据流

Domain Bert spesifik:

1. Allenai/Scibert, model Bert untuk teks ilmiah. https://arxiv.org/abs/1903.10676,

2. Merajat/Solvingalmostalthingwithbert, Biobert Pytorch

3. Kexinhuang12345/Clinicalbert, Clinicalbert: Pemodelan Catatan Klinis dan memprediksi penerimaan kembali rumah sakit https://arxiv.org/abs/1904.05342

4. Emilyalsentzer/Clinicalbert, Repositori untuk Embeddings Klinis yang tersedia untuk umum

Bert Deploy Tricks:

1. Zhihu/Cubert, implementasi cepat dari Bert Inference langsung pada NVIDIA (CUDA, CUBLAS) dan Intel MKL

2. XMXOXO/Bert-Train2Deploy, Bert Model Training and Deploy, Bert 模型从训练到部署,

3. https://github.com/nvidia/deEplearningexamples/tree/master/tensorflow/languagemodeling/bert, Bert untuk Tensorflow, repositori ini menyediakan naskah dan resep untuk melatih Bert untuk mencapai keadaan akurasi seni, dan diuji dan dikelola oleh nvidia.

4. QIangsiwei/Bert_Distill, Bert Distilasi （基于 Bert 的蒸馏实验）,

5. Kevinmtian/Distill-Bert, Distilasi Pengetahuan dari Bert,

Bert QA & RC Tugas:

1. Sogou/smrctoolkit, toolkit ini dirancang untuk pengembangan model pemahaman mesin modern yang cepat dan efisien, termasuk model yang diterbitkan dan prototipe asli.,

2. Benywon/Chinabert, ini adalah model Bert Cina yang spesifik untuk menjawab pertanyaan,

3. Matthew-Z/R-Net, R-Net di Pytorch, dengan Bert dan Elmo,

4. NYU-DL/DL4MARCO-BERT, Passage-ranking dengan Bert,

5. XZP27/Bert-for-Chinese-Anterion-

6. Chiayewken/Bert-QA, Bert untuk pertanyaan menjawab dimulai dengan Hotpotqa,

7. Ankit-Ai/Bertqa-attention-on-Steroids, Bertqa-Perhatian pada steroid,

8. Noviscl/Bert-race, karya ini didasarkan pada implementasi Pytorch dari Bert (https://github.com/huggingface/pytorch-pretrain-bert). Saya mengadaptasi model Bert asli untuk bekerja pada pemahaman mesin pilihan ganda.

9. Eva-N27/Bert-for-Chinese-Anterion-Annwering,

10. Allenai/Allennlp-Beri-QA-Wrapper, ini adalah pembungkus sederhana di atas model QA berbasis Bert pretrained dari Pytorch-pretrained-BT untuk membuat arsip model Allennlp, sehingga Anda dapat melayani demo dari Allennlp.

11. Edmondchensj/Chinaqa-with-Bert, EECS 496: Topik Lanjutan dalam Proyek Akhir Pembelajaran Deep: Jawaban Pertanyaan Cina dengan Bert (Baidu Dureader Dataset)

12. Graykode/Toeicbert, Toeic (Tes Bahasa Inggris untuk Komunikasi Internasional) Memecahkan Menggunakan Model Pytorch-Pretrained-Bert.,

13. Graykode/Korquad-beginner, https://github.com/graykode/korquad-beginner

14. Krishna-Sharma19/SBU-QA, Repositori ini menggunakan pretrain Bert Embeddings untuk Transfer Learning di QA Domain

15. BasketballAndLearn/Dureader-Bert, Bert Dureader 多文档阅读理解 排名第七, 2019 Dureader 机器阅读理解 单模型代码。,

Tugas Klasifikasi Bert:

1. zhpmatrix/kaggle-quora-incere-pertanyaan-klasifikasi, kaggle 新赛 (baseline)-基于 Bert 的 fine-tuning 方案+基于 tensor2tensor 的 encoder transformator 方案

2. Maksna/Bert-Fine-Tuning-For-Chinese-Multiclass-Classification, Gunakan Google Pre-Training Model Bert untuk menyempurnakan untuk klasifikasi multiclass Cina

3. NLPSCOTT/Bert-Chinese-Classification-Task, Bert 中文分类实践,

4. SocialBird-ADAB/Bert-klasifikasi-Tutorial,

5. Foosynaptic/Bert_Classifer_trial, Bert Trial for Chinese Corpus Classfication

6. Xiaopingzhong/Bert-Finetune-for-Classfier, 微调 Bert 模型, 同时构建自己的数据集实现分类

7. Pengming617/Bert_classification, 利用 Bert 预训练的中文模型进行文本分类,

8. xieyufei1993/Bert-Pytorch-Chinese-Textclassification, Pytorch Bert Finetune dalam Klasifikasi Teks Cina,

9. liyibo/teks-klasifikasi-demos, model saraf untuk klasifikasi teks di TensorFlow, seperti CNN, DPCNN, FastText, Bert ...,

10. CirclePi/Bert_Chinese_Text_Class_by_pytorch, Pytorch yang diterapkan dari kelas teks Cina berdasarkan Bert_Pretrain_Model,

11. Kaushaltrivedi/Bert-Toxic-Comments-Multilabel, Klasifikasi Multilabel untuk Tantangan Komentar Beracun Menggunakan Bert,

12. Lonepatient/Bert-Chinese-Text-Classification-Pytorch, Repo ini berisi implementasi Pytorch dari model BerT pretrained untuk klasifikasi teks.,

Analisis sentimen Bert

1. Analisis Chung-I/Douban-Sentimen, Analisis Sentimen pada Dataset Komentar Pendek Douban Movie Menggunakan Bert.

2. Lynnna-XU/Bert_SA, analisis sentimen Bert Tensorflow melayani dengan API RESTful

3. HSLCY/ABSA-BERT-PAIR, memanfaatkan Bert untuk analisis sentimen berbasis aspek melalui membangun kalimat tambahan (NAACL 2019) https://arxiv.org/abs/1903.09588,

4. Songyouwei/Absa-Pytorch, analisis sentimen berbasis aspek, implementasi pytorch. 基于方面的情感分析 ， 使用 pytorch 实现。,

5. Howardhsu/Bert-for-rrc-ABSA, kode untuk makalah NAACL 2019 kami: "Bert pasca-pelatihan untuk pemahaman bacaan ulasan dan analisis sentimen berbasis aspek",

6. BrightMart/sentiment_analysis_fine_grain, klasifikasi multi-label dengan Bert; Analisis sentimen berbutir halus dari AI Challenger,

Bert Ner Tugas:

1. Zhpmatrix/Bert-sequence-tagging, 基于 Bert 的中文序列标注

2. Kyzhouhzau/Bert-ner, gunakan Google Bert untuk melakukan conll-2003 ner! ,

3. King-Menin/Ner-Bert, Solusi Tugas NER (Bert-BI-LSTM-CRF) dengan Google Bert https://github.com/google-research.

4. MACANV/BERT-BILSMT-CRF-BERNA, Solusi TensorFlow dari tugas NER menggunakan model BILSTM-CRF dengan fine-tuning Google Bert,

5. Fuyanzhe2/nama-entitas-pengenalan, LSTM-CRF, kisi-CRF, Bert-ner 及近年 ner 相关论文 ikuti,

6. MHCAO916/NER_BASED_ON_BERT, proyek ini didasarkan pada model Google Bert, yang merupakan ner Cina

7. ProHiryu/Bert-Chinese-Ner, 使用预训练语言模型 Bert 做中文 ner,

8. Sberbank-Ai/Ner-Bert, Bert-Bere (Nert-Bert) dengan Google Bert,

9. Kyzhouhzau/Bert-bilstm-CRF, model ini basis di Bert-as-service. Struktur Model: Bert-Embedding Bilstm CRF. ,

10. Hoiy/Berserker, Berserker - Bert Chinese Word Tokenizer, Berserker (Bert Chinese Word Tokenizer) adalah tokenizer Cina yang dibangun di atas model Google Bert. ,

11. Kyubyong/Bert_ner, Ner dengan Bert,

12. Jiangpinglei/Bert_chinesewordsment, model segmen kata Cina berdasarkan Bert, f1-skor 97%,

13. yanwii/chinesener, 基于 bi-gru + crf 的中文机构名、人名识别 中文实体识别, 支持 Google Bert 模型

14. Lemonhu/Ner-Beri-Pytorch, solusi Pytorch dari tugas NER menggunakan model BERT pra-terlatih Google AI.

Tugas Ringkasan Teks Bert:

1. Nlpyang/Bertsum, kode untuk fine-tune kertas untuk ringkasan ekstraktif,

2. santhoshkolloju/abstraktif-summarisasi-dengan-transfer-learning, ringkasan abstraktif menggunakan Bert sebagai encoder dan decoder transformator,

3. Nayeon7lee/Bert-Summarization, implementasi 'pembuatan bahasa alami berbasis pretraining untuk ringkasan teks', kertas: https://arxiv.org/pdf/1902.09243.pdf

4. dmmiller612/kuliah-summarizer, kuliah ringkasan dengan Bert

Tugas Pembuatan Teks Bert:

1. Asiml/Texar, Toolkit untuk pembuatan teks dan di luar https://texar.io, Texar adalah toolkit pembuatan teks umum umum, juga telah mengimplementasikan Bert di sini untuk klasifikasi, dan aplikasi pembuatan teks dengan menggabungkan dengan modul Texar lainnya.

2. batal/bertgenerate, fine tuning Bert untuk pembuatan teks, Bert 做 文本生成 的一些實驗

3. Tiiiger/Bert_score, skor Bert untuk generasi bahasa,

Tugas Grafik Pengetahuan Bert:

1. LVJIANXIN/Ekstraksi Pengetahuan, 基于中文的知识抽取 ， Baseline ： BI-LSTM+CRF ： ： Bert 预训练

2. Sakuranew/Bert-AttributeExtraction, menggunakan BERT untuk ekstraksi atribut di KnowledgeGraph. penyetelan dan ekstraksi fitur. 使用基于 Bert 的微调和特征提取方法来进行知识图谱百度百科人物词条属性抽取。,

3. aditya-ai/informasi-retrieval-system-using-bert,

4. JKSZW2014/BERT-KBQA-NLPCC2017, Percobaan KBQA Berdasarkan Bert untuk NLPCC2016/2017 Tugas 5 (基于 Bert 的中文知识库问答实践 ， 代码可跑通） ， ， https://blog.csdn.net/ai_10460679444/article.csdn.net/ai_1046067944/article.csdn.net/ai_1046067944/article/iTicle/ai

5. yuanxiaosc/schema-berbasis-knowledge-extraction, kode untuk http://lic2019.ccf.org.cn/kg 信息抽取。使用基于 Bert 的实体抽取和关系抽取的端到端的联合模型。（将在比赛结束后 ， 完善代码和使用说明）,

6. Yuanxiaosc/entitas-relasi-ekstraksi, entitas dan ekstraksi hubungan berdasarkan TensorFlow. 基于 TensorFlow 的管道式实体及关系抽取 ， 2019 语言与智能技术竞赛信息抽取任务解决方案（比赛结束后完善代码）。 Ekstraksi Pengetahuan Berbasis SCHEMA, Ske 2019 http://lic2019.ccf.org.cn,

7. Wenrichard/Kbqa-Bert, 基于知识图谱的问答系统 ， Bert 做命名实体识别和句子相似度 ， 分为 Online 和 Garis Besar 模式 ， 博客介绍 https://zhuanlan.zhihu.com/p/62946533,

8. Zhpmatrix/Bertem, ACL2019 论文实现《 Pencocokan Kosong: Kesamaan Distribusi untuk Relasi Pembelajaran》,

Resolusi Bert Coreference

1. IAYCXU/RGCN-Dengan-Bert, Gated-Relational Graph Convolutional Networks (RGCN) dengan Bert untuk tugas resolusi coreference

2. Isabellebouchard/Bert_for_gap-Coreference, Bert Finetuning untuk Resolusi Kata Ganti yang Tidak Bias Gap

Bert Visualisasi Toolkit:

1. Jessevig/Bertviz, alat untuk memvisualisasikan perhatian Bert,

Bert Chatbot:

1. Gaoq1/rasa_nlu_gq, ubah bahasa alami menjadi data terstruktur (支持中文 ， 自定义了 n 种模型 ， ，),

2. Gaoq1/rasa_chatbot_cn, 基于 rasa-nlu 和 rasa-core 搭建的对话系统 demo,

3. GaoQ1/Rasa-Beri-Finetune, 支持 Rasa-nlu 的 Bert Finetune,

4. geodge831012/bert_robot, 用于智能助手回答问题的训练 ， 基于 Bert 模型进行训练改造

5. Yuanxiaosc/Bert-for-sequence-label-dan-teks-klasifikasi, ini adalah kode template untuk menggunakan BerT untuk urutan penglihatan dan klasifikasi teks, untuk memfasilitasi BerT untuk tugas lebih lanjut. Saat ini, kode template telah menyertakan identifikasi entitas CONLL-2003 bernama, pengisian slot snips dan prediksi niat.

6. Guillaume-Chevalier/Reubert, chatbot yang dianugerahi pertanyaan, sederhana.

Model dan Embedding Bahasa Bert:

1. Hanxiao/Bert-as-Service, Memetakan kalimat panjang variabel ke vektor panjang tetap menggunakan model Bert pretrained,

2. Yc-wind/embedding_study, 中文预训练模型生成字向量学习 ， 测试 bert ， elmo 的中文效果,

3. Kyubyong/Bert-Token-Embedding, Bert Pretrained Token Embeddings,

4. xu-song/bert_as_language_model, Bert sebagai model bahasa, garpu dari https://github.com/google-research/bert,

5. yuanxiaosc/deep_dynamic_word_representation, kode tensorflow dan model pra-terlatih untuk representasi kata dinamis yang dalam (DDWR). Ini menggabungkan model Bert dan representasi kata konteks mendalam Elmo.,

6. Imgarylai/Bert-Embedding, Token Level Embeddings dari Bert Model pada MXNet dan Gluonnlp http://bert-embedding.readthedocs.io/,

7. Terrifyzhao/Bert-utils, Bert 生成句向量 ， Bert 做文本分类、文本相似度计算,

8. Fennudetudou/Bert_Implement, 使用 Bert 模型进行文本分类 ， 相似句子判断 ， 以及词性标注,

9. whqwill/seq2seq-keyphrase-bert, tambahkan Bert ke bagian encoder untuk https://github.com/memray/seq2seq-keyphrase-pytorch,

10. Charles9n/Bert-Sklearn, pembungkus Sklearn untuk model Google Bert,

11. NVIDIA/MEGATRON-LM, Model Bahasa Transformator Pelatihan Penelitian yang sedang berlangsung pada skala, termasuk: Bert,

12. Hankcs/Bert-Token-level-embedding, menghasilkan embedding level token Bert tanpa rasa sakit

13. FacebookResearch/Lama, Lama: Analisis Model Bahasa, Lama adalah seperangkat konektor ke model bahasa yang sudah terlatih.

Bert Text Match:

1. Pengming617/Bert_textmatching, 利用预训练的中文模型实现基于 Bert 的语义匹配模型 数据集为 lcqmc 官方数据

2. Brokenwind/Bertsimilarity, menghitung kesamaan dua kalimat dengan algoritma Bert Google

3. Policeme/China_Bert_Similarity, Bert China Kesamaan

4. Lonepatient/Bert-Similarity-Pytorch, repo ini berisi implementasi Pytorch dari model BerT pretrained untuk tugas kesamaan kalimat.

5. Nouhadziri/Dialogentailment, implementasi makalah "Mengevaluasi Koherensi dalam Sistem Dialog Menggunakan Persyaratan" https://arxiv.org/abs/1904.03371

6. Ukplab / kalimat transformer, embeddings kalimat dengan Bert & xlnet, transformator kalimat: kalimat embeddings menggunakan Bert / Roberta / Xlnet dengan pytorch,

Tutorial Bert:

1. Graykode/NLP-Tutorial, Tutorial Pemrosesan Bahasa Alami untuk Peneliti Pembelajaran Mendalam https://www.reddit.com/r/machinelearn…,

2. dragen1860/tensorflow-2.x-tutorials, tutorial dan contoh versi tensorflow 2.x, termasuk CNN, RNN, GAN, Auto-encoders, Fasterrcnn, GPT, Contoh Bert, dll. TF 2.0 版入门实例代码 ， ，,