nlp notebook

プロジェクトの説明

NLPフィールドでの一般的なタスクの実装には、新しい単語の発見、およびPytorch、中国のテキスト分類、エンティティ認識、テキスト生成、文の類似性判断、トリプル抽出、事前訓練モデルなどに基づく単語ベクトルが含まれます。

頼る

 python 3.7
pytorch 1.8.0
torchtext 0.9.1
optuna 2.6.0
transformers 3.0.2

目次

0。新しい単語発見アルゴリズム

• 0-1。新しい言葉の発見

1。ワードベクトル

• 1-1。 word2vec（skip-gram）
• 1-2。グローブ

2。テキスト分類（Optunaはパラメーターを内部的に調整するために使用されます）

• 2-1。 textcnn
• 2-2。 fastText
• 2-3。 textrcnn
• 2-4。 textrnn_att
• 2-5。 dpcnn
• 2-6。 xgboost
• 2-7。 distill_＆微調整バート
• 2-8。パターン抽出トレーニングMLMを使用してテキストを分類します
• 2-9。 r-drop

データセット（データフォルダー）：次のように分割されたバイナリ世論データセット：

データセット	データボリューム
トレーニングセット	56700
検証セット	7000
テストセット	6300

3。エンティティ識別ner

• 3-1。 bert-mrc
• 3-2。 bert-crf
• 3-3。 Bert-Label-Semantics
• 3-4。 bert-mlm

4。テキストの概要生成

1）。生成式

• 4-1。 seq2seqモデル
• 4-2。 seq2seqモデル +注意メカニズム
• 4-3。トランスモデル
• 4-4。 GPTサマリー生成
• 4-5。 bert-seq2seq

2）。抽出

• 4-6。 Bert-Extractive-Summarizer

5。文の類似性差別

• 5-1。文と類似

6.マルチラベル分類

• 6-1。マルチラベル分類

7。トリプル抽出

• 7-1。関係抽出

8。事前に訓練されたモデル（Electra + Simcse）

• 8-1。前提と言語モデル

9。学ぶためのヒント

• 9-1。 P調整V1

10。PaperWithCode

このフォルダーは、いくつかの論文とそれに対応するモデルコードを記録します。

• 10.1。共同互換トランスフォーカー
• 10.2。 lattice_lstm

11。Qa

このフォルダーは、機械学習/ディープラーニングに関するいくつかの知識ポイントの簡単な要約を記録しています。