nlp data augmentation

NLPデータAugmentaion

紙

• 監視されていないデータ増強
• Cloze Translationによる監視されていない質問応答
• タスク固有の知識をBERTから単純なニューラルネットワークに蒸留します
• 事前処理された変圧器のタスクに依存しないデータ増強はどの程度効果的ですか？
• モルフィンの時間です！屈折性摂動と言語差別との闘い

概要

• NLPのデータ増強に関する視覚調査
• NLPのタスクに依存しないデータ増強
• 堅牢で公平な自然言語処理PDF

方法

• 一般的な
  • ランダム挿入、削除、単語、文のシャッフル
• 単語を同義語に置き換えます
• 同じラベルのdiCitionaryの単語を置き換えます
  • ええと
• 摂動（文字、単語、または文レベル）
  • noisemix
• 言語モデル
  • 文脈上の増強
• バック翻訳
  • マシンのトラスル化
• 往復翻訳
  • パラフォーシング
  • 低リソースの平行なコーパス
  • 中文文本纠错任务
• 外部データを活用します
  • ウィキペディアから派生した外部データを使用します。ウィキペディアの記事を任意の入力テキストにリンクします。アイデアは、入力テキストがウィキペディアにある場合、他のウィキペディアの記事へのリンクがあるということです（意味的に関連しており、追加情報を提供します）。
    • 入力テキストをn-gramsに分割します
    • 各n-gramがウィキペディアの記事として存在するかどうかを確認して、「候補リンク」のセットを作成します
    • 入力テキストの類似性と各候補者の要約を計算することにより、候補リンクを剪定します
• 会話システム
  • 噴水
• 読解
  • エンティティの交換と順列
  • POSタグに基づいて強いネガを生成します

図書館

• TextAttack
• nlaug