How to use Transformers

Transformersは、フェイスを抱きしめることで開発されたPythonライブラリであり、事前に訓練された言語モデルのほとんどのロードをサポートしています。 BertやGPTなどのモデルの台頭により、ますます多くのユーザーがTransformersライブラリを使用して自然言語処理アプリケーションを構築しています。

このプロジェクトは、「Transformers Library Quick Start」チュートリアルのコードリポジトリであり、コードは次のように整理されています。

• データ：使用したデータセットを保存します。
• SRC ：サンプルコードを保存します。各タスクはフォルダーに対応し、ダウンロードして個別に使用できます。

このチュートリアルは更新中であり、関連するコンテンツを大規模な言語モデルに徐々に追加しています。

トランスフォーマーライブラリのクイックスタート

• パート1：背景知識

  • 第1章：自然言語処理
  • 第2章：トランスモデル
  • 第3章：注意メカニズム

• パート2：トランスとの最初の会合

  • 第4章：箱から出してパイプライン
  • 第5章：モデルと単語のパーティショナー
  • 第6章：必要なPytorchの知識
  • 第7章：事前に訓練されたモデルの微調整

• パート3：トランスフォーマーの実践的な戦い

  • 第8章：Quick Word Partitioner
  • 第9章：シーケンス注釈タスク
  • 第10章：翻訳タスク
  • 第11章：テキストの要約タスク
  • 第12章：抽出されたQ＆A
  • 第13章：感情分析の促進

• パート4：大きな言語モデルの時代

  • 第14章：大きな言語モデルテクノロジーの紹介
  • 第15章：トレーニング前の大規模な言語モデル
  • 第16章：大きな言語モデルの使用
  • 第17章：指示の細かいトンネルFlant5モデル
  • 第18章：指示微調整llama2モデル

サンプルコード

• pairwise_cls_similarity_afqmc：文ペア分類タスク、財務同義語の判断。
• Sequence_labeling_ner_cpd：エンティティ認識という名前のシーケンスラベル付けタスク。
• seq2seq_translation：seq2seqタスク、中国語と英語の翻訳。
• seq2seq_summarization：seq2seqタスク、テキストの概要。
• Sequence_labeling_extractiveqa_cmrc：シーケンスラベル付けタスク、抽出された質問と回答。
• TEXT_CLS_PROMPT_SENTI_CHNSENTICORP：テキスト分類タスク、迅速な感情分析。

重要な更新

日付	コンテンツ
2024-07-06	「自然言語処理」の最初の章のテキスト式が最適化され、いくつかの写真が追加され、大規模な言語モデルの紹介が追加されました。
2024-07-27	大規模な言語モデルのテクノロジー導入の予備草案を完了します（14〜16章）