transformers tutorials
1.0.0
NLPの分野は、2018年にBertと彼の変圧器の友人（Roberta、XLMなど）の導入により革命を起こしました。
これらの新しい変圧器ベースのニューラルネットワークアーキテクチャと、自然言語データに関するニューラルネットワークをトレーニングする新しい方法により、NLP問題への転送学習が導入されました。トランスファーラーニングは、数年前からコンピュータービジョンドメインに最先端の結果を提供しており、NLPの変圧器モデルの導入により、NLPで同じパラダイムの変化がもたらされました。
GoogleやFacebookのような企業は、自然言語データの大規模なスワスでニューラルネットワークをトレーニングし、言語モデルを生成する言語の複雑さを把握しました。最後に、これらのモデルは特定のドメインデータセットに微調整され、特定の問題ステートメントの最先端の結果を達成しました。また、これらの訓練されたモデルを公開して、オープンソースコミュニティを公開しました。コミュニティメンバーは、これらのモデルを特定のユースケースに微調整することができました。
顔を抱き締めることで、コミュニティはPythonパッケージであるトランスを使用してこれらのモデルにアクセスして微調整しやすくなりました。
これらのソリューションをビジネス上の問題に適用するこれらの驚くべき技術の進歩にもかかわらず、これらの方法を特定の問題ステートメントに理解して適用するために必要なニッチな知識を考えると、依然として課題です。したがって、次のチュートリアルでは、ユーザーが他のいくつかのPythonツールとともにテクノロジーを活用して、これらの言語モデルを特定のタイプのタスクに微調整する方法を実証します。
先に進む前に、これらのノートブックとチュートリアルを可能にした素晴らしい仕事と共有について、次のグループに言及したいと思います。
これらの驚くべき情報源を確認し、チャネル/ソースを購読してください。
私が取り組んでいる問題の声明は次のとおりです。
| ノート | githubリンク | コラブリンク | Kaggleカーネル |
|---|---|---|---|
| テキスト分類：マルチクラス | github | Kaggle | |
| テキスト分類：マルチラベル | github | Kaggle | |
| Wandbでの実験追跡による感情分類！ | github | ||
| 名前付きエンティティ認識： TPU処理で！ | github | Kaggle | |
| 質問に答える | |||
| 概要ライティング： WandBでの実験追跡で！ | github | Kaggle |
data ：このフォルダーには、微調整に使用されるすべてのおもちゃデータが含まれています。utils ：このフォルダーには、微調整の準備に使用されるその他のスクリプトが含まれます。models ：すべてのアーティファクトを保存するフォルダーは、微調整を投稿します。さまざまなNLPタスクでのこれらの言語モデルの微調整の実用的および実装の側面をカバーしようとします。このトピックに関する知識を改善して、次のリソースを読んだり視聴したりできます。
見ている
読む
