Transformers Recipe
1.0.0
トランスは、自然言語処理（NLP）タスクの新しい技術とモデルの開発を加速しています。主にNLPタスクに使用されていますが、現在、コンピュータービジョンや強化学習など、他の分野で激しい採用が見られています。それは、それを理解し、適用できる最も重要な現代の概念の1つになります。
多くの機械学習とNLPの学生と実践者が、変圧器について学ぶことに熱心であることを知っています。したがって、私は、トランスフォーマーの世界について学ぶことに興味のある学生を導くのに役立つリソースと研究資料のリストの形で学習ガイドを準備しました。
そもそも、トランスモデルをゼロからよりよく理解し、実装するために使用した材料へのいくつかのリンクを準備しました。
まず、トランスについて非常に高レベルの紹介をしてみてください。見る価値のあるいくつかの参照：
トランスの紹介 - 講義ノート（エルビス・サラビア）
ゼロからの変圧器（ブランドン・ローラー）
ディープラーニングとNLPでの変圧器の仕組み：直感的な紹介（AI夏）
スタンフォードCS25-トランスフォーマーユナイテッド
言語理解のための深い学習（deepmind）
トランスモデル：紹介とカタログ（Xavier Amatriain）
Jay Alammarの図解された説明は例外的です。トランスの高レベルの理解が得られたら、この人気のある詳細で図解された変圧器の説明に飛びつくことができます。
イラスト付き変圧器
この次の記事では、変圧器をそのコンポーネントに分解し、各部分が何をするかを詳細に説明し、説明します。
トランスを分解します
この時点で、トランスの技術的要約と概要を探しているかもしれません。 Lilian Wengのブログ投稿は宝石であり、簡潔な技術的説明/要約を提供します。
トランスファミリー
トランスファミリーバージョン2.0
理論の後、知識をテストすることが重要です。私は通常、物事をより詳細に理解することを好むので、ゼロからアルゴリズムを実装することを好みます。トランスを実装するために、私は主にこのチュートリアルに頼っていました。
注釈付き変圧器| （Google Colab | Github）
NN.TRANSFORMERおよびTORCHTEXTを使用した言語モデリング
最新のトランスフォーマーのいくつかで詳細な実装を探している場合は、変圧器のコードメソッドコレクションを備えた論文も有用であることがあります。
Vaswaniらによるこの論文。トランスアーキテクチャを紹介しました。高レベルの理解があり、詳細に入りたいと思った後、それを読んでください。深く潜るために、紙の他の参考文献に注意してください。
注意が必要です
トランスフォーマーの背後にある理論を勉強して理解した後、それらをさまざまなNLPプロジェクトや研究に適用することに興味があるかもしれません。この時点で、あなたの最善の策は、Huggingfaceによるトランスフォーマーライブラリです。
トランス
抱きしめる顔チームは、NLPに関する新しい本も変圧器を掲載しているので、こちらをチェックしてみてください。
ボーナスとして、Sebastian RaschkaによるLLMSの優れた読書リストがあります。
大規模な言語モデルの理解 - 変革的な読書リスト
勉強資料をお気軽に提案してください。次のアップデートでは、トランスアプリケーションと論文のより包括的なコレクションを追加したいと考えています。さらに、簡単な実験のためのコード実装も同様です。乞うご期待！
新しいMLおよびNLPリソースの定期的な更新を取得するには、Twitterでフォローしてください。
