dliss tutorial

dliss-tutorial

ディープラーニングに関する国際サマースクールのチュートリアル、2019年、ポーランド、Gdanskで

セクション

概要トーク

https://docs.google.com/presentation/d/1dji1yx4u5igapgwavt0amoclwso7ou1un93smuawma/

チュートリアル

現在、このチュートリアルには3つのハンズオンセクションがあります。

• 最初のセクションでは、事前に訓練された単語埋め込み（colab）をカバーします

• 2番目のセクションでは、事前に訓練されたコンテキストエメディング（colab）をカバーします

• 3番目のセクションでは、事前に訓練されたモデル（colab）を微調整します

更新

• 2022年4月、さまざまなトランスアーキテクチャをゼロから構築する方法を学ぶことに興味がある場合は、いくつかの人気のある変圧器モデルの詳細な詳細と完全な実装を備えた新しいチュートリアルセットがあります。彼らは、モデルを段階的に構築する方法、それらを将来する方法、およびそれらをダウンストリームタスクに使用する方法を示しています。すべてのチュートリアルピースを含む付随するPythonパッケージがあります

• 2020年7月、これらのチュートリアルで参照されているMeadを使用してColabチュートリアルのセットを投稿しました。この新しい一連のノートブックは、TPUを使用したMead APIを使用したゼロからトランスのトランスベースのモデルをトレーニングするだけでなく、分類およびタガーの転送学習を含む同様の資料をカバーしています。 Meadを使用すると、シンプルなYAML構成を使用してNLP用の強力なモデルを簡単にトレーニングでき、強力なベースラインと比較しながら、新しいモデルでコードを簡単に拡張できます。