transformers tutorials

Pytorch變形金剛教程

介紹

NLP領域在2018年通過引入Bert和他的變形金剛朋友（Roberta，XLM等）進行了革新。

這些基於變壓器的新型神經網絡體系結構和新方法來培訓自然語言數據的神經網絡，將轉移學習引入了NLP問題。轉移學習已經在計算機視覺域中提供了幾年的最先進的結果，並且引入了NLP的變壓器模型，帶來了NLP的範式更改。

像Google和Facebook這樣的公司在大量自然語言數據上訓練了他們的神經網絡，以掌握語言的複雜性，從而產生語言模型。最後，這些模型被微調到特定的域數據集，以實現特定問題陳述的最新結果。他們還向開源社區發布了這些訓練有素的模型。社區成員現在能夠將這些模型調整為特定用例。

擁抱的臉使社區更容易使用Python軟件包：變形金剛訪問和微調這些模型。

動機

儘管將這些解決方案應用於業務問題的這些驚人的技術進步仍然是一個挑戰，因為要理解並將這些方法應用於特定問題陳述所需的利基知識。因此，在以下教程中，我將演示用戶如何利用技術以及其他一些Python工具將這些語言模型調整為特定的任務類型。

在繼續之前，我想提及以下奇妙的工作和共享的小組，這使這些筆記本和教程成為可能：

請查看這些驚人的信息來源並訂閱其渠道/來源。

• 擁抱的臉隊
• Abhishek Thakur的YouTube視頻很棒

我將使用的問題陳述是：

筆記本	github鏈接	COLAB鏈接	Kaggle內核
文本分類：多類	github		Kaggle
文本分類：多標籤	github		Kaggle
通過Wandb中的實驗跟踪的情感分類！	github
命名實體識別：帶有TPU處理！	github		Kaggle
問題回答
摘要寫作： wandb中的實驗跟踪！	github		Kaggle

目錄結構

1. data ：此文件夾包含用於微調的所有玩具數據。
2. utils ：此文件夾將包含用於準備微調的任何其他腳本。
3. models ：保存所有工件後的文件夾。

進一步觀看/閱讀

我將嘗試涵蓋這些語言模型在各種NLP任務上進行微調的實踐和實現方面。您可以通過閱讀/觀看以下資源來提高有關此主題的知識。

• 看

  • 簡單介紹
  • NLP的轉移學習
  • Chrismccormickai的Bert研究系列

• 閱讀

  • 變形金剛文檔
  • Pytorch文檔
  • Google AI博客