How to use Transformers

Transformers 是由Hugging Face 公司開發的一個Python 庫，支持加載目前絕大部分的預訓練語言模型。隨著BERT、GPT 等模型的興起，越來越多的用戶採用Transformers 庫來構建自然語言處理應用。

該項目為《Transformers 庫快速入門》教程的代碼倉庫，按照以下方式組織代碼：

• data ：存儲使用到的數據集；
• src ：存儲示例代碼，每個任務對應一個文件夾，可以下載下來單獨使用。

該教程處於更新中，正在逐漸添加大語言模型的相關內容。

Transformers 庫快速入門

• 第一部分：背景知識

  • 第一章：自然語言處理
  • 第二章：Transformer 模型
  • 第三章：注意力機制

• 第二部分：初識Transformers

  • 第四章：開箱即用的pipelines
  • 第五章：模型與分詞器
  • 第六章：必要的Pytorch 知識
  • 第七章：微調預訓練模型

• 第三部分：Transformers 實戰

  • 第八章：快速分詞器
  • 第九章：序列標註任務
  • 第十章：翻譯任務
  • 第十一章：文本摘要任務
  • 第十二章：抽取式問答
  • 第十三章：Prompting 情感分析

• 第四部分：大語言模型時代

  • 第十四章：大語言模型技術簡介
  • 第十五章：預訓練大語言模型
  • 第十六章：使用大語言模型
  • 第十七章：指令微調FlanT5 模型
  • 第十八章：指令微調Llama2 模型

示例代碼

• pairwise_cls_similarity_afqmc：句子對分類任務，金融同義句判斷。
• sequence_labeling_ner_cpd：序列標註任務，命名實體識別。
• seq2seq_translation：seq2seq任務，中英翻譯。
• seq2seq_summarization：seq2seq任務，文本摘要。
• sequence_labeling_extractiveQA_cmrc：序列標註任務，抽取式問答。
• text_cls_prompt_senti_chnsenticorp：文本分類任務，Prompt 情感分析。

重要更新

日期	內容
2024-07-06	優化了第一章《自然語言處理》的文字表述，增加了一些圖片，增加了大語言模型的簡介。
2024-07-27	完成大語言模型技術簡介（第14至16章）初稿