How to use Transformers

Transformers 是由 Hugging Face 公司开发的一个 Python 库，支持加载目前绝大部分的预训练语言模型。随着 BERT、GPT 等模型的兴起，越来越多的用户采用 Transformers 库来构建自然语言处理应用。

该项目为《Transformers 库快速入门》教程的代码仓库，按照以下方式组织代码：

• data：存储使用到的数据集；
• src：存储示例代码，每个任务对应一个文件夹，可以下载下来单独使用。

该教程处于更新中，正在逐渐添加大语言模型的相关内容。

Transformers 库快速入门

• 第一部分：背景知识

  • 第一章：自然语言处理
  • 第二章：Transformer 模型
  • 第三章：注意力机制

• 第二部分：初识 Transformers

  • 第四章：开箱即用的 pipelines
  • 第五章：模型与分词器
  • 第六章：必要的 Pytorch 知识
  • 第七章：微调预训练模型

• 第三部分：Transformers 实战

  • 第八章：快速分词器
  • 第九章：序列标注任务
  • 第十章：翻译任务
  • 第十一章：文本摘要任务
  • 第十二章：抽取式问答
  • 第十三章：Prompting 情感分析

• 第四部分：大语言模型时代

  • 第十四章：大语言模型技术简介
  • 第十五章：预训练大语言模型
  • 第十六章：使用大语言模型
  • 第十七章：指令微调 FlanT5 模型
  • 第十八章：指令微调 Llama2 模型

示例代码

• pairwise_cls_similarity_afqmc：句子对分类任务，金融同义句判断。
• sequence_labeling_ner_cpd：序列标注任务，命名实体识别。
• seq2seq_translation：seq2seq任务，中英翻译。
• seq2seq_summarization：seq2seq任务，文本摘要。
• sequence_labeling_extractiveQA_cmrc：序列标注任务，抽取式问答。
• text_cls_prompt_senti_chnsenticorp：文本分类任务，Prompt 情感分析。

重要更新

日期	内容
2024-07-06	优化了第一章《自然语言处理》的文字表述，增加了一些图片，增加了大语言模型的简介。
2024-07-27	完成大语言模型技术简介（第14至16章）初稿