Transformers é uma biblioteca Python desenvolvida por abraçar o rosto, que suporta o carregamento da maioria dos modelos de idiomas pré-treinados. Com o aumento de modelos como BERT e GPT, mais e mais usuários estão usando a Biblioteca Transformers para criar aplicativos de processamento de linguagem natural.
Este projeto é um repositório de código para o tutorial "Transformers Library Quick Start", e o código está organizado da seguinte maneira:
- Dados : armazena o conjunto de dados usado;
- SRC : armazena o código de amostra, cada tarefa corresponde a uma pasta, que pode ser baixada e usada separadamente.
Este tutorial está em atualização e está adicionando gradualmente conteúdo relacionado ao modelo de idioma grande.
Início rápido da Biblioteca Transformers
Parte um: Conhecimento de Background
- Capítulo 1: Processamento de linguagem natural
- Capítulo 2: Modelo de Transformador
- Capítulo 3: mecanismo de atenção
Parte 2: Primeira reunião com Transformers
- Capítulo 4: Pipelines off of the box
- Capítulo 5: Modelo e Partiote de Palavra
- Capítulo 6: Conhecimento necessário para Pytorch
- Capítulo 7: Ajustando o modelo pré-treinado
Parte 3: Transformers Practical Battle
- Capítulo 8: Partiote de palavras rápido
- Capítulo 9: Tarefa de anotação de sequência
- Capítulo 10: Tarefa de tradução
- Capítulo 11: Tarefa de resumo do texto
- Capítulo 12: Perguntas e Perguntas e Pergunturas extraídas
- Capítulo 13: solicitando análise de sentimentos
Parte 4: a era do Big Language Model
- Capítulo 14: Introdução à Big Language Model Technology
- Capítulo 15: Modelo de grande idioma pré-treinamento
- Capítulo 16: Usando o Big Language Model
- Capítulo 17: Instrução Modelo de túnel fino5
- Capítulo 18: Modelo de Llama2 de ajuste fino de instrução
Código de amostra
- parewise_cls_similarity_afqmc: tarefas de classificação de pares de frases, julgamento de sinônimos financeiros.
- sequence_labeling_ner_cpd: tarefa de rotulagem de sequência, nomeado reconhecimento de entidade.
- SEQ2SEQ_TRANSLATION: Tarefa SEQ2SEQ, tradução chinesa-inglês.
- SEQ2SEQ_SUMARIZAÇÃO: Tarefa SEQ2SEQ, resumo do texto.
- sequence_labeling_extriveqa_cmrc: tarefa de rotulagem de sequência, pergunta e resposta extraídas.
- text_cls_prompt_senti_chnsenticorp: tarefa de classificação de texto, análise de sentimento imediato.
Atualizações importantes
| data | contente |
|---|
| 2024-07-06 | A expressão textual do primeiro capítulo de "processamento de linguagem natural" foi otimizada, algumas imagens foram adicionadas e foi adicionada uma introdução ao modelo de linguagem grande. |
| 2024-07-27 | Complete o rascunho preliminar da introdução tecnológica do modelo de linguagem grande (capítulos 14 a 16) |
