Transformers es una biblioteca de Python desarrollada por Hugging Face, que admite la carga de la mayoría de los modelos de idiomas previamente capacitados. Con el aumento de modelos como Bert y GPT, cada vez más usuarios están utilizando la Biblioteca Transformers para crear aplicaciones de procesamiento de lenguaje natural.
Este proyecto es un repositorio de código para el tutorial "Inicio rápido de la biblioteca Transformers", y el código está organizado de la siguiente manera:
- Datos : almacena el conjunto de datos usado;
- SRC : almacena código de muestra, cada tarea corresponde a una carpeta, que se puede descargar y usar por separado.
Este tutorial está en actualización y agrega gradualmente contenido relacionado al modelo de idioma grande.
Inicio rápido de la biblioteca Transformers
Parte uno: conocimiento de fondo
- Capítulo 1: Procesamiento del lenguaje natural
- Capítulo 2: Modelo de transformador
- Capítulo 3: Mecanismo de atención
Parte 2: Primera reunión con Transformers
- Capítulo 4: tuberías fuera de la caja
- Capítulo 5: Modelo y divisor de palabras
- Capítulo 6: Conocimiento necesario de Pytorch
- Capítulo 7: ajuste el modelo previamente capacitado
Parte 3: Transformers Batalla práctica
- Capítulo 8: Particionador de palabras rápidas
- Capítulo 9: Tarea de anotación de secuencia
- Capítulo 10: Tarea de traducción
- Capítulo 11: Tarea de resumen de texto
- Capítulo 12: Preguntas y respuestas extraídas
- Capítulo 13: Involucrar análisis de sentimientos
Parte 4: La era del modelo de lenguaje grande
- Capítulo 14: Introducción a la tecnología de modelos de lenguaje grande
- Capítulo 15: Modelo de lenguaje grande previo al entrenamiento
- Capítulo 16: Uso del modelo de lenguaje grande
- Capítulo 17: Instrucción Túnel Fine Flant5 Modelo
- Capítulo 18: Instrucción Modelo de Llama2 de ajuste fino
Código de muestra
- parewise_cls_similarity_afqmc: tareas de clasificación de pares de oraciones, juicio de sinónimos financieros.
- secuence_labeling_ner_cpd: tarea de etiquetado de secuencia, reconocimiento de entidad nombrada.
- SEQ2SEQ_TRANSLATION: Tarea SEQ2SEQ, traducción china-inglés.
- SEQ2SEQ_SUMMARIZACIÓN: Tarea SEQ2SEQ, resumen de texto.
- secuence_labeling_extractiveqa_cmrc: tarea de etiquetado de secuencia, pregunta extraída y respuesta.
- text_cls_prompt_senti_chnsenticorp: tarea de clasificación de texto, análisis de sentimiento rápido.
Actualizaciones importantes
| fecha | contenido |
|---|
| 2024-07-06 | Se optimizó la expresión textual del primer capítulo de "procesamiento del lenguaje natural", se agregaron algunas imágenes y se agregó una introducción al modelo de lenguaje grande. |
| 2024-07-27 | Complete el borrador preliminar de la introducción de tecnología del modelo de idioma grande (capítulos 14 a 16) |
