Comenzando con el procesamiento del lenguaje natural basado en transformadores (PNL)
Procesamiento del lenguaje natural con transformadores. Los objetos que este proyecto es:
- Principiantes de la PNL, principiantes del transformador
- Tener una cierta programación básica de Python y Pytorch
- Interesado en modelos de transformadores de vanguardia
- Comprender y conocer modelos simples de aprendizaje profundo
La visión de este proyecto es:
Esperamos combinar explicaciones vívidas de los principios y múltiples proyectos prácticos prácticos para ayudar a los principiantes a comenzar rápidamente con PNL en la era del aprendizaje profundo.
Los principales materiales de referencia para este proyecto son:
- Biblioteca de códigos Huggingface/Transformers
- Muchos transformadores excelentes explican y comparten
Miembros del proyecto:
- Erenup (notas de duoduo), Universidad de Pekín, persona a cargo
- Fan de Zhang, Datawhale, Universidad de Tianjin, Capítulo 4
- Zhang Xian, Instituto de Tecnología de Harbin, Capítulo 2
- Li Liqiu, Universidad de Zhejiang, Capítulo 3
- Cai Jie, Universidad de Pekín, Capítulo 4
- Hlzhang, Universidad McGill, Capítulo 4
- Taiwán Yunpeng Capítulo 2
- Capítulo 2 de Zhang Hongxu
Este proyecto ha resumido y estudiado muchos documentos y compartir excelentes, y ha marcado fuentes en cada capítulo. Si hay alguna infracción, comuníquese con los miembros del proyecto a tiempo. Gracias. ¿Vaya a Github y haga clic en Star y aprenda más con la mitad del esfuerzo? Gracias.
Contenido del proyecto
Capítulo 1 - Prefacio
- 1.0 lectura local y código ejecutando configuración de entorno.md
- 1.1-El aumento de los transformadores en la PNL
Capítulo 2 Principios de transformador
- 2.1 Atención ilustrada
- 2.2- Transformador gráfico
- 2.2.1-Pytorch Writing Transformer.md
- 2.2.2-Pytorch Escribir Reading-opcional Reading.md
- 2.3-ilustrado bert
- 2.4 GPT gráfico
- Prueba de 2.5 capítulos
Capítulo 3 - Escriba un modelo de transformador: Bert
- 3.1-HOW para implementar un BERT
- 3.2-HOW para aplicar un bert
- Prueba de 3.3 capítulos
Capítulo 4 - Use transformadores para resolver tareas de PNL
- 4.0 por error
- 4.1 clasificación de texto
- Etiquetado de 4.2 secuencia
- 4.3-Q y un preguntas y respuestas extraídas de tareas
- 4.4-Q y un tarea de las preguntas y respuestas de elección-multiple
- 4.5 modelo de lenguaje de tareas generador
- 4.6 Tareas generadas Machine Traducción
- 4.7 generación de tareas generadas
- Prueba de 4.8 capítulos
