cara de abrazadera impresionante
Esta es una lista de algunos maravillosos proyectos y aplicaciones de código abierto integrados con bibliotecas de abrazaderas.
Cómo contribuir
? Bibliotecas oficiales
¿Cosas geniales de primera parte hecha con ❤️ por? Cara abrazada.
- Transformadores: procesamiento de lenguaje natural de última generación para Jax, Pytorch y TensorFlow.
- conjuntos de datos: el centro más grande de conjuntos de datos NLP listos para usar para modelos ML con herramientas de manipulación de datos rápidas, fáciles de usar y eficientes.
- Tokenizers: tokenizadores rápidos de vanguardia optimizados para la investigación y la producción.
- Knockknock: reciba una notificación cuando su entrenamiento termine con solo dos líneas de código adicionales.
- Acelerar: una forma simple de entrenar y usar modelos Pytorch con multi-GPU, TPU, precisión mixta.
- AUTONLP: capacite a los modelos de procesamiento de lenguaje natural de última generación y los implemente en un entorno escalable automáticamente.
- NN_PRUNING - poda un modelo mientras se hace finos o entrenando.
- Huggingface_hub - Biblioteca de clientes para descargar y publicar modelos y otros archivos en el HUB Huggingface.co.
- Tune: un punto de referencia para comparar modelos basados en transformadores.
? ? Tutoriales
Aprenda a usar los kits de herramientas faciales para abrazar, paso a paso.
- Curso oficial (de Hugging Face) - ¿La serie oficial de cursos proporcionada por? Cara abrazada.
- Transformers-Tutorials (por @nielsrogge): tutoriales para aplicar múltiples modelos en conjuntos de datos del mundo real.
? Kits de herramientas NLP
Kits de herramientas NLP construidos sobre transformadores. ¡Ejército suizo!
- Allennlp (de AI2): una biblioteca de investigación de NLP de código abierto.
- Graph4NLP: habilita el uso fácil de redes neuronales gráficas para NLP.
- Transformadores Lightning: transformadores con la interfaz Pytorch Lightning.
- Transformadores de adaptadores: extensión a la biblioteca Transformers, que integran adaptadores en modelos de idiomas de última generación.
- OBSEI: una herramienta de automatización de flujo de trabajo de IA de bajo código y realiza varias tareas de PNL en la tubería de flujo de trabajo.
- Trapper (de OBSS): NLP de última generación a través de modelos de transformadores en un diseño modular y API consistentes.
- Flair: un marco muy simple para la PNL de última generación.
? Representación de texto
Convertir una oración a un vector.
- Transformadores de oraciones (de UKPLAB): codificadores ampliamente utilizados calculan representaciones vectoriales densas para oraciones, párrafos e imágenes.
- Whiteningbert (de Microsoft): un enfoque fácil de incrustación de oraciones sin supervisión con blanqueamiento.
- Simcse (de Princeton)-oración de vanguardia que incrusta con aprendizaje contrastante.
- Frases densas (de Princeton) - Aprendiendo representaciones densas de frases a escala.
Motores de inferencia
Motores de inferencia altamente optimizados que implementan API compatibles con transformadores.
- Turbotransformers (de Tencent): un motor de inferencia para transformadores con API rápida de C ++.
- FASTERTRANSFORMER (de NVIDIA): un script y una receta para ejecutar el codificador y el componente de decodificador altamente optimizado en las GPU NVIDIA.
- LightSeq (de Bytedance): una biblioteca de inferencia de alto rendimiento para el procesamiento y generación de secuencias implementadas en CUDA.
- FastSeq (de Microsoft): implementación eficiente de modelos de secuencia populares (p. Ej., Bart, Profetnet) para la generación de texto, resumen, tareas de traducción, etc.
? Escalabilidad del modelo
Modelos de paralelización en múltiples GPU.
- ParallFormers (de Tunib): una biblioteca para la implementación paralela modelo.
- Oslo (de Tunib): una biblioteca que admite varias características para ayudarlo a entrenar modelos a gran escala.
- Deepspeed (de Microsoft) - Deepspeed -Zero - Escala cualquier tamaño del modelo con cero o ningún cambio en el modelo. Integrado con HF Trainer.
- Fairscale (de Facebook) - Implementa el protocolo cero también. Integrado con HF Trainer.
- Colossalai (de HPCaitech): un sistema de aprendizaje profundo unificado para el entrenamiento paralelo a gran escala (paralelismo 1D, 2D, 2.5D, 3D y de secuencia, y protocolo cero).
? ️ Modelo de compresión/aceleración
Comprimir o acelerar los modelos para mejorar la velocidad de inferencia.
- TorchDistill-Marco modular basado en la configuración basado en Pytorch para la destilación del conocimiento.
- TextBrewer (de HFL): métodos de destilación de última generación para comprimir modelos de lenguaje.
- Bert-of-esteus (de Microsoft): comprimir Bert reemplazando progresivamente los componentes del Bert original.
? ️ Ataque adversario
Realización de ataque adversario para probar la robustez del modelo.
- TextAttack (de UVA): un marco de Python para ataques adversos, aumento de datos y capacitación modelo en PNL.
- Textflint (de Fudan): un kit de herramientas de evaluación de robustez multilingüe unificado para PNL.
- OpenAttack (de Thu): un kit de herramientas de ataque adversario de código abierto de código abierto.
? Transferencia de estilo
¡Transfiere el estilo de texto! ¿Ahora sabes por qué se llama Transformer?
- StyleFormer: un marco de transferencia de estilo de lenguaje neural para transferir texto sin problemas entre los estilos.
- Conservar: un marco de contraste para la transferencia de representación de oraciones auto -supervisada.
? Análisis de sentimientos
Analizando el sentimiento y las emociones de los seres humanos.
- Conv -Emotion - Implementación de diferentes arquitecturas para el reconocimiento de emociones en las conversaciones.
? Corrección de errores gramaticales
¡Hiciste un error tipográfico! Déjame corregirlo.
- Gramformer: un marco para detectar, resaltar y corregir errores gramaticales en el texto del lenguaje natural.
? Traducción
Traducir entre diferentes idiomas.
- DL-Translate: una biblioteca de traducción basada en el aprendizaje profundo basada en transformadores HF.
- EasyNMT (de UKPLAB): la biblioteca de traducción de vanguardia fácil de usar e imágenes de Docker basadas en transformadores HF.
Conocimiento y entidad
Conocimiento de aprendizaje, entidades mineras, conectando el mundo.
- Pure (de Princeton) - Entidad y extracción de relación del texto.
? Discurso
Procesamiento del habla alimentado por bibliotecas HF. ¡NECESITA EL DISPARO!
- S3PRL: un kit de herramientas de aprendizaje de pre-entrenamiento y aprendizaje de representación auto-supervisado.
- Speechbrain: un kit de herramientas de habla basado en Pytorch.
? Multimodalidad
Comprender el mundo de diferentes modalidades.
- VILT (de Kakao): un transformador de visión y lengua sin convolución o supervisión de la región.
? Aprendizaje de refuerzo
¡Combinando RL Magic con NLP!
- TRL: transformadores de ajuste fino utilizando la optimización de políticas proximales (PPO) para alinearse con las preferencias humanas.
❓ Respuesta de preguntas
¿Buscando respuestas? ¡Transformadores al rescate!
- Haystack (de DeepSet)-Marco de extremo a extremo para desarrollar e implementar sistemas de respuesta de preguntas en la naturaleza.
? Sistemas de recomendación
¡Creo que esto es adecuado para ti!
- Transformers4Rec (de NVIDIA): una biblioteca flexible y eficiente alimentada por Transformers para recomendaciones secuenciales y basadas en sesiones.
⚖️ Evaluación
¡Evaluar los resultados del modelo y la calidad de los datos alimentada por los conjuntos de datos HF!
- Jurado (de OBSS): herramienta fácil de usar para evaluar las salidas del modelo NLP, espesificadamente para NLG (generación de lenguaje natural), que ofrece varias métricas automatizadas de texto a texto.
- Spotlight: explore interactivamente su conjunto de datos HF con una línea de código. Use los resultados del modelo (por ejemplo, incrustaciones, predicciones) para comprender los segmentos de datos críticos y los modos de falla del modelo.
? Búsqueda neuronal
¡Busque, pero con el poder de las redes neuronales!
- Integración de Jina - Jina Integración de API acelerada de la cara de abrazos.
- Integración tejida (Text2Vec) (QA) - Integración tejida de los transformadores de la cara abrazada.
- Colbert (de Stanford): un modelo de recuperación rápido y preciso, que permite una búsqueda escalable basada en Bert sobre grandes colecciones de texto en decenas de milisegundos.
☁ Nube
¡La nube facilita tu vida!
- Amazon SageMaker: lo que hace que sea más fácil que nunca entrenar modelos de transformadores faciales en Amazon Sagemaker.
Hardware
La infraestructura permite que la magia suceda.
- Qualcomm - Colaboración sobre habilitar transformadores en Snapdragon.
- Intel: colaboración con Intel para opciones de configuración.
