surface impressionnante
Il s'agit d'une liste de merveilleux projets et applications open source intégrés aux bibliothèques de visage étreintes.
Comment contribuer
? Bibliothèques officielles
Des trucs sympas de premier parti en ❤️ par? Visage étreint.
- Transformers - Traitement du langage naturel de pointe pour Jax, Pytorch et TensorFlow.
- Ensembles de données - Le plus grand centre d'ensembles de données NLP prêts à l'emploi pour les modèles ML avec des outils de manipulation de données rapides, faciles à utiliser et efficaces.
- Tokenisers - Tokenisers de pointe rapide optimisé pour la recherche et la production.
- Knockknock - Soyez avisé lorsque votre formation se termine avec seulement deux lignes de code supplémentaires.
- Accélérer - Un moyen simple de s'entraîner et d'utiliser des modèles Pytorch avec multi-GPU, TPU, précision mixte.
- AutonLP - Train des modèles de traitement du langage naturel de pointe et déployez-les automatiquement dans un environnement évolutif.
- NN_PRUNING - Prune un modèle pendant la finetuning ou la formation.
- HUGGINGFACE_HUB - Bibliothèque client pour télécharger et publier des modèles et d'autres fichiers sur le hub huggingface.co.
- Tune - une référence pour comparer les modèles basés sur les transformateurs.
? ? Tutoriels
Apprenez à utiliser des kits d'outils pour les câlins, étape par étape.
- Cours officiel (de l'étreinte Face) - La série de cours officiels fournies par? Visage étreint.
- Transformers-tutorials (par @Nielsrogge) - Tutoriels pour appliquer plusieurs modèles sur des ensembles de données du monde réel.
? Kites d'outils NLP
Des boîtes à outils NLP construites sur Transformers. Armée suisse!
- ALLENNLP (de AI2) - Une bibliothèque de recherche NLP open source.
- Graph4NLP - permettant une utilisation facile des réseaux de neurones graphiques pour NLP.
- Transformers Lightning - Transformers avec interface de foudre Pytorch.
- Adaptateur Transformers - Extension de la bibliothèque Transformers, intégrant les adaptateurs dans des modèles de langue de pointe.
- OBSEI - Un outil d'automatisation de workflow AI à faible code et effectue diverses tâches NLP dans le pipeline de workflow.
- Trapper (d'OBSS) - NLP de pointe via des modèles de transformateurs dans une conception modulaire et des API cohérentes.
- FLAIR - Un cadre très simple pour la NLP de pointe.
? Représentation de texte
Convertir une phrase en un vecteur.
- Transformers de phrases (à partir de UKPlab) - Encodeurs largement utilisés, calculant des représentations vectorielles denses pour les phrases, les paragraphes et les images.
- Whiteningbert (de Microsoft) - Une approche d'intégration de phrases non supervisée facile avec le blanchiment.
- Simcse (de Princeton) - phrase de pointe incorporant un apprentissage contrastif.
- Densephrases (de Princeton) - Apprentissage des représentations denses des phrases à grande échelle.
Moteurs d'inférence
Les moteurs d'inférence hautement optimisés implémentant les API compatibles transformateurs.
- Turbotransformateurs (de Tencent) - un moteur d'inférence pour les transformateurs avec une API C ++ rapide.
- FasterTransformateur (de NVIDIA) - un script et une recette pour exécuter le codeur et le décodeur basés sur un transformateur hautement optimisé sur les GPU NVIDIA.
- LightSeq (de ByTedance) - Une bibliothèque d'inférence à haute performance pour le traitement et la génération de séquences implémentées dans CUDA.
- FastSeq (à partir de Microsoft) - Implémentation efficace des modèles de séquence populaires (par exemple, BART, Prophetnet) pour la génération de texte, le résumé, les tâches de traduction, etc.
? Évolutivité du modèle
Modèles de parallélisation sur plusieurs GPU.
- Paralformers (à partir de tunib) - Une bibliothèque pour le déploiement parallèle du modèle.
- Oslo (à partir de TUNIB) - Une bibliothèque qui prend en charge diverses fonctionnalités pour vous aider à former des modèles à grande échelle.
- Deeppeed (à partir de Microsoft) - Deeppeed-Zero - échelle toute taille de modèle avec zéro à aucune modification du modèle. Intégré à HF Trainer.
- FairScale (de Facebook) - implémente également le protocole zéro. Intégré à HF Trainer.
- Colossalai (à partir de HPCAITech) - Un système d'apprentissage en profondeur unifié pour une formation parallèle à grande échelle (1D, 2D, 2.5D, 3D et parallélisme de séquence, et un protocole zéro).
? ️ Compression / accélération du modèle
Comprimer ou accélérer les modèles pour améliorer la vitesse d'inférence.
- TorchDistill - Framework modulaire modulaire basé sur la configuration pour la distillation des connaissances.
- TextBrewer (de HFL) - Méthodes de distillation de pointe pour compresser les modèles de langage.
- Bert-of-Thisheus (de Microsoft) - Compression Bert en remplaçant progressivement les composants du Bert d'origine.
? ️ Attaque adversaire
Conduisant une attaque contradictoire pour tester la robustesse du modèle.
- TextAttack (de UVA) - un cadre Python pour les attaques adversaires, l'augmentation des données et la formation du modèle en NLP.
- TextFlint (de Fudan) - une boîte à outils d'évaluation de la robustesse multilingue unifiée pour NLP.
- OpenAttack (de Thu) - une boîte à outils d'attaque adversaire textuelle open source.
? Transfert de style
Transférer le style de texte! Maintenant, vous savez pourquoi ça s'appelle Transformer?
- StyleFormer - Un cadre de transfert de style de langue neurale pour transférer le texte en douceur entre les styles.
- Consert - Un cadre contrastif pour le transfert de représentation de phrase auto-supervisé.
? Analyse des sentiments
Analyse du sentiment et des émotions des êtres humains.
- Conv-Emotion - Mise en œuvre de différentes architectures pour la reconnaissance des émotions dans les conversations.
? Correction d'erreur grammaticale
Vous avez fait une faute de frappe! Permettez-moi de le corriger.
- GramFormer - Un cadre pour détecter, mettre en évidence et corriger les erreurs grammaticales sur le texte du langage naturel.
? Traduction
Traduire entre différentes langues.
- DL-Translate - Une bibliothèque de traduction basée sur l'apprentissage en profondeur basée sur les transformateurs HF.
- EasyNMT (de UKPlab) - bibliothèque de traduction de pointe et docker facile à utiliser et images de transformateurs HF.
Connaissance et entité
Apprendre les connaissances, les entités minières, la connexion du monde.
- Pure (de Princeton) - Extraction entité et relation à partir du texte.
? Discours
Traitement de la parole propulsé par les bibliothèques HF. Besoin de discours!
- S3PRL - Une boîte à outils d'apprentissage de pré-formation et d'apprentissage de représentation auto-supervisée.
- SpeechBrain - Une boîte à outils vocale basée sur Pytorch.
? Multi-modalité
Comprendre le monde à partir de différentes modalités.
- Vilt (de Kakao) - un transformateur de vision et de langue sans convolution ni supervision régionale.
? Apprentissage du renforcement
Combiner la magie RL avec NLP!
- TRL - Finez des transformateurs en utilisant l'optimisation de la politique proximale (PPO) pour s'aligner sur les préférences humaines.
❓ Question Répondre
Vous recherchez des réponses? Transformers à la rescousse!
- Haystack (de Deepset) - Framework de bout en bout pour développer et déployer des systèmes de réponses aux questions dans la nature.
? Systèmes de recommandation
Je pense que c'est juste pour toi!
- Transformers4Rec (de Nvidia) - une bibliothèque flexible et efficace alimentée par les transformateurs pour des recommandations séquentielles et basées sur des sessions.
⚖️ évaluation
Évaluation des sorties du modèle et de la qualité des données alimentées par des ensembles de données HF!
- Jury (d'OBSS) - outil facile à utiliser pour évaluer les sorties du modèle NLP, spécialement pour NLG (génération de langage naturel), offrant diverses mesures de texte à texte automatisées.
- Spotlight - Explorez de manière interactive votre ensemble de données HF avec une ligne de code. Utilisez les résultats du modèle (par exemple, les incorporations, les prédictions) pour comprendre les segments de données critiques et les modes de défaillance du modèle.
? Recherche neuronale
Recherche, mais avec le pouvoir des réseaux de neurones!
- Jina Integration - Jina Integration of Hugging Face Accelerated API.
- Firié l'intégration (Text2VEC) (QA) - Télitez l'intégration des transformateurs de face étreintes.
- COLBERT (de Stanford) - Un modèle de récupération rapide et précis, permettant une recherche basée sur Bert évolutive sur de grandes collections de texte en dizaines de millisecondes.
☁ Cloud
Le cloud vous facilite la vie!
- Amazon Sagemaker - facilitant plus que jamais les modèles de transformateurs de visage étreintes dans Amazon Sagemaker.
Matériel
L'infrastructure permettant à la magie de se produire.
- Qualcomm - Collaboration sur l'activation des transformateurs dans Snapdragon.
- Intel - Collaboration avec Intel pour les options de configuration.
