Transformers for NLP 2nd Edition

Transformateurs-pour-NLP-2nd-Edition

© Copyright 2022-2024, Denis Rothman, Packt Publishing

Dernière mise à jour: 4 janvier 2024

Dolphin? Programmes de bonus supplémentaires pour Openai ChatGPT (GPT-3.5 Legacy), ChatGPT Plus (GPT-3.5 par défaut, GPT 3.5 par défaut et GPT-4).
Exemples API pour GPT-3.5-Turbo, GPT-4, Dall-E 2, Google Cloud Ai Language et Google Cloud AI Vision.
Découvrez HuggingGpt, Google Smart Compose, Google Bard et le nouveau Bing de Microsoft.
Ingénierie rapide avancée avec l'API ChatGPT et l'API GPT-4.

Vous cherchez juste le dauphin? Et profitez de votre balade dans l'avenir de l'IA!

Contactez-moi sur LinkedIn
Obtenez le livre sur Amazon

Modèles de transformateur de Bert à GPT-4, environnements de l'étreinte Face à Openai. Exemples de réglage fin, de formation et d'ingénierie rapide. Une section bonus avec Chatgpt, GPT-3.5-Turbo, GPT-4 et Dall-E, y compris le GPT-4 de saut-4, la parole, le texte, le texte-parole, la génération de texte à l'image avec Dall-E et plus encore.

Commencer

Vous pouvez exécuter ces cahiers sur des plates-formes cloud comme Google Colab ou votre machine locale. Notez que certains chapitres nécessitent un GPU pour fonctionner dans un délai raisonnable, nous recommandons donc l'une des plates-formes cloud car elles sont préinstallées avec CUDA.

Début avec l'API Openai

6 décembre 2023. Openai met actuellement à jour sa plate-forme. Si vous rencontrez des problèmes avec les ordinateurs portables de ce référentiel, vous pouvez implémenter les conseils suivants:

• Depuis le 4 janvier 2024, les dépréciations Openai s'appliquent à «DaVinci». Le remplacement recommandé est «Davinci-002»
• Google Colab: Cohere (fonctions linguistiques) et TikToken (tokenizer BPE) requis pour installer Openai (! PIP install tiktoken et! PIP install - Cohere-catégorie)
• L'appel de l'API est passé de "openai.completion.create" en "client.chat.completions.create" avec client = [votre client Openai]
• L'appel de l'API est modifié de moteur = [Nom du modèle] en modèle = [Nom du modèle]
• L'objet de réponse évolue. Recommandation: imprimez d'abord "réponse", puis analysez l'objet pour accéder à ce dont vous avez besoin.
• Si les problèmes persistent, vous pouvez essayer d'épingler une version ouverte précédente :! PIP Installer Openai == 0,28

You can find examples of these update tips in thee following notebooks that you can apply to other notebooks if necessary: ​​-Getting_Started_GPT_3.ipynb), Summarizing_with_ChatGPT.ipynb, and Semantic_Role_Labeling_with_ChatGPT.ipynb

Faire fonctionner sur une plate-forme cloud ou dans votre environnement

Pour exécuter ces cahiers sur une plate-forme cloud, cliquez simplement sur l'un des badges du tableau ci-dessous ou exécutez-les sur votre environnement.

Chapitre	Colab	Se gêner	Pente	Stuolioab
Chapitre 2: Début avec l'architecture du modèle Transformer
Multi_head_attention_sub_layer.ipynb positional_encoding.ipynb
Chapitre 3: Modèles Bert de réglage fin
Bert_fine_tuning_sence_classification_gpu.ipynb
Chapitre 4: Pré-dresser un modèle Roberta à partir de zéro
Pré-dresser un modèle Roberta à partir de zéro Kantaibert.ipynb
Chapitre 5: Tâches NLP en aval avec transformateurs
Transformateur_tasks.ipynb
Chapitre 6 Traduction machine avec le transformateur
Trax_translation.ipynb
Chapitre 7: La montée des transformateurs suprahumanes avec des moteurs GPT-3
Get_started_gpt_3.ipynb Fine_tuning_gpt_3 (mis à jour avec de nouveaux appels ouverts au 01/2024)
Chapitre 8: Application des transformateurs à des documents juridiques et financiers pour le résumé de texte de l'IA
Résumé_text_with_t5.ipynb
Chapitre 9: Tokenisers et ensembles de données correspondants
Tokenizers.ipynb Training_Openai_GPT_2_CH09.Ipynb Résumer_with_chatgpt.ipynb
Chapitre 10: Étiquetage des rôles sémantiques
Srl.ipynb Semantic_role_labelling_with_chatgpt.ipynb
Chapitre 11: Laissez vos données parler: histoire, questions et réponses
Qa.ipynb Haystack_qa_pipeline.ipynb
Chapitre 12 Détection des émotions des clients pour faire des prédictions
SentimentAnalysis.Ipynb
Chapitre 13: Analyse de fausses nouvelles avec Transformers
Faux. Faux_news_analysis_with_chatgpt.ipynb
Chapitre 14: Interprétation des modèles de transformateur de boîte noire
Bertviz.ipynb Compréhension_gpt_2_models_with_ecco.ipynb
Chapitre 15: Des modèles de transformateurs NLP à tâche
Vision_transformateurs.ipynb Dall_e.ipynb
Chapitre 16: L'émergence de copilotes axés sur les transformateurs
Domain_specific_gpt_3_functionality.ipynb Kantaibert_recommender.ipynb Vision_mlp_mixer (nouveau code instable en Q1-2024) Compact_convolutional_transorgers.ipynb
Chapitre 17 :? Consolidation des transformateurs suprahuman avec Openai Chatgpt et GPT-4
JUMP_STARTING_CHATGPT_WITH_THE_OPENAI_API.ipynb Chatppt_plus_writes_and_explains_classification.ipynb Get_started_openai_gpt_4.ipynb Prompt_ingineering_as_an_alternative_to_fine_tuning.ipynb Get_started_with_the_dall_e_2_api.ipynb Speaking_With_Chatgpt.ipynb All_in_one.ipynb
Annexe III: Achèvement du texte générique avec GPT-2
Openai_gpt_2.ipynb
Annexe IV: Achèvement du texte personnalisé avec GPT-2
Training_Openai_gpt_2.ipynb

Cahiers bonus openai supplémentaires

Prime	Colab	Se gêner	Pente	Laboratoire de studio Sagemaker
? Explorez et comparez les modèles Chatgpt, GPT-4 et GPT-3
Exploration_gpt_4_api
? Créez une fonction Chatgpt xai qui explique Chatgpt et une fonction de forme xai
Xai_by_chatgpt_for_chatgpt
? Revenez aux origines avec GPT-2 et Chatgpt
Gpt_2_and_chatgpt_the_origins
? Chatgpt ou davinin_instruct? Qu'est-ce qui est le mieux pour votre projet?
Chatppt_as_a_cobot_chatgpt_versus_davinci_instruct.ipynb
? Comparaison du modèle de langue AI -Explore divers modèles de langage d'IA et leurs capacités via ce cahier complet. -Dive dans différentes API et fonctionnalités, telles que l'analyse des sentiments, la reconnaissance des entités, l'analyse de la syntaxe, la classification du contenu et la vision de l'IA. -Décartement et comparez les offres de Google Cloud Ai Language, Google Cloud Vision, Openai GPT-4, Google Bard, Microsoft New Bing, Chatgpt Plus-GPT-4, Hugging Face, HuggingGpt et Google Smart Compose.
6 décembre 2023 Mise à jour: Dans les nouvelles versions de Gradio, la façon dont les entrées sont définies ont été mises à jour. Au lieu d'utiliser
gr.inputs.Textbox , utilisez désormais directement gr.Textbox pour les entrées et sorties.
Exploration_and_comparing_advanced_ai_technologies.ipynb

Caractéristiques clés

Implémentez des modèles, tels que Bert, Reformer et T5, qui surpassent les modèles de langage classique
Comparez les applications NLP à l'aide de GPT-3, GPT-2 et d'autres transformateurs
Analyser les cas d'utilisation avancés, notamment la polysémie, l'apprentissage croisé et la vision par ordinateur. Un répertoire de bonus GitHub avec SOA Chatgpt, GPT-3.5-Turbo, GPT-4 et Dall-E Notebooks.

Description du livre

Les transformateurs changent la donne pour la compréhension du langage naturel (NLU) et sont devenus l'un des piliers de l'intelligence artificielle.

Transformers for Natural Language Processing, 2e édition, étudie l'apprentissage en profondeur pour les traductions machine, la modélisation du langage, le réponses de questions et bien d'autres domaines PNL avec des transformateurs.

Un spécialiste de l'INDUSSE 4.0 AI doit être adaptable; Connaître une seule plate-forme PNL ne suffit plus. Différentes plateformes ont des avantages différents en fonction de l'application, qu'il s'agisse de coût, de flexibilité, de facilité de mise en œuvre, de résultats ou de performances. Dans ce livre, nous analysons de nombreux cas d'utilisation avec Hugging Face, Google Trax, Openai et AllenLP.

Ce livre reprend les capacités des Transformers en combinant plusieurs techniques de PNL, telles que l'analyse des sentiments, la reconnaissance des entités nommée et l'étiquetage des rôles sémantiques, pour analyser des cas d'utilisation complexes, tels que la dissection de fausses nouvelles sur Twitter. Voir également comment les transformateurs peuvent créer du code en utilisant juste une brève description.

À la fin de ce livre de la PNL, vous comprendrez les transformateurs d'un point de vue des sciences cognitives et serez compétent pour appliquer des modèles de transformateurs pré-entraînés à divers ensembles de données.

Ce que vous apprendrez

Découvrez de nouvelles façons de réaliser des techniques de PNL avec les derniers transformateurs pré-entraînés
Saisissez le fonctionnement du transformateur d'origine, GPT-3, Bert, T5, Deberta et Reformor
Créer des programmes de compréhension du langage Python en utilisant des concepts qui surpassent les modèles classiques d'apprentissage en profondeur
Appliquer les programmes Python, Tensorflow et Pytorch à l'analyse des sentiments, à la résumé de texte, à la reconnaissance de la parole, aux traductions machine, et plus encore
Mesurez la productivité des transformateurs clés pour définir leur portée, leur potentiel et leurs limites de production

À qui est ce livre pour

Si vous souhaitez découvrir et appliquer des transformateurs à vos données de langue naturelle (et d'image), ce livre est pour vous.

Une bonne compréhension de la PNL, du python et de l'apprentissage en profondeur est nécessaire pour bénéficier le plus de ce livre. De nombreuses plates-formes couvertes dans ce livre fournissent des interfaces utilisateur interactives, qui permettent aux lecteurs un intérêt général pour la PNL et l'IA de suivre plusieurs chapitres de ce livre.

Table des matières

1. Quels sont les transformateurs?
2. Le pas a commencé avec l'architecture du modèle de transformateur
3. Modèles de Bert de réglage final
4.Prétraitant un modèle Roberta à partir de zéro
5.DedStream NLP Tâches avec transformateurs
6. Machine Traduction avec le transformateur
7.La montée des transformateurs suprahumanes avec des moteurs GPT-3
8. Application des transformateurs en documents juridiques et financiers pour le résumé du texte de l'IA
9.
10. Étiquetage des rôles sémantiques avec les transformateurs basés à Bert
11.Les données parlez: histoire, questions et réponses
12.Délectionner les émotions des clients pour faire des prédictions
13.Analyser les fausses nouvelles avec des transformateurs
14.interprétation des modèles de transformateur de boîte noire
15. des modèles de transformateur ANL-AGNOSTIQUES à tâche
16. L'émergence de copilotes axés sur les transformateurs
17.La consolidation des transformateurs suprahuman avec le chatpt d'Openai et le GPT-4
Annexe I: Terminologie des modèles de transformateurs
Annexe II: contraintes matérielles pour les modèles de transformateurs
Et plus!