Transformers for NLP and Computer Vision 3rd Edition

Transformers pour le traitement du langage naturel et la vision par ordinateur: Passez aux AI et aux LLM génératifs au niveau suivant avec un visage étreint, Google Vertex Ai, Chatgpt, GPT-4V et Dall-E 3 3rd édition

par Denis Rothman

Dernière mise à jour: 30 octobre 2024

Ce dépôt est continuellement mis à jour et mis à niveau.
Pour plus de détails sur les mises à jour et les améliorations, consultez le Changelog.
Si vous voyez quelque chose qui ne fonctionne pas comme prévu, soulevez un problème et nous y travaillerons!

Chercher? Pour explorer de nouveaux cahiers de bonus tels que les modèles de raisonnement d'Openai O1, l'API de MidJourney, l'API Google Vertex AI Gemini, Openai Asynchronous Batch API Cappel!
Chercher? Pour explorer les cahiers existants pour les dernières versions du modèle ou de la plate-forme , telles que les derniers modèles GPT-4O et GPT-4O-Mini d'OpenAI.
Chercher? Pour exécuter des cahiers existants avec de nouvelles versions de dépendance et des contraintes et ajustements de l'API de plate-forme.

Transformateurs-pour-NLP-and-ordination-Vision-3rd-Edition

Il s'agit du référentiel de code pour les transformateurs pour le traitement du langage naturel et la vision par ordinateur, publié par Packt.

Explorez des modèles génératifs d'IA et de grands langues avec un visage étreint, Chatgpt, GPT-4V et Dall-E 3

À propos du livre

Transformers for Natural Language Processing and Computer Vision, Third Edition, explore les architectures, les applications et les diverses plateformes du modèle grand langage ( Face Hugging, Openai et Google Vertex AI) utilisés pour le traitement du langage naturel ( NLP ) et la vision par ordinateur ( CV ).

Plongez dans des transformateurs de vision générative et des architectures de modèle multimodales et des applications de construction, telles que des classificateurs d'image et de vidéo à texte. Allez plus loin en combinant différents modèles et plateformes et en apprenant la réplication des agents d'IA.

Ce que vous apprendrez

• Apprenez à prétraiter et à affiner les LLM
• Apprenez à travailler avec plusieurs plates-formes, telles que Hugging Face, Openai et Google Vertex AI
• Renseignez-vous sur les différents tokenzer et les meilleures pratiques pour le prétraitement des données de langue
• Mettre en œuvre des bases de génération et de règles augmentées de récupération pour atténuer les hallucinations
• Visualisez l'activité du modèle du transformateur pour des informations plus profondes à l'aide de bertviz, de chaux et de forme
• Créer et implémenter des modèles trames-plateaux, tels que HuggingGpt
• Aller en profondeur dans Vision Transformers avec Clip, Dall-E 2, Dall-E 3 et GPT-4V

Table des matières

Chapitres

1. Que sont les transformateurs?
2. Commencer avec l'architecture du modèle transformateur
3. Tâches émergentes vs en aval: les profondeurs invisibles des transformateurs
4. Avancement des traductions avec Google Trax, Google Translate et Gemini
5. Plonger dans le réglage fin à travers Bert
6. Pré-dresser un transformateur à partir de zéro à travers Roberta
7. La révolution génératrice de l'IA avec chatppt
8. Modèles GPT Openai au réglage fin
9. Brisant la boîte noire avec des outils interprétables
10. Enquêter sur le rôle des tokenzer dans la formation des modèles de transformateurs
11. Tirer parti des intégres LLM comme alternative à un réglage fin
12. Vers l'étiquetage des rôles sémantiques sans syntaxe avec Chatgpt et GPT-4
13. Résumé avec T5 et Chatgpt
14. Exploration des LLM de pointe avec Vertex AI et Palm 2
15. Garder les géants: atténuer les risques dans les modèles de grande langue
16. Au-delà du texte: Vision Transformers à l'aube de l'IA révolutionnaire
17. Transcendant la limite de texte d'image avec une diffusion stable
18. Étreindre le visage AutoTrain: Training Vision Modèles sans codage
19. Sur la route de l'AGI fonctionnel avec des câlins et ses pairs
20. Au-delà des invites conçues par l'homme avec des idées génératives

Appendice

Annexe: Réponses aux questions

Plates-formes

Vous pouvez exécuter les ordinateurs portables directement à partir du tableau ci-dessous:

Chapitre	Colab	Se gêner	Pente	Stuolioab
Partie I Les fondements des modèles de transformateur
Chapitre 1: Que sont les transformateurs?
? O_1_and_accelerators.ipynb Chatppt_plus_writes_and_explains_ai.ipynb
Chapitre 2: Début avec l'architecture du modèle Transformer
? Multi_head_attention_sub_layer.ipynb positional_encoding.ipynb
Chapitre 3: Tâches émergentes vs en aval: les profondeurs invisibles des transformateurs
From_training_to_emerance.ipynb Transformateur_tasks_with_hugging_face.ipynb
Chapitre 4: Avancements dans les traductions avec Google Trax, Google Translate et Google Bard
Wmt_translations.ipynb Trax_google_translate.ipynb
Chapitre 5: plonger dans le réglage fin à Bert
Bert_fine_tuning_sence_classification_gpu.ipynb
Chapitre 6: Preteriner un transformateur à partir de zéro à travers Roberta
? Kantaibert.ipynb ?? Client_support_for_x.ipynb
Partie II: La montée en puissance de la PNL suprahuman
Chapitre 7: La révolution générative de l'IA avec Chatgpt
Openai_models.ipynb Openai_gpt_4_assistant.ipynb ? Get_started_gpt_4_api.ipynb (gpt-4o) ? Gpt_4_rag.ipynb (gpt-4o)
Modèles de raisonnement OpenAI: l'API O1-Preview
? Openai_reasoning_models_o1_api.ipynb
Chapitre 8: Modèles Openai de réglage fin
Fine_tuning_openai_models.ipynb ? Fine_tuning_gpt_4o_mini_squad.ipynb
Chapitre 9: Bâter la boîte noire avec des outils interprétables
Bertviz_interactive.ipynb Hugging_face_shap.ipynb
Chapitre 10: Enquêter sur le rôle des tokenniseurs dans la formation des modèles de transformateurs
Tokenizers.ipynb Sub_word_tokenizers.ipynb ? Exploration_tokenizers.ipynb
Chapitre 11: Tire en tirant des incorporations LLM comme alternative à un réglage fin
? Embedding_with_nlkt_gensim.ipynb ? Question_answering_with_embeddings.ipynb ? Transfert_learning_with_ada_embeddings.ipynb
Chapitre 12: Vers l'étiquetage des rôles sémantiques sans syntaxe avec le chatppt de Bert et Openai
SEMANTIC_ROLE_LABELING_GPT-4.IPYNB
Chapitre 13: Résumé avec T5 et Chatgpt
? Sumalize_text_t5.ipynb Résumé_chatgpt.ipynb
Chapitre 14: Exploration de la NLP de pointe avec Google Vertex AI (Palm et? Gemini avec Gemini-1.5-Flash-001
Google_vertex_ai.ipynb ? Google_vertex_ai_gemini.ipynb
Chapitre 15: Garder les géants: les risques atténuants dans les modèles de grande langue <
? Auto_big_bench.ipynb (gpt-4o, synchrone) ? Auto_big_bench.ipynb (gpt-4o-mini, synchrone) ? GPT API Speed ​​++ avec des appels de lots asynchrones! ? Wandb_prompts_quickstart.ipynb Encoder_decoder_transformrer.ipynb Atténuation_generative_ai.ipynb
Partie III: Vision générative de l'ordinateur: une nouvelle façon de voir le monde
Chapitre 16: Transformers de vision à l'aube de l'IA révolutionnaire
Vit_clip.ipynb Get_started_dall_e_api.ipynb ? Gpt-4v.ipynb (gpt-4o)
Chapitre 17: Transcendant la limite de texte d'image avec une diffusion stable
Stable_diffusion_keras.ipynb Stable__vision_stabilité_ai.ipynb Stable__vision_stabilité_ai_animation.ipynb Text_to_video_synthesis.ipynb Timesformmer.ipynb
Diffusion stable avec un visage étreint
? Stable_diffusion_hugging_face.ipynb
Chapitre 18: Formation automatisée du transformateur de vision
? Hugging_face_autotrain.ipynb
Chapitre 19: Sur la route de l'AGI fonctionnel avec des câlins et ses pairs
Computer_Vision_analysis.ipynb
Chapitre 20: Vertex de l'idéation générative AI, Langchain et diffusion stable
Automated_design.ipynb Midjourney_bot.ipynb ? Automated_ideation.ipynb ? Mymidjourney_api.ipynb

Discutez avec le chatbot GPT-4 de ce référentiel

Discutez avec mon bot GPT4 personnalisé pour ce référentiel.

Vous pouvez poser des questions sur ce référentiel. Vous pouvez également copier le code à partir des ordinateurs portables dans mon chat GPT et demander des explications.

Il s'agit d'un chatbot augmenté en entrée de pointe construit sur OpenAI pour ce référentiel GitHub. OpenAI nécessite un abonnement Chatgpt Plus pour l'explorer.

Limites: Il s'agit d'un chatbot expérimental. Il est dédié à ce référentiel GitHub et ne remplace pas les explications fournies dans le livre. Mais vous pouvez sûrement avoir des interactions éducatives intéressantes avec mon chatbot GPT-4.

Soulever un problème

Vous pouvez créer un problème, nous serons heureux de fournir un support! Dans ce référentiel si vous en rencontrez un dans les ordinateurs portables.

Obtenez ma copie

Si vous pensez que ce livre est pour vous, obtenez votre copie dès aujourd'hui!

En savoir plus sur le serveur Discord

Vous pouvez vous engager plus sur le serveur Discord pour plus de dernières mises à jour et discussions dans la communauté de Discord

Télécharger un PDF gratuit

Si vous avez déjà acheté une version imprimée ou Kindle de ce livre, vous pouvez obtenir une version PDF sans DRM sans frais. Cliquez simplement sur le lien pour réclamer votre PDF gratuit

Nous fournissons également un fichier PDF qui a des images en couleur des captures d'écran / diagrammes utilisés dans ce livre chez colorimages

Apprenez à connaître l'auteur

Denis Rothman est diplômé de l'Université de Sorbonne et de l'Université de Paris-Cité, concevant l'un des premiers systèmes de codage et d'incorporation brevetés et l'enseignement à Paris-I Panthéon Sorbonne.Il a rédigé l'un des premiers mots brevetés en codage et en robots / robots. Il a commencé sa carrière à livrer un chatbot de traitement du langage naturel (NLP) pour Moët et Chandon (LVMH) et un optimiseur de défense tactique AI pour Airbus (anciennement Aerospatiale). Denis est ensuite l'auteur d'un optimiseur d'IA pour les marques IBM et de luxe, conduisant à une solution avancée de planification et de planification (APS) utilisée dans le monde entier. Liendin