Transformers for NLP and Computer Vision 3rd Edition

Transformers para processamento de linguagem natural e visão computacional: leve a IA e LLMs generativos para o próximo nível com o rosto abraçado, Google Vertex AI, ChatGPT, GPT-4V e Dall-E 3 3ª edição

por Denis Rothman

Última atualização: 30 de outubro de 2024

Este repositório é atualizado e atualizado continuamente.
Para detalhes sobre atualizações e melhorias, consulte o Changelog.
Se você vir algo que não funcione como esperado, levante um problema e trabalharemos nele!

Procurar ? Para explorar novos notebooks de bônus , como os modelos de raciocínio da OpenAI O1, API de Midjourney, API do Google Vertex AI Gemini, o OpenAi API de lote assíncrono!
Procurar ? Para explorar os notebooks existentes para os mais recentes lançamentos de modelo ou plataforma , como os mais recentes modelos GPT-4O e GPT-4O da OpenAI.
Procurar ? Para executar notebooks existentes com novas versões de dependência e restrições e ajustes de API de plataforma.

Transformers-for-NLP e computador-vision-3rd-edição

Este é o repositório de código para transformadores para processamento de linguagem natural e visão computacional, publicada pela Packt.

Explore a IA generativa e modelos de idiomas grandes com o rosto abraçando, ChatGPT, GPT-4V e Dall-e 3

Sobre o livro

Transformadores para processamento de linguagem natural e visão computacional, terceira edição, explora arquiteturas, aplicações e várias plataformas de Modelo de Idioma ( LLM ) (Abraçando o rosto, o OpenAI e o Google Vertex AI) usados ​​para processamento de linguagem natural ( PNL ) e visão computacional ( CV ).

Mergulhe em transformadores de visão generativos e arquiteturas de modelos multimodais e crie aplicativos, como classificadores de imagem e vídeo a texto. Vá além, combinando diferentes modelos e plataformas e aprendendo sobre a replicação do agente de IA.

O que você aprenderá

• Aprenda a preencher e tune tune llms
• Aprenda a trabalhar com várias plataformas, como abraçar o rosto, o Openai e o Google Vertex AI
• Aprenda sobre diferentes tokenizadores e as melhores práticas para pré -processamento de dados de idiomas
• Implementar geração aumentada de recuperação e bases de regras para mitigar alucinações
• Visualize a atividade do modelo do transformador para idéias mais profundas usando Bertviz, Lime e Shap
• Crie e implemente modelos encadeados de plataforma cruzada, como HuggingGPT
• Vá em profundidade nos transformadores de visão com clipe, Dall-e 2, Dall-E 3 e GPT-4V

Índice

Capítulos

1. O que são transformadores?
2. Introdução com a arquitetura do modelo de transformador
3. Tarefas emergentes versus a jusante: as profundidades invisíveis dos transformadores
4. Avanços nas traduções com Google Trax, Google Translate e Gemini
5. Mergulhando em tunzing através de Bert
6. Pré -treinamento de um transformador do zero através de Roberta
7. A revolução generativa da IA ​​com chatgpt
8. Modelos de ajuste fino do OpenAi
9. Quebrando a caixa preta com ferramentas interpretáveis
10. Investigando o papel dos tokenizadores na formação de modelos de transformadores
11. Aproveitando as incorporações LLM como uma alternativa ao ajuste fino
12. Rumo ao papel semântico sem sintaxe com ChatGPT e GPT-4
13. Resumo com T5 e Chatgpt
14. Explorando LLMs de ponta com vértice ai e palmeira 2
15. Guardando os gigantes: mitigando riscos em grandes modelos de idiomas
16. Além do texto: Transformadores de visão no início da AI revolucionária
17. Transcendendo o limite de texto de imagem com difusão estável
18. Abraçando o Autotrain Face Autotrain: Modelos de visão de treinamento sem codificação
19. No caminho da AGI funcional com HuggingGPT e seus colegas
20. Além de instruções projetadas pelo homem com ideação generativa

Apêndice

Apêndice: Respostas às perguntas

Plataformas

Você pode executar os notebooks diretamente da tabela abaixo:

Capítulo	Colab	Kaggle	Gradiente	Studiolab
Parte I Os fundamentos dos modelos de transformadores
Capítulo 1: O que são transformadores?
? O_1_and_accelerators.ipynb Chatgpt_plus_writes_and_explains_ai.ipynb
Capítulo 2: Introdução à arquitetura do modelo de transformador
? Multi_head_attention_sub_layer.ipynb posicional_encoding.ipynb
Capítulo 3: Tarefas emergentes versus a jusante: as profundidades invisíveis dos transformadores
From_training_to_emergue.ipynb Transformer_tasks_with_hugging_face.ipynb
Capítulo 4: Avanços nas traduções com Google Trax, Google Translate e Google Bard
Wmt_translations.ipynb TRAX_GOOGLE_TRANSLATE.IPYNB
Capítulo 5: Mergulhando em ajuste fino através de Bert
Bert_fine_tuning_sentence_classification_gpu.ipynb
Capítulo 6: Pré -tremendo um transformador do zero através de Roberta
? Kantaibert.ipynb ? Customer_support_for_x.ipynb
Parte II: A ascensão do NLP suprahuman
Capítulo 7: A revolução da IA ​​generativa com chatgpt
Openai_models.ipynb OpenAi_GPT_4_assistant.ipynb ? Getting_started_gpt_4_api.ipynb (GPT-4O) ? Gpt_4_rag.ipynb (GPT-4O)
Modelos de raciocínio OpenAI: a API de previsão O1
? OpenI_Reasoning_Models_O1_API.ipynb
Capítulo 8: Modelos OpenAI de ajuste fino
Fine_tuning_openai_models.ipynb ? Fine_tuning_gpt_4o_mini_squad.ipynb
Capítulo 9: quebrando a caixa preta com ferramentas interpretáveis
Bertviz_interactive.ipynb Hugging_face_shap.ipynb
Capítulo 10: Investigando o papel dos tokenizadores na formação de modelos de transformadores
Tokenizers.ipynb Sub_word_tokenizers.ipynb ? Exploring_tokenizers.ipynb
Capítulo 11: Aproveitando as incorporações LLM como uma alternativa ao ajuste fino
? ? Question_answering_with_embeddings.ipynb ? Transfer_learning_with_ada_embeddings.ipynb
Capítulo 12: Rumo à rotulagem semântica sem sintaxe com o chatgpt de Bert e Openai
Semantic_role_labeling_gpt-4.ipynb
Capítulo 13: Resumo com T5 e Chatgpt
? Summerizing_text_t5.ipynb Summaring_chatgpt.ipynb
Capítulo 14: Explorando a NLP de ponta com o Google Vertex AI (Palm e? Gemini com Gemini-1.5-Flash-001
Google_vertex_ai.ipynb ? Google_vertex_ai_gemini.ipynb
Capítulo 15: Guardando os gigantes: mitigando riscos em grandes modelos de idiomas <
? Auto_big_bench.ipynb (GPT-4o, síncrono) ? Auto_big_bench.ipynb (GPT-4o-Mini, síncrono) ? GPT API Speed ​​++ com chamadas de lote assíncronas! ? Wandb_prompts_quickstart.ipynb Coder_decoder_transformer.ipynb Mitigating_generative_ai.ipynb
Parte III: Visão computacional generativa: uma nova maneira de ver o mundo
Capítulo 16: Transformadores de visão no início da AI revolucionária
Vit_clip.ipynb Getting_started_dall_e_api.ipynb ? Gpt-4v.ipynb (GPT-4O)
Capítulo 17: Transcendendo o limite de texto de imagem com difusão estável
Stable_diffusion_keras.ipynb Stable__Vision_Stability_Ai.ipynb Stable__Vision_Stability_Ai_animation.ipynb Text_to_video_synthesis.ipynb Timesformer.ipynb
Difusão estável com o rosto abraçado
? Stable_diffusion_hugging_face.ipynb
Capítulo 18: Treinamento para transformador de visão automatizada
? Hugging_face_autoTrain.ipynb
Capítulo 19: No caminho para a AGI funcional com HuggingGPT e seus colegas
Computer_vision_Analysis.ipynb
Capítulo 20: Ideação AI generativa Ai, Langchain e difusão estável
Automated_design.ipynb Midjourney_bot.ipynb ? Automated_ideation.ipynb ? Mymidjourney_api.ipynb

Converse com o GPT-4 chatbot do GPT-4 do repositório

Converse com meu bot GPT4 personalizado para este repositório.

Você pode fazer perguntas sobre este repositório. Você também pode copiar o código dos notebooks no meu GPT de bate -papo e pedir explicações.

Este é um chatbot agmentado por entrada de ponta, construído no OpenAI para este repositório do GitHub. O OpenAI exige uma assinatura ChatGPT Plus para explorá -la.

Limitações: este é um chatbot experimental. É dedicado a este repositório do GitHub e não substitui as explicações fornecidas no livro. Mas você certamente pode ter algumas interações educacionais interessantes com o meu GPT-4 Chatbot.

Levantar um problema

Você pode criar um problema, teremos o maior prazer em fornecer suporte! Neste repositório, se encontrar um nos notebooks.

Obtenha minha cópia

Se você acha que este livro é para você, pegue sua cópia hoje!

Saiba mais sobre o servidor Discord

Você pode ficar mais envolvido no servidor Discord para obter mais atualizações e discussões mais recentes na comunidade em Discord

Baixe um PDF grátis

Se você já comprou uma versão impressa ou Kindle deste livro, pode obter uma versão PDF sem DRM sem nenhum custo. Basta clicar no link para reivindicar seu PDF gratuito

Também fornecemos um arquivo PDF que possui imagens coloridas das capturas de tela/diagramas usados ​​neste livro em ColorImages

Conheça o autor

Denis Rothman se formou na Universidade de Sorbonne e na Universidade de Paris-Cité, projetando um dos primeiros sistemas patenteados de codificação e incorporação e ensinando em Paris-i Panthéon Sorbonne. Ele começou sua carreira entregando um chatbot de processamento de linguagem natural (PNL) para Moët et Chandon (LVMH) e um otimizador de defesa tático da AI para a Airbus (anteriormente aeroespacial). A Denis, em seguida, é autor de um otimizador de IA para IBM e marcas de luxo, levando a uma solução avançada de planejamento e agendamento (APS) usada em todo o mundo. LinkedIn