Transformers for NLP and Computer Vision 3rd Edition

自然语言处理和计算机视觉的变压器：将生成的AI和LLM带到一个新的水平上，带有拥抱面，Google Vertex AI，Chatgpt，GPT-4V和DALL-E 3第三版

丹尼斯·罗斯曼（Denis Rothman）

最后更新：2024年10月30日

此存储库将不断更新和升级。
有关更新和改进的详细信息，请参见ChangElog。
如果您看到任何没有按预期运行的东西，请提出问题，我们将努力！

寻找？探索新的奖励笔记本，例如Openai O1的推理模型，Midjourney的API，Google Vertex AI Gemini的API，OpenAI异步批次API！
寻找？探索最新模型或平台版本的现有笔记本，例如OpenAI的最新GPT-4O和GPT-4O-MINI型号。
寻找？运行具有新的依赖性版本以及平台API约束和调整的现有笔记本。

NLP和计算机Vision-3rd-Edition

这是Packt发布的自然语言处理和计算机视觉的变压器的代码存储库。

探索具有拥抱面孔，chatgpt，gpt-4V和dall-e 3的生成AI和大型语言模型3

关于这本书

用于自然语言处理和计算机视觉的变压器第三版探索了用于自然语言处理（ NLP ）和计算机视觉（ CV ）的大型语言模型（ LLM ）体系结构，应用程序，应用程序和各种平台（拥抱面，OpenAI和Google Vertex AI）。

潜入生成视觉变压器和多模型模型体系结构，并构建应用程序，例如图像和视频对文本分类器。通过组合不同的模型和平台并了解AI代理复制，进一步发展。

你会学到什么

• 了解如何预算和微调LLMS
• 了解如何使用多个平台，例如拥抱面，OpenAI和Google Vertex AI
• 了解不同的引导者和预处理语言数据的最佳实践
• 实施检索增强发电和规则基础以减轻幻觉
• 可视化使用Bertviz，Lime和Shap的变形金刚模型活动，以进行更深入的见解
• 创建和实施跨平台链式模型，例如HuggingGpt
• 用夹子，dall-e 2，dall-e 3和gpt-4V深入到视觉变压器中

目录

章节

1. 什么是变压器？
2. 开始使用变压器模型的体系结构
3. 紧急与下游任务：变形金刚看不见的深度
4. Google Trax，Google Translate和Gemini的翻译中的进步
5. 通过Bert进行微调
6. 从划痕到罗伯塔（Roberta）预处理变压器
7. 与Chatgpt的生成AI革命
8. 微调Openai GPT型号
9. 用可解释的工具破碎黑匣子
10. 调查引物器在塑造变压器模型中的作用
11. 利用LLM嵌入作为微调的替代
12. 使用Chatgpt和GPT-4标记无语法的语义角色标签
13. 用T5和CHATGPT摘要
14. 用顶点AI和Palm 2探索尖端的LLM
15. 保护巨人：减轻大语模型中的风险
16. 超越文本：革命AI曙光中的视觉变压器
17. 超越图像文本边界稳定扩散
18. 拥抱面部自动脑：训练视觉模型而无需编码
19. 在与Hugginggpt及其同龄人的功能性AGI的道路上
20. 除了人类设计的提示以及具有生成意见的提示

附录

附录：问题的答案

平台

您可以直接从下表运行笔记本：

章	COLAB	Kaggle	坡度	Studiolab
第一部分变压器模型的基础
第1章：什么是变压器？
？o_1_and_accelerators.ipynb chatgpt_plus_writes_and_explains_ai.ipynb
第2章：从变压器模型的架构开始
？multi_head_attention_sub_layer.ipynb positional_encoding.ipynb
第3章：紧急与下游任务：变形金刚看不见的深度
from_training_to_emergence.ipynb Transformer_tasks_with_hugging_face.ipynb
第4章：与Google Trax，Google Translate和Google Bard的翻译中的进步
wmt_translations.ipynb trax_google_translate.ipynb
第5章：通过伯特进行微调
bert_fine_tuning_sentence_classification_gpu.ipynb
第6章：从划痕到罗伯塔的变压器预处理
？ Kantaibert.ipynb ？ customer_support_for_x.ipynb
第二部分：Suprahuman NLP的兴起
第7章：与Chatgpt的生成AI革命
openai_models.ipynb OpenAI_GPT_4_ASSISTANT.IPYNB ？get_started_gpt_4_api.ipynb（gpt-4O） ？gpt_4_rag.ipynb（gpt-4O）
OpenAI推理模型：O1-preiview API
？openai_reasoning_models_o1_api.ipynb
第8章：微调Openai模型
fine_tuning_openai_models.ipynb ？fine_tuning_gpt_4o_mini_squad.ipynb
第9章：用可解释的工具打碎黑匣子
bertviz_interactive.ipynb hugging_face_shap.ipynb
第10章：调查引物在塑造变压器模型中的作用
tokenizers.ipynb sub_word_tokenizers.ipynb exploring_tokenizers.ipynb
第11章：利用LLM嵌入作为微调的替代方案
？emedding_with_nlkt_gensim.ipynb ？ ？transfer_learning_with_ada_embeddings.ipynb
第12章：与Bert和Openai的Chatgpt迈向无语法的语义角色标签
Semantic_role_labeling_gpt-4.ipynb
第13章：用T5和Chatgpt进行摘要
summerizing_text_t5.ipynb Summarizing_chatgpt.ipynb
第14章：使用Google Vertex AI探索尖端NLP（Palm和？Gemini与Gemini-1.5-Flash-001
Google_vertex_ai.ipynb ？google_vertex_ai_gemini.ipynb
第15章：保护巨人：在大语言模型中减轻风险<
？auto_big_bench.ipynb（GPT-4O，同步） ？auto_big_bench.ipynb（gpt-4o-mini，同步） 带有异步批次调用的GPT API速度++！ ？wandb_prompts_quickstart.ipynb ENCODER_DECODER_TRANSFORMER.IPYNB mitigating_generative_ai.ipynb
第三部分：生成的计算机视觉：一种新的观看世界的方式
第16章：革命AI曙光中的视觉变压器
vit_clip.ipynb get_started_dall_e_api.ipynb GPT-4V.IPYNB（GPT-4O）
第17章：以稳定的扩散超越图像文本边界
stable_diffusion_keras.ipynb 稳定__vision_stability_ai.ipynb 稳定__vision_stability_ai_animation.ipynb text_to_video_synthesis.ipynb timesformer.ipynb
拥抱脸部稳定扩散
？stable_diffusion_hugging_face.ipynb
第18章：自动化视觉变压器培训
hugging_face_autotrain.ipynb
第19章：与Hugginggpt及其同龄人的功能性AGI的道路
Computer_vision_analysis.ipynb
第20章：生成的AI构想顶点AI，Langchain和稳定的扩散
automated_design.ipynb MidJourney_bot.ipynb ？automated_ideation.ipynb ？ mymidjourney_api.ipynb

与此存储库的输入仪式GPT-4聊天机器人聊天

与我的自定义GPT4机器人聊天此存储库。

您可以询问有关此存储库的问题。您也可以将笔记本中的代码复制到我的聊天gpt中并索取说明。

这是在OpenAI上为此GitHub存储库建立的尖端输入式聊天机器人。 Openai需要Chatgpt加上订阅才能探索它。

限制：这是一个实验性聊天机器人。它是专门用于此GitHub存储库的，并且没有取代书中提供的解释。但是，您肯定可以与我的GPT-4聊天机器人进行一些有趣的教育互动。

提出一个问题

您可以创建一个问题，我们将很高兴提供支持！如果您在笔记本中遇到一个问题，则在此存储库中。

获取我的副本

如果您觉得这本书适合您，请立即获取您的副本！

在Discord服务器上了解更多信息

您可以在Discord服务器上更多地参与，以获取社区中的更多最新更新和讨论

下载免费的PDF

如果您已经购买了本书的印刷版或Kindle版本，则可以免费获得无DRM的PDF版本。只需单击链接即可索取您的免费PDF

我们还提供了一个PDF文件，该文件具有本书中使用的屏幕截图/图表的颜色图像

了解作者

丹尼斯·罗斯曼（Denis Rothman）毕业于索邦大学（Sorbonne University）和巴里斯 - 塞特大学（Paris-CitéUniversity），设计了第一个获得专利的编码和嵌入式系统之一，并在巴黎ipanthéonsorbonne设计。他的职业生涯开始为Moëtet Chandon（LVMH）提供自然语言处理（NLP）聊天机器人，并为空中客车公司（以前是AeroSpatiale）提供了AI战术防御优化器。然后，丹尼斯（Denis）为IBM和豪华品牌撰写了AI优化器，从而导致了全球使用的高级计划和日程安排（APS）解决方案。 LinkedIn