Transformers for NLP and Computer Vision 3rd Edition

自然語言處理和計算機視覺的變壓器：將生成的AI和LLM帶到一個新的水平上，帶有擁抱面，Google Vertex AI，Chatgpt，GPT-4V和DALL-E 3第三版

丹尼斯·羅斯曼（Denis Rothman）

最後更新：2024年10月30日

此存儲庫將不斷更新和升級。
有關更新和改進的詳細信息，請參見ChangElog。
如果您看到任何沒有按預期運行的東西，請提出問題，我們將努力！

尋找？探索新的獎勵筆記本，例如Openai O1的推理模型，Midjourney的API，Google Vertex AI Gemini的API，OpenAI異步批次API！
尋找？探索最新模型或平台版本的現有筆記本，例如OpenAI的最新GPT-4O和GPT-4O-MINI型號。
尋找？運行具有新的依賴性版本以及平台API約束和調整的現有筆記本。

NLP和計算機Vision-3rd-Edition

這是Packt發布的自然語言處理和計算機視覺的變壓器的代碼存儲庫。

探索具有擁抱面孔，chatgpt，gpt-4V和dall-e 3的生成AI和大型語言模型3

關於這本書

用於自然語言處理和計算機視覺的變壓器第三版探索了用於自然語言處理（ NLP ）和計算機視覺（ CV ）的大型語言模型（ LLM ）體系結構，應用程序，應用程序和各種平台（擁抱面，OpenAI和Google Vertex AI）。

潛入生成視覺變壓器和多模型模型體系結構，並構建應用程序，例如圖像和視頻對文本分類器。通過組合不同的模型和平台並了解AI代理複製，進一步發展。

你會學到什麼

• 了解如何預算和微調LLMS
• 了解如何使用多個平台，例如擁抱面，OpenAI和Google Vertex AI
• 了解不同的引導者和預處理語言數據的最佳實踐
• 實施檢索增強發電和規則基礎以減輕幻覺
• 可視化使用Bertviz，Lime和Shap的變形金剛模型活動，以進行更深入的見解
• 創建和實施跨平台鍊式模型，例如HuggingGpt
• 用夾子，dall-e 2，dall-e 3和gpt-4V深入到視覺變壓器中

目錄

章節

1. 什麼是變壓器？
2. 開始使用變壓器模型的體系結構
3. 緊急與下游任務：變形金剛看不見的深度
4. Google Trax，Google Translate和Gemini的翻譯中的進步
5. 通過Bert進行微調
6. 從划痕到羅伯塔（Roberta）預處理變壓器
7. 與Chatgpt的生成AI革命
8. 微調Openai GPT型號
9. 用可解釋的工具破碎黑匣子
10. 調查引物器在塑造變壓器模型中的作用
11. 利用LLM嵌入作為微調的替代
12. 使用Chatgpt和GPT-4標記無語法的語義角色標籤
13. 用T5和CHATGPT摘要
14. 用頂點AI和Palm 2探索尖端的LLM
15. 保護巨人：減輕大語模型中的風險
16. 超越文本：革命AI曙光中的視覺變壓器
17. 超越圖像文本邊界穩定擴散
18. 擁抱面部自動腦：訓練視覺模型而無需編碼
19. 在與Hugginggpt及其同齡人的功能性AGI的道路上
20. 除了人類設計的提示以及具有生成意見的提示

附錄

附錄：問題的答案

平台

您可以直接從下表運行筆記本：

章	COLAB	Kaggle	坡度	Studiolab
第一部分變壓器模型的基礎
第1章：什麼是變壓器？
？o_1_and_accelerators.ipynb chatgpt_plus_writes_and_explains_ai.ipynb
第2章：從變壓器模型的架構開始
？multi_head_attention_sub_layer.ipynb positional_encoding.ipynb
第3章：緊急與下游任務：變形金剛看不見的深度
from_training_to_emergence.ipynb Transformer_tasks_with_hugging_face.ipynb
第4章：與Google Trax，Google Translate和Google Bard的翻譯中的進步
wmt_translations.ipynb trax_google_translate.ipynb
第5章：通過伯特進行微調
bert_fine_tuning_sentence_classification_gpu.ipynb
第6章：從划痕到羅伯塔的變壓器預處理
？ Kantaibert.ipynb ？ customer_support_for_x.ipynb
第二部分：Suprahuman NLP的興起
第7章：與Chatgpt的生成AI革命
openai_models.ipynb OpenAI_GPT_4_ASSISTANT.IPYNB ？get_started_gpt_4_api.ipynb（gpt-4O） ？gpt_4_rag.ipynb（gpt-4O）
OpenAI推理模型：O1-preiview API
？openai_reasoning_models_o1_api.ipynb
第8章：微調Openai模型
fine_tuning_openai_models.ipynb ？fine_tuning_gpt_4o_mini_squad.ipynb
第9章：用可解釋的工具打碎黑匣子
bertviz_interactive.ipynb hugging_face_shap.ipynb
第10章：調查引物在塑造變壓器模型中的作用
tokenizers.ipynb sub_word_tokenizers.ipynb exploring_tokenizers.ipynb
第11章：利用LLM嵌入作為微調的替代方案
？emedding_with_nlkt_gensim.ipynb ？ ？transfer_learning_with_ada_embeddings.ipynb
第12章：與Bert和Openai的Chatgpt邁向無語法的語義角色標籤
Semantic_role_labeling_gpt-4.ipynb
第13章：用T5和Chatgpt進行摘要
summerizing_text_t5.ipynb Summarizing_chatgpt.ipynb
第14章：使用Google Vertex AI探索尖端NLP（Palm和？Gemini與Gemini-1.5-Flash-001
Google_vertex_ai.ipynb ？google_vertex_ai_gemini.ipynb
第15章：保護巨人：在大語言模型中減輕風險<
？auto_big_bench.ipynb（GPT-4O，同步） ？auto_big_bench.ipynb（gpt-4o-mini，同步） 帶有異步批次調用的GPT API速度++！ ？wandb_prompts_quickstart.ipynb ENCODER_DECODER_TRANSFORMER.IPYNB mitigating_generative_ai.ipynb
第三部分：生成的計算機視覺：一種新的觀看世界的方式
第16章：革命AI曙光中的視覺變壓器
vit_clip.ipynb get_started_dall_e_api.ipynb GPT-4V.IPYNB（GPT-4O）
第17章：以穩定的擴散超越圖像文本邊界
stable_diffusion_keras.ipynb 穩定__vision_stability_ai.ipynb 穩定__vision_stability_ai_animation.ipynb text_to_video_synthesis.ipynb timesformer.ipynb
擁抱臉部穩定擴散
？stable_diffusion_hugging_face.ipynb
第18章：自動化視覺變壓器培訓
hugging_face_autotrain.ipynb
第19章：與Hugginggpt及其同齡人的功能性AGI的道路
Computer_vision_analysis.ipynb
第20章：生成的AI構想頂點AI，Langchain和穩定的擴散
automated_design.ipynb MidJourney_bot.ipynb ？automated_ideation.ipynb ？ mymidjourney_api.ipynb

與此存儲庫的輸入儀式GPT-4聊天機器人聊天

與我的自定義GPT4機器人聊天此存儲庫。

您可以詢問有關此存儲庫的問題。您也可以將筆記本中的代碼複製到我的聊天gpt中並索取說明。

這是在OpenAI上為此GitHub存儲庫建立的尖端輸入式聊天機器人。 Openai需要Chatgpt加上訂閱才能探索它。

限制：這是一個實驗性聊天機器人。它是專門用於此GitHub存儲庫的，並且沒有取代書中提供的解釋。但是，您肯定可以與我的GPT-4聊天機器人進行一些有趣的教育互動。

提出一個問題

您可以創建一個問題，我們將很高興提供支持！如果您在筆記本中遇到一個問題，則在此存儲庫中。

獲取我的副本

如果您覺得這本書適合您，請立即獲取您的副本！

在Discord服務器上了解更多信息

您可以在Discord服務器上更多地參與，以獲取社區中的更多最新更新和討論

下載免費的PDF

如果您已經購買了本書的印刷版或Kindle版本，則可以免費獲得無DRM的PDF版本。只需單擊鏈接即可索取您的免費PDF

我們還提供了一個PDF文件，該文件具有本書中使用的屏幕截圖/圖表的顏色圖像

了解作者

丹尼斯·羅斯曼（Denis Rothman）畢業於索邦大學（Sorbonne University）和巴里斯 - 塞特大學（Paris-CitéUniversity），設計了第一個獲得專利的編碼和嵌入式系統之一，並在巴黎ipanthéonsorbonne設計。他的職業生涯開始為Moëtet Chandon（LVMH）提供自然語言處理（NLP）聊天機器人，並為空中客車公司（以前是AeroSpatiale）提供了AI戰術防禦優化器。然後，丹尼斯（Denis）為IBM和豪華品牌撰寫了AI優化器，從而導致了全球使用的高級計劃和日程安排（APS）解決方案。 LinkedIn