Transformers for NLP 2nd Edition

nlp-2nd-edinition的變形金剛

©版權所有2022-2024，Denis Rothman，Packt Publishing

最後更新：2024年1月4日

海豚？ Openai Chatgpt（GPT-3.5 Legacy），Chatgpt Plus（GPT-3.5默認，GPT 3.5默認值和GPT-4）的其他獎勵程序。
GPT-3.5-Turbo，GPT-4，DALL-E 2，Google Cloud AI語言和Google Cloud AI Vision的API示例。
Discover Hugginggpt，Google Smart Compose，Google Bard和Microsoft的新Bing。
使用CHATGPT API和GPT-4 API的高級提示工程。

只是尋找海豚？並享受您進入AI的未來！

通過LinkedIn與我聯繫
在亞馬遜上獲取書

從BERT到GPT-4的變壓器模型，從擁抱臉到Openai的環境。微調，培訓和及時的工程示例。帶有Chatgpt，GPT-3.5-Turbo，GPT-4和DALL-E的獎勵部分，包括跳躍啟動的GPT-4，語音到文本，文本到語音，文本到文本形象，帶有DALL-E等。

入門

您可以在Google Colab或本地計算機等雲平台上運行這些筆記本。請注意，有些章節要求GPU在合理的時間內運行，因此我們建議使用Cuda預裝的雲平台之一。

Openai API入門

2023年12月6日。OpenAI目前正在更新其平台。如果您在此存儲庫的筆記本上遇到問題，則可以實現以下提示：

• 截至2024年1月4日，OpenAI折舊適用於“ Davinci”。推薦的替代品是“ Davinci-002”
• Google colab：安裝OpenAi（！pip install tiktoken和！pip install -upgrade cohere）所需的Cohere（語言功能）和Tiktoken（BPE Tokenizer）（BPE Tokenizer）
• API呼叫從“ OpenAi.completion.create”更改為client = [您的OpenAi Client]
• API調用從引擎= [模型名稱]更改為模型= [模型名稱]
• 響應對象正在發展。建議：首先打印“響應”，然後分析對像以訪問您的需求。
• 如果問題持續存在，您可以嘗試固定以前的OpenAI版本：！PIP install openai == 0.28

您可以在以下筆記本中找到這些更新提示的示例，如有必要，可以在其他筆記本上申請：-getting_started_gpt_3.ipynb），summarizing_with_with_chatgpt.ipynb和semantic_role_role_role_labeling_labeling_with_with_with_with_chatgpt.ipynb

在雲平台或環境中運行

要在雲平台上運行這些筆記本，只需單擊下表中的一個徽章或在環境上運行它們。

章	COLAB	Kaggle	坡度	Studiolab
第2章：從變壓器模型的架構開始
MULTI_HEAD_ATTENTION_SUB_LAYER.IPYNB positional_encoding.ipynb
第3章：微調伯特模型
bert_fine_tuning_sentence_classification_gpu.ipynb
第4章：從頭開始預處理羅伯塔模型
從頭開始預處理羅伯塔模型 Kantaibert.ipynb
第5章：帶有變壓器的下游NLP任務
Transformer_tasks.ipynb
第6章帶有變壓器的機器翻譯
trax_translation.ipynb
第7章：用GPT-3發動機的Suprahuman Transformers的興起
get_started_gpt_3.ipynb fine_tuning_gpt_3（在01/2024中使用新的OpenAI呼叫更新）
第8章：將變壓器應用於AI文本摘要的法律和財務文件
summarizing_text_with_t5.ipynb
第9章：匹配的令牌和數據集
tokenizers.ipynb triending_openai_gpt_2_ch09.ipynb summarizing_with_chatgpt.ipynb
第10章：語義角色標籤
srl.ipynb Semantic_role_labeling_with_chatgpt.ipynb
第11章：讓您的數據進行談話：故事，問題和答案
QA.IPYNB haystack_qa_pipeline.ipynb
第12章檢測客戶情緒以做出預測
感性分析。IPYNB
第13章：與變壓器分析假新聞
fake_news.ipynb face_news_analysis_with_chatgpt.ipynb
第14章：解釋黑匣子變壓器模型
bertviz.ipynb 了解_gpt_2_models_with_ecco.ipynb
第15章：從NLP到任務不合時宜的變壓器模型
vision_transformers.ipynb dall_e.ipynb
第16章：變壓器驅動的副駕駛的出現
domain_specific_gpt_3_functionality.ipynb kantaibert_recommender.ipynb Vision_mlp_mixer（Q1-2024中的不穩定新代碼） compact_convolutional_transformers.ipynb
第17章：？與Openai Chatgpt和GPT-4合併Suprahuman Transformers
jump_starting_chatgpt_with_the_openai_api.ipynb chatgpt_plus_writes_and_explains_classification.ipynb get_started_openai_gpt_4.ipynb 提示_engineering_as_an_alternative_to_fine_tuning.ipynb get_started_with_the_dall_e_2_api.ipynb speake_with_chatgpt.ipynb all_in_one.ipynb
附錄III：GPT-2的通用文本完成
OpenAI_GPT_2.IPYNB
附錄IV：使用GPT-2的自定義文本完成
triending_openai_gpt_2.ipynb

其他OpenAI獎金筆記本

獎金	COLAB	Kaggle	坡度	Sagemaker Studio Lab
探索和比較Chatgpt，GPT-4和GPT-3模型
探索_gpt_4_api
？創建一個chatgpt xai函數，解釋了chatgpt和xai shap函數
xai_by_chatgpt_for_chatgpt
回到GPT-2和Chatgpt的起源
gpt_2_and_chatgpt_the_origins
？chatgpt還是Davinin_instruct？什麼最適合您的項目？
chatgpt_as_a_a_cobot_chatgpt_versus_davinci_instruct.ipynb
AI語言模型比較 - 通過此綜合筆記本探索各種AI語言模型及其功能。 - 研究不同的API和功能，例如情感分析，實體識別，語法分析，內容分類和AI願景。 - 發現並比較Google Cloud AI語言，Google Cloud AI Vision，OpenAI GPT-4，Google Bard，Microsoft New Bing，Chatgpt Plus-GPT-4，Hugging Face，HuggingGpt和Google Smart Compose的產品。
2023年12月6日更新：在Gradio的較新版本中，定義輸入的方式已更新。而不是使用
gr.inputs.Textbox ，現在直接使用gr.Textbox進行輸入和輸出。
探索_and_comparing_advanced_ai_technologies.ipynb

關鍵功能

實施勝過經典語言模型的模型，例如Bert，Reformer和T5
使用GPT-3，GPT-2和其他變壓器比較NLP應用程序
分析高級用例，包括多義，跨語言學習和計算機視覺。帶有SOA CHATGPT，GPT-3.5-Turbo，GPT-4和DALL-E筆記本的GitHub獎勵目錄。

書籍描述

變形金剛是改變自然語言理解（NLU）的遊戲規則，並已成為人工智能的支柱之一。

自然語言處理的變壓器第二版，研究了機器翻譯，語言建模，問題效應以及帶有變壓器的更多NLP域的深度學習。

行業4.0 AI專家需要適應能力；只知道一個NLP平台已經不夠了。不同的平台取決於應用程序的好處，無論是成本，靈活性，易於實施，結果還是性能。在這本書中，我們分析了許多用擁抱面孔，Google Trax，OpenAI和Allennlp的用例。

本書通過結合多種NLP技術（例如情感分析，命名實體識別和語義角色標籤）來進一步促進變形金剛的功能，以分析複雜用例，例如在Twitter上解剖假新聞。另外，請查看如何僅使用簡短描述創建代碼。

到本NLP書的結尾，您將從認知科學的角度了解變壓器，並熟練地將驗證的變壓器模型應用於各種數據集。

你會學到什麼

通過最新的經過預定的變壓器發現新的NLP技術的方法
掌握原始變壓器GPT-3，BERT，T5，DEBERTA和改革者的運作
創建語言理解Python程序的概念，這些概念勝過經典深度學習模型
將Python，Tensorflow和Pytorch程序應用於情感分析，文本摘要，語音識別，機器翻譯等等
測量關鍵變壓器的生產率以定義其生產範圍，潛力和限制

這本書是誰

如果您想學習並將變形金剛應用於自然語言（和圖像）數據，那麼本書適合您。

需要對NLP，Python和深度學習的良好了解才能從本書中受益。本書中涵蓋的許多平台都提供了交互式用戶界面，使對NLP和AI普遍興趣的讀者可以遵循本書的幾章。

目錄

1.什麼是變壓器？
2.開始始於變壓器模型的體系結構
3.調用伯特模型
4.從頭開始預言羅伯塔模型
5.帶有變壓器的Downdownstream NLP任務
6.帶有變壓器的機器翻譯
7.用GPT-3發動機的suprahuman變形金剛的興起
8.將變壓器應用於AI文本摘要的法律和財務文件
9.匹配令牌和數據集
10.具有基於BERT的變壓器的語義角色標籤
11.讓您的數據進行談話：故事，問題和答案
12.檢測客戶情緒以做出預測
13.與變壓器的假新聞進行分析
14.解釋黑匣子變壓器模型
15.從NLP到任務無關的變壓器模型
16.變壓器驅動的副駕駛的出現
17. Suprahuman Transformers與Openai的Chatgpt和GPT-4的合併
附錄I：變壓器模型的術語
附錄II：變壓器模型的硬件約束
還有更多！