Transformers for NLP and Computer Vision 3rd Edition

自然言語処理とコンピュータービジョンのための変圧器：ハグ、Google Vertex AI、ChatGPT、GPT-4V、およびDALL-E 3 3rd Editionで、生成AIとLLMSを次のレベルに引き上げます。

デニス・ロスマン

最終更新：2024年10月30日

このレポは継続的に更新およびアップグレードされます。
更新と改善の詳細については、changelogを参照してください。
期待どおりに実行されないものが表示されている場合は、問題を提起してください。私たちはそれに取り組みます！

探す ？ Openai O1の推論モデル、MidjourneyのAPI、Google Vertex AI GeminiのAPI、Openai Asynchronous Batch API呼び出しなどの新しいボーナスノートブックを探索するには！
探す ？ OpenAIの最新のGPT-4OやGPT-4O-MINIモデルなど、最新のモデルまたはプラットフォームリリースについては、既存のノートブックを探索します。
探す ？新しい依存関係バージョンとプラットフォームAPIの制約と調整を備えた既存のノートブックを実行します。

Transformers-for-nlp-and-computer-vision-3rd-edition

これは、Packtが発行した自然言語処理とコンピュータービジョンのための変圧器のコードリポジトリです。

抱きしめる顔、chatgpt、gpt-4v、およびdall-e 3を備えた生成AIおよび大規模な言語モデルを探索します

本について

自然言語処理とコンピュータービジョンのための変圧器、第3版では、自然言語処理（ NLP ）およびコンピュータービジョン（ CV ）に使用されるさまざまなプラットフォーム（Face、Openai、およびGoogle Vertex AI）の大規模な言語モデル（ LLM ）アーキテクチャ、アプリケーション、およびさまざまなプラットフォーム（Hugging Face、Openai、Google Vertex AI）を探索します。

生成ビジョン変圧器とマルチモーダルモデルアーキテクチャに飛び込み、画像やビデオツーテキスト分類子などのアプリケーションを構築します。さまざまなモデルとプラットフォームを組み合わせて、AIエージェントの複製について学習してさらに進みます。

あなたが学ぶこと

• LLMSを前処理して微調整する方法を学びます
• 顔、Openai、Google Vertex AIなど、複数のプラットフォームを使用する方法を学ぶ
• さまざまなトークンザーと、前処理言語データのベストプラクティスについて学ぶ
• 検索された生成とルールの基盤を実装して、幻覚を軽減する
• Bertviz、Lime、およびShapを使用して、より深い洞察のためのトランスモデルアクティビティを視覚化する
• Hugginggptなどのクロスプラットフォームチェーンズモデルを作成および実装します
• クリップ、Dall-E 2、Dall-E 3、およびGPT-4Vを使用してVision Transformersに詳細に進む

目次

章

1. トランスとは何ですか？
2. トランスモデルのアーキテクチャを開始します
3. 緊急対下流のタスク：見えない深さトランスの深さ
4. Google Trax、Google Translate、およびGeminiでの翻訳の進歩
5. バートを通して微調整に飛び込む
6. トランスをゼロからロバータを通って事前化します
7. ChatGptを使用した生成AI革命
8. 微調整Openai GPTモデル
9. 解釈可能なツールでブラックボックスを粉砕します
10. 変圧器モデルの形成におけるトークナー剤の役割の調査
11. 微調整の代替としてLLMエンミングを活用します
12. CHATGPTおよびGPT-4を使用した構文のないセマンティックロールラベルに向けて
13. T5とChatGptでの要約
14. 頂点AIおよびPalm 2を使用して最先端のLLMを探索します
15. 巨人を守る：大規模な言語モデルのリスクを軽減します
16. テキストを超えて：革新的なAIの夜明けのビジョントランス
17. 安定した拡散で画像テキスト境界を超越します
18. 抱きしめる顔のオートトレーニング：コーディングなしでビジョンモデルをトレーニングします
19. Hugginggptとその仲間を備えた機能的なAGIへの道で
20. 生成的なアイデアを持つ人間が設計したプロンプトを超えて

付録

付録：質問への回答

プラットフォーム

ノートブックを以下の表から直接実行できます。

章	colab	Kaggle	勾配	Studiolab
パートIトランスモデルの基礎
第1章：トランスとは何ですか？
？o_1_and_accelerators.ipynb chatgpt_plus_writes_and_explains_ai.ipynb
第2章：トランスモデルのアーキテクチャを始めましょう
？multi_head_attention_sub_layer.ipynb positional_encoding.ipynb
第3章：緊急対下流のタスク：変圧器の目に見えない深さ
from_training_to_emergence.ipynb transformer_tasks_with_hugging_face.ipynb
第4章：Google Trax、Google Translate、Google Bardとの翻訳の進歩
wmt_translations.ipynb trax_google_translate.ipynb
第5章：バートを介して微調整する
bert_fine_tuning_sentence_classification_gpu.ipynb
第6章：トランスをゼロからロバータを通って事前に削除します
？ kantaibert.ipynb ?? customer_support_for_x.ipynb
パートII：Human Suprhuman NLPの台頭
第7章：ChatGptとの生成AI革命
openai_models.ipynb openai_gpt_4_assistant.ipynb ？ ？gpt_4_rag.ipynb（gpt-4o）
OpenAI推論モデル：O1-Preview API
？openai_reasoning_models_o1_api.ipynb
第8章：微調整Openaiモデル
fine_tuning_openai_models.ipynb ？fine_tuning_gpt_4o_mini_squad.ipynb
第9章：解釈可能なツールでブラックボックスを粉砕します
bertviz_interactive.ipynb hugging_face_shap.ipynb
第10章：変圧器モデルの形成におけるトークナー剤の役割の調査
tokenizers.ipynb sub_word_tokenizers.ipynb ？exploring_tokenizers.ipynb
第11章：微調整の代替としてLLMエンミングを活用する
？embedding_with_nlkt_gensim.ipynb ？question_answering_with_embeddings.ipynb ？transfer_learning_with_ada_embeddings.ipynb
第12章：BertとOpenaiのChatGptによる構文のないセマンティックロールラベル付けに向けて
semantic_role_labeling_gpt-4.ipynb
第13章：T5とChatGptによる要約
？summerizing_text_t5.ipynb summarizing_chatgpt.ipynb
第14章：Google Vertex AIを使用して最先端のNLPの調査（Palmと？Gemini-1.5-Flash-001とのジェミニ
google_vertex_ai.ipynb ？google_vertex_ai_gemini.ipynb
第15章：巨人のガード：大規模な言語モデルでのリスクの軽減<
？auto_big_bench.ipynb（gpt-4o、同期） ？auto_big_bench.ipynb（gpt-4o-mini、同期） 非同期バッチコールを備えたGPT API速度++！ ？wandb_prompts_quickstart.ipynb encoder_decoder_transformer.ipynb mitigating_generative_ai.ipynb
パートIII：生成コンピュータービジョン：世界を見る新しい方法
第16章：革新的なAIの夜明けのビジョン変圧器
VIT_CLIP.IPYNB getting_started_dall_e_api.ipynb ？gpt-4v.ipynb（gpt-4o）
第17章：安定した拡散で画像テキスト境界を超越します
stable_diffusion_keras.ipynb stable__vision_stability_ai.ipynb stable__vision_stability_ai_animation.ipynb text_to_video_synthesis.ipynb TimeFormer.ipynb
抱きしめる顔による安定した拡散
？stable_diffusion_hugging_face.ipynb
第18章：自動視力変圧器トレーニング
？hugging_face_autotrain.ipynb
第19章：Hugginggptとその仲間との機能的なAGIへの道
Computer_Vision_analysis.ipynb
第20章：生成AIアイデア頂点AI、Langchain、および安定した拡散
automated_design.ipynb Midjourney_bot.ipynb ？automated_ideation.ipynb ？ mymidjourney_api.ipynb

このリポジトリの入力を得たGPT-4チャットボットとチャットします

このリポジトリのカスタムGPT4ボットとチャットします。

このリポジトリについて質問することができます。コードをノートブックからチャットGPTにコピーして、説明を求めることもできます。

これは、このGitHubリポジトリのためにOpenaiに構築された最先端の入力チャットボットです。 Openaiには、それを探索するためにChatGPTとサブスクリプションが必要です。

制限：これは実験的なチャットボットです。このGithubリポジトリに捧げられており、本に記載されている説明を置き換えません。しかし、あなたは確かに私のGPT-4チャットボットといくつかの興味深い教育的相互作用を持つことができます。

問題を提起します

ノートブックで遭遇した場合、このリポジトリでサポートを提供してくれてうれしい問題を作成できます。

私のコピーを入手してください

この本があなたのためであると感じたら、今日あなたのコピーを入手してください！

Discordサーバーで詳細をご覧ください

Discordのコミュニティでのより最新の更新とディスカッションのために、Discordサーバーでより多くの関与を得ることができます

無料のPDFをダウンロードします

この本のプリントまたはKindleバージョンをすでに購入している場合は、DRMフリーのPDFバージョンを無料で入手できます。リンクをクリックして無料のPDFを請求するだけです

また、Colorimagesでこの本で使用されているスクリーンショット/図のカラー画像を備えたPDFファイルも提供しています

著者を知る

デニス・ロスマンはソルボンヌ大学とパリシテ​​大学を卒業し、最初の特許取得済みのエンコードと埋め込みシステムの1つを設計し、パリパンセオンソルボンヌで教育を行い、最初に特許取得済みの単語エンコードとAIボット/ロボットの1つを執筆しました。彼は、MoëtEtChandon（LVMH）の自然言語処理（NLP）チャットボットとエアバスのAI戦術防衛オプティマイザー（以前の航空宇宙科）を提供するキャリアを開始しました。その後、デニスはIBMおよび高級ブランドのAIオプティマイザーを執筆し、世界中で使用される高度な計画とスケジューリング（APS）ソリューションにつながりました。 LinkedIn