Transformers for NLP and Computer Vision 3rd Edition

Трансформеры для обработки естественного языка и компьютерного зрения: поднимите генеративные ИИ и LLMS на следующий уровень с обнимающим лицом, Google Vertex AI, CHATGPT, GPT-4V и Dall-E 3 3-е издание

Денис Ротман

Последнее обновление: 30 октября 2024 г.

Это репо постоянно обновляется и обновляется.
Для получения подробной информации об обновлениях и улучшениях, см. The ChangeLog.
Если вы видите что -то, что не так, как ожидалось, поднимите проблему, и мы поработаем над этим!

Искать ? Чтобы изучить новые бонусные записные книжки , такие как модели рассуждений Openai O1, API Midjourney, Google Vertex API AI, API Openai Asynchronous API!
Искать ? Чтобы исследовать существующие ноутбуки для последних выпусков модели или платформы , таких как новейшие модели GPT-4O и GPT-4O-Mini от GPT-4O и GPT-4O.
Искать ? Запускать существующие ноутбуки с новыми версиями зависимости и ограничениями API платформы и настройками.

Трансформеры для-NLP-и-компьютер-Vision-3-й издания

Это репозиторий кода для трансформаторов для обработки естественного языка и компьютерного зрения, опубликованного Packt.

Изучите генеративные модели ИИ и больших языков с обнимающим лицом, CHATGPT, GPT-4V и DALL-E 3

О книге

Трансформеры для обработки естественного языка и компьютерного видения, третье издание, исследует архитектуры, приложения для крупной языковой модели ( LLM ), и различные платформы (обнимающие лицо, OpenAI и Google Vertex AI), используемые для обработки естественного языка ( NLP ) и компьютерного видения ( CV ).

Погрузитесь в трансформаторы генеративного зрения и мультимодальную модель архитектуры и создайте приложения, такие как классификаторы изображения и видео-текст. Идите дальше, объединив различные модели и платформы и изучив репликацию агента искусственного интеллекта.

Чему вы узнаете

• Узнайте, как предварительно подать и настраивать LLMS
• Узнайте, как работать с несколькими платформами, такими как обнимание лица, Openai и Google Vertex AI
• Узнайте о различных токенизаторах и лучших практиках для предварительной обработки языковых данных
• Реализовать базы с дополненным поколением и правилами для смягчения галлюцинаций
• Визуализируйте активность модели трансформатора для более глубоких пониманий, используя Bertviz, Lime и Shap
• Создать и реализовать кроссплатформенные цепные модели, такие как HuggingGpt
• Глубокие в трансформаторы зрения с Clip, Dall-E 2, Dall-E 3 и GPT-4V

Оглавление

Главы

1. Что такое трансформаторы?
2. Начало работы с архитектурой модели трансформатора
3. Emergent vs вниз по течению задач: невидимые глубины трансформаторов
4. Достижения в переводах с Google Trax, Google Translate и Gemini
5. Погружение в точную настройку через Берт
6. Предварительная подготовка трансформатора с нуля через Роберту
7. Генеративная революция ИИ с ЧАТГПТ
8. Тонкая настройка модели Openai GPT
9. Разбивая черный ящик с интерпретируемыми инструментами
10. Изучение роли токенизаторов в формировании моделей трансформаторов
11. Использование LLM встраивания в качестве альтернативы тонкой настройке
12. На пути к Semantic Role без синтаксиса маркировка с помощью CHATGPT и GPT-4
13. Суммирование с T5 и CHATGPT
14. Изучение передовых LLM с вершиной AI и Palm 2
15. Охрана гигантов: смягчение рисков в крупных языковых моделях
16. За пределами текста: видение трансформаторы на рассвете революционного ИИ
17. Преодоление границы текста изображения с стабильной диффузией
18. Объятие лица Autotrain: обучение моделей зрения без кодирования
19. На пути к функциональной AGI с HuggingGpt и его сверстниками
20. Помимо подсказок, разработанных человеком с генеративными идеями

Приложение

Приложение: Ответы на вопросы

Платформы

Вы можете запустить ноутбуки непосредственно из таблицы ниже:

Глава	Колаба	Кэггл	Градиент	Studiolab
Часть I Основы моделей трансформаторов
Глава 1: Что такое трансформаторы?
? O_1_and_accelerators.ipynb Chatgpt_plus_writes_and_explains_ai.ipynb
Глава 2: Начало работы с архитектурой модели трансформатора
? Multi_head_attument_sub_layer.ipynb posical_encoding.ipynb
Глава 3: Задача возникновения вниз по течению: невидимые глубины трансформаторов
From_training_to_emergence.ipynb Transformer_tasks_with_hugging_face.ipynb
Глава 4: Достижения в переводах с Google Trax, Google Translate и Google Bard
Wmt_translations.ipynb Trax_google_translate.ipynb
Глава 5: Погружение в точную настройку через Берт
Bert_fine_tuning_sentence_classification_gpu.ipynb
Глава 6: Предварительная подготовка трансформатора с нуля через Роберту
? Kantaibert.ipynb ?? Customer_support_for_x.ipynb
Часть II: Рост супрахуманского НЛП
Глава 7: Генеративная революция ИИ с CHATGPT
Openai_models.ipynb Openai_gpt_4_assistant.ipynb ? GETAL_STARTED_GPT_4_API.IPYNB (GPT-4O) ? Gpt_4_rag.ipynb (gpt-4o)
Модели рассуждений OpenAI: API O1-Preview
? OpenAI_ReseSying_Models_o1_api.ipynb
Глава 8: Модели с тонкой настройкой Openai
Fine_tuning_openai_models.ipynb ? Fine_tuning_gpt_4o_mini_squad.ipynb
Глава 9: Разбивая черный ящик с интерпретируемыми инструментами
Bertviz_interactive.ipynb Gugging_face_shap.ipynb
Глава 10: Исследование роли токенизаторов в формировании моделей трансформаторов
Tokenizers.ipynb Sub_word_tokenizers.ipynb ? Изучение_tokenizers.ipynb
Глава 11: Использование встроенных LLM в качестве альтернативы тонкой настройке
? Embedding_with_nlkt_gensim.ipynb ? Вопрос_ансверинг_with_embeddings.ipynb ? Transfer_learning_with_ada_embeddings.ipynb
Глава 12: На пути к семантической ролевой маркировке без синтаксиса с помощью BERT и Openai
Semantic_role_labeling_gpt-4.ipynb
Глава 13: Суммизация с T5 и CHATGPT
? Summerize_text_t5.ipynb Summarizing_chatgpt.ipynb
Глава 14: Изучение передового NLP с Google Vertex AI (Palm и «Gemini с Gemini-1.5-Flash-001
Google_vertex_ai.ipynb ? Google_vertex_ai_gemini.ipynb
Глава 15: Охрана гигантов: смягчение рисков в моделях крупных языков <
? Auto_big_bench.ipynb (gpt-4o, синхронный) ? Auto_big_bench.ipynb (gpt-4o-mini, synchronous) ? GPT API Speed ​​++ с асинхронными партийными вызовами! ? Wandb_prompts_quickstart.ipynb Encoder_decoder_transformer.ipynb MITIGATION_GENERATION_AI.IPYNB
Часть III: Генеративное компьютерное зрение: новый способ увидеть мир
Глава 16: Трансформеры зрения на рассвете революционного ИИ
Vit_clip.ipynb Get_started_dall_e_api.ipynb ? Gpt-4v.ipynb (gpt-4o)
Глава 17: Преодоление границы текста изображения со стабильной диффузией
Stable_diffusion_keras.ipynb Stable__vision_stabily_ai.ipynb Stable__vision_stability_ai_animation.ipynb Text_to_video_synthesis.ipynb Timesformer.ipynb
Стабильная диффузия с обнимающимся лицом
? Stable_diffusion_hugging_face.ipynb
Глава 18: Обучение трансформатора автоматизированного зрения
? Gugging_face_autotrain.ipynb
Глава 19: На пути к функциональному AGI с HuggingGpt и его сверстниками
Computer_Vision_analysis.ipynb
Глава 20: Генеративная идея AI Vertex AI, Langchain и стабильная диффузия
Automated_design.ipynb Midjourney_bot.ipynb ? Automated_ideation.ipynb ? Mymidjourney_api.ipynb

Общаться с чат-ботом GPT-4 этого репозитория GPT-4

Общайтесь с моим пользовательским ботом GPT4 для этого репозитория.

Вы можете задать вопросы об этом репозитории. Вы также можете скопировать код из ноутбуков в мой чат GPT и попросить объяснения.

Это передовый чат-бот ввода, построенный на OpenAI для этого репозитория GitHub. Openai требует подписки на Chatgpt Plus для ее изучения.

Ограничения: это экспериментальный чат -бот. Он посвящен этому репозиторию GitHub и не заменяет объяснения, представленные в книге. Но вы, несомненно, можете иметь интересное образовательное взаимодействие с моим чат-ботом GPT-4.

Поднять проблему

Вы можете создать проблему, мы будем рады оказать поддержку! В этом репозитории, если вы столкнетесь с одним в ноутбуках.

Получите мою копию

Если вы чувствуете, что эта книга для вас, получите свою копию сегодня!

Узнайте больше на сервере Discord

Вы можете больше задействовать сервер Discord для получения дополнительных последних обновлений и обсуждений в сообществе в Discord

Скачать бесплатный PDF

Если вы уже приобрели печатную или Kindle версию этой книги, вы можете получить версию PDF без DRM бесплатно. Просто нажмите на ссылку, чтобы получить бесплатный PDF

Мы также предоставляем PDF -файл с цветными изображениями скриншотов/диаграмм, используемых в этой книге в Colorimages

Познакомьтесь с автором

Денис Ротман окончил Университет Сорбонна и Париж-Цит, разработав одну из первых запатентованных систем кодирования и встраивания и преподавания в Париже-и Пантеон Сорбонне. Он написал одну из первых запатентованных кодировщиков слова и ботов/роботов ИИ. Он начал свою карьеру, обеспечивающую чат -бот для обработки естественного языка (NLP) для Moët et Chandon (LVMH) и AI Tactical Defense Optimizer для Airbus (ранее Aerospatiale). Затем Денис написал оптимизатор искусственного интеллекта для брендов IBM и роскоши, что привело к решению расширенного планирования и планирования (APS), используемого по всему миру. LinkedIn