Transformers for NLP and Computer Vision 3rd Edition

Transformers untuk Pemrosesan Bahasa Alami dan Visi Komputer: Ambil AI dan LLMS generatif ke tingkat berikutnya dengan Face Hugging, Google Vertex AI, ChatGPT, GPT-4V, dan Dall-E edisi ke-3

oleh Denis Rothman

Terakhir Diperbarui: 30 Oktober 2024

Repo ini terus diperbarui dan ditingkatkan.
Untuk detail tentang pembaruan dan perbaikan, lihat Changelog.
Jika Anda melihat sesuatu yang tidak berjalan seperti yang diharapkan, angkat masalah, dan kami akan mengatasinya!

Cari? Untuk menjelajahi buku catatan bonus baru seperti model penalaran Openai O1, API Midjourney, API Google Vertex Ai Gemini, panggilan API Batch Asynchronous Openai!
Cari? Untuk menjelajahi notebook yang ada untuk rilis model atau platform terbaru , seperti model GPT-4O dan GPT-4O-mini terbaru Openai.
Cari? Untuk menjalankan notebook yang ada dengan versi ketergantungan baru dan kendala API platform dan tweak.

Transformers-for-nlp-and-computer-vision-3rd-edisi

Ini adalah repositori kode untuk transformator untuk pemrosesan bahasa alami dan visi komputer, yang diterbitkan oleh Packt.

Jelajahi AI generatif dan model bahasa besar dengan wajah pemeluk, chatgpt, gpt-4v, dan dall-e 3

Tentang buku itu

Transformers untuk pemrosesan bahasa alami dan visi komputer, edisi ketiga, mengeksplorasi arsitektur model bahasa besar ( LLM ), aplikasi, dan berbagai platform (memeluk wajah, openai, dan Google Vertex AI) yang digunakan untuk pemrosesan bahasa alami ( NLP ) dan visi komputer ( CV ).

Selami transformator penglihatan generatif dan arsitektur model multimodal dan membangun aplikasi, seperti pengklasifikasi gambar dan video-ke-teks. Lanjutkan dengan menggabungkan berbagai model dan platform dan belajar tentang replikasi agen AI.

Apa yang akan Anda pelajari

• Pelajari cara pretrain dan menyempurnakan llms
• Pelajari cara bekerja dengan banyak platform, seperti memeluk wajah, openai, dan google vertex ai
• Pelajari tentang tokenizer yang berbeda dan praktik terbaik untuk preprocessing data bahasa
• Menerapkan pengambilan augmented generasi dan aturan pangkalan untuk mengurangi halusinasi
• Visualisasikan aktivitas model transformator untuk wawasan yang lebih dalam menggunakan Bertviz, Lime, dan Shap
• Membuat dan mengimplementasikan model rantai lintas platform, seperti HuggingGpt
• Masuklah mendalam ke dalam transformator visi dengan klip, Dall-e 2, Dall-E 3, dan GPT-4V

Daftar isi

Bab

1. Apa itu Transformers?
2. Memulai dengan arsitektur model transformator
3. Tugas Hilir yang Muncul vs: Kedalaman Transformer yang Tidak Terlihat
4. Kemajuan dalam terjemahan dengan Google Trax, Google Translate, dan Gemini
5. Menyelam ke fine-tuning melalui Bert
6. Pretraining transformator dari awal melalui Roberta
7. Revolusi AI generatif dengan chatgpt
8. Model OpenAi GPT yang menyempurnakan
9. Menghancurkan kotak hitam dengan alat yang dapat ditafsirkan
10. Menyelidiki peran tokenisasi dalam membentuk model transformator
11. Memanfaatkan embeddings llm sebagai alternatif untuk menyempurnakan
12. Menuju label peran semantik bebas sintaks dengan chatgpt dan gpt-4
13. Peringkasan dengan T5 dan chatgpt
14. Menjelajahi LLMS mutakhir dengan Vertex AI dan Palm 2
15. Menjaga Giants: Mengurangi Risiko dalam Model Bahasa Besar
16. Beyond Text: Vision Transformers in the Dawn of Revolutionary AI
17. Melampaui batas gambar-teks dengan difusi yang stabil
18. Autotrain Wajah Memeluk: Model Visi Pelatihan Tanpa Coding
19. Di jalan menuju AGI fungsional dengan HuggingGpt dan rekan -rekannya
20. Di luar petunjuk yang dirancang manusia dengan ide generatif

Lampiran

Lampiran: Jawaban atas pertanyaan

Platform

Anda dapat menjalankan notebook langsung dari tabel di bawah ini:

Bab	Colab	Kaggle	Gradien	Studiolab
Bagian I Fondasi model transformator
Bab 1: Apa itu Transformers?
? O_1_and_accelerators.ipynb Chatgpt_plus_writes_and_explains_ai.ipynb
Bab 2: Memulai dengan Arsitektur Model Transformer
? Multi_head_attention_sub_layer.ipynb positional_encoding.ipynb
Bab 3: Tugas Hilir yang Muncul vs: Kedalaman Transformator yang Tidak Terlihat
From_training_to_emergence.ipynb Transformer_tasks_with_hugging_face.ipynb
Bab 4: Kemajuan dalam Terjemahan dengan Google Trax, Google Translate, dan Google Bard
Wmt_translations.ipynb Trax_google_translate.ipynb
Bab 5: Menyelam ke dalam fine-tuning melalui Bert
BERT_FINE_TUNING_SENTENCE_CLASSIFIKASI_GPU.IPYNB
Bab 6: Pretraining transformator dari awal melalui Roberta
? Kantaibert.ipynb ?? Customer_support_for_x.ipynb
Bagian II: Bangkitnya Suprahuman NLP
Bab 7: Revolusi AI generatif dengan chatgpt
Openai_models.ipynb Openai_gpt_4_assistant.ipynb ? Geting_started_gpt_4_api.ipynb (GPT-4O) ? GPT_4_RAG.IPYNB (GPT-4O)
Model Penalaran Openai: API Preview O1
? Openai_reasoning_models_o1_api.ipynb
Bab 8: Model OpenAi yang menyempurnakan
Fine_tuning_openai_models.ipynb ? Fine_tuning_gpt_4o_mini_squad.ipynb
Bab 9: Menghancurkan Kotak Hitam dengan Alat yang Dapat Diperterpastikan
Bertviz_interactive.ipynb Hugging_face_shap.ipynb
Bab 10: Menyelidiki peran tokenizer dalam membentuk model transformator
Tokenizers.ipynb Sub_word_tokenizers.ipynb ? Exploring_tokenizers.ipynb
Bab 11: Memanfaatkan embeddings LLM sebagai alternatif untuk menyempurnakan
? Embedding_with_nlkt_gensim.ipynb ? Question_answering_with_embeddings.ipynb ? Transfer_learning_with_ada_embeddings.ipynb
Bab 12: Menuju Label Peran Semantik Bebas Sintaks dengan Bert dan Chatgpt Openai
SEMANTIC_ROLE_LABELING_GPT-4.IPYNB
Bab 13: Ringkasan dengan T5 dan Chatgpt
? Summerizing_text_t5.ipynb Ringkasan_chatgpt.ipynb
Bab 14: Menjelajahi NLP mutakhir dengan Google Vertex AI (Palm dan? Gemini dengan Gemini-1.5-Flash-001
Google_vertex_ai.ipynb ? Google_vertex_ai_gemini.ipynb
Bab 15: Menjaga Giants: Mengurangi Risiko dalam Model Bahasa Besar <
? Auto_big_bench.ipynb (GPT-4O, sinkron) ? Auto_big_bench.ipynb (gpt-4o-mini, sinkron) ? GPT API Speed ​​++ dengan panggilan batch asinkron! ? Wandb_prompts_quickstart.ipynb Encoder_decoder_transformer.ipynb Mitigating_generative_ai.ipynb
Bagian III: Visi Komputer Generatif: Cara Baru untuk Melihat Dunia
Bab 16: Visi Transformator dalam Dawn of Revolutionary AI
Vit_clip.ipynb Geting_started_dall_e_api.ipynb ? GPT-4V.IPYNB (GPT-4O)
Bab 17: Melampaui batas gambar-teks dengan difusi yang stabil
Stabil_diffusion_keras.ipynb Stabil__vision_stability_ai.ipynb Stabil__vision_stability_ai_animation.ipynb Text_to_video_synthesis.ipynb Timesformer.ipynb
Difusi stabil dengan wajah pelukan
? Stabil_diffusion_hugging_face.ipynb
Bab 18: Pelatihan Transformator Visi Otomatis
? Hugging_face_autotrain.ipynb
Bab 19: Di jalan menuju AGI fungsional dengan HuggingGpt dan rekan -rekannya
Computer_vision_analysis.ipynb
Bab 20: Ide Ideasi AI generatif AI, langchain, dan difusi stabil
Otomatis_design.ipynb Midjourney_bot.ipynb ? Otomatis_ideasi.ipynb ? Mymidjourney_api.ipynb

Mengobrol dengan chatbot GPT-4 inpositori ini

Mengobrol dengan bot GPT4 khusus saya untuk repositori ini.

Anda dapat mengajukan pertanyaan tentang repositori ini. Anda juga dapat menyalin kode dari notebook ke GPT obrolan saya dan meminta penjelasan.

Ini adalah chatbot agung-edput mutakhir yang dibangun di atas openai untuk repositori github ini. Openai membutuhkan langganan chatgpt plus untuk menjelajahinya.

Keterbatasan: Ini adalah chatbot eksperimental. Ini didedikasikan untuk repositori GitHub ini dan tidak menggantikan penjelasan yang disediakan dalam buku ini. Tetapi Anda pasti dapat memiliki beberapa interaksi pendidikan yang menarik dengan chatbot GPT-4 saya.

Mengangkat masalah

Anda dapat membuat masalah, kami akan dengan senang hati memberikan dukungan! Di repositori ini jika Anda bertemu satu di notebook.

Dapatkan salinan saya

Jika Anda merasa buku ini cocok untuk Anda, dapatkan salinan Anda hari ini!

Tahu lebih banyak di server Discord

Anda bisa lebih banyak terlibat di server Discord untuk pembaruan dan diskusi terbaru di komunitas di Discord

Unduh PDF gratis

Jika Anda telah membeli versi cetak atau Kindle dari buku ini, Anda bisa mendapatkan versi PDF bebas DRM tanpa biaya. Cukup klik tautan untuk mengklaim PDF gratis Anda

Kami juga menyediakan file PDF yang memiliki gambar berwarna dari tangkapan layar/diagram yang digunakan dalam buku ini di ColorImages

Kenali Penulis

Denis Rothman lulus dari Universitas Sorbonne dan Universitas Paris-Cité, merancang salah satu sistem pengkodean dan penyematan yang dipatenkan pertama dan mengajar di Paris-I Panthéon Sorbonne. Dia menulis salah satu pengodean kata/robot yang dipatenkan dan robot pertama. Dia memulai karirnya memberikan chatbot pemrosesan bahasa alami (NLP) untuk Moët et Chandon (LVMH) dan pengoptimal pertahanan taktis AI untuk Airbus (sebelumnya Aerospatiale). Denis kemudian menulis pengoptimal AI untuk merek IBM dan mewah, yang mengarah ke solusi perencanaan dan penjadwalan canggih (APS) yang digunakan di seluruh dunia. LinkedIn