Transformers for NLP and Computer Vision 3rd Edition

Transformadores para el procesamiento del lenguaje natural y la visión por computadora: tome la IA generativa y las LLM al siguiente nivel con la cara abrazada, Google Vertex AI, ChatGPT, GPT-4V y Dall-E 3 3rd Edition

por Denis Rothman

Última actualización: 30 de octubre de 2024

Este repositorio se actualiza y actualiza continuamente.
Para obtener detalles sobre actualizaciones y mejoras, consulte ChangeLog.
Si ve algo que no se ejecuta como se esperaba, plantee un problema, ¡y trabajaremos en ello!

Buscar ? ¡Para explorar nuevos cuadernos de bonificación como los modelos de razonamiento de Openai O1, la API de MidJourney, la API de Google Vertex Ai Gemini, las llamadas de la API de lotes asíncronos de OpenAi!
Buscar ? Para explorar los cuadernos existentes para los últimos lanzamientos de modelo o plataforma , como los últimos modelos GPT-4O y GPT-4O-Mini de Opensei.
Buscar ? Para ejecutar los cuadernos existentes con nuevas versiones de dependencia y restricciones y ajustes API de plataforma.

Transformers-para-NLP-y Computador-Visión-3º Edición

Este es el repositorio de códigos para transformadores para el procesamiento del lenguaje natural y la visión por computadora, publicado por Packt.

Explore los modelos generativos de IA y lenguaje grande con cara de abrazo, chatgpt, gpt-4v y dall-e 3

Sobre el libro

Transformadores para el procesamiento del lenguaje natural y la visión por computadora, tercera edición, explora arquitecturas , aplicaciones y diversas plataformas (Abrail y AI de Google Vertex AI) utilizados para el procesamiento del lenguaje natural ( NLP ) y la visión de la computadora ( CV ).

Cambie en transformadores de visión generativos y arquitecturas de modelos multimodales y cree aplicaciones, como clasificadores de imagen y video a texto. Vaya más allá combinando diferentes modelos y plataformas y aprendiendo sobre la replicación del agente de IA.

Lo que aprenderás

• Aprenda a pretrarse y afinar LLMS
• Aprenda a trabajar con múltiples plataformas, como abrazar Face, OpenAI y Google Vertex AI
• Aprenda sobre diferentes tokenizers y las mejores prácticas para el preprocesamiento de datos de idiomas
• Implementar la generación aumentada de recuperación y bases de reglas para mitigar las alucinaciones
• Visualice la actividad del modelo de transformador para ideas más profundas utilizando Bertviz, Lime y SHAP
• Crear e implementar modelos de plataforma cruzada, como HuggingGPT
• Vaya en profundidad en Vision Transformers con Clip, Dall-E 2, Dall-E 3 y GPT-4V

Tabla de contenido

Capítulos

1. ¿Qué son los transformadores?
2. Comenzando con la arquitectura del modelo Transformer
3. Tareas emergentes versus aguas abajo: las profundidades invisibles de los transformadores
4. Avances en traducciones con Google Trax, Google Translate y Gemini
5. Bucear en ajuste a través de Bert
6. Pretraimiento un transformador desde cero a través de Roberta
7. La revolución generativa de IA con chatgpt
8. Modelos de OpenAi GPT de ajuste fino
9. Romper la caja negra con herramientas interpretables
10. Investigar el papel de los tokenizadores en la configuración de los modelos de transformadores
11. Aprovechando los incrustaciones de LLM como alternativa al ajuste fino
12. Hacia el etiquetado de rol semántico sin sintaxis con ChatGPT y GPT-4
13. Resumen con T5 y chatgpt
14. Explorando LLM de vanguardia con Vertex Ai y Palm 2
15. Protección contra los gigantes: mitigando riesgos en modelos de idiomas grandes
16. Beyond Text: Vision Transformers in the Dawn of Revolutionary AI
17. Trascender el límite de texto de imagen con difusión estable
18. Abrazando a Face Autotrain: modelos de visión de entrenamiento sin codificar
19. En el camino a la agi funcional con Hugginggpt y sus compañeros
20. Más allá de las indicaciones diseñadas por humanos con ideación generativa

Apéndice

Apéndice: Respuestas a las preguntas

Plataformas

Puede ejecutar los cuadernos directamente desde la tabla a continuación:

Capítulo	Colab	Kaggle	Gradiente	Studiolab
Parte I Los cimientos de los modelos de transformadores
Capítulo 1: ¿Qué son los transformadores?
? O_1_and_accelerators.ipynb Chatgpt_plus_writes_and_explains_ai.ipynb
Capítulo 2: Comenzando con la arquitectura del modelo Transformer
? Multi_head_attention_sub_layer.ipynb posicional_encoding.ipynb
Capítulo 3: Tareas emergentes versus aguas abajo: las profundidades invisibles de los transformadores
From_training_to_emergence.ipynb Transformer_tasks_with_hugging_face.ipynb
Capítulo 4: Avances en traducciones con Google Trax, Google Translate y Google Bard
Wmt_translations.ipynb TRAX_GOOGLE_TRANSLATE.IPYNB
Capítulo 5: sumergirse en el ajuste a través de Bert
Bert_fine_tuning_sentence_classification_gpu.ipynb
Capítulo 6: Pretrando un transformador desde cero a través de Roberta
? Kantaienbert.ipynb ? Customer_support_for_x.ipynb
Parte II: El surgimiento de la PNL suprahumana
Capítulo 7: La revolución generativa de IA con chatgpt
OPERAI_MODELS.IPYNB OPERAI_GPT_4_ASSISTANT.IPYNB ? Getting_started_gpt_4_api.ipynb (GPT-4O) ? Gpt_4_rag.ipynb (gpt-4o)
Modelos de razonamiento de OpenAI: la API de previsión O1
? OpenAI_Rasoning_Models_O1_api.ipynb
Capítulo 8: Modelos OpenAI ajustados
Fine_tuning_openai_models.ipynb ? FIN_TUNING_GPT_4O_MINI_SQUAD.IPYNB
Capítulo 9: Ratir la caja negra con herramientas interpretables
Bertviz_interactive.ipynb Hugging_face_shap.ipynb
Capítulo 10: Investigar el papel de los tokenizadores en la configuración de los modelos de transformadores
Tokenizers.ipynb Sub_word_tokenizers.ipynb ? Exploring_Tokenizers.ipynb
Capítulo 11: Aprovechando las incrustaciones de LLM como alternativa al ajuste fino
? Incrusting_with_nlkt_gensim.ipynb ? Question_answering_with_embeddings.ipynb ? Transfer_learning_with_ada_embeddings.ipynb
Capítulo 12: Hacia el etiquetado de rol semántico sin sintaxis con Bert y el chatgpt de Openai
Semantic_role_labeling_gpt-4.ipynb
Capítulo 13: Resumen con T5 y Chatgpt
? Summerizing_Text_T5.IPynb Resuming_chatgpt.ipynb
Capítulo 14: Explorando la PNL de vanguardia con Google Vertex AI (Palm and? Géminis con Géminis-1.5-Flash-001
Google_vertex_ai.ipynb ? Google_vertex_ai_gemini.ipynb
Capítulo 15: Protección contra los gigantes: mitigando riesgos en modelos de idiomas grandes <
? Auto_big_bench.ipynb (GPT-4O, Synchronous) ? Auto_big_bench.ipynb (GPT-4O-Mini, sincrónico) ¡Velocidad de API GPT ++ con llamadas de lotes asíncronos! ? Wandb_prompts_quickstart.ipynb Encoder_decoder_transformer.ipynb Mitigating_generative_ai.ipynb
Parte III: Visión generativa de la computadora: una nueva forma de ver el mundo
Capítulo 16: Transformadores de visión en los amanecer de la IA revolucionaria
Vit_clip.ipynb Getting_started_dall_e_api.ipynb ? GPT-4V.IPYNB (GPT-4O)
Capítulo 17: Trascendiendo el límite de texto de imagen con difusión estable
Stable_diffusion_keras.ipynb Stable__Vision_stability_ai.ipynb Stable__Vision_stability_ai_animation.ipynb Text_to_video_synthesis.ipynb Timesformer.ipynb
Difusión estable con la cara abrazada
? Stable_diffusion_hugging_face.ipynb
Capítulo 18: Capacitación automatizada de transformadores de visión
? Hugging_face_autotrain.ipynb
Capítulo 19: Sobre el camino a la AGI funcional con Hugginggpt y sus compañeros
Computer_Vision_analysis.ipynb
Capítulo 20: Vértice de ideación de IA generativo AI, Langchain y difusión estable
Automated_design.ipynb Midjourney_bot.ipynb ? Automated_ideation.ipynb ? Mymidjourney_api.ipynb

Chatear con el chatbot GPT-4 de este repositorio de entrada GPT-4

Chatea con mi bot GPT4 personalizado para este repositorio.

Puede hacer preguntas sobre este repositorio. También puede copiar el código de los cuadernos en mi chat GPT y solicitar explicaciones.

Este es un chatbot de entrada de vanguardia construido en OpenAI para este repositorio de GitHub. OpenAI requiere una suscripción ChatGpt Plus para explorarla.

Limitaciones: Este es un chatbot experimental. Está dedicado a este repositorio de GitHub y no reemplaza las explicaciones proporcionadas en el libro. Pero seguramente puede tener algunas interacciones educativas interesantes con mi chatbot GPT-4.

Plantear un problema

¡Puede crear un problema, estaremos encantados de brindar soporte! En este repositorio si se encuentra con uno en los cuadernos.

Obtener mi copia

Si cree que este libro es para usted, ¡obtenga su copia hoy!

Conozca más en el servidor Discord

Puede comprometerse más en el servidor Discord para obtener más actualizaciones y discusiones más recientes en la comunidad en Discord.

Descargar un PDF gratis

Si ya ha comprado una versión de impresión o Kindle de este libro, puede obtener una versión PDF sin DRM sin costo. Simplemente haga clic en el enlace para reclamar su PDF gratuito

También proporcionamos un archivo PDF que tiene imágenes en color de las capturas de pantalla/diagramas utilizados en este libro en ColorImages

Conozca al autor

Denis Rothman se graduó de la Universidad de Sorbonne y la Universidad de París-Cité, diseñando uno de los primeros sistemas patentados de codificación e incrustación y enseñanza en París-I Panthéon Sorbonne. Es autor de uno de los primeros bots/robots/robots de IA patentados. Comenzó su carrera entregando un chatbot de procesamiento del lenguaje natural (PNL) para Moët et Chandon (LVMH) y un optimizador de defensa táctica de IA para Airbus (anteriormente Aerospatiale). Denis escribió un optimizador de IA para IBM y marcas de lujo, lo que lleva a una solución de planificación y programación avanzada (APS) utilizada en todo el mundo. LinkedIn