¿Cómo será la inteligencia artificial (IA) en el futuro? Imagine que pueden comprender y realizar tareas complejas con solo un simple comando; también pueden capturar visualmente las expresiones y movimientos del usuario para determinar su estado emocional. Esto ya no es una escena de una película de ciencia ficción de Hollywood, sino una "IA multimodal" que poco a poco se está haciendo realidad.
Según un informe reciente del sitio web estadounidense "Forbes", gigantes como Metaverse Platform Company, OpenAI y Google han lanzado sus propios sistemas de IA multimodal y no escatiman esfuerzos para aumentar la inversión en investigación y desarrollo de dichos sistemas y esforzarse. para mejorar varios modelos para mejorar la precisión de la salida de contenido dinámico, mejorando así la experiencia interactiva entre la IA y los usuarios.
La IA multimodal marca un cambio de paradigma. Cambiará profundamente el rostro de muchas industrias y remodelará el mundo digital.
Proporcionar a la IA capacidades “multisensoriales”
¿Cómo entienden los humanos el mundo? Dependemos de múltiples sentidos, como la vista, el oído y el tacto, para recibir información de innumerables fuentes. El cerebro humano integra estos complejos patrones de datos para dibujar una "imagen" vívida de la realidad.
El sitio web oficial de IBM define la IA multimodal de la siguiente manera: puede integrar y procesar modelos de aprendizaje automático de múltiples modalidades (tipos de datos), incluida la entrada en forma de texto, imágenes, audio, vídeo, etc. Es como darle a la IA un conjunto completo de sentidos para que pueda percibir y comprender la información de entrada desde múltiples ángulos.
Esta capacidad de comprender y crear información a través de diferentes modalidades ha superado la IA unimodal anterior que se centraba en integrar y procesar fuentes de datos específicas, y se ha ganado el favor de los principales gigantes tecnológicos.
En la Conferencia de Comunicaciones Móviles de este año, Qualcomm implementó por primera vez el gran modelo multimodal que desarrolló en un teléfono Android. Ya sea que los usuarios ingresen fotos, voz u otra información, pueden comunicarse sin problemas con el asistente de IA. Por ejemplo, los usuarios pueden tomar una foto de la comida y preguntarle al asistente de IA: ¿Cuáles son estos ingredientes? ¿Qué platos se pueden hacer? ¿Cuántas calorías hay en cada plato? El asistente de IA puede dar respuestas detalladas basadas en información fotográfica.
En mayo de este año, OpenAI lanzó el modelo multimodal GPT-4o, que admite entrada y salida de cualquier combinación de texto, audio e imágenes. Posteriormente, Google también lanzó su último producto de inteligencia artificial multimodal, Gemini 1.5 Pro, al día siguiente.
El 25 de septiembre, Metaverse Platform Company lanzó su último modelo de lenguaje grande de código abierto, Llama 3.2. El director ejecutivo de la compañía, Mark Zuckerberg, dijo en el discurso de apertura que este es el primer modelo multimodal de código abierto de la compañía que puede procesar texto y datos visuales simultáneamente, lo que marca un progreso significativo de la IA en la comprensión de escenarios de aplicaciones más complejos.
Promoviendo silenciosamente cambios en diversos campos
La IA multimodal está cambiando silenciosamente la faz de muchos campos.
En el campo de la atención médica, "Watson Health" de IBM está analizando exhaustivamente los datos de imágenes de los pacientes, el texto de los registros médicos y los datos genéticos para ayudar a los médicos a diagnosticar enfermedades con mayor precisión y apoyar firmemente a los médicos en la formulación de planes de tratamiento personalizados para los pacientes.
Las industrias creativas también están experimentando una transformación. Los cineastas y expertos en marketing digital están aprovechando esta tecnología para crear contenido personalizado. Imagínese, con solo un simple mensaje o concepto, un sistema de inteligencia artificial puede escribir un guión convincente, generar un guión gráfico (una serie de ilustraciones dispuestas juntas para formar una historia visual), crear una banda sonora e incluso producir cortes de escenas preliminares.
El campo de la educación y la formación también avanza hacia el aprendizaje personalizado con la ayuda de la IA multimodal. La plataforma de aprendizaje adaptativo desarrollada por Newton Company en los Estados Unidos puede utilizar IA multimodal para analizar en profundidad los comportamientos, expresiones y voces de aprendizaje de los estudiantes, y ajustar el contenido y la dificultad de la enseñanza en tiempo real. Los datos experimentales muestran que este método puede mejorar la eficiencia del aprendizaje de los estudiantes en un 40%.
El servicio al cliente es también una de las interesantes aplicaciones de los sistemas de IA multimodal. Los chatbots no sólo pueden responder a consultas de texto, sino que también pueden comprender el tono de voz de un cliente, analizar sus expresiones faciales y responder con un lenguaje y señales visuales apropiados. Esta comunicación más humana promete revolucionar la forma en que las empresas interactúan con los clientes.
Aún es necesario superar los desafíos de la ética tecnológica
Sin embargo, el desarrollo de la IA multimodal también enfrenta muchos desafíos.
Henry Idel, fundador de la empresa consultora de IA Hidden Space, dijo que el poder de la IA multimodal radica en su capacidad para integrar múltiples tipos de datos. Sin embargo, cómo integrar eficazmente estos datos sigue siendo un problema técnico.
Además, los modelos de IA multimodal suelen consumir una gran cantidad de recursos informáticos durante su funcionamiento, lo que sin duda aumenta los costes de su aplicación.
Más notablemente, los datos multimodales contienen más información personal. Cuando los sistemas de IA multimodal pueden identificar fácilmente rostros, voces e incluso estados emocionales, ¿cómo garantizar que se respete y proteja la privacidad personal? ¿Y cómo se pueden tomar medidas efectivas para evitar que se utilicen para crear “deepfakes” u otros contenidos engañosos? Todas estas son preguntas que vale la pena reflexionar.