El rápido desarrollo de la IA generativa, especialmente la serie de modelos GPT, ha aportado nuevas posibilidades a muchos campos. Desde la mejora significativa en los puntajes de los exámenes de la barra hasta su aplicación en el campo empresarial, GPT-4 ha demostrado sus poderosas capacidades. Sin embargo, algunos expertos de la industria han cuestionado la capacidad de comprensión y confiabilidad de la IA generativa actual, creyendo que su capacidad de razonamiento y comprensión del mundo aún son insuficientes y que el desarrollo futuro aún enfrenta muchos desafíos. El editor de Downcodes lo llevará a explorar en profundidad la dirección de desarrollo futuro de la IA generativa, así como las oportunidades y desafíos que enfrenta la industria nacional de IA generativa.
¿Dónde está la dirección futura del desarrollo de la IA generativa?
Es innegable que el GPT-4 actual ha mejorado enormemente en muchas capacidades. En comparación con GPT-3.5, el rendimiento de GPT-4 en campos profesionales complejos ha mejorado enormemente y su capacidad de razonamiento lógico también es más fuerte. En el examen de calificación del Colegio de Abogados de EE. UU., la puntuación de GPT-4 puede alcanzar el 10% superior, pero GPT-4. 3,5 sólo puede alcanzar el nivel inferior del 10%.
Fuente de la imagen: IA abierta
La mejora sustancial de las capacidades también permite que Chat GPT abra más escenarios de uso. En la actualidad, Open AI proporciona oficialmente varios escenarios de aplicaciones importantes, como agregar AI a Duolingo para chatear con los usuarios diariamente para acelerar el aprendizaje de idiomas de los usuarios. Morgan Stanley utiliza GPT-4 para administrar su base de conocimientos para ayudar a los empleados a acceder rápidamente; contenido que deseas.
Sin embargo, muchos grandes nombres tienen dudas sobre las capacidades actuales de GPT. Stuart Russell señaló en su discurso que Chat GPT y GPT-4 no entienden el mundo ni "responden" preguntas. El modelo de lenguaje grande actual es solo una pieza del rompecabezas que falta actualmente en este rompecabezas. eventualmente parecerá, estos son inciertos. Muchas deficiencias en las capacidades determinan también que todavía queda un largo camino por recorrer para desarrollar la inteligencia artificial general. Debido a varias dudas sobre las capacidades de GPT-4, Stuart Russell también estuvo modificando el PPT durante el discurso de Sam Altman.
Fuente de la imagen: Conferencia de Sabiduría
Yang Likun, ganador del Premio Turing, uno de los "Tres Grandes del Aprendizaje Profundo" y científico jefe de inteligencia artificial de Meta, también comparte la misma opinión que Stuart Russell. Él cree que el actual modelo autorregresivo de GPT carece de planificación, lo que resulta en una falta de planificación. su capacidad de razonamiento Actualmente no es posible si se genera un modelo de lenguaje grande basado en la probabilidad, es esencialmente imposible resolver el problema de los errores. Cuando aumenta el texto de entrada, la probabilidad de errores también aumentará exponencialmente.
De hecho, las acusaciones de los dos grandes contra GPT no son descabelladas. Debido a que el algoritmo RLHF utilizado por Chat GPT se basa en la percepción humana, permite que el modelo juzgue la calidad de sus propias respuestas y se entrene para dar gradualmente respuestas de mayor calidad. Si desea mejorar la capacidad de razonamiento del modelo, debe complementar una gran cantidad de parámetros en la base de datos e iterar continuamente el algoritmo.
Fuente: Valores del suroeste
Sin embargo, la existencia de diversos riesgos también impide que muchas empresas de IA generativa lo intenten fácilmente. Si la IA generativa puede lograr la misma capacidad de razonamiento de historias y de creación de emociones en los personajes que un escritor de novelas, ¿esto hará que la IA generativa esté completamente fuera del control humano? Si bien esto está causando pánico global, ¿también encontrará una fuerte supervisión por parte de los gobiernos locales, lo que hará que las inversiones anteriores en IA generativa sean en vano?
En cuanto a la dirección futura del desarrollo de la IA generativa, la respuesta de Yang Likun es el modelo mundial. Este modelo mundial no es solo un modelo que imita el cerebro humano a nivel neuronal, sino también un modelo mundial que se ajusta completamente a las particiones del cerebro humano en términos de módulos cognitivos. La mayor diferencia entre este y el modelo de lenguaje grande es que puede. tener capacidades de planificación y predicción (modelo mundial) y capacidades de cálculo de costos (módulo de costos).
Con la ayuda del modelo mundial, podemos comprender mejor el mundo y predecir y planificar el futuro. A través del módulo de contabilidad de costos, combinado con una demanda simple (el futuro debe planificarse de acuerdo con la lógica que ahorre la mayor cantidad de costos de acción). puede eliminar todos los posibles venenos y consecuencias innecesarias.
Fuente de la imagen: Conferencia de Sabiduría
Pero el problema son los parámetros, algoritmos, costos, etc. del modelo mundial durante el entrenamiento. Yang Likun simplemente dio algunas ideas estratégicas. Por ejemplo, utilizar modelos autosupervisados para entrenar y establecer modelos de pensamiento multinivel, etc., pero Yang Likun no pudo dar un plan completo sobre cómo implementarlo.
Otros participantes no compartieron sus puntos de vista sobre la dirección futura del desarrollo de la IA generativa. Por lo tanto, la IA generativa posterior seguirá manteniendo una situación en la que cada empresa "hace lo suyo" y la IA generativa unificada globalmente puede permanecer sólo en la etapa de laboratorio.
03. Predicción de IA generativa nacional
El profesor Huang Tiejun, presidente del Instituto de Investigación Zhiyuan, dijo en una entrevista con los medios después de la reunión que el problema actual con los grandes modelos nacionales de IA generativa es que la industria está sobrecalentada, pero los datos de entrenamiento son demasiado pequeños y las decenas de miles de millones. de modelos apenas están surgiendo. Aunque hay algunas capacidades técnicas entre ellos, debido a esfuerzos repetitivos, mientras que los recursos de la industria se están volviendo más dispersos, todavía existe una cierta brecha entre su nivel de inteligencia y los grandes modelos de IA generativos extranjeros.
Como dijo el profesor Huang Tiejun, tomemos como ejemplo el gran modelo "Tongyi Qianwen" propiedad de Alibaba, porque los datos utilizados para entrenar este gran modelo son una gran cantidad de conversaciones chinas y conversaciones extraídas de Taobao, Alipay, Tmall y otras industrias de Alibaba. La cantidad de datos de preentrenamiento para datos de texto, así como datos de texto de algunas otras fuentes, es de aproximadamente 200 mil millones de palabras, lo que equivale a 14 TB de datos de texto.
El volumen de datos de entrenamiento de Chat GPT es de aproximadamente 4.500 millones de palabras, lo que equivale a 300 GB de datos de texto. Los datos de entrenamiento son relativamente pequeños, por lo que "Tongyi Qianwen" de Alibaba también carece de capacidades multimodales. En términos de texto, ambos están muy por detrás de GPT-4.
Según los datos del "Informe de evaluación de capacidad integral de modelos de lenguaje grande 2023" publicado por el Centro de investigación InfoQ, Chat GPT actualmente lidera a otros fabricantes nacionales de modelos grandes con una puntuación integral del 77,13%.
Fuente: "Informe de evaluación de capacidades integrales del modelo de lenguaje grande 2023"
Al mismo tiempo, el profesor Huang Tiejun también señaló que los grandes modelos actuales son un producto intermedio de la iteración tecnológica. Con el posterior desarrollo de la industria nacional de grandes modelos, el número razonable de grandes ecosistemas de modelos que pueden sobrevivir en el futuro es de aproximadamente tres. .
Como dijo el profesor Huang Tiejun, Ma Huateng señaló en una reunión de alto nivel dentro de Tencent que los dividendos del mercado C-end desaparecerán en los próximos diez años. Toda la esperanza está en el mercado ToB-end y en la segunda mitad. de Internet pertenece a la Internet industrial. El Ali Business Research Institute ha señalado anteriormente que los próximos diez años serán una oportunidad de oro para la transformación de las empresas tradicionales.
Sin embargo, desde la perspectiva del mercado ToB, tomando como referencia el mercado SaaS que se ha estado desarrollando durante muchos años, si un modelo grande quiere realmente abrir el mercado ToB, su núcleo debe ser aportar el valor de "reducción de costos y "aumento de la eficiencia" a los clientes, especialmente en la actual era de incertidumbre. Esto es especialmente cierto cuando algunas industrias todavía permanecen al margen de los modelos grandes. Basados principalmente en las industrias manufactureras tradicionales, los problemas comunes actuales que enfrentan las industrias manufactureras tradicionales pequeñas y medianas son la reducción de los pedidos, la industria ha estado librando guerras de precios y los ciclos de cobro de pagos posteriores se han vuelto más largos. Actualmente, las industrias están luchando por mantenerse a sí mismas. Para evitar altos costos de prueba y error, muchas pequeñas y medianas empresas fabricantes, naturalmente, no se atreven a probar fácilmente el uso de modelos grandes.
Y a juzgar por la historia de desarrollo de la industria SaaS, la industria nacional SaaS marcó el comienzo de un pico de crecimiento en 2015 después de experimentar 10 años de calma desde principios de 2004. Desde el estallido de la epidemia en 2020, la epidemia ha acelerado la transformación digital de las empresas y el mercado nacional de SaaS ha entrado en un período de crecimiento crítico. Pero aun así, el actual ecosistema de la industria nacional de SaaS aún no está completo y el mercado aún no está maduro.
Fuente de la imagen: Nube Flash
Evidentemente, la apertura del mercado TOB para modelos grandes no se produce de la noche a la mañana, sino que es un proceso extremadamente lento. Además, los costos incurridos por los algoritmos, la potencia informática y los datos durante la iteración del modelo, incluido el posterior lanzamiento de diversas funciones, requieren que las grandes empresas de modelos inviertan continuamente grandes cantidades de fondos.
La comercialización lleva mucho tiempo, la inversión de capital es elevada y es difícil obtener beneficios a corto plazo. En el futuro, las empresas que carezcan de flujo de caja no tendrán más remedio que cerrar sus propios grandes modelos ante la presión financiera. Y los recursos de la industria serán aún más difíciles de concentrar en los fabricantes de modelos de cabeza grande.
A juzgar por la experiencia de muchas industrias, como la de transporte privado y la entrega de alimentos, después de muchos años de agitación en una industria emergente, solo unas tres empresas pueden desarrollarse realmente en el futuro, y muchas otras empresas han quedado sumergidas en la historia. río largo.
Considerándolo todo, la IA generativa se encuentra en una etapa de rápido desarrollo, con oportunidades y desafíos. En el futuro, los modelos mundiales pueden convertirse en una importante dirección de desarrollo, pero su implementación aún enfrenta muchos problemas técnicos y comerciales. La industria nacional de IA generativa también necesita resolver problemas como la escala de datos y la comercialización para destacar en la feroz competencia. El editor de Downcodes continuará prestando atención a las tendencias en este campo y brindará contenido más interesante a los lectores.