Recientemente, el editor de Downcodes se enteró de que Anna Makanju, vicepresidenta de Asuntos Globales de OpenAI, compartió sus puntos de vista sobre el sesgo de la inteligencia artificial en la "Cumbre Futura" de las Naciones Unidas, centrándose en el modelo de inferencia o1 de OpenAI. Ella cree que el modelo puede reducir significativamente el sesgo en los sistemas de IA y explica su mecanismo de autoidentificación y corrección de respuestas sesgadas. Sin embargo, los resultados reales de las pruebas fueron diferentes de las expectativas, lo que llevó a la industria a pensar más en el rendimiento real de los modelos de IA.
Recientemente, Anna Makanju, vicepresidenta de asuntos globales de OpenAI, expresó su opinión sobre el sesgo de la inteligencia artificial en la “Cumbre del Futuro” de las Naciones Unidas.
Mencionó que los modelos de "inferencia" como el o1 de OpenAI pueden reducir significativamente el sesgo en los sistemas de IA. Entonces, ¿cómo hace esto O1? Makanju explicó que los modelos pueden autoidentificar el sesgo en las respuestas y seguir más de cerca las reglas para no producir respuestas "dañinas".
Dijo que el modelo O1 pasa más tiempo evaluando sus propias respuestas cuando se enfrenta a un problema y es capaz de comprobarlo a sí mismo: "Es capaz de decir: 'Así es como resolvería este problema', y luego mirar su propia respuesta para ver 'Oh, podría haber un error en el razonamiento aquí'". Incluso enfatizó que hago un trabajo "casi perfecto" al analizar mis propios sesgos, y que mejorará cada vez más a medida que avance la tecnología.
Sin embargo, esta afirmación "casi perfecta" parece una exageración. Las pruebas internas de OpenAI encontraron que o1 no tuvo un buen desempeño en algunas pruebas de sesgo en comparación con los modelos de "no inferencia", incluido su propio GPT-4o. En cuestiones relacionadas con la raza, el género y la edad, o1 tuvo un desempeño incluso peor que GPT-4o en algunos casos. Aunque o1 obtuvo mejores resultados en términos de discriminación implícita, en términos de discriminación explícita, fue más prominente en cuestiones de edad y raza.
Lo que es aún más interesante es que la versión económica de o1, el o1-mini, tuvo un desempeño aún peor. Las pruebas muestran que o1-mini tiene una mayor probabilidad de discriminación explícita por género, raza y edad que GPT-4o, y su discriminación implícita por edad también es más obvia.
Además de esto, los modelos de inferencia actuales tienen muchas limitaciones. OpenAI también admite que o1 aporta beneficios mínimos a algunas tareas. La respuesta es lenta y algunas preguntas tardan más de 10 segundos en responderse. Además, el costo de o1 no se puede subestimar y el costo de funcionamiento es de 3 a 4 veces mayor que el de GPT-4o.
Si los modelos de inferencia de los que habla Makanju son de hecho la mejor manera de lograr una IA justa, entonces necesitarán mejorar en aspectos distintos del sesgo para convertirse en una alternativa viable. De lo contrario, sólo los clientes con mucho dinero y la voluntad de soportar todo tipo de problemas de latencia y rendimiento se beneficiarán realmente.
Destacar:
Se dice que el modelo o1 de OpenAI reduce significativamente el sesgo de la IA, pero los resultados de las pruebas muestran que no funciona tan bien como se esperaba.
o1 funciona mejor que GPT-4o en discriminación implícita, pero es peor en discriminación explícita.
El modelo de inferencia o1 es costoso y lento, y aún necesita mejorarse en muchos aspectos en el futuro.
Con todo, al modelo o1 de OpenAI todavía le queda un largo camino por recorrer para reducir el sesgo de la IA. Si bien su mecanismo de autocorrección es impresionante, el alto costo y las limitaciones de velocidad, así como el hecho de que funciona mal en algunas pruebas de sesgo, indican que esta tecnología aún está en su infancia y todavía está bastante lejos de las aplicaciones prácticas. . El editor de Downcodes seguirá prestando atención al desarrollo de este campo.