El rápido progreso de la tecnología de inteligencia artificial está remodelando la estructura de la industria de la tecnología, y muchos gigantes de la tecnología se han dedicado a la investigación y el desarrollo y el despliegue de los sistemas de "agente de inteligencia artificial". Estos sistemas inteligentes pueden realizar tareas complejas de forma independiente sin la necesidad de una intervención humana continua, lo que demuestra un potencial de automatización sin precedentes. Las empresas como Microsoft y Anthrope han tomado la iniciativa al lanzar sus respectivas soluciones de proxy de IA. decisión. .
Según los medios de tecnología autorizados "la información", la actitud cautelosa de OpenAI se deriva principalmente de las preocupaciones sobre los ataques de "inyección rápida". Este nuevo tipo de ataque cibernético puede inducir a los sistemas de IA a ejecutar instrucciones maliciosas, lo que causa graves riesgos de seguridad. Por ejemplo, cuando un usuario autoriza a un agente de IA para comprar en línea, el sistema puede ser inducido a acceder a sitios web maliciosos y realizar operaciones peligrosas, como robar información de correo electrónico del usuario o datos de tarjetas de crédito. Esta vulnerabilidad de seguridad no solo puede conducir a una fuga de privacidad del usuario, sino que también causa daños irreparables a la reputación de la marca de Openi.
Lo único de los sistemas proxy de IA es que tienen la capacidad de operar computadoras de forma independiente, lo que los hace enfrentar mucho más riesgos de seguridad que los sistemas de IA tradicionales. Una vez pirateados, estos agentes pueden causar daños sistémicos a los activos digitales de los usuarios. El técnico interno de OpenAI admitió que, aunque es probable que todos los modelos de idiomas grandes sean atacados, las características de autonomía de los agentes de IA amplifican significativamente este riesgo.
La amenaza de inyectar ataques no es infundada, y este riesgo se ha verificado completamente en otras plataformas. El año pasado, un experto en ciberseguridad demostró con éxito cómo manipular el sistema de AI de copilot de Microsoft para filtrar información confidencial de las organizaciones, incluidos los registros de contenido de correo electrónico y transacciones bancarias. Aún más impactante es que los atacantes pueden enviar correos electrónicos falsos que imitan el estilo de escritura de empleados específicos, destacando la vulnerabilidad de los sistemas de IA en términos de protección de seguridad.
El producto insignia de OpenAI, ChatGPT, también ha sido probado por ataques de inyección inmediatos. Los investigadores implantaron con éxito la falsa "memoria" al cargar archivos de terceros (como documentos de Word), y este experimento expuso completamente las vulnerabilidades potenciales en el sistema de IA. Ante un desafío de seguridad tan severo, el equipo de OpenAI expresó sorpresa por la actitud suelta de su competidor Anthrope cuando lanzó su agente de IA. Anthrope solo aconseja a los desarrolladores que "tomen medidas para aislar a Claude de datos confidenciales", una medida de seguridad relativamente simple que obviamente es difícil de manejar con amenazas cibernéticas cada vez más complejas.
Se informa que Operai puede lanzar su producto proxy de IA este mes. Sin embargo, la cuestión de la preocupación común en la industria es: ¿es el tiempo adicional que el equipo de desarrollo ha adquirido lo suficiente como para construir un sistema de protección de seguridad lo suficientemente fuerte? Con el rápido desarrollo de la tecnología de IA, cómo encontrar un equilibrio entre la innovación y la seguridad será un problema importante que enfrenta todas las compañías de IA.
Puntos centrales:
Operai retrasó la liberación de agentes de IA debido a los riesgos de seguridad de inyectar ataques, destacando los riesgos potenciales de los sistemas de IA.
Aunque empresas como Microsoft y Anthrope han lanzado productos de AI Agent, las medidas de protección de seguridad aún son insuficientes.
Openai está trabajando para mejorar el rendimiento de seguridad de sus productos para lidiar con amenazas cibernéticas cada vez más complejas.