Recientemente, Trilegangers, un sitio web ucraniano que se centra en modelos 3D humanos, encontró ataques de tráfico sin precedentes, lo que provocó que su servidor colapsara. El sitio web se compromete a proporcionar a los artistas 3D y a los desarrolladores de juegos cantidades masivas de datos del modelo 3D del cuerpo humano, pero está en problemas debido al rastreo frecuente del rastreador de OpenAi GPTBOT. Este incidente no solo expuso la amenaza potencial de los rastreadores web a las operaciones del sitio web, sino que también desencadenó amplias discusiones sobre el equilibrio entre la tecnología de IA y la protección contra los derechos de autor.
Según el personal de los Trilegangers, aunque el sitio web prohíbe explícitamente el rastreo y el uso no autorizados en el acuerdo de uso, el servidor se sobrecarga debido a la configuración incorrecta de un archivo robots.txt para evitar que los rastreadores accedan. Según el registro del servidor, GPTBot Crawler de OpenAI inició decenas de miles de solicitudes a través de más de 600 direcciones IP diferentes, lo que resultó en que el sitio web no pudiera funcionar normalmente, similar a encontrar un ataque distribuido de denegación de servicio (DDoS). Esta situación no solo afecta el funcionamiento normal del sitio web, sino que también causa grandes inconvenientes para los usuarios.
Openai mencionó en su descripción de Crawler que si el sitio web no quiere que GPTBOT rastree el contenido, debe configurarse en el archivo robots.txt. Sin embargo, los trilegangers no son conscientes de esto, lo que lleva al dilema actual. Aunque la ley no requiere archivos robots.txt, si el sitio web ha declarado que está prohibido el uso no autorizado, el comportamiento de rastreo de GPTBOT aún puede violar las regulaciones relevantes. Este incidente recuerda a los operadores del sitio web la importancia de la configuración técnica, y también desencadena pensar en la ética de la aplicación de la tecnología de IA.
Además, debido al uso de los servidores de Amazon AWS, el consumo de trilegangers en el ancho de banda y el tráfico también ha aumentado dramáticamente, lo que provoca una presión de costo adicional. En respuesta a esta emergencia, Trilegangers ha tomado medidas para configurar el archivo de robots correcto y bloquear a múltiples rastreadores, incluido GPTBOT a través de CloudFlare. Esta lección también proporciona una referencia valiosa para otros sitios web.
Este incidente ha despertado la atención de las personas al comportamiento de los rastreadores de redes, especialmente en el contexto del creciente desarrollo de la tecnología de IA. Con el avance continuo de la tecnología de IA, el comportamiento de los rastreadores de red se volverá más complejo y oculto. Este incidente no es solo un desafío para los trilegangers, sino también una advertencia para toda la industria de Internet.