Recentemente, o TrileGangers, um site ucraniano com foco nos modelos 3D humanos, encontrou ataques de trânsito sem precedentes, fazendo com que seu servidor entre em colapso. O site está comprometido em fornecer a artistas 3D e desenvolvedores de jogos com enormes quantidades de dados do modelo 3D do corpo humano, mas está com problemas por causa do rastreamento frequente do GPTBOT rastreador do Openai. Esse incidente não apenas expôs a ameaça potencial de rastreadores da web às operações do site, mas também desencadeou extensas discussões sobre o equilíbrio entre a tecnologia de IA e a proteção de direitos autorais.
De acordo com a equipe da TrileGangers, embora o site proíba explicitamente o rastreamento não autorizado e o uso no contrato de uso, o servidor está sobrecarregado devido à configuração incorreta do arquivo robots.txt para impedir que os rastreadores acessem. De acordo com o log do servidor, o GPTBOT RAWLELER do OpenAI iniciou dezenas de milhares de solicitações através de mais de 600 endereços IP diferentes, o que resultou no fato de o site não conseguir funcionar normalmente, semelhante a encontrar um ataque de negação de serviço distribuído (DDoS). Essa situação não afeta apenas a operação normal do site, mas também causa grande inconveniente aos usuários.
O Openai mencionou em sua descrição de rastreador que, se o site não quiser que o GPTBOT rastreie conteúdo, ele precisará ser definido no arquivo robots.txt. No entanto, os trilegangers não estão cientes disso, levando ao dilema atual. Embora os arquivos robots.txt não sejam exigidos por lei, se o site declarou que o uso não autorizado é proibido, o comportamento de rastreamento do GPTBOT ainda pode violar os regulamentos relevantes. Esse incidente lembra aos operadores do site a importância das configurações técnicas e também desencadeia pensar sobre a ética da aplicação da tecnologia de IA.
Além disso, devido ao uso de servidores Amazon AWS, o consumo dos trilegangers na largura de banda e o tráfego também aumentou dramaticamente, trazendo pressão de custo adicional. Em resposta a essas emergências, o TrileGangers tomou medidas para configurar os robôs corretos. Esta lição também fornece referência valiosa para outros sites.
Esse incidente despertou a atenção das pessoas ao comportamento dos rastreadores de rede, especialmente no contexto do crescente desenvolvimento da tecnologia de IA. Com o avanço contínuo da tecnologia de IA, o comportamento dos rastreadores de rede se tornará mais complexo e oculto. Esse incidente não é apenas um desafio para os brechangers, mas também um aviso para toda a indústria da Internet.