No campo da inteligência artificial, a tecnologia de ajuste fina de domínio cruzado está se tornando uma solução essencial para proteger os direitos de propriedade e privacidade de dados. Recentemente, uma equipe de pesquisa conjunta da Ant Digital Technology, da Universidade Zhejiang, da Universidade Liverpool e da Universidade Normal da China Oriental propôs uma estrutura inovadora chamada Scaleot na Conferência AAAI2025. Embora mantenha o modelo sem perda de desempenho, essa estrutura melhora a proteção da privacidade em 50% e reduz o consumo de energia da computação em 90% em comparação com a tecnologia tradicional de destilação de conhecimento. Esse resultado inovador fornece uma solução eficiente e leve para o ajuste fino do domínio cruzado do modelo de parâmetros de dez bilhões de níveis. Seu artigo foi selecionado como o relatório oral da AAAI para sua inovação. O número de envios nesta conferência foi de quase 13.000, e a proporção de relatórios orais foi de apenas 4,6%.
A tecnologia de ajuste fina de domínio cruzado converte o grande modelo em um emulador por meio de compressão com perdas. O titular de dados treina o adaptador com base nele e o devolve ao grande modelo para concluir o ajuste, garantindo assim que nem os dados nem o modelo estejam fora do domínio e protegendo a privacidade de ambas as partes. No entanto, a arte anterior tem algumas limitações: primeiro, a abordagem de "bloco de construção uniforme" pode facilmente levar à perda de camadas -chave do modelo, reduzindo significativamente o desempenho; Segundo, o uso da tecnologia de destilação para compensar as perdas de desempenho levará a altos custos computacionais; Além disso, os métodos existentes não têm flexibilidade na proteção da privacidade.
A estrutura Scaleot proposta pela equipe técnica da Ant Technology Balance com sucesso o desempenho do modelo e a segurança da privacidade por meio de três idéias inovadoras. Primeiro, a estrutura usa a digitalização de aprendizado de reforço para identificar automaticamente as principais camadas, avaliando a importância da camada inteligente do grande modelo, reduzindo assim as perdas de desempenho. Em segundo lugar, a camada original retida é "codificada" para impedir que os invasores restaurerem o modelo original e melhorem a força de proteção à privacidade com desempenho quase sem perdas. Finalmente, a estrutura do Scaleot pode ser montada de maneira flexível de acordo com diferentes cenários para obter força de privacidade ajustável.
Resolver as questões de privacidade e segurança de dados e modelos é uma questão importante para os grandes modelos implementarem no setor, especialmente o setor financeiro. Esse algoritmo inovador da Ant Digital foi integrado ao seu produto de proteção de privacidade de Moss Big Model e se tornou um dos primeiros produtos da China a aprovar o Instituto de Tecnologia de Informação e Comunicação para realizar testes especiais sobre produtos ambientais que são confiáveis. A aplicação bem-sucedida dessa tecnologia não apenas fornece uma solução de implantação de modelo mais segura para o setor financeiro, mas também define uma referência para aplicações de modelos em larga escala em outros setores.
Com o desenvolvimento contínuo da tecnologia de inteligência artificial, a tecnologia de ajuste fino de domínio cruzado desempenhará um papel importante em mais campos. A proposta da estrutura do Scaleot não apenas fornece novas idéias para o equilíbrio entre o desempenho do modelo e a segurança da privacidade, mas também estabelece uma base sólida para a aplicação generalizada de grandes modelos no futuro. Essa conquista inovadora da tecnologia digital ANT e de seus parceiros, sem dúvida, promoverá o desenvolvimento adicional da tecnologia de inteligência artificial no campo da proteção da privacidade.