En el campo de la inteligencia artificial, la tecnología de ajuste de dominio cruzado se está convirtiendo en una solución clave para proteger los derechos de propiedad del modelo y la privacidad de los datos. Recientemente, un equipo de investigación conjunto de Ant Digital Technology, la Universidad de Zhejiang, la Universidad de Liverpool y la Universidad Normal de East China propusieron un marco innovador llamado Scaleot en la conferencia AAAI2025. Si bien mantiene el rendimiento del modelo sin pérdidas, este marco mejora la protección de la privacidad en un 50% y reduce el consumo de energía informática en un 90% en comparación con la tecnología de destilación de conocimiento tradicional. Este resultado innovador proporciona una solución eficiente y liviana para el ajuste de dominio cruzado del modelo de parámetros de diez miles de millones de niveles. Su documento fue seleccionado como el informe oral de AAAI para su innovación. El número de presentaciones en esta conferencia fue cercana a 13,000, y la proporción de informes orales fue de solo 4.6%.
La tecnología de ajuste de dominio cruzado convierte el modelo grande en un emulador a través de la compresión con pérdida. El titular de datos entrena el adaptador en función de él y lo devuelve al modelo grande para completar el ajuste, asegurando así que ni los datos ni el modelo están fuera del dominio y protegen la privacidad de ambas partes. Sin embargo, la técnica anterior tiene algunas limitaciones: primero, el enfoque de "bloque de construcción uniforme" puede conducir fácilmente a la pérdida de capas clave del modelo, reduciendo así significativamente el rendimiento; En segundo lugar, el uso de la tecnología de destilación para compensar las pérdidas de rendimiento conducirá a altos costos computacionales; Además, los métodos existentes carecen de flexibilidad en la protección de la privacidad.
El marco de escala propuesto por el equipo técnico de Tecnología Digital Ant equilibra con éxito el rendimiento del modelo y la seguridad de la privacidad a través de tres ideas innovadoras. Primero, el marco utiliza el escaneo de aprendizaje de refuerzo para identificar automáticamente las capas clave mediante la evaluación de la importancia de la capa inteligente del modelo grande, reduciendo así las pérdidas de rendimiento. En segundo lugar, la capa original retenida está "codificada" para evitar que los atacantes restauren el modelo original y mejoren la fuerza de protección de la privacidad con un rendimiento casi sin pérdidas. Finalmente, el marco de escala se puede ensamblar de manera flexible de acuerdo con diferentes escenarios para lograr una fuerza de privacidad ajustable.
Resolver los problemas de privacidad y seguridad de los datos y modelos es un tema importante para los grandes modelos para implementar en la industria, especialmente en la industria financiera. Este algoritmo innovador de Ant Digital se ha integrado en su producto de protección de privacidad de Moss Big Model, y se ha convertido en uno de los primeros productos en China en aprobar el Instituto de Tecnología de Información y Comunicaciones para realizar pruebas especiales sobre productos ambientales que son confiables. La aplicación exitosa de esta tecnología no solo proporciona una solución de implementación de modelo más segura para la industria financiera, sino que también establece un punto de referencia para aplicaciones modelo a gran escala en otras industrias.
Con el desarrollo continuo de la tecnología de inteligencia artificial, la tecnología de ajuste de dominio cruzado desempeñará un papel importante en más campos. La propuesta del marco de escala no solo proporciona nuevas ideas para el equilibrio entre el rendimiento del modelo y la seguridad de la privacidad, sino que también establece una base sólida para la aplicación generalizada de grandes modelos en el futuro. Este logro innovador de la tecnología Digital Ant y sus socios sin duda promoverá el desarrollo adicional de la tecnología de inteligencia artificial en el campo de la protección de la privacidad.