Dans le domaine de l'intelligence artificielle, la technologie de réglage des amendes transversales devient une solution clé pour protéger les droits de propriété des modèles et la confidentialité des données. Récemment, une équipe de recherche conjointe d'Ant Digital Technology, de l'Université du Zhejiang, de l'Université de Liverpool et de l'Université normale de la Chine orientale a proposé un cadre innovant appelé Scaleot lors de la conférence AAAI2025. Tout en gardant le modèle Performance sans perte, ce cadre améliore la protection de la vie privée de 50% et réduit la consommation d'énergie informatique de 90% par rapport à la technologie traditionnelle de la distillation des connaissances. Ce résultat révolutionnaire fournit une solution efficace et légère pour le réglage fin du domaine transversal du modèle de paramètres de dix milliards de dollars. Son article a été sélectionné comme rapport oral d'AAAI pour son innovation. Le nombre de soumissions lors de cette conférence était proche de 13 000 et la proportion de rapports oraux n'était que de 4,6%.
La technologie de réglage fin du domaine croisé convertit le grand modèle en émulateur grâce à une compression avec perte. Le support de données forme l'adaptateur en fonction de celui-ci et le renvoie au Big Model pour terminer le réglage, garantissant ainsi que ni les données ni le modèle ne sont hors du domaine et la protection de l'intimité des deux parties. Cependant, l'art antérieur a certaines limites: premièrement, l'approche du «bloc de construction uniforme» peut facilement entraîner la perte de couches clés du modèle, ce qui réduit considérablement les performances; Deuxièmement, l'utilisation de la technologie de distillation pour compenser les pertes de performances entraînera des coûts de calcul élevés; De plus, les méthodes existantes manquent de flexibilité dans la protection de la vie privée.
Le framework Scaleot proposé par l'équipe technique d'Ant Digital Technology équilibre avec succès les performances du modèle et la sécurité de la confidentialité grâce à trois idées innovantes. Premièrement, le cadre utilise la numérisation d'apprentissage du renforcement pour identifier automatiquement les couches clés en évaluant l'importance de la couche intelligente du gros modèle, réduisant ainsi les pertes de performances. Deuxièmement, la couche d'origine conservée est "codée" pour empêcher les attaquants de restaurer le modèle d'origine et d'améliorer la force de protection de la vie privée avec des performances presque sans perte. Enfin, le framework Scaleot peut être assemblé de manière flexible en fonction de différents scénarios pour obtenir une force de confidentialité réglable.
La résolution des problèmes de confidentialité et de sécurité des données et des modèles est un problème important pour les grands modèles à mettre en œuvre dans l'industrie, en particulier l'industrie financière. Cet algorithme innovant d'Ant Digital a été intégré à son produit de protection de la vie privée MOSS Big Model, et est devenu l'un des premiers produits en Chine à adopter l'Institut des technologies de l'information et des communications à effectuer des tests spéciaux sur des produits environnementaux dignes de confiance. L'application réussie de cette technologie fournit non seulement une solution de déploiement de modèle plus sûre pour le secteur financier, mais établit également une référence pour les applications de modèles à grande échelle dans d'autres industries.
Avec le développement continu de la technologie de l'intelligence artificielle, la technologie de réglage des fines interdomaines jouera un rôle important dans davantage de domaines. La proposition du framework Scaleot fournit non seulement de nouvelles idées pour l'équilibre entre les performances du modèle et la sécurité de la confidentialité, mais jette également une base solide pour l'application généralisée de grands modèles à l'avenir. Cette réalisation innovante de la technologie numérique ANT et de ses partenaires favorisera sans aucun doute le développement ultérieur de la technologie de l'intelligence artificielle dans le domaine de la protection de la vie privée.