Auf dem Gebiet der künstlichen Intelligenz wird die Cross-Domain-Feinabstimmungstechnologie zu einer wichtigen Lösung zum Schutz der Rechte des Modells und der Datenschutz. Kürzlich schlug ein gemeinsames Forschungsteam der Ant -Digital -Technologie, der Zhejiang University, der Liverpool University und der East China Normal University einen innovativen Rahmen vor, der als Scaleot auf der AAAI2025 -Konferenz namens Scaleot vorgeschlagen wurde. Dieser Rahmen hält zwar die Modellleistung verlustlos und verbessert den Datenschutzschutz um 50% und reduziert den Rechenleistungsverbrauch im Vergleich zur herkömmlichen Wissensdestillationstechnologie um 90%. Dieses bahnbrechende Ergebnis liefert eine effiziente und leichte Lösung für die Fine-Tuning des Parametermodells auf zehn Milliarden Billionen. Sein Papier wurde als mündlicher Bericht von AAAI für seine Innovation ausgewählt. Die Anzahl der Einreichungen auf dieser Konferenz lag bei fast 13.000, und der Anteil der mündlichen Berichte betrug nur 4,6%.
Die Cross-Domain-Feinabstimmungstechnologie wandelt das große Modell durch verlustige Komprimierung in einen Emulator um. Der Datenhalter trainiert den darauf basierenden Adapter und gibt ihn an das große Modell zurück, um die Abstimmung zu vervollständigen, so Die frühere Kunst hat jedoch einige Einschränkungen: Erstens kann der Ansatz „einheitlicher Baustein“ leicht zum Verlust der Schlüsselschichten des Modells führen und die Leistung erheblich verringern. Zweitens wird der Einsatz von Destillationstechnologie zur Ausgleich von Leistungsverlusten zu hohen Rechenkosten führen. Darüber hinaus fehlen vorhandene Methoden Flexibilität beim Schutz des Datenschutzes.
Das von dem technische Team des Ant digitale Technologie -Teams vorgeschlagene Scaleot -Framework gleicht die Modellleistung und die Sicherheit der Datenschutzbekämpfung durch drei innovative Ideen erfolgreich aus. Erstens verwendet das Framework das Scannen von Verstärkungslernen, um wichtige Schichten automatisch zu identifizieren, indem die Bedeutung der intelligenten Schicht des großen Modells bewertet wird, wodurch die Leistungsverluste verringert werden. Zweitens ist die erhaltene ursprüngliche Schicht "codiert", um zu verhindern, dass Angreifer das ursprüngliche Modell wiederherstellen und die Stärke des Datenschutzes mit nahezu verlustfreier Leistung verbessern. Schließlich kann das Scaleot -Framework nach verschiedenen Szenarien flexibel zusammengestellt werden, um eine einstellbare Datenschutzstärke zu erreichen.
Das Lösen der Datenschutz- und Sicherheitsprobleme von Daten und Modellen ist ein wichtiges Thema für große Modelle, die in der Branche, insbesondere in der Finanzbranche, umgesetzt werden. Dieser innovative Algorithmus von ANT Digital wurde in sein Produktschutzprodukt des Moss Big Model Privacy Protection integriert. Die erfolgreiche Anwendung dieser Technologie bietet nicht nur eine sicherere Modelleinsatzlösung für die Finanzbranche, sondern legt auch einen Benchmark für groß angelegte Modellanwendungen in anderen Branchen fest.
Mit der kontinuierlichen Entwicklung der Technologie für künstliche Intelligenz wird die Cross-Domain-Feinabstimmungstechnologie in weiteren Bereichen eine wichtige Rolle spielen. Der Vorschlag des ScaleOT -Frameworks liefert nicht nur neue Ideen für das Gleichgewicht zwischen Modellleistung und Datenschutzsicherheit, sondern bildet auch eine solide Grundlage für die weit verbreitete Anwendung großer Modelle in der Zukunft. Diese innovative Leistung digitaler Technologie und ihrer Partner wird zweifellos die Weiterentwicklung der Technologie für künstliche Intelligenz im Bereich des Schutzes des Datenschutzes fördern.