人工知能の分野では、クロスドメインの微調整技術は、モデルの財産権とデータプライバシーを保護するための重要なソリューションになりつつあります。最近、ANT Digital Technologyの共同研究チーム、Zhijiang University、Liverpool University、およびEast China Normal Universityは、AAAI2025会議でSmalotと呼ばれる革新的なフレームワークを提案しました。モデルのパフォーマンスを紛失したままにしている間、このフレームワークはプライバシー保護を50％改善し、従来の知識蒸留技術と比較してコンピューティング電力消費を90％削減します。この画期的な結果は、10億レベルのパラメーターモデルのクロスドメイン微調整のための効率的で軽量のソリューションを提供します。その論文は、その革新のためにAAAIの口頭報告書として選ばれました。この会議での提出の数は13,000人に近く、口頭報告の割合はわずか4.6％でした。
クロスドメインの微調整技術は、大きなモデルを喪失した圧縮を介してエミュレータに変換します。データホルダーは、それに基づいてアダプターをトレーニングし、ビッグモデルに戻してチューニングを完了するため、データもモデルもドメインから外れず、両当事者のプライバシーを保護しないようにします。ただし、以前のアートにはいくつかの制限があります。まず、「均一なビルディングブロック」アプローチは、モデルの重要な層の損失に簡単につながり、それによってパフォーマンスを大幅に削減できます。第二に、パフォーマンスの損失を補うために蒸留技術を使用すると、高い計算コストが発生します。さらに、既存の方法には、プライバシー保護の柔軟性がありません。
ANTデジタルテクノロジーテクニカルチームによって提案されたScaleOTフレームワークは、3つの革新的なアイデアを通じてモデルのパフォーマンスとプライバシーセキュリティのバランスを確保します。まず、フレームワークでは、補強学習スキャンを使用して、大きなモデルのスマート層の重要性を評価することにより、キーレイヤーを自動的に識別し、それによってパフォーマンスの損失を減らします。第二に、保持された元のレイヤーは、攻撃者が元のモデルを復元し、ほとんど損失のないパフォーマンスでプライバシー保護強度を改善するのを防ぐために「コーディング」されます。最後に、スケーロットフレームワークをさまざまなシナリオに従って柔軟に組み立てて、調整可能なプライバシー強度を実現できます。
データとモデルのプライバシーとセキュリティの問題を解決することは、業界、特に金融業界で実装するための大きなモデルにとって重要な問題です。 ANT Digitalのこの革新的なアルゴリズムは、Moss Big Model Privacy Protection Productに統合されており、信頼できる環境製品に関する特別なテストを実施するための情報通信技術研究所に合格した中国で最初の製品の1つになりました。このテクノロジーのアプリケーションの成功は、金融業界向けのより安全なモデル展開ソリューションを提供するだけでなく、他の業界での大規模なモデルアプリケーションのベンチマークを設定します。
人工知能技術の継続的な開発により、ドメインのクロスチューニング技術は、より多くの分野で重要な役割を果たします。 ScaleT Frameworkの提案は、モデルのパフォーマンスとプライバシーセキュリティのバランスに関する新しいアイデアを提供するだけでなく、将来の大規模なモデルの広範なアプリケーションの強固な基盤をもたらします。 ANTデジタルテクノロジーとそのパートナーのこの革新的な成果は、プライバシー保護の分野での人工知能技術のさらなる開発を間違いなく促進するでしょう。