在人工智能领域，跨域微调技术正成为保护模型产权与数据隐私的关键解决方案。近日，蚂蚁数科、浙江大学、利物浦大学和华东师范大学的联合研究团队在AAAI2025会议上提出了名为ScaleOT的创新框架。这一框架在保持模型性能无损的同时，将隐私保护效果提升了50%，并且与传统的知识蒸馏技术相比，算力消耗降低了90%。这一突破性成果为百亿级参数模型的跨域微调提供了高效且轻量化的解决方案，其论文因创新性被选为AAAI的口头报告，本届大会的投稿量接近13000篇，口头报告比例仅为4.6%。
跨域微调技术通过有损压缩将大模型转换为仿真器，数据持有方基于其训练适配器并返回给大模型完成调优，从而确保数据和模型均未出域，保护双方的隐私。然而，现有技术存在一些局限性：首先，“均匀抽积木”式的处理方式容易导致模型关键层的缺失，从而显着降低性能；其次，使用蒸馏技术来弥补性能损失会带来高昂的计算成本；此外，现有方法在隐私保护方面缺乏灵活性。
蚂蚁数科技术团队提出的ScaleOT框架通过三大创新思路，成功平衡了模型性能与隐私安全。首先，该框架通过评估大模型智能层的重要性，利用强化学习扫描自动识别关键层，动态保留“核心层”，从而降低性能损耗。其次，对保留的原始层进行“打码”，防止攻击者复原原始模型，在几乎无损性能的情况下提升隐私保护强度。最后，ScaleOT框架可以根据不同场景灵活组装，实现隐私强度的可调节。
解决数据和模型的隐私安全问题是大模型在产业界，尤其是金融行业落地的重要课题。蚂蚁数科的这一创新算法已融入其旗下的摩斯大模型隐私保护产品，并且成为国内首批通过信通院大模型可信执行环境产品专项测试的产品之一。这一技术的成功应用，不仅为金融行业提供了更安全的模型部署方案，也为其他行业的大模型应用树立了标杆。
随着人工智能技术的不断发展，跨域微调技术将在更多领域发挥重要作用。 ScaleOT框架的提出，不仅为模型性能与隐私安全的平衡提供了新的思路，也为未来大模型的广泛应用奠定了坚实的基础。蚂蚁数科及其合作伙伴的这项创新成果，无疑将推动人工智能技术在隐私保护领域的进一步发展。