В области искусственного интеллекта технология междоменной тонкой настройки становится ключевым решением для защиты прав собственности на модель и конфиденциальности данных. Недавно совместная исследовательская группа Ant Digital Technology, Университет Чжэцзян, Ливерпульский университет и нормальный университет Восточного Китая предложила инновационную структуру под названием ScaleTot на конференции AAAI2025. Сохраняя модель без потерь производительности, эта структура улучшает защиту конфиденциальности на 50% и снижает вычислительное энергопотребление на 90% по сравнению с традиционной технологией дистилляции знаний. Этот результат прорыва обеспечивает эффективное и легкое решение для междоменной тонкой настройки модели параметров уровня на десять миллиардов. Его статья была выбрана в качестве устного отчета AAAI для его инноваций. Количество представлений на этой конференции было около 13 000, а доля устных отчетов составила всего 4,6%.
Технология мелкой настройки кросс-домен преобразует большую модель в эмулятор посредством сжатия. Держатель данных обучает адаптер на основе его и возвращает его в большую модель, чтобы завершить настройку, обеспечивая тем самым, что ни данные, ни модель не находятся вне домена и защищают конфиденциальность обеих сторон. Тем не менее, предыдущее искусство имеет некоторые ограничения: во -первых, подход «единый строительный блок» может легко привести к потере ключевых слоев модели, тем самым значительно снижая производительность; Во -вторых, использование технологии дистилляции для компенсации потерь производительности приведет к высоким вычислительным затратам; Кроме того, существующие методы не имеют гибкости в защите конфиденциальности.
Структура ScaleT, предложенная технической командой Ant Digital Technology Technical, успешно уравновешивает производительность модели и безопасность конфиденциальности с помощью трех инновационных идей. Во -первых, фреймворк использует сканирование обучения подкрепления для автоматического идентификации ключевых слоев путем оценки важности интеллектуального уровня большой модели, что снижает потери производительности. Во -вторых, сохраняемый оригинальный слой «кодируется», чтобы не позволить злоумышленникам восстановить исходную модель и улучшать силу защиты конфиденциальности с практически без потерь. Наконец, структура ScaleT может быть гибко собрана в соответствии с различными сценариями для достижения регулируемой силы конфиденциальности.
Решение вопросов конфиденциальности и безопасности данных и моделей является важной проблемой для крупных моделей для реализации в отрасли, особенно в финансовой отрасли. Этот инновационный алгоритм Ant Digital был интегрирован в свой продукт Moss Big Model Privacy Propecty, и стал одним из первых продуктов в Китае, который прошел технологию Института информации и коммуникаций для проведения специальных тестов на экологические продукты, которые заслуживают доверия. Успешное применение этой технологии не только обеспечивает более безопасное решение для развертывания для финансовой индустрии, но и устанавливает ориентир для крупномасштабных модельных приложений в других отраслях.
Благодаря непрерывному развитию технологий искусственного интеллекта технология междоменной тонкой настройки будет играть важную роль в большем количестве областей. Предложение ScaleT Framework не только предоставляет новые идеи для баланса между производительности модели и безопасностью конфиденциальности, но также закладывает прочную основу для широкого применения крупных моделей в будущем. Это инновационное достижение Ant Digital Technology и ее партнеров, несомненно, будет способствовать дальнейшему развитию технологий искусственного интеллекта в области защиты конфиденциальности.