이 기사에서는 기존 LLM(대형 언어 모델) 미세 조정 방법의 계산 집약적이고 정적 단점을 해결하는 Sakana AI가 제안한 새로운 적응형 프레임워크인 Transformer²를 소개합니다. Transformer²는 추론 과정에서 실시간으로 LLM 가중치를 조정하는 2단계 메커니즘을 사용하여 알려지지 않은 다양한 작업에 유연하게 적응하고 문어와 같은 환경에 적응할 수 있습니다. 그 핵심은 강화 학습을 통해 "전문가" 벡터를 훈련하고 이러한 벡터를 동적으로 결합하여 다양한 작업에 대한 정확한 응답을 달성하는 SVF(단일 값 미세 조정) 및 적응형 전략에 있습니다. 이 프레임워크는 높은 매개변수 효율성, 모듈성, 모델 간 호환성 등 많은 장점을 갖고 있으며 실험에서 기존의 미세 조정 방법보다 더 나은 성능을 보여주었습니다.
Transformer²의 핵심은 고유한 2단계 메커니즘과 SVF(단일 값 미세 조정) 기술, 그리고 여러 적응형 전략의 영리한 조합입니다. 강화 학습을 통해 훈련된 "전문가" 벡터는 모델에 강력한 적응성을 제공하여 알려지지 않은 다양한 작업에서 잘 수행할 수 있도록 합니다. 여전히 개선의 여지가 있지만 Transformer²는 의심할 여지 없이 정말로 역동적이고 자체 구성되는 AI 시스템을 구축하기 위한 중요한 단계를 밟았습니다. 향후 연구 방향에는 모델 병합과 CEM 방법의 확장이 포함됩니다. 논문의 주소는 논문의 마지막 부분에 첨부되어 있으며, 이에 대해 더 깊이 탐구할 더 많은 연구자들이 있기를 기대합니다.