glider
1.0.0
ОФИЦИАЛЬНЫЙ КОД для статьи « Глэйнер: глобальный и локальный экспертный маршрутизатор, управляемый инструкциями ». Наша кодовая база построена на Phatgoose.
Glider -Задача Hold-in/-out Задачи с коллекцией специализированных экспертов, таких как Лора, одновременно!
Доступность производительных предварительно обученных моделей привела к пролиферации тонких экспертных моделей, которые специализируются на определенных областях. Это позволило создать мощные и адаптивные методы, основанные на маршрутизации, с целью использования экспертных модулей для создания агрегатной системы с улучшенной производительностью или обобщением. Тем не менее, существующие методы Moerging часто приоритет обобщению к невидимым задачам за счет выполнения выполненных задач, что ограничивает ее практическую применимость в сценариях развертывания реального мира. Мы наблюдаем, что текущие механизмы маршрутизации уровня токена пренебрегают глобальным семантическим контекстом входной задачи. Эта независимость в виде токенов препятствует эффективному отбору экспертов для выполняемых задач, поскольку решения маршрутизации не включают семантические свойства задачи. Чтобы решить эту проблему, мы предлагаем глобальный и локальный экспертный маршрутизатор, управляемый инструкциями (Glider), который интегрирует механизм многомасштабного маршрутизации, охватывающий семантический глобальный маршрутизатор и изученный местный маршрутизатор. Глобальный маршрутизатор использует расширенные возможности рассуждений LLM для семантических контекстов для улучшения отбора экспертов. Учитывая входной запрос и LLM, маршрутизатор генерирует инструкции семантических задач, которые направляют поиск наиболее соответствующих экспертов на всех уровнях. Это глобальное руководство дополняется локальным маршрутизатором, который облегчает решения о маршрутизации на уровне токена в каждом модуле, что обеспечивает более тонкий контроль и повышенную производительность по невидимым задачам. Наши эксперименты с использованием моделей на основе T5 для задач T0 и Flan демонстрируют, что Glider достигает значительно улучшенной успеваемости при сохранении сильного обобщения в удерживаемых задачах. Мы также проводим эксперименты с абляциями, чтобы глубже погрузиться в компоненты планера. Наши эксперименты подчеркивают важность нашей многомасштабной маршрутизации, которая использует семантические рассуждения, управляемые LLM, для методов Moerging.
conda create -n glider python=3.9
conda activate glider
conda install git-lfs
pip install -r requirements.txt
pip uninstall peft -y cd src && mkdir saved_runs && cd saved_runs
git lfs install
# Glider LLM-Generated task embeddings
git clone https://huggingface.co/MoE-UNC/gpt-generated-instruction-nomic-embeddings
# P3 LoRA checkpoints (derived from Phatgoose)
git clone https://huggingface.co/MoE-UNC/p3-lora-checkpoints
# FLAN LoRA checkpoints (derived from Phatgoose)
git clone https://huggingface.co/MoE-UNC/flan-lora-checkpoints
# Baseline- Arrow checkpoints
git clone https://huggingface.co/MoE-UNC/p3-lora-checkpoints-arrow
# Baseline - Merged Experts checkpoints (derived from Phatgoose)
git clone https://huggingface.co/MoE-UNC/phatgoose-checkpoints Пожалуйста, проверьте команды и комментарии в src/scripts/paper-eval.sh для воспроизведения результатов.
@misc { li2024glidergloballocalinstructiondriven ,
title = { Glider: Global and Local Instruction-Driven Expert Router } ,
author = { Pingzhi Li and Prateek Yadav and Jaehong Yoon and Jie Peng and Yi-Lin Sung and Mohit Bansal and Tianlong Chen } ,
year = { 2024 } ,
eprint = { 2410.07172 } ,
archivePrefix = { arXiv } ,
primaryClass = { cs.LG } ,
url = { https://arxiv.org/abs/2410.07172 } ,
}
