GUNDAM

Золотой подключаемый менеджер данных (Gundam)

Проект | Бумага | Документация

Gundam - это диспетчер данных, который использует языковые модели для эффективной обработки текстовых данных, которые построены на Pytorch. Гандам это:

• Комплексный : Gundam предоставляет диспетчер данных, включая нашего предложенного шахтера, генератор на основе GPT-2 и демонстрационный ретривер, и все эти компоненты расширяются.
• Гибкий : Gundam поддерживает языковые модели GPT-2 с разными размерами.
• Эффективно : Gundam предоставляет эффективный шахтер один к одному для проверки качества данных.

---

Краткое введение

Gundam-это новая структура управления данными, которая измеряет достаточность и необходимость подключения демонстраций, обусловленных языковыми моделями. Мы показываем, что предлагаемые метрики достаточной достаточной и необходимости могут работать как на демонстрационных экземплярах (то есть, уровень экземпляра), так и на демонстрационных наборах (т.е. установленные уровни). Таким образом, набор достаточных и необходимых данных подключаемых модулей, названных в качестве золотистого набора плагин, может рассматриваться как набор ядра, включая информативные образцы. Поскольку перечисление и измерение всех возможных подмножеств является невозможным, мы разрабатываем новые алгоритмы поиска на основе дерева, чтобы добывать набор Golden Plugin. Обратите внимание, что набор Golden Plug-модуль может быть предварительно вычислен и сохранен для сохранения онлайн-затрат на вычисление. В связи с этим, непараметрические демонстрационные ретриверы могут работать на хранимом наборе золотых плагин вместо всего корпуса данных, чтобы избежать извлечения недостаточных или ненужных демонстраций. Более того, учитывая, что многие реальные данные данных будут продолжать расти, мы разрабатываем постепенный алгоритм обновления, чтобы избежать повторного вычисления Гандама по всем измененным и неизменным частям.

Варианты использования

Значительное преимущество Gundam заключается в том, что Gundam может быть легко развернут на любой существующей платформе управления данными, поскольку основной идеей Gundam является назначение различных уровней приоритетов для сохраненных данных, чтобы показать свои качества данных в отношении данной языковой модели.

Todo (последнее обновление в 2023/07/24)

• Выпустите основные версии генераторов майнера и GPT-2, как в обоих условиях обучения, так и в неконтролируемых условиях обучения (он же, несколько выводов), так и контролируемых условий обучения (он же, разминка).
• Поддерживают случайные демонстрационные ретриверы, релевантные ретриверы и демонстрационные ретриверы, основанные на разнообразии.
• Поддержка парка шахтеров и генераторов на основе GPT-3.
• Выпустите текстовый набор данных о достаточной степени и необходимости.
• Выпустите подробный учебник по документу и руководство Readme.

Цитируя ядро

 @software { GUNDAM ,
  author = { Jiarui Jin, Yuwei Wu, Mengyue Yang, Xiaoting He, Weinan Zhang, Yiming Yang, Yong Yu, and Jun Wang } ,
  title = { GUNDAM: A Data-Centric Manager for Your Plug-in Data with Language Models } ,
  year = { 2023 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  version = { 0.0 } ,
  howpublished = { url{https://github.com/GUNDAM-Labet/GUNDAM} } ,
}

Команда

Основными разработчиками системы Gundam являются Jiarui Jin, Yuwei Wu и Mengyue Yang.

Лицензия

Gundam выпускается по лицензии Apache, версия 2.0.