distily

Дистанционно

В одной команде перегодите существующий LLM в меньшую или другую архитектуру.

Установить

 pip install -U "git+https://github.com/lapp0/distily.git"

Функции

Дидикально позволяет вам переоценить модель с помощью

• Квантованные веса: например, трилм, Bitnet
• Отдельная архитектура: модели пространства состояний, такие как мамба, смеси экспертов (MOE)
• Модифицированная архитектура: уменьшить (или увеличить)
  • количество слоев
  • Ширина и глубина внимания головы и плотный слой.
  • Количество внимания и кВ головы.

Использование

Минимальный пример: distily_gpt2

Команда создать дистиллированный gpt2 только с 6 слоями:

 python3 -m distily.run 
    --teacher_model_name_or_path gpt2 
    --output_dir distily_gpt2 
    --hub_model_id "distily/distily_gpt2" 
    --push_to_hub True 
    --student_model_config {"n_layers": 6} 
    --student_model_as_bitnet True

Полученная модель distily_gpt2 имеет (TODO: Объясните метрики).

Для получения дополнительных примеров просмотрите документацию примеров.

Примечание на учетных данных Hub

Чтобы подтолкнуть к хабу, вы должны подготовить токен своего концентратора

 HF_WRITE=<your hub token> python3 -c "from huggingface_hub.hf_api import HfFolder; HfFolder.save_token('${HF_WRITE}')"

Дальнейшее чтение

TODO: совершить связанные документы после завершения

Используя дидиско

• Как работает дистилляция: рецепт отдаленного
• QuickStart / Примеры
• Выбор параметров

Доступные модели

• Официальные модели
• Все модели HF, созданные с расстоянием

Внося

• Внесение руководящих принципов

Дорожная карта

Повышенная производительность / эффективность отбора проб:

• Стандартная дистилляция знаний с использованием логитов.
• Distill с использованием промежуточных функций, включая скрытые состояния и внимание.
• Реализовать передачу значений (просто потери дистилляции на v, k, v)
• Повышение эффективности отбора проб с помощью генерации синтетических данных.
• Реализовать потерю классификации перекрестной энтропии (традиционная функция потерь LLM)
• Применить проектор к Logits (https://arxiv.org/pdf/2310.17183)
• Примените «запись учителя», запустите вывод для учителя один раз, используйте набор данных о функциях любое количество раз.

Дистилляция в другую форму / размер модели:

• Distill, чтобы моделировать с меньшим количеством num_hidden_layers , реализуя картины слоя.
• Расстановка в модель с модифицированными размерами и поведением модуля (например, intermediate_size , hidden_act ), используя проекторы.
• DISTILL в модель с модифицированной num_attention_heads и num_key_value_heads .

Дистилляция в другую архитектуру:

• Distill в Bitnet (b1.58)
• Distill в пространство штата / мамба
• Дистилляция в Мо
• Модель распределения параметров (в стиле Альберта)

Дополнительные методы:

• Дистилль из нескольких моделей одновременно
• Обрезка