curated transformers

Кураторские трансформаторы

Современные трансформаторы, кирпич от кирпича

Кураторские трансформаторы - это библиотека трансформаторов для Pytorch. Он предоставляет современные модели, которые составляются из набора многократных компонентов. Выдающиеся особенности кураторского трансформатора:

• ⚡ поддерживает современные модели трансформатора, в том числе LLM, такие как Falcon, Llama и Dolly V2.
• ? ‍? Каждая модель состоит из набора многоразовых строительных блоков, обеспечивая много преимуществ:
  • Внедрение преимуществ функции или ошибки. Все модели. Например, все модели поддерживают 4/8-битный вывод через библиотеку bitsandbytes , и каждая модель может использовать meta устройство Pytorch, чтобы избежать ненужных распределений и инициализации.
  • Добавление новых моделей в библиотеку является низким оттенком.
  • Вы хотите попробовать новую архитектуру трансформатора? Берт -энкодер с вращающимися вторжениями? Вы можете сделать это в крайнем случае.
• ? Последовательные аннотации типа всех публичных API:
  • Получите отличную поддержку кодирования от вашей IDE.
  • Хорошо интегрируется с вашим существующим кодом, проверенным типом.
• ? Отлично подходит для образования, потому что строительные блоки легко изучать.
• ? Минимальные зависимости.

Кураторские трансформаторы были проверены на производство взрывом и будут использоваться в качестве реализации трансформатора по умолчанию в Spacy 3.7.

? Поддерживаемые модельные архитектуры

Поддерживаемые модели только для энкодера:

• Альберт
• БЕРТ
• Камамбер
• Роберта
• XLM-Roberta

Поддерживаемые модели только для декодера:

• Сокол
• GPT-neox
• Лама 1/2
• Мпт

Обертки генератора:

• Долли V2
• Сокол
• Лама 1/2
• Мпт

Все типы моделей могут быть загружены из узла Huggingface.

Интеграция Spacy для кураторских трансформаторов обеспечивается пакетом spacy-curated-transformers .

⏳ Установить

pip install curated-transformers

Поддержка CUDA

Сборка Linux по умолчанию Pytorch построена с поддержкой CUDA 11.7. Вы должны явно установить сборку CUDA в следующих случаях:

• Если вы хотите использовать кураторские трансформаторы в Windows.
• Если вы хотите использовать кураторские трансформаторы на Linux с графическими процессорами GPUS ADA. Стандартная сборка Pytorch поддерживает GPU ADA, но вы можете получить значительные улучшения производительности, установив Pytorch с поддержкой CUDA 11.8.

В обоих случаях вы можете установить Pytorch с:

pip install torch --index-url https://download.pytorch.org/whl/cu118

? ‍♀ Пример использования

>>> import torch
>>> from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig
>>> generator = AutoGenerator.from_hf_hub( name = " tiiuae/falcon-7b-instruct " , device = torch.device( " cuda " ))
>>> generator([ " What is Python in one sentence? " , " What is Rust in one sentence? " ], GreedyGeneratorConfig())
['Python is a high-level programming language that is easy to learn and widely used for web development, data analysis, and automation.',
 'Rust is a programming language that is designed to be a safe, concurrent, and efficient replacement for C++.']

Вы можете найти больше примеров использования в документации. Вы также можете найти примеры программ, которые используют кураторские трансформаторы в каталоге examples .

Документация

Вы можете прочитать больше о том, как использовать кураторские трансформаторы здесь:

• Обзор (разработка)
• Использование (разработка)
• API (разработка)

? ️ квантование

curated-transformers поддерживают динамическое 8-битное и 4-битное квантование моделей, используя библиотеку bitsandbytes .

Используйте вариант квантования для автоматической установки необходимых зависимостей:

pip install curated-transformers[quantization]