text
TorchText 0.18
ПРЕДУПРЕЖДЕНИЕ : Разработка TOCHTEXT останавливается, а выпуск 0,18 (апрель 2024 г.) станет последним стабильным выпуском библиотеки.
Этот репозиторий состоит из:
Мы рекомендуем Anaconda в качестве системы управления пакетами Python. Пожалуйста, обратитесь к Pytorch.org для получения информации об установке Pytorch. Ниже приведены соответствующие версии torchtext и поддерживаемые версии Python.
| Версия Pytorch | версия Torchtext | Поддерживаемая версия Python |
|---|---|---|
| Ночная сборка | основной | > = 3,8, <= 3.11 |
| 2.3.0 | 0,18,0 | > = 3,8, <= 3.11 |
| 2.2.0 | 0,17,0 | > = 3,8, <= 3.11 |
| 2.1.0 | 0,16,0 | > = 3,8, <= 3.11 |
| 2.0.0 | 0,15,0 | > = 3,8, <= 3.11 |
| 1.13.0 | 0,14,0 | > = 3,7, <= 3,10 |
| 1.12.0 | 0,13,0 | > = 3,7, <= 3,10 |
| 1.11.0 | 0,12,0 | > = 3,6, <= 3,9 |
| 1.10.0 | 0,11,0 | > = 3,6, <= 3,9 |
| 1.9.1 | 0,10,1 | > = 3,6, <= 3,9 |
| 1.9 | 0,10 | > = 3,6, <= 3,9 |
| 1.8.1 | 0.9.1 | > = 3,6, <= 3,9 |
| 1.8 | 0,9 | > = 3,6, <= 3,9 |
| 1.7.1 | 0,8,1 | > = 3,6, <= 3,9 |
| 1.7 | 0,8 | > = 3,6, <= 3,8 |
| 1.6 | 0,7 | > = 3,6, <= 3,8 |
| 1.5 | 0,6 | > = 3,5, <= 3,8 |
| 1.4 | 0,5 | 2.7,> = 3,5, <= 3,8 |
| 0,4 и ниже | 0,2,3 | 2.7,> = 3,5, <= 3,8 |
Используя Conda:
Conda Install -c Pytorch Torchtext
Использование PIP:
PIP установить Torchext
Если вы хотите использовать английский токенизатор из Spacy, вам нужно установить Spacy и загрузить его английскую модель:
PIP установить Spacy python -m spacy скачать en_core_web_sm
В качестве альтернативы, вы можете использовать порт токенизатора Моисея в священных связях (разделенный от NLTK). Вы должны установить сладкие:
PIP устанавливают священники
Для Torchtext 0,5 и ниже, sentencepiece :
Установка Conda -c Powerai предложение
Чтобы построить Torchext из источника, вам нужны компилятор git , CMake и C ++ 11, такой как g++ .:
git clone https://github.com/pytorch/text torchtext CD Torchtext GIT подмодуль # Linux python setup.py lecate install # Osx Cc = clang cxx = clang ++ setup python.py clean install # или `` python setup.py Разработка `', если вы вносите модификации.
Примечание
При строительстве из источника убедитесь, что у вас есть тот же компилятор C ++, что и тот, который используется для построения Pytorch. Простой способ - создать Pytorch из исходного источника и использовать ту же среду для построения Torchext. Если вы используете ночную сборку Pytorch, проверьте окружающую среду, которую она была построена с Conda (здесь) и PIP (здесь).
Кроме того, наборы данных в Torchtext реализованы с использованием библиотеки Torchdata. Пожалуйста, посмотрите на инструкции по установке, чтобы загрузить последние ночные люди или установить из Source.
Найдите документацию здесь.
Модуль наборов данных в настоящее время содержит:
Библиотека в настоящее время состоят из следующих предварительно обученных моделей:
Модуль Transforms в настоящее время поддерживает следующие сценарии токенизаторов:
Чтобы начать работу с Torchtext, пользователи могут ссылаться на следующее руководство, доступное на веб -сайте Pytorch.
Это библиотека утилит, которая загружает и готовит публичные наборы данных. Мы не размещаем и не размещаем эти наборы данных, не ручаются за их качество или справедливость, или утверждаем, что у вас есть лицензия на использование набора данных. Вы обязаны определить, есть ли у вас разрешение использовать набор данных по лицензии набора данных.
Если вы являетесь владельцем набора данных и хотите обновить какую -либо его часть (описание, цитата и т. Д.) Или не хотите, чтобы ваш набор данных был включен в эту библиотеку, свяжитесь с нами, свяжитесь с проблемой GitHub. Спасибо за ваш вклад в сообщество ML!
