text
TorchText 0.18
AVERTISSEMENT : le développement de TorchText est arrêté et la version 0.18 (avril 2024) sera la dernière version stable de la bibliothèque.
Ce référentiel se compose:
Nous recommandons Anaconda en tant que système de gestion des packages Python. Veuillez vous référer à pytorch.org pour les détails de l'installation de Pytorch. Voici les versions torchtext correspondantes et les versions Python prises en charge.
| Version pytorch | Version TorchText | Version Python prise en charge |
|---|---|---|
| construction nocturne | principal | > = 3,8, <= 3.11 |
| 2.3.0 | 0.18.0 | > = 3,8, <= 3.11 |
| 2.2.0 | 0.17.0 | > = 3,8, <= 3.11 |
| 2.1.0 | 0.16.0 | > = 3,8, <= 3.11 |
| 2.0.0 | 0.15.0 | > = 3,8, <= 3.11 |
| 1.13.0 | 0.14.0 | > = 3,7, <= 3,10 |
| 1.12.0 | 0.13.0 | > = 3,7, <= 3,10 |
| 1.11.0 | 0.12.0 | > = 3,6, <= 3,9 |
| 1.10.0 | 0.11.0 | > = 3,6, <= 3,9 |
| 1.9.1 | 0.10.1 | > = 3,6, <= 3,9 |
| 1.9 | 0.10 | > = 3,6, <= 3,9 |
| 1.8.1 | 0.9.1 | > = 3,6, <= 3,9 |
| 1.8 | 0.9 | > = 3,6, <= 3,9 |
| 1.7.1 | 0.8.1 | > = 3,6, <= 3,9 |
| 1.7 | 0.8 | > = 3,6, <= 3,8 |
| 1.6 | 0.7 | > = 3,6, <= 3,8 |
| 1.5 | 0.6 | > = 3,5, <= 3,8 |
| 1.4 | 0,5 | 2,7,> = 3,5, <= 3,8 |
| 0,4 et moins | 0.2.3 | 2,7,> = 3,5, <= 3,8 |
Utilisation de conda:
conda install -c pytorch torchtext
Utilisation de PIP:
pip installer TorchText
Si vous souhaitez utiliser l'anglais Tokenizer de Spacy, vous devez installer Spacy et télécharger son modèle anglais:
PIP Installer Spacy Python -m Spacy Download EN_CORE_WEB_SM
Alternativement, vous voudrez peut-être utiliser le port de tokenizer Moïse en sacremoses (séparés à partir de NLTK). Vous devez installer des sacremements:
pip installer les sacremements
Pour TorchText 0,5 et moins, sentencepiece :
Conda Install -C Powerai Phiatine Piece
Pour construire TorchText à partir de la source, vous avez besoin git , CMake et C ++ 11 compilateur tels que g++ .:
git clone https://github.com/pytorch/text torchtext CD TorchText Mise à jour du sous-module GIT - Init - réécursive # Linux Python setup.py Clean Installation # OSX Cc = clang cxx = clang ++ python setup.py net install # ou `` python setup.py développe '' si vous apportez des modifications.
Note
Lorsque vous construisez à partir de Source, assurez-vous d'avoir le même compilateur C ++ que celui utilisé pour construire Pytorch. Un moyen simple consiste à construire Pytorch à partir de la source et à utiliser le même environnement pour créer TorchText. Si vous utilisez la construction nocturne de Pytorch, consultez l'environnement qu'il a été construit avec Conda (ici) et PIP (ici).
De plus, les ensembles de données dans TorchText sont implémentés à l'aide de la bibliothèque TorchData. Veuillez jeter un œil aux instructions d'installation pour télécharger les derniers nocturnes ou installer à partir de Source.
Trouvez la documentation ici.
Le module de jeu de données contient actuellement:
La bibliothèque se compose actuellement de modèles pré-formés suivants:
Le module Transforts prend actuellement en charge les tokeniseurs scriptables suivants:
Pour commencer avec TorchText, les utilisateurs peuvent se référer au tutoriel suivant disponible sur le site Web de Pytorch.
Il s'agit d'une bibliothèque utilitaire qui télécharge et prépare des ensembles de données publiques. Nous n'hébergeons ni ne distribuons pas ces ensembles de données, ne garantissons pas leur qualité ou leur équité, ni ne prétendons que vous avez une licence pour utiliser l'ensemble de données. Il est de votre responsabilité de déterminer si vous avez la permission d'utiliser l'ensemble de données sous la licence de l'ensemble de données.
Si vous êtes propriétaire d'un ensemble de données et que vous souhaitez mettre à jour une partie de celui-ci (description, citation, etc.), ou si vous ne souhaitez pas que votre ensemble de données soit inclus dans cette bibliothèque, veuillez nous contacter via un problème GitHub. Merci pour votre contribution à la communauté ML!
