text
TorchText 0.18
WARNUNG : Die Torchtext -Entwicklung wird gestoppt und die Veröffentlichung von 0.18 (April 2024) wird die letzte stabile Veröffentlichung der Bibliothek sein.
Dieses Repository besteht aus:
Wir empfehlen Anaconda als Python -Paket -Management -System. Weitere Informationen zur Pytorch -Installation finden Sie unter pytorch.org. Im Folgenden sind die entsprechenden torchtext -Versionen und unterstützten Python -Versionen aufgeführt.
| Pytorch -Version | Torchtext -Version | Unterstützte Python -Version |
|---|---|---|
| Nachtbau | hauptsächlich | > = 3,8, <= 3,11 |
| 2.3.0 | 0,18,0 | > = 3,8, <= 3,11 |
| 2.2.0 | 0,17,0 | > = 3,8, <= 3,11 |
| 2.1.0 | 0,16,0 | > = 3,8, <= 3,11 |
| 2.0.0 | 0,15,0 | > = 3,8, <= 3,11 |
| 1.13.0 | 0,14,0 | > = 3,7, <= 3.10 |
| 1.12.0 | 0,13.0 | > = 3,7, <= 3.10 |
| 1.11.0 | 0,12.0 | > = 3,6, <= 3,9 |
| 1.10.0 | 0.11.0 | > = 3,6, <= 3,9 |
| 1.9.1 | 0,10.1 | > = 3,6, <= 3,9 |
| 1.9 | 0,10 | > = 3,6, <= 3,9 |
| 1.8.1 | 0.9.1 | > = 3,6, <= 3,9 |
| 1.8 | 0,9 | > = 3,6, <= 3,9 |
| 1.7.1 | 0,8,1 | > = 3,6, <= 3,9 |
| 1.7 | 0,8 | > = 3,6, <= 3,8 |
| 1.6 | 0,7 | > = 3,6, <= 3,8 |
| 1.5 | 0,6 | > = 3,5, <= 3,8 |
| 1.4 | 0,5 | 2,7,> = 3,5, <= 3,8 |
| 0,4 und unten | 0.2.3 | 2,7,> = 3,5, <= 3,8 |
Verwenden Sie Conda:
Conda Install -c Pytorch Torchtext
Verwenden von PIP:
PIP Installieren Sie Torchtext
Wenn Sie englische Tokenizer von Spacy verwenden möchten, müssen Sie Spacy installieren und sein englisches Modell herunterladen:
PIP Installieren Sie Spacy python -m spacy download eN_core_web_sm
Alternativ möchten Sie den Moses -Tokenizer -Port in Opfern (getrennt von NLTK) verwenden. Sie müssen Sunker installieren:
PIP Installieren Sie Sakuse
Für Torchtext 0,5 und unten, sentencepiece :
Conda install -c Powerai -Satzstück
Um Torchtext aus der Quelle zu erstellen, benötigen Sie git , CMake und C ++ 11 Compiler wie g++ .
Git Clone https://github.com/pytorch/text appext CD Torchtext GIT -Submodul -Update - -init -recursive # Linux Python Setup.py Clean Installation # OSX Cc = clang cxx = clang ++ python setup.py clean Installation # oder `` python setup.py reave`` Wenn Sie Modifikationen vornehmen.
Notiz
Stellen Sie beim Erstellen aus der Quelle sicher, dass Sie den gleichen C ++ - Compiler haben wie der, der zum Bau von Pytorch verwendet wird. Ein einfacher Weg besteht darin, Pytorch aus der Quelle zu erstellen und die gleiche Umgebung zu verwenden, um Torchtext zu erstellen. Wenn Sie den nächtlichen Aufbau von Pytorch verwenden, überprüfen Sie die Umgebung, die sie mit Conda (hier) und PIP (hier) gebaut hat.
Zusätzlich werden Datensätze in Torchtext mithilfe der Torchdata -Bibliothek implementiert. Bitte werfen Sie einen Blick auf die Installationsanweisungen, um die neuesten Nachtlies herunterzuladen oder aus der Quelle zu installieren.
Hier finden Sie die Dokumentation.
Das Datasets -Modul enthält derzeit:
Die Bibliothek besteht derzeit aus den folgenden vorgebreiteten Modellen:
Das Transformationsmodul unterstützt derzeit die folgenden skriptierbaren Tokenizer:
Um mit Torchtext zu beginnen, beziehen sich Benutzer möglicherweise auf das folgende Tutorial, das auf der Pytorch -Website verfügbar ist.
Dies ist eine Versorgungsbibliothek, die öffentliche Datensätze herunterladen und vorbereitet. Wir hosten oder verteilen diese Datensätze nicht, bürgen nicht für ihre Qualität oder Fairness oder behaupten, dass Sie die Lizenz zur Verwendung des Datensatzes haben. Es liegt in Ihrer Verantwortung zu bestimmen, ob Sie die Erlaubnis haben, den Datensatz unter der Lizenz des Datensatzes zu verwenden.
Wenn Sie ein Datensatzbesitzer sind und einen Teil davon (Beschreibung, Zitat usw.) aktualisieren möchten oder nicht möchten, dass Ihr Datensatz in dieser Bibliothek aufgenommen wird, wenden Sie sich bitte über ein Github -Problem. Vielen Dank für Ihren Beitrag zur ML -Community!
