text
TorchText 0.18
警告：停止了火语的开发，并且0.18版本（2024年4月）将是图书馆的最后一个稳定版本。
该存储库包括：
我们建议Anaconda作为Python软件包管理系统。有关Pytorch安装的详细信息，请参考pytorch.org。以下是相应的torchtext版本和受支持的Python版本。
| Pytorch版本 | TorchText版本 | 支持的Python版本 |
|---|---|---|
| 每晚建造 | 主要的 | > = 3.8，<= 3.11 |
| 2.3.0 | 0.18.0 | > = 3.8，<= 3.11 |
| 2.2.0 | 0.17.0 | > = 3.8，<= 3.11 |
| 2.1.0 | 0.16.0 | > = 3.8，<= 3.11 |
| 2.0.0 | 0.15.0 | > = 3.8，<= 3.11 |
| 1.13.0 | 0.14.0 | > = 3.7，<= 3.10 |
| 1.12.0 | 0.13.0 | > = 3.7，<= 3.10 |
| 1.11.0 | 0.12.0 | > = 3.6，<= 3.9 |
| 1.10.0 | 0.11.0 | > = 3.6，<= 3.9 |
| 1.9.1 | 0.10.1 | > = 3.6，<= 3.9 |
| 1.9 | 0.10 | > = 3.6，<= 3.9 |
| 1.8.1 | 0.9.1 | > = 3.6，<= 3.9 |
| 1.8 | 0.9 | > = 3.6，<= 3.9 |
| 1.7.1 | 0.8.1 | > = 3.6，<= 3.9 |
| 1.7 | 0.8 | > = 3.6，<= 3.8 |
| 1.6 | 0.7 | > = 3.6，<= 3.8 |
| 1.5 | 0.6 | > = 3.5，<= 3.8 |
| 1.4 | 0.5 | 2.7，> = 3.5，<= 3.8 |
| 0.4及以下 | 0.2.3 | 2.7，> = 3.5，<= 3.8 |
使用conda：
conda安装-C pytorch torchtext
使用PIP：
PIP安装火炬
如果您想从Spacy使用英语令牌，则需要安装Spacy并下载其英语模型：
PIP安装启动 python -m spacy下载en_core_web_sm
另外，您可能需要在salemoses中使用摩西令牌端口（从NLTK拆分）。您必须安装Calemoses：
PIP安装callemess
对于torchtext 0.5及以下， sentencepiece ：
conda install -c powerai句子
要从源构建火炬文字，您需要git ， CMake和c ++ 11编译器，例如g++ ：：
git克隆https://github.com/pytorch/text terchtext CD火炬 git suppodule更新 - init-回报 ＃Linux python设置 ＃OSX cc = clang cxx = clang ++ python设置 ＃或``python setup.py开发'如果您正在进行修改。
笔记
从源构建时，请确保您的C ++编译器与用于构建Pytorch的编译器相同。一种简单的方法是从源构建pytorch，并使用相同的环境来构建火炬。如果您使用的是pytorch的夜间构建，请签约它与conda（此处）和pip（此处）构建的环境。
此外，使用Torchdata库实现了TorchText中的数据集。请查看安装说明，以下载最新的夜间或从源头安装。
在此处找到文档。
数据集模块当前包含：
该库目前包括以下预培训模型：
转换模块当前支持脚本可键换器：
为了开始使用TorchText，用户可以参考Pytorch网站上可用的以下教程。
这是一个实用程序库，可下载和准备公共数据集。我们不托管或分发这些数据集，保证其质量或公平性，或声称您已有使用该数据集的许可证。您有责任确定您是否有权使用数据集许可证下的数据集。
如果您是数据集所有者，并希望更新其中的任何部分（描述，引用等），或者不希望您的数据集包含在此库中，请通过GitHub问题与您联系。感谢您对ML社区的贡献！
