text
TorchText 0.18
警告：TorchText開発が停止し、0.18リリース（2024年4月）がライブラリの最後の安定したリリースになります。
このリポジトリは次のとおりです。
AnacondaはPythonパッケージ管理システムとしてお勧めします。 Pytorchのインストールの詳細については、pytorch.orgを参照してください。以下は、対応するtorchtextバージョンとサポートされているPythonバージョンです。
| Pytorchバージョン | TorchTextバージョン | サポートされているPythonバージョン |
|---|---|---|
| 毎晩ビルド | 主要 | > = 3.8、<= 3.11 |
| 2.3.0 | 0.18.0 | > = 3.8、<= 3.11 |
| 2.2.0 | 0.17.0 | > = 3.8、<= 3.11 |
| 2.1.0 | 0.16.0 | > = 3.8、<= 3.11 |
| 2.0.0 | 0.15.0 | > = 3.8、<= 3.11 |
| 1.13.0 | 0.14.0 | > = 3.7、<= 3.10 |
| 1.12.0 | 0.13.0 | > = 3.7、<= 3.10 |
| 1.11.0 | 0.12.0 | > = 3.6、<= 3.9 |
| 1.10.0 | 0.11.0 | > = 3.6、<= 3.9 |
| 1.9.1 | 0.10.1 | > = 3.6、<= 3.9 |
| 1.9 | 0.10 | > = 3.6、<= 3.9 |
| 1.8.1 | 0.9.1 | > = 3.6、<= 3.9 |
| 1.8 | 0.9 | > = 3.6、<= 3.9 |
| 1.7.1 | 0.8.1 | > = 3.6、<= 3.9 |
| 1.7 | 0.8 | > = 3.6、<= 3.8 |
| 1.6 | 0.7 | > = 3.6、<= 3.8 |
| 1.5 | 0.6 | > = 3.5、<= 3.8 |
| 1.4 | 0.5 | 2.7、> = 3.5、<= 3.8 |
| 0.4以下 | 0.2.3 | 2.7、> = 3.5、<= 3.8 |
コンドラの使用：
Conda Install -C Pytorch TorchText
PIPの使用：
PIPインストールTorchText
Spacyから英語のトークナー剤を使用する場合は、スペイシーをインストールして英語モデルをダウンロードする必要があります。
ピップインストールスペイシー python -mスペイシーダウンロードen_core_web_sm
または、サクレモースでモーゼストークネザーポートを使用することをお勧めします（NLTKから分割）。あなたはサクレモースをインストールする必要があります：
ピップインストールサクレモス
TorchText 0.5以下の場合、 sentencepiece ：
Conda Install -C Powerai CentePiece
ソースからTorchTextを構築するには、 g++などのgit 、 CMake 、C ++ 11コンパイラが必要です。
git clone https://github.com/pytorch/text torchtext CDトーチテキスト Gitサブモジュールアップデート - Init- Recursive ＃linux python setup.pyクリーンインストール ＃OSX cc = clang cxx = clang ++ python setup.pyクリーンインストール ＃または「python setup.py Develop」を変更している場合。
注記
ソースから構築するときは、Pytorchの構築に使用したC ++コンパイラと同じC ++コンパイラを持っていることを確認してください。簡単な方法は、ソースからPytorchを構築し、同じ環境を使用してTorchTextを構築することです。 Pytorchの毎晩のビルドを使用している場合は、Conda（Here）とPIP（ここ）で構築された環境をチェックアウトしてください。
さらに、TorchTextのデータセットは、Torchdataライブラリを使用して実装されています。インストール手順を見て、最新の夜間をダウンロードするか、ソースからインストールしてください。
ここでドキュメントを見つけてください。
データセットモジュールには現在含まれています。
ライブラリは現在、事前に訓練されたモデルに続くことで構成されています。
Transformsモジュールは現在、スクリプト可能なトークンザーに続いてサポートしています。
TorchTextを始めるために、ユーザーはPytorch Webサイトで利用可能な次のチュートリアルを参照できます。
これは、パブリックデータセットをダウンロードおよび準備するユーティリティライブラリです。これらのデータセットをホストまたは配布したり、品質や公平性を保証したり、データセットを使用するライセンスがあると主張したりしません。データセットのライセンスの下でデータセットを使用する許可があるかどうかを判断するのはあなたの責任です。
データセットの所有者であり、その一部（説明、引用など）を更新したい場合、またはこのライブラリにデータセットを含めることを望まない場合は、GitHub号をご連絡ください。 MLコミュニティへの貢献に感謝します！
