xlaダウンロードxlaソースコードのダウンロード

xla

その他のソースコード

1.0.0

ダウンロード

pytorch/xla

現在のCIステータス：

Pytorch/XLAは、XLAディープラーニングコンパイラを使用してPytorch Deep Learning FrameworkとCloud TPUを接続するPythonパッケージです。 Kaggleを使用した単一のクラウドTPU VMで、今すぐ無料で試すことができます！

Kaggleノートブックの1つをご覧ください。

Pytorch/XLA 2.0による安定した拡散
分散型Pytorch/XLAの基本

インストール

TPU

新しいTPU VMにpytorch/xla stableビルドをインストールするには：

 pip install torch~=2.5.0 torch_xla[tpu]~=2.5.0 -f https://storage.googleapis.com/libtpu-releases/index.html

Pytorch/XLA Nightly Buildを新しいTPU VMにインストールするには：

 pip3 install --pre torch torchvision --index-url https://download.pytorch.org/whl/nightly/cpu
pip install 'torch_xla[tpu] @ https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.6.0.dev-cp310-cp310-linux_x86_64.whl' -f https://storage.googleapis.com/libtpu-releases/index.html

GPUプラグイン

Pytorch/XLAは、 libtpuに似たプラグインパッケージを介してGPUサポートを提供するようになりました。

 pip install torch~=2.5.0 torch_xla~=2.5.0 https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla_cuda_plugin-2.5.0-py3-none-any.whl

はじめる

既存のトレーニングループを更新するには、次の変更を行います。

 - import torch.multiprocessing as mp
+ import torch_xla as xla
+ import torch_xla.core.xla_model as xm

 def _mp_fn(index):
   ...

+  # Move the model paramters to your XLA device
+  model.to(xla.device())

   for inputs, labels in train_loader:
+    with xla.step():
+      # Transfer data to the XLA device. This happens asynchronously.
+      inputs, labels = inputs.to(xla.device()), labels.to(xla.device())
       optimizer.zero_grad()
       outputs = model(inputs)
       loss = loss_fn(outputs, labels)
       loss.backward()
-      optimizer.step()
+      # `xm.optimizer_step` combines gradients across replicas
+      xm.optimizer_step(optimizer)

 if __name__ == '__main__':
-  mp.spawn(_mp_fn, args=(), nprocs=world_size)
+  # xla.launch automatically selects the correct world size
+  xla.launch(_mp_fn, args=())

DistributedDataParallelを使用している場合は、次の変更を行います。

 import torch.distributed as dist
- import torch.multiprocessing as mp
+ import torch_xla as xla
+ import torch_xla.distributed.xla_backend

 def _mp_fn(rank):
   ...

-  os.environ['MASTER_ADDR'] = 'localhost'
-  os.environ['MASTER_PORT'] = '12355'
-  dist.init_process_group("gloo", rank=rank, world_size=world_size)
+  # Rank and world size are inferred from the XLA device runtime
+  dist.init_process_group("xla", init_method='xla://')
+
+  model.to(xm.xla_device())
+  # `gradient_as_bucket_view=True` required for XLA
+  ddp_model = DDP(model, gradient_as_bucket_view=True)

-  model = model.to(rank)
-  ddp_model = DDP(model, device_ids=[rank])

   for inputs, labels in train_loader:
+    with xla.step():
+      inputs, labels = inputs.to(xla.device()), labels.to(xla.device())
       optimizer.zero_grad()
       outputs = ddp_model(inputs)
       loss = loss_fn(outputs, labels)
       loss.backward()
       optimizer.step()

 if __name__ == '__main__':
-  mp.spawn(_mp_fn, args=(), nprocs=world_size)
+  xla.launch(_mp_fn, args=())

Pytorch/XLAの追加情報は、そのセマンティクスと機能の説明を含む、pytorch.orgで入手できます。 XLAデバイス（TPU、CUDA、CPU、...）で実行されるネットワークを作成する際のベストプラクティスについては、APIガイドを参照してください。

当社の包括的なユーザーガイドは、以下で入手できます。

最新リリースのドキュメント

マスターブランチのドキュメント

pytorch/xlaチュートリアル

クラウドTPU VMクイックスタート
クラウドTPUポッドスライスクイックスタート
TPU VMでのプロファイリング
GPUガイド

利用可能なDocker画像とホイール

Pythonパッケージ

Pytorch/XLAリリースは、バージョンR2.1から始まるPypiで利用可能になります。これで、 pip install torch_xlaを使用してメインビルドをインストールできます。また、インストールしたtorch_xlaに対応するクラウドTPUプラグインをインストールするには、メインビルドをでインストールした後、オプションのtpu依存関係をインストールします

 pip install torch_xla[tpu] -f https://storage.googleapis.com/libtpu-releases/index.html

GPUおよびNightlyビルドは、パブリックGCSバケットで利用できます。

バージョン	クラウドGPU VMホイール
2.5（CUDA 12.1 + Python 3.9）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.5.0-cp39-cp39-manylinux_2_28_x86_64.whl`
2.5（CUDA 12.1 + Python 3.10）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.5.0-cp310-cp310-manylinux_2_28_x86_64.whl`
2.5（cuda 12.1 + python 3.11）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.5.0-cp311-cp311-manylinux_2_28_x86_64.whl`
2.5（cuda 12.4 + python 3.9）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.4/torch_xla-2.5.0-cp39-cp39-manylinux_2_28_x86_64.whl`
2.5（cuda 12.4 + python 3.10）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.4/torch_xla-2.5.0-cp310-cp310-manylinux_2_28_x86_64.whl`
2.5（cuda 12.4 + python 3.11）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.4/torch_xla-2.5.0-cp311-cp311-manylinux_2_28_x86_64.whl`
毎晩（Python 3.8）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.6.0.dev-cp38-cp38-linux_x86_64.whl`
毎晩（Python 3.10）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.6.0.dev-cp310-cp310-linux_x86_64.whl`
毎晩（cuda 12.1 + python 3.8）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.6.0.dev-cp38-cp38-linux_x86_64.whl`

08/13/2024の前に毎晩ビルドを使用してください

「TORCH_XLA-gightly」の後に「+yyyymmdd」を追加して、指定された日付の毎晩のホイールを取得することもできます。これが例です：

 pip3 install torch==2.6.0.dev20240925+cpu --index-url https://download.pytorch.org/whl/nightly/cpu
pip3 install https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-nightly%2B20240925-cp310-cp310-linux_x86_64.whl

トーチホイールバージョン2.6.0.dev20240925+cpu 、https：//download.pytorch.org/whl/nightly/torch/にあります。

08/20/2024以降、毎晩ビルドを使用します

また、 torch_xla-2.6.0.devの後にyyyymmddを追加して、指定された日付の毎晩の車輪を取得することもできます。これが例です：

 pip3 install torch==2.5.0.dev20240820+cpu --index-url https://download.pytorch.org/whl/nightly/cpu
pip3 install https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.5.0.dev20240820-cp310-cp310-linux_x86_64.whl

トーチホイールバージョン2.6.0.dev20240925+cpu 、https：//download.pytorch.org/whl/nightly/torch/にあります。

古いバージョン

バージョン	クラウドTPU VMSホイール
2.4（Python 3.10）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.4.0-cp310-cp310-manylinux_2_28_x86_64.whl`
2.3（Python 3.10）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.3.0-cp310-cp310-manylinux_2_28_x86_64.whl`
2.2（Python 3.10）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.2.0-cp310-cp310-manylinux_2_28_x86_64.whl`
2.1（xrt + python 3.10）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/xrt/tpuvm/torch_xla-2.1.0%2Bxrt-cp310-cp310-manylinux_2_28_x86_64.whl`
2.1（Python 3.8）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.1.0-cp38-cp38-linux_x86_64.whl`

バージョン	GPUホイール
2.5（CUDA 12.1 + Python 3.9）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.5.0-cp39-cp39-manylinux_2_28_x86_64.whl`
2.5（CUDA 12.1 + Python 3.10）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.5.0-cp310-cp310-manylinux_2_28_x86_64.whl`
2.5（cuda 12.1 + python 3.11）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.5.0-cp311-cp311-manylinux_2_28_x86_64.whl`
2.5（cuda 12.4 + python 3.9）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.4/torch_xla-2.5.0-cp39-cp39-manylinux_2_28_x86_64.whl`
2.5（cuda 12.4 + python 3.10）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.4/torch_xla-2.5.0-cp310-cp310-manylinux_2_28_x86_64.whl`
2.5（cuda 12.4 + python 3.11）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.4/torch_xla-2.5.0-cp311-cp311-manylinux_2_28_x86_64.whl`
2.4（cuda 12.1 + python 3.9）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.4.0-cp39-cp39-manylinux_2_28_x86_64.whl`
2.4（cuda 12.1 + python 3.10）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.4.0-cp310-cp310-manylinux_2_28_x86_64.whl`
2.4（CUDA 12.1 + Python 3.11）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.4.0-cp311-cp311-manylinux_2_28_x86_64.whl`
2.3（CUDA 12.1 + Python 3.8）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.3.0-cp38-cp38-manylinux_2_28_x86_64.whl`
2.3（CUDA 12.1 + Python 3.10）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.3.0-cp310-cp310-manylinux_2_28_x86_64.whl`
2.3（CUDA 12.1 + Python 3.11）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.3.0-cp311-cp311-manylinux_2_28_x86_64.whl`
2.2（cuda 12.1 + python 3.8）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.2.0-cp38-cp38-manylinux_2_28_x86_64.whl`
2.2（CUDA 12.1 + Python 3.10）	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.2.0-cp310-cp310-manylinux_2_28_x86_64.whl`
2.1 + cuda 11.8	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/11.8/torch_xla-2.1.0-cp38-cp38-manylinux_2_28_x86_64.whl`
ナイトリー + cuda 12.0> = 2023/06/27	`https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.0/torch_xla-nightly-cp38-cp38-linux_x86_64.whl`

Docker

バージョン	クラウドTPU VMS Docker
2.5	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.5.0_3.10_tpuvm`
2.4	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.4.0_3.10_tpuvm`
2.3	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.3.0_3.10_tpuvm`
2.2	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.2.0_3.10_tpuvm`
2.1	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.1.0_3.10_tpuvm`
毎晩のPython	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:nightly_3.10_tpuvm`

上記のドッカーズを使用するには、パス--privileged --net host --shm-size=16Gに合わせてください。これが例です：

docker run --privileged --net host --shm-size=16G -it us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:nightly_3.10_tpuvm /bin/bash

バージョン	GPU CUDA 12.4 Docker
2.5	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.5.0_3.10_cuda_12.4`
2.4	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.4.0_3.10_cuda_12.4`

バージョン	GPU CUDA 12.1 Docker
2.5	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.5.0_3.10_cuda_12.1`
2.4	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.4.0_3.10_cuda_12.1`
2.3	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.3.0_3.10_cuda_12.1`
2.2	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.2.0_3.10_cuda_12.1`
2.1	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.1.0_3.10_cuda_12.1`
毎晩	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:nightly_3.8_cuda_12.1`
毎日毎晩	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:nightly_3.8_cuda_12.1_YYYYMMDD`

バージョン	GPU CUDA 11.8 + Docker
2.1	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.1.0_3.10_cuda_11.8`
2.0	`us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.0_3.8_cuda_11.8`

GPUを使用してコンピューティングインスタンスで実行します。

トラブルシューティング

Pytorch/XLAが予想どおりに実行されていない場合は、ネットワークのデバッグと最適化に関する提案があるトラブルシューティングガイドを参照してください。

フィードバックを提供します

Pytorch/XLAチームは、ユーザーやOSSの貢献者からいつも喜んで聞いています！手を差し伸べる最良の方法は、このgithubに問題を提出することです。質問、バグレポート、機能リクエスト、ビルドの問題などは大歓迎です！

貢献

貢献ガイドを参照してください。

免責事項

このリポジトリは、Google、Meta、および貢献者ファイルにリストされている多くの個別の貢献者が共同で運用および維持しています。メタに向けられた質問については、[email protected]にメールを送信してください。 Googleに向けられた質問については、[email protected]にメールを送信してください。他のすべての質問については、こちらのこのリポジトリで問題を開いてください。

追加の読み取り

追加の便利な読み物を見つけることができます

クラウドTPU VMでのパフォーマンスデバッグ
怠zyなテンソルイントロ
Pytorch / XLAおよびCloud TPU VMを使用して、ディープラーニングワークロードのスケーリング
FSDPを使用したクラウドTPUのPytorchモデルのスケーリング

xla

pytorch/xla

インストール

TPU

GPUプラグイン

はじめる

pytorch/xlaチュートリアル

利用可能なDocker画像とホイール

Pythonパッケージ

08/20/2024以降、毎晩ビルドを使用します

Docker

トラブルシューティング

フィードバックを提供します

貢献

免責事項

追加の読み取り

関連プロジェクト

Google Dorks

shepherd

hidusbf

mongo express

Free Algorithms Books

markdownpedia

chat.petals.dev

GPT Prompt Templates

GPTyped

Google Dorks

shepherd

hidusbf

Google Dorks

shepherd

hidusbf