deepo下載 - deepo源代碼下載

deepo

Python

v2.0.0

下載

請注意，深度學習框架戰爭已經結束，該項目不再維護。

Deepo是一個開放式框架，可以組裝專業的Docker圖像，以無需痛苦，以進行深度學習研究。它提供了數十個標準組件的“樂高”集合，用於準備深度學習工具和將它們組裝到自定義Docker圖像中的框架。

Deepo的核心是一個Dockerfile發電機

允許您使用樂高的模塊自定義深度學習環境
- 在單個命令行中定義環境，
- 然後，Deepo將通過最佳實踐生成Dockerfiles
- 並為您完成所有配置
自動為您解決依賴項
- Deepo知道哪些連擊（CUDA/CUDNN/PYTHON/PYTORCH/TENSORFLOW，...，大量的依賴關係）是兼容的
- 並會為您選擇正確的版本
- 並使用拓撲排序安排安裝程序順序

我們還準備了一系列預製的碼頭圖像

允許您立即建立共同的深度學習研究環境
支持幾乎所有常用的深度學習框架
支持GPU加速度（包括CUDA和CUDNN），也以CPU的模式起作用
在Linux（CPU版本/GPU版本），Windows（CPU版本）和OS X（CPU版本）上作品

快速開始

GPU版本

安裝

步驟1。安裝Docker和Nvidia-Docker。

步驟2。從Docker Hub獲取多合一圖像

docker pull ufoym/deepo

對於中國從公共碼頭註冊表中提取圖像時可能會遭受緩慢速度的用戶，您可以通過在您的Docker Pull命令中指定包括註冊表在內的完整路徑（包括註冊表）來從中國註冊錶鏡像中摘取deepo圖像：例如：

docker pull registry.docker-cn.com/ufoym/deepo

用法

現在您可以嘗試此命令：

docker run --gpus all --rm ufoym/deepo nvidia-smi

這應該有效，並使Deepo能夠從Docker內部的容器內使用GPU。如果這不起作用，請在Nvidia-Docker Github上搜索問題部分 - 已經記錄了許多解決方案。要將交互式外殼轉到一個容器，該容器將在您退出後不會自動刪除

docker run --gpus all -it ufoym/deepo bash

如果要在主機（機器或VM）和使用deepo的容器之間共享數據和配置，請使用-v選項，例如

docker run --gpus all -it -v /host/data:/data -v /host/config:/config ufoym/deepo bash

這將在容器中可見為/host/data在容器和/host/config As /config中從主機中創建 /主機 / /data 。這種隔離減少了您的容器化實驗覆蓋或使用錯誤數據的機會。

請注意，某些框架（例如pytorch）使用共享內存共享數據之間的數據，因此，如果使用多處理，則默認的共享存儲器段大小，該容器運行的默認共享存儲器段大小不夠，並且您應該將共享存儲器大小與--ipc=host或--shm-size命令行一起增加到docker run 。

docker run --gpus all -it --ipc=host ufoym/deepo bash

CPU版本

安裝

步驟1。安裝Docker。

步驟2。從Docker Hub獲取多合一圖像

docker pull ufoym/deepo:cpu

用法

現在您可以嘗試此命令：

docker run -it ufoym/deepo:cpu bash

如果要在主機（機器或VM）和使用deepo的容器之間共享數據和配置，請使用-v選項，例如

docker run -it -v /host/data:/data -v /host/config:/config ufoym/deepo:cpu bash

這將在容器中可見為/host/data在容器和/host/config As /config中從主機中創建 /主機 / /data 。這種隔離減少了您的容器化實驗覆蓋或使用錯誤數據的機會。

請注意，某些框架（例如pytorch）使用共享內存共享數據之間的數據，因此，如果使用多處理，則默認的共享存儲器段大小，該容器運行的默認共享存儲器段大小不夠，並且您應該將共享存儲器大小與--ipc=host或--shm-size命令行一起增加到docker run 。

docker run -it --ipc=host ufoym/deepo:cpu bash

您現在準備開始旅程了。

$ python

 > >> import tensorflow
> >> import sonnet
> >> import torch
> >> import keras
> >> import mxnet
> >> import cntk
> >> import chainer
> >> import theano
> >> import lasagne
> >> import caffe
> >> import paddle

$ caffe --version

 caffe version 1.0.0

$ darknet

 usage: darknet <function>

定制

請注意，快速啟動中提到的docker pull ufoym/deepo將為您提供一個標準圖像，其中包含所有可用的深度學習框架。您也可以自定義自己的環境。

對多合一解決方案不滿意？

如果您喜歡特定的框架而不是多合一圖像，只需附加帶有框架名稱的標籤即可。以TensorFlow為例：

docker pull ufoym/deepo:tensorflow

Jupyter支持

步驟1。拉多一圖像

docker pull ufoym/deepo

步驟2。運行圖像

docker run --gpus all -it -p 8888:8888 -v /home/u:/root --ipc=host ufoym/deepo jupyter lab --no-browser --ip=0.0.0.0 --allow-root --LabApp.allow_origin= ' * ' --LabApp.root_dir= ' /root '

使用樂高的模塊構建自己的自定義圖像

步驟1。準備發電機

git clone https://github.com/ufoym/deepo.git
cd deepo/generator

步驟2。生成您定制的Dockerfile

例如，如果您喜歡pytorch和lasagne ，那麼

python generate.py Dockerfile pytorch lasagne

或與Cuda 11.1和Cudnn 8

python generate.py Dockerfile pytorch lasagne --cuda-ver 11.1 --cudnn-ver 8

這應該產生一個碼頭，其中包含用於建造pytorch和lasagne所有內容。請注意，生成器可以處理自動依賴關係處理，並從拓撲上對列表進行排序。因此，您無需擔心丟失依賴項和列表順序。

您還可以指定Python的版本：

python generate.py Dockerfile pytorch lasagne python==3.6

步驟3。建造您的Dockerfile

docker build -t my/deepo .

這可能需要幾分鐘，因為它從頭開始編譯了一些庫。

與替代方案進行比較

。	現代深度學習	DL-Docker	jupyter挖掘	Deepo
Ubuntu	16.04	14.04	14.04	18.04
庫達	x	8.0	6.5-8.0	8.0-10.2/無
庫丁	x	V5	V2-5	V7
onnx	x	x	x	o
Theano	x	o	o	o
張量	o	o	o	o
十四行詩	x	x	x	o
Pytorch	x	x	x	o
凱拉斯	o	o	o	o
烤寬麵條	x	o	o	o
mxnet	x	x	x	o
CNTK	x	x	x	o
連鎖商	x	x	x	o
咖啡餅	o	o	o	o
caffe2	x	x	x	o
火炬	x	o	o	o
darknet	x	x	x	o
槳板	x	x	x	o

可用標籤

。	CUDA 11.3 / PYTHON 3.8	僅CPU / Python 3.8
多合一	`latest` `all` `all-py38` `py38-cu113` `all-py38-cu113`	`all-py38-cpu` `all-cpu` `py38-cpu` `cpu`
張量	`tensorflow-py38-cu113` `tensorflow-py38` `tensorflow`	`tensorflow-py38-cpu` `tensorflow-cpu`
Pytorch	`pytorch-py38-cu113` `pytorch-py38` `pytorch`	`pytorch-py38-cpu` `pytorch-cpu`
凱拉斯	`keras-py38-cu113` `keras-py38` `keras`	`keras-py38-cpu` `keras-cpu`
mxnet	`mxnet-py38-cu113` `mxnet-py38` `mxnet`	`mxnet-py38-cpu` `mxnet-cpu`
連鎖商	`chainer-py38-cu113` `chainer-py38` `chainer`	`chainer-py38-cpu` `chainer-cpu`
darknet	`darknet-cu113` `darknet`	`darknet-cpu`
槳板	`paddle-cu113` `paddle`	`paddle-cpu`

棄用標籤

。	CUDA 11.3 / Python 3.6	CUDA 11.1 / Python 3.6	cuda 10.1 / python 3.6	cuda 10.0 / python 3.6	CUDA 9.0 / Python 3.6	CUDA 9.0 / Python 2.7	僅CPU / Python 3.6	僅CPU / Python 2.7
多合一	`py36-cu113` `all-py36-cu113`	`py36-cu111` `all-py36-cu111`	`py36-cu101` `all-py36-cu101`	`py36-cu100` `all-py36-cu100`	`py36-cu90` `all-py36-cu90`	`all-py27-cu90` `all-py27` `py27-cu90`		`all-py27-cpu` `py27-cpu`
與Jupyter多合一					`all-jupyter-py36-cu90`	`all-py27-jupyter` `py27-jupyter`		`all-py27-jupyter-cpu` `py27-jupyter-cpu`
Theano	`theano-py36-cu113`	`theano-py36-cu111`	`theano-py36-cu101`	`theano-py36-cu100`	`theano-py36-cu90`	`theano-py27-cu90` `theano-py27`		`theano-py27-cpu`
張量	`tensorflow-py36-cu113`	`tensorflow-py36-cu111`	`tensorflow-py36-cu101`	`tensorflow-py36-cu100`	`tensorflow-py36-cu90`	`tensorflow-py27-cu90` `tensorflow-py27`		`tensorflow-py27-cpu`
十四行詩	`sonnet-py36-cu113`	`sonnet-py36-cu111`	`sonnet-py36-cu101`	`sonnet-py36-cu100`	`sonnet-py36-cu90`	`sonnet-py27-cu90` `sonnet-py27`		`sonnet-py27-cpu`
Pytorch	`pytorch-py36-cu113`	`pytorch-py36-cu111`	`pytorch-py36-cu101`	`pytorch-py36-cu100`	`pytorch-py36-cu90`	`pytorch-py27-cu90` `pytorch-py27`		`pytorch-py27-cpu`
凱拉斯	`keras-py36-cu113`	`keras-py36-cu111`	`keras-py36-cu101`	`keras-py36-cu100`	`keras-py36-cu90`	`keras-py27-cu90` `keras-py27`		`keras-py27-cpu`
烤寬麵條	`lasagne-py36-cu113`	`lasagne-py36-cu111`	`lasagne-py36-cu101`	`lasagne-py36-cu100`	`lasagne-py36-cu90`	`lasagne-py27-cu90` `lasagne-py27`		`lasagne-py27-cpu`
mxnet	`mxnet-py36-cu113`	`mxnet-py36-cu111`	`mxnet-py36-cu101`	`mxnet-py36-cu100`	`mxnet-py36-cu90`	`mxnet-py27-cu90` `mxnet-py27`		`mxnet-py27-cpu`
CNTK	`cntk-py36-cu113`	`cntk-py36-cu111`	`cntk-py36-cu101`	`cntk-py36-cu100`	`cntk-py36-cu90`	`cntk-py27-cu90` `cntk-py27`		`cntk-py27-cpu`
連鎖商	`chainer-py36-cu113`	`chainer-py36-cu111`	`chainer-py36-cu101`	`chainer-py36-cu100`	`chainer-py36-cu90`	`chainer-py27-cu90` `chainer-py27`		`chainer-py27-cpu`
咖啡餅	`caffe-py36-cu113`	`caffe-py36-cu111`	`caffe-py36-cu101`	`caffe-py36-cu100`	`caffe-py36-cu90`	`caffe-py27-cu90` `caffe-py27`		`caffe-py27-cpu`
caffe2					`caffe2-py36-cu90` `caffe2-py36` `caffe2`	`caffe2-py27-cu90` `caffe2-py27`	`caffe2-py36-cpu` `caffe2-cpu`	`caffe2-py27-cpu`
火炬	`torch-cu113`	`torch-cu111`	`torch-cu101`	`torch-cu100`	`torch-cu90`	`torch-cu90` `torch`		`torch-cpu`
darknet	`darknet-cu113`	`darknet-cu111`	`darknet-cu101`	`darknet-cu100`	`darknet-cu90`	`darknet-cu90` `darknet`		`darknet-cpu`

引用

 @misc{ming2017deepo,
    author = {Ming Yang},
    title = {Deepo: set up deep learning environment in a single command line.},
    year = {2017},
    publisher = {GitHub},
    journal = {GitHub repository},
    howpublished = {url{https://github.com/ufoym/deepo}}
}