Docker 存儲驅動詳細介紹
最近做項目，期間對Docker 存儲驅動不會，於是在網上找資料，並解決了，這裡就記錄下。
目的
Docker是一個開源的應用容器引擎，主要利用Linux內核namespace實現沙盒隔離，用Cgroup實現資源限制。 Docker用於統一開發和部署的輕量級Linux 容器，試圖解決“依賴地獄”問題，把依賴的服務和組件組合起來，類似船舶使用的集裝箱，達到快速安裝部署。
1. Docker的基本架構―Client和Daemon
讓我們先搞明白docker的基本架構和啟動過程，其實Docker 採用了C/S架構，包括客戶端和服務端。 Docker daemon作為服務端接受來自客戶的請求，並處理這些請求（創建、運行、提交容器）。 客戶端和服務端在一個機器上，通過RESTful API 來進行通信。 具體到使用的過程中，就是在執行service docker start 後，在主機（host）上產生docker deamon守護進程，在後台運行並等待接收來自客戶端的消息（即輸入的docker命令，如docker pull xxx，docker run …，docker commit xxx ），實現跟docker deamon的交互。當啟動docker服務後，可以看到docker進程。
Default
[root@localhost ~]# ps -aux | grep dockerroot 11701 0.0 0.4 359208 16624 ? Ssl 21:05 0:00 /usr/bin/docker -d -H fd:// --selinux-enabled --insecure-registry 186.100.8.216:5000root 11861 0.0 0.0 113004 2256 pts/0 S+ 23:01 0:00 grep --color=auto docker
說明這個，主要是後面指定文件系統的時候，需要先在/etc/sysconfig/docker 的配置具體的storage driver（這個會寫一篇專門的Blog），然後再啟動Docker Daemon，而不能通過run命令的參數進行操作。還可以直接在host命令行通過docker d 進行設置。
2. Docker的存儲方式―Storage Driver
Docker模型的核心部分是有效利用分層鏡像機制，鏡像可以通過分層來進行繼承，基於基礎鏡像（沒有父鏡像），可以製作各種具體的應用鏡像。不同Docker 容器就可以共享一些基礎的文件系統層，同時再加上自己獨有的改動層，大大提高了存儲的效率。其中主要的機制就是分層模型和將不同目錄掛載到同一個虛擬文件系統下（unite several directories into a single virtual filesystem，來自這篇文章）。 針對鏡像存儲docker採用了幾種不同的存儲drivers，包括：aufs，devicemapper，btrfs 和overlay（來自官網）。下面簡單對不同的存儲drivers做個介紹。
AUFS
AUFS（AnotherUnionFS）是一種聯合文件系統。 AUFS 支持為每一個成員目錄（類似Git 的分支）設定只讀（readonly）、讀寫（readwrite）和寫出（whiteout-able）權限, 同時AUFS 裡有一個類似分層的概念, 對只讀權限的分支可以邏輯上進行增量地修改(不影響只讀部分的)。 AUFS唯一一個storage driver可以實現容器間共享可執行及可共享的運行庫, 所以當你跑成千上百個擁有相同程序代碼或者運行庫時時候，AUFS是個相當不錯的選擇。
Device mapper
Device mapper 是Linux 2.6 內核中提供的一種從邏輯設備到物理設備的映射框架機制，在該機制下，用戶可以很方便的根據自己的需要製定實現存儲資源的管理策略( 詳見) 。 Device mapper driver 會創建一個100G的簡單文件包含你的鏡像和容器，每一個容器被限制在10G大小的捲內（注意：這是利用loopback自動創建的稀疏文件，具體為/var/lib/docker/devicemapper/devicemapper 下的data和metadata,可動態擴張）。可以調整Docker容器的大小， 具體參考） 你可以在啟動docker daemon時用參數-s 指定driver，也就是可以docker -d -s devicemapper 設置docker的存儲driver。先關閉docker服務，執行命令：
Default
[root@localhost ~]# docker -d -s devicemapperINFO[0000] +job serveapi(unix:///var/run/docker.sock) INFO[0000] Listening for HTTP on unix (/var/run/docker.sock) INFO[0000] +job init_networkdriver() INFO[0000] -job init_networkdriver() = OK (0) INFO[0000] Loading containers: start. ....INFO[0000] Loading containers: done. INFO[0000] docker daemon: 1.4.0 4595d4f/1.4.0; execdriver: native-0.2; graphdriver: devicemapper INFO[0000] +job acceptconnections() INFO[0000] -job acceptconnections() = OK (0)
另外，docker在啟動容器的時候可以指定storage-opt 參數，但是現在只有devicemapper能夠接受參數設置。後面會有針對性的Blog展示。
BTRFS
Btrfs Driver 在docker build可以很高效。但是跟devicemapper 一樣不支持設備間共享存儲(參加官網)。 Btrfs 支持創建快照(snapshot)和克隆(clone)，還能夠方便的管理多個物理設備。 （詳細了解可以參考IBM對Btrfs的介紹）
overlay
overlay跟AUFS很像，但是性能比AUFS好，有很好內存利用，現在已經合併入Linux內核3.18了。具體使用命令： docker ds overlay
官網的Note: It is currently unsupported on btrfs or any Copy on Write filesystem and should only be used over ext4 partitions.
3 Docker目錄結構
Docker兩個最重要的概念是鏡像和容器。那麼我們pull下來的鏡像的存儲在哪裡呢？鏡像運行容器啟動後，我們的操作修改的內容存儲在哪裡呢？因為具體的驅動不同，所以最終的實現效果不同。下面我們以Device Mapper存儲driver為例，分析下docker的存儲結構。
1. 進入/var/lib/docker 目錄，列出內容：
Default
[root@localhost ~]# cd /var/lib/docker/[root@localhost docker]# lscontainers devicemapper execdriver graph init linkgraph.db repositories-devicemapper tmp trust volumes
根據目錄的內容，可以明顯的看到是使用了devicemapper driver。
注：以下顯示的文件夾都是在/var/lib/docker下的。
2. pull的鏡像文件存在哪個文件夾下呢？ ( 參考）
pull的鏡像信息保存在了graph文件夾下，鏡像的內容存在了devicemapper/ devicemapper/data 下。
3. 啟動的容器運行在哪裡呢？
啟動的容器配置信息保存在containers 裡，查看了還有execdriver/native/ 。
容器裡操作的內容保存在devicemapper/devicemapper/data 下。
4. graph的角色
在Docker架構中扮演已下載容器鏡像的保管者，以及已下載容器鏡像之間關係的記錄者。 graph的本地目錄中，關於每一個的容器鏡像，具體存儲的信息有：該容器鏡像的元數據（json），容器鏡像的大小（layersize）信息，以及該容器鏡像所代表的具體rootfs。
5. 實驗測試：
- 初始沒有啟容器：
Default
[root@localhost docker]# ll containers/total 0
- 啟動一個容器：
Default
[root@localhost docker]# docker run -i -t --rm centos:7 /bin/bash[root@187a8f9d2865 /]#
所啟動的容器的UUID=187a8f9d2865
- 啟動容器前，查看查看/var/lib/docker/devicemapper/devicemapper/下文件的實際大小
Default
[root@bhDocker216 docker]# du -h devicemapper/devicemapper/*2.1G devicemapper/devicemapper/data3.5M devicemapper/devicemapper/metadata
- 在host的主機上查看
Default
[root@bhDocker216 docker]# ls containers/187a8f9d2865c2ac***91b981
查看啟動的容器在UUID文件夾下面的內容：
Default
[root@bhDocker216 containers]# ll 187a8f9d2865c2ac***91b981total 24-rw-------. 1 root root 273 Mar 5 23:59 187a8f9d2865***-json.log-rw-r--r--. 1 root root 1683 Mar 5 23:58 config.json-rw-r--r--. 1 root root 334 Mar 5 23:58 hostconfig.json-rw-r--r--. 1 root root 13 Mar 5 23:58 hostname-rw-r--r--. 1 root root 174 Mar 5 23:58 hosts-rw-r--r--. 1 root root 69 Mar 5 23:58 resolv.conf- 在啟動的容器添加文件,並查看。
先在運行的容器內創建一個文件：
Default
[root@8a1e3ad05d9e /]# dd if=/dev/zero of=floppy.img bs=512 count=57605760+0 records in5760+0 records out2949120 bytes (2.9 MB) copied, 0.0126794 s, 233 MB/s
然後在/var/lib/docker/devicemapper/devicemapper/下查看文件：
Default
[root@bhDocker216 docker]# du -h devicemapper/devicemapper/*5.5G devicemapper/devicemapper/data4.6M devicemapper/devicemapper/metadata
這地方大小有點出入，是因為先執行了# dd if=/dev/zero of=test.txt bs=1M count=8000 ，創建一個8G大小的文件，由於太慢我終止了，但是可以明確的看到在運行的容器裡進行操作，兩個文件夾都發生了改變（增加）。
- 查看graph，在只pull了一個鏡像（Ubuntu14.10）的情況下，裡面出現了7個長UUID命名的目錄，這是怎麼來的呢？
用docker images tree 列出鏡像樹形結構，我們可以看到鏡像的分層存儲結構。最終的Ubuntu（第7層）是基於第6層改動的，即這種邏輯上的樹中第n層基於是第n-1層改動的，n層依賴n-1層的image。第0層，大小為0，稱為base image。
- graph/UUID目錄下內容是啥呢？
Default
[root@localhost graph]# ll 01bf15a18638145eb*** -htotal 8.0K-rw-------. 1 root root 1.6K Mar 5 18:02 json-rw-------. 1 root root 9 Mar 5 18:02 layersize
查看layersize的內容：數字表示層的大小（單位：B）。 josn：保存了這個鏡像的元數據（如： size，architecture，config，container，**parent的UUID** 等等）。
- 查看devicemapper/devicemapper文件夾
有兩個文件夾data 和metadata ，其實device mapper driver是就是把鏡像和容器的文件都存儲在**data** 這個文件內。可以通過docker info查看data和metadata的大小。 另外可以用du h （上面有用到）查看這兩個稀疏文件的實際大小。
- execdriver
Default
[root@bhDocker216 docker]# ls execdriver/native/8a1e3ad05d9e66a455e683a2c***2437bdcccdfdfa//對裡面的內容進行查看：[root@bhDocker216 8a1e3ad05d9e66a455e***]# lscontainer.json state.json
- volumes
沒有加-v參數的volumes是空的，經測試如果啟動容器增加加-v參數，volumes文件夾下將顯示一個UUID，在host進行全局搜索，只在volumes下找到了，跟鏡像和容器的UUID都沒有關係。
Default
[root@bhDocker216 docker]# find / -name 86eb77f9f5e25676f100***d5a/var/lib/docker/volumes/86eb77f9f5e25676f100***d5a//查看裡面的內容：[root@bhDocker216 volumes]# ls 86eb77f9f5e25676f100***d5aconfig.json[root@bhDocker216 volumes]# cat 86eb77f9f5e25676f100***d5a /config.json {"ID":"86eb77f9f5e25676f100a89ba727bc15185303236aae0dcf4c17223e37651d5a","Path":"/home/data","IsBindMount":true,"Writable":true}文件夾作用表格性說明
做個總結，整理一個表格，把/var/lib/docker下的不同文件夾作用說明下：
感謝閱讀，希望能幫助到大家，謝謝大家對本站的支持！