solo learn下載 - solo learn源代碼下載

solo learn

Python

1.0.8

下載

獨奏學習

由Pytorch Lightning提供支持的無監督視覺表示的自我監督方法的庫。我們旨在在可比的環境中提供SOTA自學方法，同時實施培訓技巧。該庫是獨立的，但是可以使用獨奏學習的模型。我們的論文中的更多詳細信息。

消息

[2024年1月14日] ：？ 2023年期間的一堆穩定性改進也添加了All4One。
[2023年1月7日] ：？在ImageNet上添加了MAE的結果，檢查點和配置。感謝黃金。
[2022年12月31日] ：？閃亮的新徽標！非常感謝路易斯！
[2022年9月27日] ：使用Omegaconf/Hydra的全新配置系統。增加了更清晰和靈活性。新教程將很快跟隨！
[8月4日2022] ：？ 添加了MAE，並支持使用main_linear.py ，Mixup，cutmix和隨機增強的骨幹。
[2022年7月13日] ：？增加了對H5數據，改進的腳本和數據處理的支持。
[2022年6月26日] ：添加了Moco V3。
[2022年6月10日] ：？改善了拉爾斯。
[2022年6月9日] ：？添加了對WideSnet的支持，SWAV的多功能和均等數據增強。
[5月2日2022] ：？將DALI與數據座包裝，添加了用於線性評估的自動簡歷和WANDB運行簡歷。
[2022年4月12日] ：？改進了模型的設計，並增加了對培訓的支持，並用一小部分數據進行培訓。
[4月1日2022] ：？添加了使用頻道最後轉換的選項，該轉換大大減少了訓練時間。
[2022年2月4日] ：？紙被JMLR接受了。
[2022年1月31日] ：？ 加上timm的Convnext支持。
[2021年12月20日] ：？ 添加了MOCO V2+的Imagenet結果，腳本和檢查點。
[DEC 05 2021] ：？與SIMCLR分開的SUPCON並添加了運行。
[DEC 01 2021] ：⛲添加了池形成器。
[2021年11月29日] ： ‼ ️打破變化！更新您的版本！！！
[2021年11月29日] ：新教程！
[2021年11月29日] ：？ 添加了離線K-NN和離線UMAP。
[2021年11月29日] ：更新了Pytorch和Pytorch Lightning版本。 10％更快。
[2021年11月29日] ：？添加了行為守則，貢獻說明，問題模板和UMAP教程。
[2021年11月23日] ：？添加了Vibcreg。
[2021年10月21日] ：？通過檢測V2和自動簡歷功能添加了對對象識別的支持，該功能會自動嘗試恢復撞車/到達超時的實驗。
[2021年10月10日] ：？重組的增強管道，以允許更大的靈活性和多功能。還為BYOL添加了多功能。
[2021年9月27日] ：？添加了NNSIAM，NNBYOL，用於實施新方法1和2的新教程，並通過自定義數據和線性評估進行了更多測試和固定問題。
[2021年9月19日] ：？在線添加了K-NN評估。
[2021年9月17日] ：？增加了vit和swin。
[2021年9月13日] ：改進了文檔和添加的教程，用於訓練和離線線性評估。
[2021年8月13日] ：？ DeepCluster V2現在可用。

路線圖和幫助

重做文檔以提高清晰度。
更好和最新的教程。
添加與性能相關的測試，以確保方法在更新中執行相同的操作。
添加新方法（持續努力）。

可用的方法

ALL4ONE
巴洛雙胞胎
BYOL
DeepCluster V2
恐龍
梅
moco v2+
Moco V3
nnbyol
nnclr
nnsiam
Ressl
simclr
Simsiam
監督對比學習
沃夫
Vibcreg
Vicreg
W-MSE

額外的風味

骨幹

重新連接
寬頻
VIT
斯文
泳池形式
Consnext

數據

使用Nvidia dali提高了數據處理速度高達100％。
靈活的增強。

評估

通過定型梯度進行在線線性評估，以更容易調試和原型製作（也可選可用於動量主鏈）。
標準離線線性評估。
在線和離線K-NN評估。
自動特徵空間可視化使用UMAP。

訓練技巧

Pytorch Lightning的所有津貼（混合精度，梯度積累，剪裁等等）。
頻道最後轉換
SWAV之後的多編寫數據編寫：
- 注意：目前，只有SIMCLR，BYOL和SWAV支持這一點。
排除重量衰變和lars的偏見和偏見。
沒有用於投影頭的LR調度程序（如Simsiam中）。

記錄

用揮手在雲上登錄公制
使用簡單的文件組織進行自定義模型檢查點。

要求

火炬
火炬
TQDM
Einops
Wandb
pytorch燈
閃電
火炬手
Scipy
蒂姆

選修的：

nvidia-dali
matplotlib
海洋
貓熊
UMAP-LEARN

安裝

首先克隆回購。

然後，要使用Dali和/或UMAP支持安裝獨奏學習，請使用：

pip3 install .[dali,umap,h5] --extra-index-url https://developer.download.nvidia.com/compute/redist

如果不需要DALI/UMAP/H5支持，則可以將存儲庫安裝為：

pip3 install .

用於本地發展：

pip3 install -e .[umap,h5]
# Make sure you have pre-commit hooks installed
pre-commit install

注意：如果您在Dali方面遇到麻煩，請按照其指南進行安裝。

注意2：考慮不使用DALI時安裝枕頭-SIMD以更好地加載時間。

注3：即將上水。

訓練

要預處理主幹，請按照scripts/pretrain/的眾多bash文件之一。我們現在正在使用Hydra來處理配置文件，因此通用語法類似於：

python3 main_pretrain.py 
    # path to training script folder
    --config-path scripts/pretrain/imagenet-100/ 
    # training config name
    --config-name barlow.yaml
    # add new arguments (e.g. those not defined in the yaml files)
    # by doing ++new_argument=VALUE
    # pytorch lightning's arguments can be added here as well.

之後，對於離線線性評估，請按照scripts/linear或scripts/finetune的示例進行列表，以列出整個骨幹。

為了進行K-NN評估和UMAP可視化檢查scripts/{knn,umap}中的腳本。

注意：文件嘗試保持最新狀態，並儘可能仔細地遵循每篇論文的推薦參數，但在運行前檢查它們。

教程

請查看我們的文檔和教程：

概述
離線線性評估
對象檢測
添加一種新方法
添加一種新的動量方法
用UMAP可視化功能
離線K-NN

如果您想為獨奏學習做出貢獻，請確保您了解如何做出貢獻和遵守行為準則

模型動物園

可以通過以下表直接下載所有預估計的模型，也可以通過運行以下腳本之一zoo/cifar10.sh ， zoo/cifar100.sh ， zoo/imagenet100.sh和zoo/imagenet.sh來直接下載。

結果

注意：超參數可能不是最好的，我們將最終以較低的性能重新運行。

CIFAR-10

方法	骨幹	時代	ACC@1	ACC@5	檢查點
ALL4ONE	RESNET18	1000	93.24	99.88	？
巴洛雙胞胎	RESNET18	1000	92.10	99.73	？
BYOL	RESNET18	1000	92.58	99.79	？
DeepCluster V2	RESNET18	1000	88.85	99.58	？
恐龍	RESNET18	1000	89.52	99.71	？
moco v2+	RESNET18	1000	92.94	99.79	？
Moco V3	RESNET18	1000	93.10	99.80	？
nnclr	RESNET18	1000	91.88	99.78	？
Ressl	RESNET18	1000	90.63	99.62	？
simclr	RESNET18	1000	90.74	99.75	？
Simsiam	RESNET18	1000	90.51	99.72	？
supcon	RESNET18	1000	93.82	99.65	？
沃夫	RESNET18	1000	89.17	99.68	？
Vibcreg	RESNET18	1000	91.18	99.74	？
Vicreg	RESNET18	1000	92.07	99.74	？
W-MSE	RESNET18	1000	88.67	99.68	？

CIFAR-100

方法	骨幹	時代	ACC@1	ACC@5	檢查點
ALL4ONE	RESNET18	1000	72.17	93.35	？
巴洛雙胞胎	RESNET18	1000	70.90	91.91	？
BYOL	RESNET18	1000	70.46	91.96	？
DeepCluster V2	RESNET18	1000	63.61	88.09	？
恐龍	RESNET18	1000	66.76	90.34	？
moco v2+	RESNET18	1000	69.89	91.65	？
Moco V3	RESNET18	1000	68.83	90.57	？
nnclr	RESNET18	1000	69.62	91.52	？
Ressl	RESNET18	1000	65.92	89.73	？
simclr	RESNET18	1000	65.78	89.04	？
Simsiam	RESNET18	1000	66.04	89.62	？
supcon	RESNET18	1000	70.38	89.57	？
沃夫	RESNET18	1000	64.88	88.78	？
Vibcreg	RESNET18	1000	67.37	90.07	？
Vicreg	RESNET18	1000	68.54	90.83	？
W-MSE	RESNET18	1000	61.33	87.26	？

Imagenet-100

方法	骨幹	時代	達利	ACC@1（在線）	ACC@1（離線）	ACC@5（在線）	ACC@5（離線）	檢查點
ALL4ONE	RESNET18	400	✔️	81.93	-	96.23	-	？
巴洛雙胞胎	RESNET18	400	✔️	80.38	80.16	95.28	95.14	？
BYOL	RESNET18	400	✔️	80.16	80.32	95.02	94.94	？
DeepCluster V2	RESNET18	400		75.36	75.4	93.22	93.10	？
恐龍	RESNET18	400	✔️	74.84	74.92	92.92	92.78	？
恐龍？	vit小	400		63.04	托多	87.72	托多	？
moco v2+	RESNET18	400	✔️	78.20	79.28	95.50	95.18	？
Moco V3	RESNET18	400	✔️	80.36	80.36	95.18	94.96	？
Moco V3	RESNET50	400	✔️	85.48	84.58	96.82	96.70	？
nnclr	RESNET18	400	✔️	79.80	80.16	95.28	95.30	？
Ressl	RESNET18	400	✔️	76.92	78.48	94.20	94.24	？
simclr	RESNET18	400	✔️	77.64	托多	94.06	托多	？
Simsiam	RESNET18	400	✔️	74.54	78.72	93.16	94.78	？
supcon	RESNET18	400	✔️	84.40	托多	95.72	托多	？
沃夫	RESNET18	400	✔️	74.04	74.28	92.70	92.84	？
Vibcreg	RESNET18	400	✔️	79.86	79.38	94.98	94.60	？
Vicreg	RESNET18	400	✔️	79.22	79.40	95.06	95.02	？
W-MSE	RESNET18	400	✔️	67.60	69.06	90.94	91.22	？

高參數進行了大量調節的方法。

？ VIT是非常強大且不穩定的，因此我們正在慢慢運行更大的架構，並且批量較大。 ATM，總批量大小為128，我們需要使用Float32精度。如果您想通過運行來做出貢獻，請告訴我們！

成像網

方法	骨幹	時代	達利	ACC@1（在線）	ACC@1（離線）	ACC@5（在線）	ACC@5（離線）	檢查點	固定檢查點
巴洛雙胞胎	RESNET50	100	✔️	67.18	67.23	87.69	87.98	？
BYOL	RESNET50	100	✔️	68.63	68.37	88.80	88.66	？
moco v2+	RESNET50	100	✔️	62.61	66.84	85.40	87.60	？
梅	VIT-B/16	100		〜	81.60（填充）	〜	95.50（填充）	？	？

達利的培訓效率

我們在具有Intel i9-9820x和兩個RTX2080TI的服務器中使用RESNET18報告了某些方法的訓練效率。

方法	達利	20個時期的總時間	1個時期的時間	GPU內存（PER GPU）
巴洛雙胞胎		1H 38m 27s	4m 55s	5097 MB
	✔️	43m 2s	2m 10s（快56％）	9292 MB
BYOL		1h 38m 46s	4m 56s	5409 MB
	✔️	50m 33s	2M 31S（快49％）	9521 MB
nnclr		1H 38M 30S	4m 55s	5060 mb
	✔️	42m 3s	2m 6s（快64％）	9244 MB

注意：GPU內存的增加不會隨著模型而擴展，而是隨著工人的數量而縮放。

引用

如果您使用獨奏學習，請引用我們的論文：

 @article { JMLR:v23:21-1155 ,
  author  = { Victor Guilherme Turrisi da Costa and Enrico Fini and Moin Nabi and Nicu Sebe and Elisa Ricci } ,
  title   = { solo-learn: A Library of Self-supervised Methods for Visual Representation Learning } ,
  journal = { Journal of Machine Learning Research } ,
  year    = { 2022 } ,
  volume  = { 23 } ,
  number  = { 56 } ,
  pages   = { 1-6 } ,
  url     = { http://jmlr.org/papers/v23/21-1155.html }
}