首頁>編程相關>Python
下載

Pytorch圖像質量（PIQ）不受Facebook，Inc。的認可；

Pytorch，Pytorch徽標和任何相關標記都是Facebook，Inc。的商標。

CI Flake-8樣式檢查CI測試

Pytorch圖像質量（PIQ）是圖像質量評估的度量和指標集合。 PIQ可以幫助您無需任何樣板代碼專注於實驗。該庫包含一組不斷擴展的度量和指標。對於可以用作損失函數的度量/指標，實現了相應的Pytorch模塊。

我們提供：

  • 統一接口，易於使用和擴展。
  • 寫在純pytorch上，裸露的最小依賴性。
  • 廣泛的用戶輸入驗證。您的代碼不會在培訓中間崩潰。
  • 快速（可用的GPU計算）可靠。
  • 大多數指標可以被反向傳播以進行模型優化。
  • 支持Python 3.7-3.10。

PIQ最初被命名為photynthesis.metrics。

安裝

可以使用pip ， conda或git安裝Pytorch圖像質量（PIQ）。

如果使用pip ，則可以安裝它： 

$ pip install piq

如果使用conda ，則可以安裝以下方式： 

$ conda install piq -c photosynthesis-team -c conda-forge -c PyTorch

如果您想直接使用Master Clone PIQ Repo的最新功能： 

git clone https://github.com/photosynthesis-team/piq.git
cd piq
python setup.py install

文件

完整的文檔可在https://piq.readthedocs.io上找到。

用法示例

基於圖像的指標

一組指標（例如PSNR，SSIM，Brisque）採用圖像或一對圖像作為輸入，以計算它們之間的距離。我們有一個函數接口，該界面返回度量值和類接口，該界面允許使用任何度量作為損耗函數。 

 import torch
from piq import ssim , SSIMLoss

x = torch . rand ( 4 , 3 , 256 , 256 , requires_grad = True )
y = torch . rand ( 4 , 3 , 256 , 256 )

ssim_index : torch . Tensor = ssim ( x , y , data_range = 1. )

loss = SSIMLoss ( data_range = 1. )
output : torch . Tensor = loss ( x , y )
output . backward ()

有關示例的完整列表，請參見圖像指標示例。

基於分佈的指標

一組指標（例如IS，FID，KID）列出了圖像功能列表來計算分佈之間的距離。圖像功能可以分別由某些特徵提取器網絡提取，也可以使用類的compute_feats方法提取。

筆記：
compute_feats消耗了預定義格式的數據加載程序。 
 import torch
from torch . utils . data import DataLoader
from piq import FID

first_dl , second_dl = DataLoader (), DataLoader ()
fid_metric = FID ()
first_feats = fid_metric . compute_feats ( first_dl )
second_feats = fid_metric . compute_feats ( second_dl )
fid : torch . Tensor = fid_metric ( first_feats , second_feats )

如果您已經具有圖像功能，請使用類接口進行分數計算： 

 import torch
from piq import FID

x_feats = torch . rand ( 10000 , 1024 )
y_feats = torch . rand ( 10000 , 1024 )
msid_metric = MSID ()
msid : torch . Tensor = msid_metric ( x_feats , y_feats )

有關示例的完整列表，請參見特徵指標示例。

指標列表

全參考（FR）

縮寫年公制
psnr - 峰值信噪比
SSIM 2003結構相似性
MS-SSIM 2004多尺度結構相似性
IW-SSIM 2011信息內容加權結構相似性指數
vifp 2004視覺信息保真度
FSIM 2011功能相似性指數量度
SR-SIM 2012基於光譜殘差相似性
GMSD 2013梯度幅度相似性偏差
MS-GMSD 2017多尺度梯度幅度相似性偏差
VSI 2014視覺顯著誘導的索引
DSS 2015 DCT子帶相似性指數
- 2016內容分數
- 2016樣式得分
haarpsi 2016 HAAR感知相似性指數
MDSI 2016平均偏差相似性指數
LPIP 2018學習的感知圖像補丁相似性
pieapp 2018通過成對的偏好評估感知圖像錯誤評估
區2020深層圖像結構和紋理相似性

無參考（NR）

縮寫年公制
電視1937年總變化
布里斯克2012盲/無引用圖像空間質量評估器
夾子iqa 2022夾子iqa

基於分佈（DB）

縮寫年公制
是2016成立得分
fid 2017特雷希特的距離
GS 2018幾何得分
孩子2018內核成立距離
MSID 2019多尺度內在距離
PR 2019提高精度和召回

基準

作為我們圖書館的一部分，我們提供了代碼，以基於一組常見的Mene Opinon分數數據庫對所有指標進行基準測試。目前，我們支持幾個全參考（TID2013，KADID10K和PIPAL）以及NO-REFERY（KONIQ10K和LIVE-ITW）數據集。您需要單獨下載它們，並提供圖像路徑作為腳本的參數。

這是一個示例，如何評估TID2013數據集中的SSIM和MS-SSIM指標： 

python3 tests/results_benchmark.py --dataset tid2013 --metrics SSIM MS-SSIM --path ~ /datasets/tid2013 --batch_size 16

下面我們提供了用PIQ獲得併在調查中報告的Spearman等級相關係數（SRCC）值之間的比較。更接近的SRCC值表明在給定數據集的計算結果之間的一致性較高。我們不報告Kendall等級相關係數（KRCC），因為它與SRCC高度相關，並提供了有限的其他信息。我們不報告Pearson線性相關係數（PLCC），因為它高度依賴於擬合方法，並且偏向簡單示例。

對於可以拍攝灰度或顏色圖像的指標， c表示色版本。

全參考（FR）數據集

TID2013 kadid10k管道
來源PIQ /參考PIQ /參考PIQ /參考
psnr 0.69 / 0.69 TID2013 0.68 / - 0.41 / 0.41管道
SSIM 0.72 / 0.64 TID2013 0.72 / 0.72 KADID10K 0.50 / 0.53管道
MS-SSIM 0.80 / 0.79 TID2013 0.80 / 0.80 kadid10k 0.55 / 0.46管道
IW-SSIM 0.78 / 0.78 Eval2019 0.85 / 0.85 kadid10k 0.60 / -
vifp 0.61 / 0.61 TID2013 0.65 / 0.65 kadid10k 0.50 / -
FSIM 0.80 / 0.80 TID2013 0.83 / 0.83 KADID10K 0.59 / 0.60管道
FSIMC 0.85 / 0.85 TID2013 0.85 / 0.85 kadid10k 0.59 / -
SR-SIM 0.81 / 0.81 eval2019 0.84 / 0.84 KADID10K 0.57 / -
SR-SIMC 0.87 / - 0.87 / - 0.57 / -
GMSD 0.80 / 0.80 ms-gmsd 0.85 / 0.85 kadid10k 0.58 / -
VSI 0.90 / 0.90 eval2019 0.88 / 0.86 KADID10K 0.54 / -
DSS 0.79 / 0.79 Eval2019 0.86 / 0.86 KADID10K 0.63 / -
內容0.71 / - 0.72 / - 0.45 / -
風格0.54 / - 0.65 / - 0.34 / -
haarpsi 0.87 / 0.87 haarpsi 0.89 / 0.89 KADID10K 0.59 / -
MDSI 0.89 / 0.89 MDSI 0.89 / 0.89 KADID10K 0.59 / -
MS-GMSD 0.81 / 0.81 MS-GMSD 0.85 / - 0.59 / -
MS-GMSDC 0.89 / 0.89 ms-GMSD 0.87 / - 0.59 / -
lpips-vgg 0.67 / 0.67區0.72 / - 0.57 / 0.58管道
pieapp 0.84 / 0.88區0.87 / - 0.70 / 0.71管道
區0.81 / 0.83區0.88 / - 0.62 / 0.66管道
布里斯克0.37 / 0.84 Eval2019 0.33 / 0.53 KADID10K 0.21 / -
夾子iqa 0.50 / - 0.48 / - 0.26 / -
是0.26 / - 0.25 / - 0.09 / -
fid 0.67 / - 0.66 / - 0.18 / -
孩子0.42 / - 0.66 / - 0.12 / -
MSID 0.21 / - 0.32 / - 0.01 / -
GS 0.37 / - 0.37 / - 0.02 / -

無參考（NR）數據集

koniq10k live-itw
來源PIQ /參考PIQ /參考
布里斯克0.22 / - 0.31 / -
夾子iqa 0.68 / 0.68夾子IQA關閉0.64 / 0.64夾子IQA關閉

與旨在計算圖像距離的FR和NR IQM不同，數據庫指標比較圖像集的分佈。為了解決這些問題，我們採用了一種不同的方式來計算https://arxiv.org/abs/2203.07809中提出的DB IQM。我們沒有從整個圖像中提取特徵，而是將它們裁剪成大小96 × 96的重疊瓷磚stride = 32 。這種預處理使我們能夠將每對圖像視為一對瓷磚分佈，從而進一步比較。計算DB IQM的其他階段保持完整。

斷言

在PIQ中，當某些組件未收到預期類型的輸入時，我們使用斷言來引發有意義的消息。這使原型製作和調試更加容易，但可能會損害性能。要禁用所有檢查，請使用python -O標誌： python -O your_script.py

路線圖

有關擬議的功能和已知問題的列表，請參見開放問題。

貢獻

如果您想幫助開發此庫，您將在我們的貢獻指南中找到更多信息。

引用

如果您在項目中使用PIQ，請如下引用。 

@misc{kastryulin2022piq,
  title = {PyTorch Image Quality: Metrics for Image Quality Assessment},
  url = {https://arxiv.org/abs/2208.14818},
  author = {Kastryulin, Sergey and Zakirov, Jamil and Prokopenko, Denis and Dylov, Dmitry V.},
  doi = {10.48550/ARXIV.2208.14818},
  publisher = {arXiv},
  year = {2022}
}
@misc{piq,
  title={{PyTorch Image Quality}: Metrics and Measure for Image Quality Assessment},
  url={https://github.com/photosynthesis-team/piq},
  note={Open-source software available at https://github.com/photosynthesis-team/piq},
  author={Sergey Kastryulin and Dzhamil Zakirov and Denis Prokopenko},
  year={2019}
}

聯繫人

Sergey Kastryulin- @ @snk4tr [email protected]

Jamil Zakirov- @zakajd [email protected]

denis prokopenko- @denproc [email protected]

展開
附加信息
相關應用
爲您推薦
相關資訊 全部