الصفحة الرئيسية>المتعلقة بالبرمجة>بايثون
تنزيل

Pytorch MS-Ssim

MS-SSIM السريع والفرق و SSIM ل Pytorch.

التشابه الهيكلي (SSIM):

التشابه الهيكلي متعدد النطاق (MS-SSIM):

لماذا هو أسرع من الإصدارات الأخرى؟

الحبات الجاسية المستخدمة في SSIM و MS-SSIM قابلة للانفصال. يمكن كتابة مرشح قابل للفصل في معالجة الصور كمنتج لمرشحين أكثر بساطة. عادةً ما يتم فصل عملية الالتواء ثنائية الأبعاد إلى مرشحين أحادي الأبعاد. هذا يقلل من التكاليف الحسابية على $ n times m $ صورة مع $ M Times N $ تصفية من $ mathcal {o} (m cdot n cdot m cdot n) $ وصولاً إلى $ mathcal {o} (m cdot n cdot (m+n)) $ . الأهم من ذلك ، أن النواة المنفصلة أكثر جنسية وبالتالي صديقة للتذاكر ذاكرة التخزين المؤقت من النواة ثنائية الأبعاد ، والتي تسرع بشكل فعال حوسبة SSIM/MS-SSIM.

تحديث

2023.05.26 (v1.0.0)

مجرد إصدار. اكتب تلميحات بواسطة iyume

2020.08.21 (v0.2.1)

دعم الصورة ثلاثي الأبعاد من fynnbe!

2020.04.30 (v0.2)

الآن (v0.2) ، يمكن لـ SSIM & MS-SSIM أن تنتج نتائج متسقة مثل Tensorflow و Skimage . يمكن العثور على معيار (Pytorch-MSSSIM و TensorFlow و Skimage) في قسم الاختبارات.

تثبيت 

pip install pytorch-msssim

الاستخدام

1. الاستخدام الأساسي 

 from pytorch_msssim import ssim , ms_ssim , SSIM , MS_SSIM
# X: (N,3,H,W) a batch of non-negative RGB images (0~255)
# Y: (N,3,H,W)  

# calculate ssim & ms-ssim for each image
ssim_val = ssim ( X , Y , data_range = 255 , size_average = False ) # return (N,)
ms_ssim_val = ms_ssim ( X , Y , data_range = 255 , size_average = False ) #(N,)

# set 'size_average=True' to get a scalar value as loss. see tests/tests_loss.py for more details
ssim_loss = 1 - ssim ( X , Y , data_range = 255 , size_average = True ) # return a scalar
ms_ssim_loss = 1 - ms_ssim ( X , Y , data_range = 255 , size_average = True )

# reuse the gaussian kernel with SSIM & MS_SSIM. 
ssim_module = SSIM ( data_range = 255 , size_average = True , channel = 3 ) # channel=1 for grayscale images
ms_ssim_module = MS_SSIM ( data_range = 255 , size_average = True , channel = 3 )

ssim_loss = 1 - ssim_module ( X , Y )
ms_ssim_loss = 1 - ms_ssim_module ( X , Y )

2. المدخلات الطبيعية

إذا كنت بحاجة إلى حساب MS-SSIM/SSIM على الصور الطبيعية ، فيرجى تقسيمها إلى نطاق [0 ، 1] أو [0 ، 255] أولاً. 

 # X: (N,3,H,W) a batch of normalized images (-1 ~ 1)
# Y: (N,3,H,W)  
X = ( X + 1 ) / 2  # [-1, 1] => [0, 1]
Y = ( Y + 1 ) / 2  
ms_ssim_val = ms_ssim ( X , Y , data_range = 1 , size_average = False ) #(N,)

3. تمكين غير مسببة

بالنسبة إلى SSIM ، يوصى بتعيين nonnegative_ssim=True لتجنب النتائج السلبية. ومع ذلك ، يتم تعيين هذا الخيار على خطأ False لإبقائه متسقًا مع TensorFlow و Skimage.

بالنسبة إلى MS-SSIM ، لا يوجد خيار غير مسبوق-ويضطر reponses SSIM إلى أن يكون غير سالب لتجنب نتائج NAN.

الاختبارات والأمثلة 

 cd tests

1. المعيار 

 # requires tf2
python tests_comparisons_tf_skimage.py 

# or skimage only
# python tests_comparisons_skimage.py

المخرجات: 

 Downloading test image...
===================================
             Test SSIM
===================================
====> Single Image
Repeat 100 times
sigma=0.0 ssim_skimage=1.000000 (147.2605 ms), ssim_tf=1.000000 (343.4146 ms), ssim_torch=1.000000 (92.9151 ms)
sigma=10.0 ssim_skimage=0.932423 (147.5198 ms), ssim_tf=0.932661 (343.5191 ms), ssim_torch=0.932421 (95.6283 ms)
sigma=20.0 ssim_skimage=0.785744 (152.6441 ms), ssim_tf=0.785733 (343.4085 ms), ssim_torch=0.785738 (87.5639 ms)
sigma=30.0 ssim_skimage=0.636902 (145.5763 ms), ssim_tf=0.636902 (343.5312 ms), ssim_torch=0.636895 (90.4084 ms)
sigma=40.0 ssim_skimage=0.515798 (147.3798 ms), ssim_tf=0.515801 (344.8978 ms), ssim_torch=0.515791 (96.4440 ms)
sigma=50.0 ssim_skimage=0.422011 (148.2900 ms), ssim_tf=0.422007 (345.4076 ms), ssim_torch=0.422005 (86.3799 ms)
sigma=60.0 ssim_skimage=0.351139 (146.2039 ms), ssim_tf=0.351139 (343.4428 ms), ssim_torch=0.351133 (93.3445 ms)
sigma=70.0 ssim_skimage=0.296336 (145.5341 ms), ssim_tf=0.296337 (345.2255 ms), ssim_torch=0.296331 (92.6771 ms)
sigma=80.0 ssim_skimage=0.253328 (147.6655 ms), ssim_tf=0.253328 (343.1386 ms), ssim_torch=0.253324 (82.5985 ms)
sigma=90.0 ssim_skimage=0.219404 (142.6025 ms), ssim_tf=0.219405 (345.8275 ms), ssim_torch=0.219400 (100.9946 ms)
sigma=100.0 ssim_skimage=0.192681 (144.5597 ms), ssim_tf=0.192682 (346.5489 ms), ssim_torch=0.192678 (85.0229 ms)
Pass!
====> Batch
Pass!


===================================
             Test MS-SSIM
===================================
====> Single Image
Repeat 100 times
sigma=0.0 msssim_tf=1.000000 (671.5363 ms), msssim_torch=1.000000 (125.1403 ms)
sigma=10.0 msssim_tf=0.991137 (669.0296 ms), msssim_torch=0.991086 (113.4078 ms)
sigma=20.0 msssim_tf=0.967292 (670.5530 ms), msssim_torch=0.967281 (107.6428 ms)
sigma=30.0 msssim_tf=0.934875 (668.7717 ms), msssim_torch=0.934875 (111.3334 ms)
sigma=40.0 msssim_tf=0.897660 (669.0801 ms), msssim_torch=0.897658 (107.3700 ms)
sigma=50.0 msssim_tf=0.858956 (671.4629 ms), msssim_torch=0.858954 (100.9959 ms)
sigma=60.0 msssim_tf=0.820477 (670.5424 ms), msssim_torch=0.820475 (103.4489 ms)
sigma=70.0 msssim_tf=0.783511 (671.9357 ms), msssim_torch=0.783507 (113.9048 ms)
sigma=80.0 msssim_tf=0.749522 (672.3925 ms), msssim_torch=0.749518 (120.3891 ms)
sigma=90.0 msssim_tf=0.716221 (672.9066 ms), msssim_torch=0.716217 (118.3788 ms)
sigma=100.0 msssim_tf=0.684958 (675.2075 ms), msssim_torch=0.684953 (117.9481 ms)
Pass
====> Batch
Pass
SSIM = 1.0000 SSIM = 0.4225 SSIM = 0.1924

2. MS_SSIM كوظيفة الخسارة

راجع "الاختبارات/الاختبارات _loss.py" لمزيد من التفاصيل حول كيفية استخدام SSIM أو MS_SSIM كوظائف الخسارة

3

انظر "الاختبارات/ae_example"

نتائج اليسار: الصورة الأصلية ، اليمين: الصورة التي أعيد بناؤها

مراجع

https://github.com/jorge-pessoa/pytorch-msssim
https://ece.uwaterloo.ca/~z70wang/research/ssim/
https://ece.uwaterloo.ca/~z70wang/publications/msssim.pdf
رمز MATLAB
SSIM & MS-SSIM من TensorFlow

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل