AppleNeuralHash2ONNX

appleneuralhash2onnx

تحويل نموذج Apple Neuralhash للكشف عن CSAM إلى ONNX.

مقدمة

Apple Neuralhash هي طريقة تجزئة إدراكية للصور على أساس الشبكات العصبية. يمكن أن يتسامح مع تغيير حجم الصورة والضغط. خطوات التجزئة هي ما يلي:

1. تحويل الصورة إلى RGB.
2. تغيير حجم الصورة إلى 360x360 .
3. تطبيع قيم RGB إلى نطاق [-1, 1] .
4. أداء الاستدلال على نموذج Neuralhash.
5. حساب منتج DOT لمصفوفة 96x128 مع المتجه الناتج من 128 عوامة.
6. تطبيق الخطوة الثنائية على ناقل التعويم 96 الناتج.
7. قم بتحويل ناقل 1.0 و 0.0 إلى أجزاء ، مما يؤدي إلى بيانات ثنائية 96 بت.

في هذا المشروع ، نقوم بتحويل نموذج Apple Neuralhash إلى تنسيق OnNx. يتم أيضًا تضمين البرنامج النصي التجريبي لاختبار النموذج.

المتطلب السابق

نظام التشغيل

ستعمل كل من MacOS و Linux. في الأقسام التالية ، يتم استخدام Debian في مثال Linux.

LZFSE فك الترميز

• MacOS: تثبيت عن طريق تشغيل brew install lzfse .
• Linux: بناء وتثبيت من مصدر LZFSE.

بيثون

يجب أن يعمل بيثون 3.6 وما فوق. تثبيت التبعيات التالية:

pip install onnx coremltools

دليل التحويل

الخطوة 1: الحصول على نموذج Neuralhash

ستحتاج إلى 4 ملفات من MacOS أو IOS حديثًا:

• neuralhash_128x96_seed1.dat
• neuralhashv3b current.espresso.net
• neuralhashv3b current.espresso.shape
• neuralhashv3b current.espresso.weights

الخيار 1: من جهاز MacOS أو جهاز iOS Jailbroken (موصى به)

إذا كان لديك نسخة حديثة من MacOS (11.4+) أو Jailbroken IOS (14.7+) مثبتة ، فما عليك سوى الاستيلاء على هذه الملفات من /System/Library/Frameworks/Vision.framework/Resources/ (على MacOS) أو /System/Library/Frameworks/Vision.framework/ (على IOS).

الخيار 2: من iOS IPSW (انقر للكشف)

1. قم بتنزيل أي .ipsw من بناء iOS حديثًا (14.7+) من ipsw.me.
2. قم بفك الملف:

 cd /path/to/ipsw/file
mkdir unpacked_ipsw
cd unpacked_ipsw
unzip ../ * .ipsw

3. تحديد موقع صورة النظام:

ls -lh

ما تحتاجه هو أكبر ملف .dmg ، على سبيل المثال 018-63036-003.dmg .

4. صورة نظام جبل. على MacOS ببساطة افتح الملف في Finder. على Linux قم بتشغيل الأوامر التالية:

 # Build and install apfs-fuse
sudo apt install fuse libfuse3-dev bzip2 libbz2-dev cmake g++ git libattr1-dev zlib1g-dev
git clone https://github.com/sgan81/apfs-fuse.git
cd apfs-fuse
git submodule init
git submodule update
mkdir build
cd build
cmake ..
make
sudo make install
sudo ln -s /bin/fusermount /bin/fusermount3
# Mount image
mkdir rootfs
apfs-fuse 018-63036-003.dmg rootfs

الملفات المطلوبة تحت /System/Library/Frameworks/Vision.framework/ /frameworks/vision.framework/ في المسار المثبت.

ضعهم تحت نفس الدليل:

mkdir NeuralHash
cd NeuralHash
cp /System/Library/Frameworks/Vision.framework/Resources/NeuralHashv3b-current.espresso. * .
cp /System/Library/Frameworks/Vision.framework/Resources/neuralhash_128x96_seed1.dat .

الخطوة 2: فك تشفير النموذج والأشكال

عادةً ما يتم تجميعها من طرازات ML Core التي تم model.espresso.shape model.espresso.net إنه نفس الشيء بالنسبة لنموذج Neuralhash ولكن مضغوطًا بـ LZFSE.

dd if=NeuralHashv3b-current.espresso.net bs=4 skip=7 | lzfse -decode -o model.espresso.net
dd if=NeuralHashv3b-current.espresso.shape bs=4 skip=7 | lzfse -decode -o model.espresso.shape
cp NeuralHashv3b-current.espresso.weights model.espresso.weights

الخطوة 3: تحويل النموذج إلى Onnx

 cd ..
git clone https://github.com/AsuharietYgvar/TNN.git
cd TNN
python3 tools/onnx2tnn/onnx-coreml/coreml2onnx.py ../NeuralHash

النموذج الناتج هو NeuralHash/model.onnx .

الاستخدام

فحص النموذج

Netron هو أداة مثالية لهذا الغرض.

حساب التجزئة العصبية مع onnxruntime

1. تثبيت المكتبات المطلوبة:

pip install onnxruntime pillow

2. قم بتشغيل nnhash.py على صورة:

python3 nnhash.py /path/to/model.onnx /path/to/neuralhash_128x96_seed1.dat image.jpg

الإخراج مثال:

 ab14febaa837b6c1484c35e6

ملاحظة: قد يكون التجزئة العصبية التي تم إنشاؤها هنا بضعة أجزاء من الجهاز الذي تم إنشاؤه على جهاز iOS. هذا متوقع لأن أجهزة iOS المختلفة تولد تجزئة مختلفة قليلاً على أي حال. والسبب هو أن الشبكات العصبية تستند إلى حسابات الفاصلة العائمة. الدقة تعتمد بشكل كبير على الأجهزة. بالنسبة للشبكات الأصغر لن تحدث أي فرق. لكن Neuralhash لديها أكثر من 200 طبقة ، مما يؤدي إلى أخطاء تراكمية كبيرة.

جهاز	التجزئة
iPad Pro 10.5 بوصة	2b186faa6b36ffcc4c4635e1
M1 ماك	2b5c6faa6bb7bdcc4c4731a1
محاكي iOS	2b5c6faa6bb6bdcc4c4731a1
وقت التشغيل ONNX	2b5c6faa6bb6bdcc4c4735a1

الاعتمادات

• NHCALC للكشف عن API Neuralhash الخاص.
• TNN لتجميع ML ML إلى SCRIPT ONNX.