AppleNeuralHash2ONNX

Appleneuralhash2onnx

Konversi model neuralhash apel untuk deteksi CSAM ke ONNX.

Intro

Apple NeuralHash adalah metode hashing perseptual untuk gambar berdasarkan jaringan saraf. Ini dapat mentolerir ukuran dan kompresi gambar. Langkah -langkah hashing adalah sebagai berikut:

1. Konversi gambar ke RGB.
2. Ubah ukuran gambar ke 360x360 .
3. Normalisasi nilai RGB ke kisaran [-1, 1] .
4. Lakukan inferensi pada model NeuralHash.
5. Hitung produk DOT dari matriks 96x128 dengan vektor yang dihasilkan dari 128 floats.
6. Terapkan langkah biner ke vektor float 96 yang dihasilkan.
7. Konversi vektor 1,0 dan 0,0 menjadi bit, menghasilkan data biner 96-bit.

Dalam proyek ini, kami mengonversi model NeuralHash Apple menjadi format ONNX. Skrip demo untuk menguji model juga disertakan.

Prasyarat

Os

Baik MacOS dan Linux akan bekerja. Pada bagian berikut, Debian digunakan untuk contoh Linux.

Decoder lzfse

• MacOS: Instal dengan menjalankan brew install lzfse .
• Linux: Bangun dan instal dari sumber LZFSE.

Python

Python 3.6 dan di atas harus bekerja. Instal dependensi berikut:

pip install onnx coremltools

Panduan Konversi

Langkah 1: Dapatkan model neuralhash

Anda akan membutuhkan 4 file dari MacOS atau iOS Build terbaru:

• neuralhash_128x96_seed1.dat
• Neuralhashv3b-burrent.espresso.net
• Neuralhashv3b-burrent.espresso.shape
• NeuralHashv3b-Current.espresso.weights

Opsi 1: Dari macOS atau perangkat iOS jailbreak (disarankan)

Jika Anda memiliki versi terbaru dari MacOS (11.4+) atau Jailbroken iOS (14.7+) yang diinstal, cukup ambil file -file ini dari /System/Library/Frameworks/Vision.framework/Resources/ (pada macOS) atau /System/Library/Frameworks/Vision.framework/ (on ios).

Opsi 2: dari iOS IPSW (klik untuk mengungkapkan)

1. Unduh .ipsw dari IOS Build terbaru (14.7+) dari IPSW.Me.
2. Buka pupuk file:

 cd /path/to/ipsw/file
mkdir unpacked_ipsw
cd unpacked_ipsw
unzip ../ * .ipsw

3. Temukan gambar sistem:

ls -lh

Yang Anda butuhkan adalah file .dmg terbesar, misalnya 018-63036-003.dmg .

4. Pasang gambar sistem. Di macOS cukup buka file di Finder. Di Linux jalankan perintah berikut:

 # Build and install apfs-fuse
sudo apt install fuse libfuse3-dev bzip2 libbz2-dev cmake g++ git libattr1-dev zlib1g-dev
git clone https://github.com/sgan81/apfs-fuse.git
cd apfs-fuse
git submodule init
git submodule update
mkdir build
cd build
cmake ..
make
sudo make install
sudo ln -s /bin/fusermount /bin/fusermount3
# Mount image
mkdir rootfs
apfs-fuse 018-63036-003.dmg rootfs

File yang diperlukan di bawah /System/Library/Frameworks/Vision.framework/ di jalur yang dipasang.

Letakkan di bawah direktori yang sama:

mkdir NeuralHash
cd NeuralHash
cp /System/Library/Frameworks/Vision.framework/Resources/NeuralHashv3b-current.espresso. * .
cp /System/Library/Frameworks/Vision.framework/Resources/neuralhash_128x96_seed1.dat .

Langkah 2: Struktur dan bentuk model decode

Model inti ML yang biasanya disusun menyimpan struktur di model.espresso.net dan bentuk di model.espresso.shape , keduanya dalam JSON. Itu sama untuk model neuralhash tetapi dikompresi dengan lZFSE.

dd if=NeuralHashv3b-current.espresso.net bs=4 skip=7 | lzfse -decode -o model.espresso.net
dd if=NeuralHashv3b-current.espresso.shape bs=4 skip=7 | lzfse -decode -o model.espresso.shape
cp NeuralHashv3b-current.espresso.weights model.espresso.weights

Langkah 3: Konversi Model ke Onnx

 cd ..
git clone https://github.com/AsuharietYgvar/TNN.git
cd TNN
python3 tools/onnx2tnn/onnx-coreml/coreml2onnx.py ../NeuralHash

Model yang dihasilkan adalah NeuralHash/model.onnx .

Penggunaan

Model Periksa

Netron adalah alat yang sempurna untuk tujuan ini.

Hitung hash saraf dengan onnxruntime

1. Instal perpustakaan yang diperlukan:

pip install onnxruntime pillow

2. Jalankan nnhash.py pada gambar:

python3 nnhash.py /path/to/model.onnx /path/to/neuralhash_128x96_seed1.dat image.jpg

Output contoh:

 ab14febaa837b6c1484c35e6

Catatan: Hash saraf yang dihasilkan di sini mungkin beberapa bit dari satu yang dihasilkan pada perangkat iOS. Ini diharapkan karena perangkat iOS yang berbeda menghasilkan hash yang sedikit berbeda. Alasannya adalah bahwa jaringan saraf didasarkan pada perhitungan titik mengambang. Keakuratannya sangat tergantung pada perangkat keras. Untuk jaringan yang lebih kecil itu tidak akan membuat perbedaan. Tetapi NeuralHash memiliki 200+ lapisan, menghasilkan kesalahan kumulatif yang signifikan.

Perangkat	Hash
iPad Pro 10,5 inci	2b186faa6b36ffcc4c4635e1
M1 Mac	2b5c6faa6bb7bdcc4c4731a1
simulator iOS	2b5c6faa6bb6bdcc4c4731a1
Onnx Runtime	2b5c6faa6bb6bdcc4c4735a1

Kredit

• nhcalc untuk mengungkap Neuralhash Private API.
• Tnn untuk kompilasi inti ml ke skrip onnx.