AppleNeuralHash2ONNX

APPENEURALHASH2ONNX

Konvertieren Sie das Apple -NeuralHash -Modell für die CSAM -Erkennung in ONNX.

Intro

Apple NeuralHash ist eine Wahrnehmungs -Hashing -Methode für Bilder, die auf neuronalen Netzwerken basieren. Es kann die Bildgröße und Komprimierung tolerieren. Die Schritte des Hashings sind wie folgt:

1. Bild in RGB konvertieren.
2. Größen Sie die Größe des Bildes auf 360x360 .
3. Normalisieren Sie die RGB-Werte auf [-1, 1] Bereich.
4. Führen Sie die Schlussfolgerung auf das NeuralHash -Modell durch.
5. Berechnen Sie das Punktprodukt einer 96x128 -Matrix mit dem resultierenden Vektor von 128 Schwimmer.
6. Wenden Sie den binären Schritt auf den resultierenden 96 Float -Vektor an.
7. Umwandeln Sie den Vektor von 1,0 und 0,0 in Bits, was zu Binärdaten von 96 Bit führt.

In diesem Projekt konvertieren wir das NeuralHash -Modell von Apple in das ONNX -Format. Ein Demo -Skript zum Testen des Modells ist ebenfalls enthalten.

Voraussetzung

Betriebssystem

Sowohl MacOS als auch Linux funktionieren. In den folgenden Abschnitten wird Debian für Linux -Beispiel verwendet.

LZFSE Decoder

• macOS: Installieren Sie durch Ausführen brew install lzfse .
• Linux: Erstellen und installieren Sie sie von der LZFSE -Quelle.

Python

Python 3.6 und höher sollte funktionieren. Installieren Sie die folgenden Abhängigkeiten:

pip install onnx coremltools

Konversionsleitfaden

Schritt 1: NeuralHash -Modell erhalten

Sie benötigen 4 Dateien aus einem aktuellen MacOS- oder iOS -Build:

• neuralHash_128x96_seed1.dat
• NeuralHashv3b-current.espresso.net
• NeuralHashv3b-Strom
• NeuralHashv3b-Strom

Option 1: Von macOS oder Jailbroken iOS -Gerät (empfohlen)

Wenn Sie eine aktuelle Version von MacOS (11.4+) oder Jailbroken iOS (14.7+) installiert haben, schnappen Sie sich diese Dateien einfach von /System/Library/Frameworks/Vision.framework/Resources/ (auf macOS) oder /System/Library/Frameworks/Vision.framework/ (auf IOS).

Option 2: Von iOS IPSW (Klicken Sie aufzusetzen)

1. Laden Sie eine beliebige iOS -Build (14,7+) von ipsw.me. herunter .ipsw
2. Die Datei auspacken:

 cd /path/to/ipsw/file
mkdir unpacked_ipsw
cd unpacked_ipsw
unzip ../ * .ipsw

3. Suchen Sie das Systembild:

ls -lh

Was Sie brauchen, ist die größte .dmg Datei, zum Beispiel 018-63036-003.dmg .

4. MOUNT -Systembild. Auf macOS öffnen Sie einfach die Datei im Finder. Führen Sie unter Linux die folgenden Befehle aus:

 # Build and install apfs-fuse
sudo apt install fuse libfuse3-dev bzip2 libbz2-dev cmake g++ git libattr1-dev zlib1g-dev
git clone https://github.com/sgan81/apfs-fuse.git
cd apfs-fuse
git submodule init
git submodule update
mkdir build
cd build
cmake ..
make
sudo make install
sudo ln -s /bin/fusermount /bin/fusermount3
# Mount image
mkdir rootfs
apfs-fuse 018-63036-003.dmg rootfs

Erforderliche Dateien finden Sie unter /System/Library/Frameworks/Vision.framework/ im montierten Pfad.

Setzen Sie sie unter das gleiche Verzeichnis:

mkdir NeuralHash
cd NeuralHash
cp /System/Library/Frameworks/Vision.framework/Resources/NeuralHashv3b-current.espresso. * .
cp /System/Library/Frameworks/Vision.framework/Resources/neuralhash_128x96_seed1.dat .

Schritt 2: Die Modellstruktur und -formen dekodieren

Normalerweise kompilierte Kern -ML -Modelle speichern Struktur in model.espresso.net und formes in model.espresso.shape , beide in JSON. Es ist das gleiche für das NeuralHash -Modell, aber mit LZFSE komprimiert.

dd if=NeuralHashv3b-current.espresso.net bs=4 skip=7 | lzfse -decode -o model.espresso.net
dd if=NeuralHashv3b-current.espresso.shape bs=4 skip=7 | lzfse -decode -o model.espresso.shape
cp NeuralHashv3b-current.espresso.weights model.espresso.weights

Schritt 3: Modell in ONNX konvertieren

 cd ..
git clone https://github.com/AsuharietYgvar/TNN.git
cd TNN
python3 tools/onnx2tnn/onnx-coreml/coreml2onnx.py ../NeuralHash

Das resultierende Modell ist NeuralHash/model.onnx .

Verwendung

Modell inspizieren

Netron ist ein perfektes Werkzeug für diesen Zweck.

Berechnen Sie den neuronalen Hash mit der Onnxruntime

1. Installieren Sie die erforderlichen Bibliotheken:

pip install onnxruntime pillow

2. Führen Sie nnhash.py auf einem Bild aus:

python3 nnhash.py /path/to/model.onnx /path/to/neuralhash_128x96_seed1.dat image.jpg

Beispielausgabe:

 ab14febaa837b6c1484c35e6

HINWEIS: Der hier generierte neuronale Hash ist möglicherweise ein paar Teile von einem auf einem iOS -Gerät ausgestattet. Dies wird erwartet, da verschiedene iOS -Geräte sowieso etwas andere Hashes erzeugen. Der Grund dafür ist, dass neuronale Netze auf Floating-Punkt-Berechnungen basieren. Die Genauigkeit hängt stark von der Hardware ab. Für kleinere Netzwerke macht es keinen Unterschied. NeuralHash hat jedoch mehr als 200 Schichten, was zu signifikanten kumulativen Fehlern führt.

Gerät	Hash
iPad Pro 10,5 Zoll	2b186faa6b36ffcc4c4635e1
M1 Mac	2b5c6faa6bb7bdcc4c4731a1
iOS Simulator	2b5c6faa6bb6bdcc4c4731a1
Onnx -Laufzeit	2b5c6faa6bb6bdcc4c4735a1

Credits

• NHCALC für die Aufdeckung von NeuralHash Private API.
• TNN für kompilierte Kern -ML -to -Onnx -Skript.