AppleNeuralHash2ONNX

Appleneuralhash2onnx

Convierta el modelo NEURALHASH de Apple para la detección de CSAM a ONNX.

Introducción

Apple Neuralhash es un método de hashing perceptual para imágenes basadas en redes neuronales. Puede tolerar el cambio de tamaño y la compresión de la imagen. Los pasos de hashing son los siguientes:

1. Convertir la imagen a RGB.
2. Cambiar la imagen a 360x360 .
3. Normalizar los valores de RGB al rango [-1, 1] .
4. Realizar inferencia en el modelo Neuralhash.
5. Calcule el producto DOT de una matriz 96x128 con el vector resultante de 128 flotadores.
6. Aplique el paso binario al vector flotante 96 resultante.
7. Convierta el vector de 1.0 y 0.0 en bits, lo que resulta en datos binarios de 96 bits.

En este proyecto, convertimos el modelo Neuralhash Neuralhash de Apple en formato ONNX. También se incluye un script de demostración para probar el modelo.

Requisito previo

Sistema operativo

Tanto MacOS como Linux funcionarán. En las siguientes secciones, Debian se usa para el ejemplo de Linux.

Decodificador LZFSE

• MacOS: Instale ejecutando brew install lzfse .
• Linux: construya e instale desde la fuente LZFSE.

Pitón

Python 3.6 y superior debería funcionar. Instale las siguientes dependencias:

pip install onnx coremltools

Guía de conversión

Paso 1: Obtener modelo Neuralhash

Necesitará 4 archivos de una compilación reciente de MacOS o iOS:

• Neuralhash_128x96_seed1.dat
• Neuralhashv3b-Current.espresso.net
• Neuralhashv3b-Current.espresso.
• Neuralhashv3b-Current.espresso.Weights

Opción 1: Desde MacOS o dispositivo iOS Jailbreak (recomendado)

Si tiene una versión reciente de MacOS (11.4+) o IOS Jailbreak (14.7+) instalado, simplemente tome estos archivos de /System/Library/Frameworks/Vision.framework/Resources/ (en macOS) o /System/Library/Frameworks/Vision.framework/ (en iOS).

Opción 2: desde iOS IPSW (haga clic para revelar)

1. Descargue cualquier .ipsw de una compilación reciente de iOS (14.7+) de ipsw.me.
2. Descompa el archivo:

 cd /path/to/ipsw/file
mkdir unpacked_ipsw
cd unpacked_ipsw
unzip ../ * .ipsw

3. Localizar la imagen del sistema:

ls -lh

Lo que necesita es el archivo .dmg más grande, por ejemplo, 018-63036-003.dmg .

4. Imagen del sistema de montaje. En macOS, simplemente abra el archivo en Finder. En Linux Ejecute los siguientes comandos:

 # Build and install apfs-fuse
sudo apt install fuse libfuse3-dev bzip2 libbz2-dev cmake g++ git libattr1-dev zlib1g-dev
git clone https://github.com/sgan81/apfs-fuse.git
cd apfs-fuse
git submodule init
git submodule update
mkdir build
cd build
cmake ..
make
sudo make install
sudo ln -s /bin/fusermount /bin/fusermount3
# Mount image
mkdir rootfs
apfs-fuse 018-63036-003.dmg rootfs

Los archivos requeridos están en /System/Library/Frameworks/Vision.framework/ en la ruta montada.

Póngalos en el mismo directorio:

mkdir NeuralHash
cd NeuralHash
cp /System/Library/Frameworks/Vision.framework/Resources/NeuralHashv3b-current.espresso. * .
cp /System/Library/Frameworks/Vision.framework/Resources/neuralhash_128x96_seed1.dat .

Paso 2: Estructura y formas del modelo de decodificación

Normalmente compilado, los modelos ML de Core Ml Storthing en model.espresso.net y formas en model.espresso.shape , ambos en JSON. Es lo mismo para el modelo Neuralhash pero comprimido con LZFSE.

dd if=NeuralHashv3b-current.espresso.net bs=4 skip=7 | lzfse -decode -o model.espresso.net
dd if=NeuralHashv3b-current.espresso.shape bs=4 skip=7 | lzfse -decode -o model.espresso.shape
cp NeuralHashv3b-current.espresso.weights model.espresso.weights

Paso 3: Convertir el modelo a ONNX

 cd ..
git clone https://github.com/AsuharietYgvar/TNN.git
cd TNN
python3 tools/onnx2tnn/onnx-coreml/coreml2onnx.py ../NeuralHash

El modelo resultante es NeuralHash/model.onnx .

Uso

Inspeccionar modelo

Netron es una herramienta perfecta para este propósito.

Calcule el hash neural con onnxruntime

1. Instalar bibliotecas requeridas:

pip install onnxruntime pillow

2. Ejecute nnhash.py en una imagen:

python3 nnhash.py /path/to/model.onnx /path/to/neuralhash_128x96_seed1.dat image.jpg

Salida de ejemplo:

 ab14febaa837b6c1484c35e6

Nota: El hash neural generado aquí podría estar a unos pocos bits de uno generado en un dispositivo iOS. Esto se espera ya que los diferentes dispositivos iOS generan hash ligeramente diferentes de todos modos. La razón es que las redes neuronales se basan en cálculos de punto flotante. La precisión depende en gran medida del hardware. Para redes más pequeñas no hará ninguna diferencia. Pero Neuralhash tiene más de 200 capas, lo que resulta en errores acumulativos significativos.

Dispositivo	Picadillo
iPad Pro 10.5 pulgadas	2b186faa6b36ffcc4c4635e1
M1 Mac	2b5c6faa6bb7bdcc4c4731a1
simulador de iOS	2b5c6faa6bb6bdcc4c4731a1
Tiempo de ejecución de ONNX	2b5c6faa6bb6bdcc4c4735a1

Créditos

• NHCALC para descubrir la API privada de Neuralhash.
• TNN para el núcleo compilado ML al script ONNX.