AppleNeuralHash2ONNX

AppleneuralHash2onnx

Преобразовать модель Apple Neuralhash для обнаружения CSAM в ONNX.

Вступление

Apple Neuralhash - это метод хеширования восприятия для изображений, основанных на нейронных сетях. Он может переносить изменения изображения и сжатие. Шаги хеширования как следующее:

1. Преобразовать изображение в RGB.
2. Изменить размер изображения до 360x360 .
3. Нормализуйте значения RGB в диапазоне [-1, 1] .
4. Выполните вывод на модель Neuralhash.
5. Рассчитайте точечный продукт матрицы 96x128 с полученным вектором 128 поплавок.
6. Примените двоичный шаг к полученному вектору поплавкового вектора 96.
7. Преобразовать вектор 1,0 и 0,0 в биты, что приведет к 96-битным бинарным данным.

В этом проекте мы конвертируем модель Apple Neuralhash в формат ONNX. Демонстрационный скрипт для тестирования модели также включен.

Условие

ОС

Как MacOS, так и Linux будут работать. В следующих разделах Debian используется для примера Linux.

LZFSE Декодер

• MacOS: Установите, запустив brew install lzfse .
• Linux: построить и установить из источника LZFSE.

Питон

Python 3.6 и выше должны работать. Установите следующие зависимости:

pip install onnx coremltools

Руководство по преобразованию

Шаг 1: Получите модель Neuralhash

Вам понадобится 4 файла из недавней сборки MacOS или iOS:

• neuralhash_128x96_seed1.dat
• Neuralhashv3b-current.espresso.net
• Neuralhashv3b-current.espresso.shape
• Neuralhashv3b-current.espresso.weights

Вариант 1: От устройства iOS MacOS или Jailbroken (рекомендуется)

Если у вас установлена ​​недавняя версия MacOS (11.4+) или Jailbroken IOS (14.7+), просто возьмите эти файлы из /System/Library/Frameworks/Vision.framework/Resources/ (на macos) или /System/Library/Frameworks/Vision.framework/ (на ios).

Вариант 2: от iOS IPSW (нажмите, чтобы раскрыть)

1. Загрузите любой .ipsw недавней сборки iOS (14,7+) от ipsw.me.
2. Распаковать файл:

 cd /path/to/ipsw/file
mkdir unpacked_ipsw
cd unpacked_ipsw
unzip ../ * .ipsw

3. Найдите системное изображение:

ls -lh

Вам нужен самый большой файл .dmg , например, 018-63036-003.dmg .

4. Маунтирование системы системы. На MacOS просто откройте файл в Finder. На Linux запустить следующие команды:

 # Build and install apfs-fuse
sudo apt install fuse libfuse3-dev bzip2 libbz2-dev cmake g++ git libattr1-dev zlib1g-dev
git clone https://github.com/sgan81/apfs-fuse.git
cd apfs-fuse
git submodule init
git submodule update
mkdir build
cd build
cmake ..
make
sudo make install
sudo ln -s /bin/fusermount /bin/fusermount3
# Mount image
mkdir rootfs
apfs-fuse 018-63036-003.dmg rootfs

Требуемые файлы находятся в разделе /System/Library/Frameworks/Vision.framework/ в монтированном пути.

Поместите их в тот же каталог:

mkdir NeuralHash
cd NeuralHash
cp /System/Library/Frameworks/Vision.framework/Resources/NeuralHashv3b-current.espresso. * .
cp /System/Library/Frameworks/Vision.framework/Resources/neuralhash_128x96_seed1.dat .

Шаг 2: Декодировать структуру модели и формы

Обычно скомпилированные модели Core ML хранят структуру в model.espresso.net и формы в model.espresso.shape , оба в JSON. Это то же самое для модели Neuralhash, но сжимается LZFSE.

dd if=NeuralHashv3b-current.espresso.net bs=4 skip=7 | lzfse -decode -o model.espresso.net
dd if=NeuralHashv3b-current.espresso.shape bs=4 skip=7 | lzfse -decode -o model.espresso.shape
cp NeuralHashv3b-current.espresso.weights model.espresso.weights

Шаг 3: конвертировать модель в ONNX

 cd ..
git clone https://github.com/AsuharietYgvar/TNN.git
cd TNN
python3 tools/onnx2tnn/onnx-coreml/coreml2onnx.py ../NeuralHash

Полученная модель - NeuralHash/model.onnx .

Использование

Осмотрите модель

Netron - идеальный инструмент для этой цели.

Рассчитайте нейронную хэш с помощью Onnxruntime

1. Установите необходимые библиотеки:

pip install onnxruntime pillow

2. Запустите nnhash.py на изображении:

python3 nnhash.py /path/to/model.onnx /path/to/neuralhash_128x96_seed1.dat image.jpg

Пример вывода:

 ab14febaa837b6c1484c35e6

Примечание: сгенерированный здесь нейронный хэш может быть на несколько бит от одного, сгенерированного на устройстве iOS. Это ожидается, так как разные устройства iOS в любом случае генерируют немного разные хэши. Причина в том, что нейронные сети основаны на расчетах с плавающей запятой. Точность сильно зависит от аппаратного обеспечения. Для небольших сетей это не будет иметь никакого значения. Но Neuralhash имеет более 200 слоев, что приводит к значительным совокупным ошибкам.

Устройство	Хэш
iPad Pro 10,5 дюйма	2b186faa6b36ffcc4c4635e1
M1 Mac	2b5c6faa6bb7bdcc4c4731a1
симулятор iOS	2b5c6faa6bb6bdcc4c4731a1
Onnx Runtime	2b5c6faa6bb6bdcc4c4735a1

Кредиты

• nhcalc для раскрытия Neuralhash Private API.
• TNN для скомпилированного Core ML с Script Onnx.