flyover reverse engineering

Реверс-инжиниринг Flyover (3D-режим спутника) из Apple Maps. Аналогичная работа проделана для Google Earth здесь.

Статус

Примерно вот эти части были выяснены:

• начальная загрузка манифестов
• Структура URL
• алгоритм аутентификации
• мозаика карты и преобразование из географических координат
• декомпрессия сетки (таблицы Хаффмана, вариант Edgebreaker и т. д.)
• поиск плитки с использованием Octree

Мы можем аутентифицировать URL-адреса и получать текстурированные 3D-модели по заданным координатам (широта, долгота).

Общий

Данные хранятся в фрагментах карты. Эти пять стилей плиток используются для Flyover:

Тип	Цель	Структура URL
C3M	Текстура, Сетка, Трансформация(, Анимация)	?(?|&)style=15&v=⓿&region=❶&x=❷&y=❸&z=❹&h=❺
С3ММ 1	Метаданные	?(?|&)style=14&v=⓿&part=❻&region=❶
С3ММ 2	Метаданные	?(?|&)style=52&v=⓿&region=❶&x=❷&y=❸&z=❹&h=❺
ДТМ 1	Рельеф/Поверхность/Высота	?(?|&)style=16&v=⓿&region=❶&x=❷&y=❸&z=❹
ДТМ 2	Рельеф/Поверхность/Высота	?(?|&)style=17&v=⓿&size=❼&scale=❽&x=❷&y=❸&z=❹

• ?: префикс URL-адреса из манифеста ресурса.
• ⓿: версия из манифеста ресурса или манифеста высоты с использованием региона.
• ❶: Идентификатор региона из манифеста высоты.
• ❷❸❹: номера фрагментов карты (схема мозаичной веб-карты)
• ❺: Индекс высоты/высоты. Вероятно, из C3MM
• ❻: дополнительный номер детали.
• ❼❽: Размер/масштаб. Не уверен, откуда берутся его значения

Иерархия ресурсов

 ResourceManifest
└─ AltitudeManifest
   ├─ C3MM
   │  └─ C3M
   └─ DTM?

На данный момент сосредоточено на C3M(M). DTM — это изображения с нижним колонтитулом, которые, вероятно, используются для сетки, отображаемой при загрузке Карт.

Код

Этот репозиторий структурирован следующим образом:

Каталог	Описание
cmd	программы командной строки
упаковка	большая часть фактического кода
прото	файлы протобуфа
сценарии	дополнительные скрипты
продавец	зависимости

Настраивать

Установите Go 1.15.x и запустите:

go get -d github.com/retroplasma/flyover-reverse-engineering/...
cd " $( go env GOPATH ) /src/github.com/retroplasma/flyover-reverse-engineering "

Затем отредактируйте config.json:

• автоматически (macOS, Linux, WSL):
  • ./scripts/get_config.sh > config.json
• быстрее (macOS Catalina или старше):
  • ./scripts/get_config_macos.sh > config.json
• или вручную (Catalina или старше):
  • resourceManifestURL : из GEOConfigStore.db/com.apple.GEO.plist или двоичного файла GeoServices.
  • tokenP1 : из двоичного файла GeoServices (функция: GEOURLAuthenticationGenerateURL )

Программы командной строки

Вот несколько программ командной строки, которые используют код из pkg:

Экспортировать OBJ ^[код]

Использование:

 go run cmd/export-obj/main.go [lat] [lon] [zoom] [tryXY] [tryH]

Parameter   Description       Example
--------------------------------------
lat         Latitude          34.007603
lon         Longitude         -118.499741
zoom        Zoom (~ 13-20)    20
tryXY       Area scan         3
tryH        Altitude scan     40

Это экспортирует пирс Санта-Моники в ./downloaded_files/obj/... :

 go run cmd/export-obj/main.go 34.007603 -118.499741 20 3 40

Необязательно: OBJ в центральном масштабе с использованием скрипта node.js:

 node scripts/center_scale_obj.js

В Blender (совместимый учебник здесь):

URL-адрес аутентификации ^[код]

Это аутентифицирует URL-адрес, используя параметры из config.json :

 go run cmd/auth/main.go [url]

Разобрать файл C3M ^[код]

Он анализирует файл C3M v3, распаковывает сетки, считывает текстуры JPEG и создает структуру, содержащую текстурированную 3D-модель:

 go run cmd/parse-c3m/main.go [file]

Разобрать файл C3MM ^[код]

Это анализирует файл C3MM v1. Файлы C3MM в регионе охватывают окта-деревья, корни которых индексируются в первом файле.

 go run cmd/parse-c3mm/main.go [file] [[file_number]]

Файлы на macOS

• ~/Library/Containers/com.apple.geod/Data/Library/Caches/com.apple.geod/GEOConfigStore.db
  • URL-адрес последнего манифеста ресурса
• ~/Library/Preferences/com.apple.GEO.plist
  • URL-адрес последнего манифеста ресурса ~ до Catalina
• ~/Library/Caches/GeoServices/Resources/altitude-*.xml
  • определяет регионы для URL-адресов c3m
  • URL-адрес altitude-*.xml в манифесте ресурса
• ~/Library/Containers/com.apple.geod/Data/Library/Caches/com.apple.geod/MapTiles/MapTiles.sqlitedb
  • локальный кэш листов карты
• /System/Library/PrivateFrameworks/GeoServices.framework/GeoServices
  • базовый URL-адрес манифеста ресурса, сеть, кеширование, аутентификация
• /System/Library/PrivateFrameworks/VectorKit.framework/VectorKit
  • парсеры, декодеры
• /System/Library/PrivateFrameworks/GeoServices.framework/XPCServices/com.apple.geod.xpc
  • загружает GeoServices
• /Applications/Maps.app/Contents/MacOS/Maps
  • загружает VectorKit

Важный

ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ПРЕДОСТАВЛЯЕТСЯ «КАК ЕСТЬ», БЕЗ КАКИХ-ЛИБО ГАРАНТИЙ, ЯВНЫХ ИЛИ ПОДРАЗУМЕВАЕМЫХ, ВКЛЮЧАЯ, НО НЕ ОГРАНИЧИВАЯСЬ, ГАРАНТИЯМИ ТОВАРНОЙ ЦЕННОСТИ, ПРИГОДНОСТИ ДЛЯ ОПРЕДЕЛЕННОЙ ЦЕЛИ И НЕНАРУШЕНИЯ ПРАВ. АВТОРЫ ИЛИ ОБЛАДАТЕЛИ АВТОРСКИХ ПРАВ НИ ПРИ КАКИХ ОБСТОЯТЕЛЬСТВАХ НЕ НЕСУТ ОТВЕТСТВЕННОСТИ ЗА ЛЮБЫЕ ПРЕТЕНЗИИ, УБЫТКИ ИЛИ ДРУГУЮ ОТВЕТСТВЕННОСТЬ, БУДЬ В ДЕЙСТВИЯХ ПО КОНТРАКТУ, ПРАВОНАРУШЕНИЮ ИЛИ ДРУГИМ ОБРАЗОМ, ВОЗНИКАЮЩИЕ ОТ, ИЗ ИЛИ В СВЯЗИ С ПРОГРАММНЫМ ОБЕСПЕЧЕНИЕМ ИЛИ ИСПОЛЬЗОВАНИЕМ ИЛИ ДРУГИМИ СДЕЛКАМИ, ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ.