Change Detection Review
1.0.0
Обнаружение изменений на основе данных дистанционного зондирования (RS) является важным методом обнаружения изменений на поверхности Земли и имеет широкий спектр применений в области городского планирования, мониторинга окружающей среды, исследования сельского хозяйства, оценки стихийных бедствий и пересмотра карты. В последние годы технология интегрированного искусственного интеллекта (ИИ) стала ориентированным на исследования в разработке новых методов обнаружения изменений. Хотя некоторые исследователи утверждают, что подходы к обнаружению изменений на основе искусственного интеллекта превосходят традиционные подходы к обнаружению изменений, не сразу очевидно, как и в какой степени ИИ может повысить производительность обнаружения изменений. Этот обзор посвящен самым современным методам, приложениям и проблемам ИИ для обнаружения изменений. В частности, в первую очередь введен процесс реализации обнаружения изменений на основе искусственного интеллекта. Затем представлены данные из разных датчиков, используемых для обнаружения изменений, включая данные о оптических RS, данные о синтетической апертуре (SAR), изображения уличного представления и комбинированные гетерогенные данные, а также указаны доступные открытые наборы данных. Общие основы методов обнаружения изменений на основе искусственного интеллекта пересматриваются и анализируются систематически, и проанализируются неконтролируемые схемы, используемые в обнаружении изменений на основе искусственного интеллекта. Впоследствии описаны обще используемые сети в ИИ для обнаружения изменений. С практической точки зрения, домены применения методов обнаружения изменений на основе искусственного интеллекта классифицируются на основе их применимости. Наконец, обсуждаются основные проблемы и перспективы ИИ для обнаружения изменений, в том числе (а) гетерогенная обработка больших данных, (б) неконтролируемый ИИ и (в) надежность ИИ. Этот обзор будет полезен для исследователей в понимании этой области.
На рисунке 2 представлен общий процесс реализации обнаружения изменений на основе искусственного интеллекта, но структура модели ИИ разнообразна и должна быть хорошо спроектирована в соответствии с различными ситуациями применения и данных обучения. Стоит отметить, что существующие зрелые рамки, такие как Tensorflow, Keras, Pytorch и Caffe, помогают исследователям легче реализовать проектирование, обучение и развертывание моделей AI, а их документы для разработки обеспечивают подробные введения.
| Методы | Ключевые слова | Публикация | (Повторно) реализация |
|---|---|---|---|
| Srcdnet | CNN; Сиамский; Внимание; Супер-разрешение; Оптические рупии | Сеть обнаружения изменений на основе супер разрешения со сложенным модулем внимания для изображений с различными разрешениями, TGRS, 2021. [Paper], [код, набор данных] | Pytorch 1.2 |
| Escnet | CNN; Сиамский; Суперпиксель; Оптические рупии | Сквозная сеть обнаружения изменений с усиленной суперпикселем для изображений дистанционного зондирования с очень высоким разрешением. Tnnls, 2021. [Paper], [код] | Pytorch 1.3 |
| Kpcamnet | CNN; Сиамский; KPCA; Неконтролируется; Оптические рупии | Неоконтрольное обнаружение изменений в многомерных изображениях VHR на основе глубоководной сети картирования PCA, TCYB, 2021. [Paper], [Code] | Питон |
| Секун | CNN (Resnet); Перевод обучения; Оптические рупии | Сезонный контраст: неконтролируемое предварительное обучение из данных о распутанном дистанционном зондировании, Arxiv, 2021. [Paper], [код, набор данных] | Pytorch 1.7 |
| Capsnet | Капсульная сеть (SEGCAPS); CVA; Сиамский; Оптические рупии | Псевдо-сиамская капсульная сеть для изображений с аэрофотоснижными изображениями. | Керас |
| Bit_cd | CNN (RESNET18); Сиамский; Внимание; Трансформатор; Оптические рупии | Обнаружение изменения изображения дистанционного зондирования с помощью трансформаторов, TGRS, 2021. [Paper], [код, набор данных, предварительно обученная модель] | Pytorch 1.6 |
| Iaug_cdnet | CNN (Gaugan+Unet); Сиамский; Ган; Контролируется; Оптические рупии | Увеличение экземпляра состязательного экземпляра для обнаружения изменений здания на изображениях удаленного зондирования, TGRS, 2021. [Paper], [Код, набор данных] | Пирог |
| Ddnet | CNN; Di+fcm; Неконтролируется; Сар - | Обнаружение изменения в радарных изображениях с синтетической апертурой с использованием сети с двумя областями, GRSL, 2021. [Paper], [Код, набор данных] | Пирог |
| SNUNET-CD | CNN (indestUnet); Сиамский; Внимание; Контролируется; Оптические рупии | Snunet-CD: плотно подключенная сиамская сеть для обнаружения изменений изображений VHR, GRSL, 2021. [Paper], [код, набор данных, предварительно обученная модель] | Pytorch 1.4 |
| DSMSCN | CNN; Сиамский; Многомасштабное; Без присмотра/контролируется; Оптические рупии | Глубоко контролируемая сеть слияния изображений для обнаружения изменений в био-временных изображениях с высоким разрешением, Arxiv, 2020. [Paper], [код, набор данных] | Tensorflow 1.9 |
| Siamcrnn | CNN+RNN; Сиамский; Мульти-источник; Оптические рупии | Обнаружение изменений в многостарных изображениях VHR через глубокую сиамскую сверточную многослойную рецидивирующую нейронную сеть, TGRS, 2020. [Paper], [код, набор данных] | Tensorflow 1.9 |
| DSIFN | CNN; Механизм внимания; Оптические рупии | Глубоко контролируемая сеть слияния изображений для обнаружения изменений в био-временном удаленном Sening Images, ISPRS, 2020. [Paper], [Код, набор данных] | Pytorch & Keras |
| Ceecnet | CNN; Механизм внимания; Мера сходства; Оптические рупии | Ищете перемены? Сверните кубики и требуйте внимания, Arxiv, 2020. [Paper], [код, набор данных] | MXNET + Python |
| Lamboisenet | CNN (Light Unet ++); Оптические рупии | Обнаружение изменений в спутниковых образах с использованием глубокого обучения, мастер -диссертации. [Код, набор данных, предварительно обученная модель] | Пирог |
| Dtcdscn | CNN; Сиамский | Обнаружение изменений в здании для изображений дистанционного зондирования с использованием двойной задачи с ограниченной глубокой сиамской сверточной сетью модели, проходящего обзор. [Код, набор данных] | Пирог |
| Целевой анализ | CNN (UNET); Постклассификация; Оптические рупии | Обнаружение изменения земельного покрова в районах, затронутых циклонами, с использованием сверточных нейронных сетей. [Отчет], [Код, набор данных, предварительно обученная модель] | Tensorflow+Keras |
| CorrfusionNet | CNN; Уровни сцены; Сиамский; Оптические рупии | Фьюжн-сеть, основанная на корреляции, в отношении многовременной классификации сцен и обнаружения изменений, проходящих обзор. [Код, предварительно обученная модель], [набор данных] | Tensorflow 1.8 |
| SSCDNet | CNN (RESNET18); Сиамский; Перевод обучения; Семантический; Streetview | Слабо присматривается обнаружение семантической сцены на основе силуэт, ICRA, 2020. [Paper] [Код, набор данных, предварительно обученная модель] | Pytorch+Python3.6 |
| Гетерогенный_CD | AE (выравниваемый кодом AE); Неконтролируется; Трансформация; Гетерогенный; Оптические рупии | Автоэнкодеры, выровненные с кодом для обнаружения неконтролируемых изменений в мультимодальных изображениях дистанционного зондирования, Arxiv, 2020. [Paper] [Код, набор данных] | Tensorflow 2.0 |
| Fdcnn | CNN (VGG16); Перевод обучения; Чистый сиамский; Многомасштабное; Оптические рупии | Разница в функциях свертки на основе нейронной сети метод обнаружения изменений, TGRS, 2020. [Paper] [Код, набор данных, предварительно обученная модель] | Caffe+Python2.7 |
| Станет | CNN (Resnet-18); Механизм внимания; Чистый сиамский; Пространственная -временная зависимость; Оптические рупии | Метод, основанный на пространственно-временном внимании и новый набор данных для обнаружения изменения изображения удаленного зондирования, RS, 2020. [Paper] [Код, набор данных] | Pytorch+Python3.6 |
| X-net | CNN; Неконтролируется; Трансформация; Гетерогенный; Оптические RS; Сар - | Глубокий перевод изображений с основанным на аффинном изменении предшествующего для неконтролируемого обнаружения мультимодальных изменений, 2020. [Paper] [Код, набор данных] | Tensorflow 1.4 |
| Ace-Net | AE (состязательные циклические кодеры); Неконтролируется; Трансформация; Гетерогенный; Оптические RS; Сар - | Глубокий перевод изображений с основанным на аффинном изменении предшествующего для неконтролируемого обнаружения мультимодальных изменений, 2020. [Paper] [Код, набор данных] | Tensorflow 1.4 |
| Vgg_lr | CNN (VGG16); Перевод обучения; Чистый сиамский; Slic; Низкие ряды; Оптические рупии | Обнаружение изменений на основе глубоких функций и низкого ранга, GRSL, 2017. | Caffe+Matlab |
| Cdnet | CNN; Сиамский; Мультимодальные данные; Данные облака точек | Обнаружение изменений здания между воздушным лазерным сканированием и фотограмметрическими данными, RS, 2019. [Paper], [CODE] | Пирог |
| SCCN | Ae (dae); Неконтролируется; Гетерогенный; Оптические RS; Сар - | Глубокая сверточная сеть связи для обнаружения изменений на основе гетерогенных оптических и радиолокационных изображений, TNNLS, 2018. [Paper] [код повторного внедрения] | Tensorflow 2.0 |
| cgan | Ган (условная Ган); Гетерогенный; Оптические RS; Сар - | Условная состязательная сеть для обнаружения изменений в гетерогенных изображениях, GRSL, 2019. [Paper] [код повторного внедрения] | Tensorflow 2.0 |
| Dasnet | CNN (VGG16); Сиамский; Механизм внимания; Оптические рупии | DASNET: Двойная внимательная полностью сверточная сиамская сети для обнаружения изменений спутниковых изображений с высоким разрешением, Arxiv, 2020. [Paper] [Код, набор данных, предварительно обученная модель] | Pytorch+Python3.6 |
| Unetlstm | CNN (UNET); RNN (LSTM); Интегрированная модель; Оптические рупии | Обнаружение городских изменений с помощью повторяющихся нейронных сетей из многовременных данных Sentinel-2, Igarss, 2019. [Paper] [Код, набор данных, предварительно обученная модель] и [код] | Pytorch+Python3.6 |
| Cdmi-Net | CNN (UNET); Чистый сиамский; Несколько экземпляров обучения; Картирование оползней; Оптические рупии | Глубокое обучение множественным экземплярам для картирования оползней, GRSL, 2020. [Paper] [Код, предварительно обученная модель] | Pytorch+Python3.6 |
| DSFANET | DNN; Неконтролируется; Предварительная классификация; Медленный анализ признаков; Оптические рупии | Неконтролируемый глубокий медленный анализ функций для обнаружения изменений в многовременных изображениях дистанционного зондирования, TGRS, 2019. [Paper] [Код, набор данных] | Tensorflow 1.7 |
| CD-Unet ++ | CNN (улучшенный UNET ++); Прямая классификация; Оптические рупии | Конечное обнаружение изменений для спутниковых изображений высокого разрешения с использованием улучшенного UNET ++, RS, 2019. [Paper] [CODE] | Tensorflow+Keras |
| Siamesenet | CNN (VGG16); Чистый сиамский; Оптические рупии | Сиамская сеть с многоуровневыми функциями для обнаружения изменений на основе патчей в спутниковых изображениях, Globalsip, 2018. [Paper] [Код, набор данных] | Tensorflow+Keras |
| Re3fcn | CNN (конвлстм); PCA; 3D свертка; Изменения в нескольких классах; Оптические RS; Гиперспектральный | Обнаружение изменения в гиперспектральных изображениях с использованием рецидивирующих трехмерных полностью сверточных сетей, RS, 2018. [Paper] [Код, набор данных] | Tensorflow+Keras |
| FC-EF, FC-SIAM-CONC, FC-SIAM-DIFF | CNN (UNET); Чистый сиамский; Оптические рупии | Полностью сверточные сиамские сети для обнаружения изменений, ICIP, 2018. [Paper] [Код, набор данных] | Пирог |
| Cosimnet | CNN (Deeplab V2); Чистый сиамский; Streetview | Обучение измерению изменений: полностью сверточные сиамские метрические сети для обнаружения изменения сцены, Arxiv, 2018. [Paper] [Код, набор данных, предварительно обученная модель] | Pytorch+Python2.7 |
| Маска R-CNN | Маска R-CNN (RESNET-101); Перевод обучения; Постклассификация; Оптические рупии | Сегментация трущоб и обнаружение изменений: подход глубокого обучения, NIPS, 2018. [Paper] [Код, набор данных, предварительно обученная модель] | Tensorflow+Keras |
| Caffenet | CNN (Caffenet); Неконтролируется; Перевод обучения; Оптические рупии | Обнаружение изменений на основе функций нейронной сети на спутниковых изображениях, IWPR, 2016. [Paper] [Код, набор данных] | Tensorflow+Keras |
| Cwnn | CNN (CWNN); Неконтролируется; Предварительная классификация; Сар - | Обнаружение изменений морского льда на изображениях SAR на основе нейронных сетей сверточной волны, GRSL, 2019. [Paper] [Код, набор данных] | Матлаб |
| Mlfn | CNN (Densenet); Перевод обучения; Сар - | Переносило глубокое обучение для обнаружения изменений морского льда из радиолокационных изображений с синтетической апертурой, GRSL, 2019. [Paper] [Код, набор данных] | Caffe+Matlab |
| Garborpcanet | CNN (PCANET); Неконтролируется; Предварительная классификация; Габор Вейвлеты; Сар - | Автоматическое обнаружение изменений в радиолокационных изображениях синтетической апертурой на основе PCAnet, GRSL, 2016. [Paper] [Код, набор данных] | Матлаб |
| MS-CAPSNET | CNN (MS-CAPSNET); Капсула; Механизм внимания; Адаптивная свертка слияния; Сар - | Обнаружение изменения на изображениях SAR на основе многомасштабной капсульной сети, GRSL, 2020. [Paper] [Код, набор данных] | Matlab+Keras2.16 |
| Dcnet | CNN; Неконтролируется; Предварительная классификация; Сар - | Обнаружение изменений из радиолокационных изображений с синтетической апертурой на основе глубоких каскадных сети на основе взвешивания каналов, JSTARS, 2019. [Paper] [Код, набор данных] | Кофе |
| Чангенет | CNN; Сиамский; Streetview | Чангенет: архитектура глубокого обучения для обнаружения визуальных изменений, ECCV, 2018. [Paper] [Код, набор данных] | Пирог |
| Другие будут добавлены в ближайшее время! | |||
| Методы | Ключевые слова | Публикация | Выполнение |
|---|---|---|---|
| Несколько классических методов | CVA; DPCA; Различие в изображении; Отношение изображения; Регрессия изображения; Ир-мад; БЕЗУМНЫЙ; Pcakmeans; PCDA; Kmeans; Otsu; Фиксированный порог | Являятся инструментом для обнаружения изменений дистанционного зондирования. [код] | Матлаб |
| Matlab Toolbox Обнаружение изменения изменения инструментов | Ир-мад; It-pca; Эм; ICM | Ящик для инструментов для неконтролируемого анализа обнаружения изменений, IJRS, 2016. [Paper] [Код] | Матлаб |
| RFR, SVR, GPR | Неконтролируется; Регрессия изображения; Гетерогенный; Оптические RS; Сар - | Неконтролируемая регрессия изображения для неоднородного обнаружения изменений, TGRS, 2019. [Paper] [Код] | Матлаб |
| HPT | Неконтролируется; Трансформация; Гетерогенный; Оптические RS; Сар - | Обнаружение изменений в гетерогенных изображениях дистанционного зондирования посредством однородного преобразования пикселей, TIP, 2018. [Paper] [Код повторного внедрения] | Матлаб |
| KCCA | Канонический анализ корреляции; Перекрестный сенсор; Оптические рупии | Спектральное выравнивание многовременных перекрестных изображений с автоматическим анализом корреляции ядра, IJPRS, 2015. [Paper] [CODE] | Матлаб |
| Кер Разница RBF | Неконтролируется; K-среды; Оптические рупии | Неконтролируемое обнаружение изменений с помощью ядра, GRSL, 2012. [Paper] [Код] | Матлаб |
| FDA-RM | DI на основе; Анализ частотной области; Случайные мультиграф; Сар - | Обнаружение изменений изображения синтетической апертуры на основе анализа частотной области и случайных мультиграфов, Jars, 2018. [Paper] [CODE] | Матлаб |
| CD-NR-ELM | DI на основе; Предварительная классификация; Экстремальная учебная машина; Сар - | Обнаружение изменений из радарных изображений с синтетической апертурой на основе соотношения на основе соседства и экстремального обучения, Jars, 2016. [Paper] [Код, набор данных] | Матлаб |
| Никто | Коэффициент вероятности; Тестовая статистика; Сар - | Обнаружение изменений в Polarimetric SAR Images, 2015. [Отчет] [Код] | Питон |
| PCA K-Means | Неконтролируется; DI на основе; PCA; K означает; Оптические рупии | Неоконтрольное обнаружение изменений на спутниковых изображениях с использованием анализа основных компонентов и кластеризации K-средних, GRSL, 2009. | Матлаб |
| Ptcd | Тензор; Гиперспектральный оптический рупий | Детектор Tucker Tucker три порядка и детектор реконструкции для неконтролируемого обнаружения гиперспектральных изменений. JSTARS, 2021. [Paper] [Код, набор данных] | Матлаб |
| GBF-CD | Слияние данных; График; ЭМ; Ки; | Слияние данных на основе графиков применяется к: обнаружению изменения и оценке биомассы в рисовых культурах. Удаленное зондирование, 2020 [Paper] [Код, набор данных] | Матлаб |
| Другие будут добавлены в ближайшее время! | |||
В настоящее время существуют несколько свободно доступных наборов данных для обнаружения изменений, которые могут использоваться в качестве эталонных наборов данных для обучения и оценки точности искусственного интеллекта в будущих исследованиях. Подробная информация представлена в таблице 3.
| Тип | Набор данных | Описание |
|---|---|---|
| Оптические рупии | Набор данных DSIFN [25] | 6 изображений с высоким разрешением с высоким разрешением от Google Earth. Существует 3600 пар изображений с размером 512 × 512 для обучения, 340 для проверки и 48 для теста. [Скачать] |
| S2MTCP [26] | 1520 Sentinel-2 уровня 1C Пары изображений, посвященные городским районам по всему миру, с 10-метровым пространственным разрешением и размером 600x600 пикселей. Геометрические или радиометрические исправления не выполняются. [Скачать] | |
| SYSU-CD [27] | 20000 пар 0,5-метровых воздушных изображений размером 256 × 256, взятых в период с 2007 по 2014 год в Гонконге, в том числе 6 типов изменений: (а) недавно построенные городские здания; (б) пригородная дилатация; (в) основание перед строительством; (г) изменение растительности; (e) расширение дороги; (f) Морское строительство. [Скачать] | |
| S2Looking [28] | Набор данных об обнаружении зданий состоит из 5000 зарегистрированных пар битувременных изображений (размер 1024*1024, 0,5 ~ 0,8 м/пиксель) сельских районов по всему миру и более 65 920 аннотированных экземпляров изменения, отдельно указывая на недавно построенное и разрушенное здание [загрузка]. | |
| Набор данных синтетических и реальных изображений [29] | База данных содержит 12 000 тройков синтетических изображений без сдвига объекта, 12 000 тройков изображений модели с сдвигом объекта и 16 000 тройков фрагментов реальных изображений дистанционного зондирования. Выполненные тесты показали, что предлагаемый CNN является многообещающим и достаточно эффективным в обнаружении изменений на синтетических и реальных изображениях [Скачать] | |
| Набор данных обнаружения семантических изменений (второй) [24] | Набор данных обнаружения семантических изменений на уровне пикселя, в том числе 4662 пары воздушных изображений с 512 х 512 пикселей от нескольких платформ и датчиков, покрывающих Ханчжоу, Чэнду и Шанхай. Он фокусируется на 6 основных классах землевладельца, то есть, незавмещенной поверхности земли, дерева, низкой растительности, воды, зданий и игровых площадок, которые часто участвуют в естественных и искусственных географических изменениях. [Скачать] | |
| Набор данных об обнаружении гиперспектральных изменений [1] | 3 различные гиперспектральные сцены, полученные с помощью датчика Aviris или Hyperion, с 224 или 242 спектральными полосами, помеченные 5 типами изменений, связанных с переходами сельскохозяйственных культур на уровне пикселей. [Скачать] | |
| Набор данных River HSIS [2] | 2 HSIS в провинции Цзянсу, Китай, с 198 группами, помеченными как измененные и неизменные на уровне пикселей. [Скачать] | |
| HRSCD [3] | 291 Зарегистрированные пары воздушных изображений RGB, с аннотациями на уровне пикселей и наземным покровами, обеспечивающими иерархические метки изменения уровня, например, этикетки уровня 1 включают в себя пять классов: нет информации, искусственные поверхности, сельскохозяйственные районы, леса, водно-болотные угодья и вода. [Скачать] | |
| Набор данных по строительству [4] | 2-периодические воздушные изображения, содержащие 12 796 зданий, предоставленные наряду с вектором здания и растровыми картами. [Скачать] | |
| Шифры смены воздуха Sztaki [5, 6] | 13 Пары воздушных изображений с 1,5 -метровым пространственным разрешением, помеченные как измененные и неизменные на уровне пикселей. [Скачать] | |
| OSCD [7] | 24 пары мультиспектральных изображений, полученных Sentinel-2, помеченные как измененные и неизменные на уровне пикселей. [Скачать] | |
| Набор данных об обнаружении изменений [8] | 4 пары мультиспектральных изображений с различными пространственными разрешениями, помеченные как измененные и неизменные на уровне пикселей. [Скачать] | |
| MTS-WH [9] | 2 большого размера VHR-изображения, полученные датчиками Ikonos, с 4 полосами и 1 м пространственным разрешением, помеченные 5 типов изменений (т.е., парковка, редкие дома, жилой регион и регион растительности) на уровне сцены. [Скачать] | |
| ABCD [10] | 16 950 пар воздушных изображений RGB для обнаружения промытых зданий с помощью цунами, помеченных поврежденными зданиями на уровне сцены. [Скачать] | |
| xbd [11] | Спутниковые обработки до и после обезживания для оценки ущерба зданиям, с более чем 850 000 строительных полигонов из 6 типов стихийных бедствий, помеченных на уровне пикселей с 4 шкалами повреждений. [Скачать] | |
| AICD [12] | 1000 пар синтетических аэрофотоснимков с искусственными изменениями, созданными с помощью двигателя рендеринга, помеченные как измененные и неизменные на уровне пикселей. [Скачать] | |
| База данных синтетических и реальных изображений [13] | 24 000 синтетических изображений и 16 000 фрагментов реальных сезонных изображений RS, полученных Google Earth, помеченными как измененные и неизменные на уровне пикселей. [Скачать] | |
| Левир-CD [14] | 637 Пары изображений Google Earth (GE) с очень высоким разрешением (VHR, 0,5 м/пиксель) с размером 1024 × 1024 пикселей и содержит в общей сложности 31 333 индивидуальных экземпляров здания, помеченных как измененные и неизменные на уровне пикселя. [Скачать] | |
| Набор данных Bastrop Fire [21] | 4 изображения, полученные различными датчиками в округе Бастроп, штат Техас (США). Он состоит из Landsat 5 TM в качестве изображения перед событием и Landsat 5 TM, EO-1 ALI и A Landsat 8 в качестве изображений после события, помеченных как измененные и неизменные на уровне Пикселя, в основном вызванные лесным пожаром. [Скачать] | |
| Набор данных Google [23] | 19 сезонных изображений VHR Pairswith 3 полос красного, зеленого и синего, пространственное разрешение 0,55 м и размер от 1006 × 1168 пикселей до 4936 × 5224 пикселей. Изменения изображения включают воды, дороги, сельскохозяйственные угодья, голую землю, леса, здания, корабли и т. Д. Здания составляют основные изменения. Приобретено в период с 2006 по 2019 год, охватывая пригородные районы города Гуанчжоу, Китай. [Скачать] | |
| Оптический RS & SAR | Калифорнийский набор данных [22] | 3 изображения, в том числе изображение RS, снятое Landsat 8 с 9 каналами на 2017 год, изображение SAR, снятое Sentinel-1A (записано в Polarisations VV и VH) после возникновения наводнения и основной карты истины. [Скачать] |
| Гомогенный набор данных CD [30] | 6 сценариев: сценарий 1 с двумя однополяризационными наборами данных; Сценарий 2 с двумя наборами данных Polsar; Сценарий 3 с двумя наборами данных оптического изображения. HeterogenousCD: сценарий 4 с двумя SAR/оптическими (мультиспектральными) наборами данных; Сценарий 5 с двумя многоспектральными наборами данных различных полос, полученных от разных датчиков; Сценарий 6 с двойными/оптическими (мультиспектральными) наборами данных. [Скачать] | |
| Уличный вид | VL-CMU-CD [15] | 1362 Совместные пары изображений RGB и глубины, помеченные наземные изменения истины (например, бин, знак, транспортное средство, отказа, строительство, конус дорожного движения, человек/цикл, барьер) и неба маски на уровне пикселя. [Скачать] |
| PCD 2015 [16] | 200 Панорамных пар изображений в подмноге «Цунами» и «GSV», размером 224 × 1024 пикселей, меткой как изменяются и неизменные на уровне пикселей. [Скачать] | |
| Набор данных об обнаружении изменений [17] | Последовательности изображений городских улиц, захваченных камерой, установленной на транспортном средстве, в два разных момента времени, размером с 5000 × 2500 пикселей, помеченные изменением структуры 3D сцены на уровне пикселей. [Скачать] | |
| резюме | CDNET 2012 [18] | 6 категорий видео с последовательностями от 4 до 6 видео в каждой категории, а изображения Loundtruth содержат 5 меток, а именно: статическая, жесткая тень, внешняя область интереса, неизвестное движение (обычно вокруг движущихся объектов, из-за полупрозрачной и размытия движения) и движения. [Скачать] |
| CDNET 2014 [19,20] | 22 Дополнительные видео (∼70; 000 пиксельных аннотированных кадров), охватывающих 5 новых категорий, которые включают в себя проблемы, столкнувшись во многих настройках наблюдения, и предоставляет реалистичную камеру, захваченную (без CGI), разнообразные набор видео и открытых видео, таких как CDNET 2012. [Скачать]. | |
| Изменениями [31] | Сложный набор данных, направленный на обнаружение изменения сцены в Интернете и многое другое, собирая в фотореалистичных средах моделирования с наличием нецелевых вариаций окружающей среды, таких как мутность воздуха и изменения состояния света, а также целевые изменения объектов в промышленных средах в помещении. [Скачать] | |
| Больше наборов данных видео | ||
Можно видеть, что объем открытых наборов данных, которые можно использовать для задач обнаружения изменений, является небольшим, и некоторые из них имеют небольшие размеры данных. В настоящее время до сих пор не хватает больших наборов данных SAR, которые можно использовать для обучения ИИ. Большинство методов обнаружения изменений на основе искусственного интеллекта основаны на нескольких наборах данных SAR, которые содержат ограниченные типы изменений, например, набор данных Bern, набор данных Оттавы, набор данных желтой реки и набор данных Мексики, которые не могут удовлетворить потребности обнаружения изменений в областях со сложным наземным покровом и различными типами изменений. Более того, их ярлыки недоступны. Наборы данных уличного вида обычно используются для исследования методов обнаружения изменений на основе искусственного интеллекта в компьютерном зрении (CV). В резюме обнаружение изменений на основе изображений или видео также является горячей областью исследований, и основная идея согласуется с тем, что на основе данных RS. Таким образом, в дополнение к наборам данных изображения уличного представления, несколько наборов данных видео в резюме также можно использовать для исследований по методам обнаружения изменений на основе искусственного интеллекта, таких как CDNET 2012 и CDNET 2014.
Разработка методов обнаружения изменений на основе искусственного интеллекта значительно способствовала многим приложениям и улучшила их автоматизацию и интеллект. Большая часть обнаружения изменений на основе искусственного интеллекта генерирует бинарные карты, и эти исследования сосредоточены только на самом алгоритме, без конкретного поля применения. Следовательно, можно считать, что они, как правило, подходят для обнаружения изменений LULC. В этом разделе мы сосредоточены на методах, которые связаны с конкретными приложениями, и они могут быть в целом разделены на четыре категории:
Мы предоставляем обзор различных методов обнаружения изменений в литературе для различных категорий приложений. Работы и типы данных, связанные с этими приложениями, перечислены в таблице 4.
| Приложения | Типы данных | Документы | |
|---|---|---|---|
| Городские контексты | Городская экспансия | Спутниковые изображения | Lyu et.al (2018), Tong et.al (2007) |
| САР изображения | Iino et.al (2017) | ||
| Управление общественным пространством | Уличный вид изображений | Varghese et.al (2018) | |
| Дорожная поверхность | БПЛА ИЗОБРАЖЕНИЯ | Truong et.al (2020) | |
| Обнаружение изменения здания | Воздушные изображения | Ji et.al (2019), Sun et.al (2019), Nemoto et.al (2017) | |
| Спутниковые изображения | Huang et.al (2019), Zhu et.al (2018) | ||
| Спутниковые/воздушные изображения | Jiang et.al (2020), Ji et.al (2018), Saha et.al (2020) | ||
| Воздушные лазерные сканирование данных и воздушных изображений | Zhang et.al (2019) | ||
| САР изображения | Jaturapitpornchai et.al (2019) | ||
| Спутниковые изображения и карта ГИС | Ghaffarian Et.al (2019) | ||
| Ресурсы и окружающая среда | Изменения в окружающей среде, управляемые человеком | Спутниковые изображения | Chen et.al (2016) |
| Гидро-экологические изменения | Спутниковые изображения | Nourani et.al (2018) | |
| Морской лед | САР изображения | Gao et.al (2019), Gao et.al (2019) | |
| Поверхностная вода | Спутниковые изображения | Song et.al (2019), Rokni et.al (2015) | |
| Лесной мониторинг | Спутниковые изображения | Khan et.al (2017), Lindquist et.al (2016), Deilmai et.al (2014), Woodcock et.al (2001), Gopal et.al (1996) | |
| Природные бедствия | Картирование оползня | Воздушные изображения | Fang et.al (2020), Lei et.al (2019) |
| Спутниковые изображения | Chen et.al (2018), Ding et.al (2016), Tarantino et.al (2006) | ||
| Оценка ущерба | Спутниковые изображения | вызвано Цунами [Sublime et.al (2019), Singh et.al (2015)], особого инцидента [Hedjam et.al (2019)], Flood [Peng et.al (2019)] или землетрясение [Ji et.al (2019)]] | |
| Воздушные изображения | вызвано цунами [Fujita et.al (2017)] | ||
| САР изображения | вызвано пожарами [Planinšič et.al (2018)] или землетрясением [Saha et.al (2018)]] | ||
| Уличный вид изображений | вызвано цунами [Sakurada et.al (2015)] | ||
| Изображения уличного просмотра и карта ГИС | вызвано цунами [Sakurada et.al (2017)] | ||
| Астрономия | Планетарные поверхности | Спутниковые изображения | Kerner et.al (2019) |
В настоящее время существует большое количество программного обеспечения с инструментами обнаружения изменений, и у нас есть краткое изложение их, см. Таблицу 5.
| Тип | Имя | Описание |
|---|---|---|
| Коммерческий | Эрдас представлен | Обеспечивает истинную ценность, консолидацию дистанционного зондирования, фотограмметрию, анализ лидара, базовый векторный анализ и обработку радиолокационных технологий в один продукт, включая различные инструменты обнаружения изменений. |
| Аркгис | Обнаружение изменения можно рассчитать между двумя наборами данных растровых данных с помощью инструмента растрового калькулятора или рабочего процесса глубокого обучения. | |
| Envi | Предоставляет инструменты анализа обнаружения изменений и модуль глубокого обучения Envi. | |
| Экценс | Может использоваться для различного картирования изменений, и, используя технологию глубокого обучения из библиотеки Google Tensorflow ™, Ecognition предоставляет клиентам очень сложные инструменты распознавания и корреляции, которые автоматизируют классификацию объектов, представляющих интерес для более быстрых и более точных результатов, больше. | |
| PCI Geomatica | Предоставляет инструменты обнаружения изменений и может быть полезным в многих обстоятельствах, в которых вы можете проанализировать изменения, такие как: ущерб от шторма, ущерб от леса, наводнение, разрастание городов и многое другое. | |
| Sensetime | SensereMote дистанционного зондирования интеллектуальные решения | |
| Открытый исходный код | QGIS | Обеспечивает много инструментов обнаружения изменений. |
| Orfeo Toolbox | Обнаружение изменений с помощью алгоритма Detector Multivariate Detector (MAD). | |
| Изменить набор инструментов для обнаружения | MATLAB Toolbox для обнаружения изменений дистанционного зондирования. |
Следующие документы полезны для исследователей, чтобы лучше понять эту область обнаружения изменений дистанционного зондирования, см. Таблицу 6.
| Опубликовано год | Обзор документ |
|---|---|
| 1989 | Методы обнаружения цифровых изменений с использованием дистанционно определенных данных, IJRS. [бумага] |
| 2004 | Методы обнаружения цифровых изменений в мониторинге экосистемы: обзор, IJRS. [бумага] |
| 2004 | Методы обнаружения изменений, IJRS. [бумага] |
| 2012 | Объектно-основополагающее обнаружение изменений, IJRS. [бумага] |
| 2013 | Обнаружение изменений из дистанционно зондированных изображений: от Pixel на основе объектных подходов, ISPRS. [бумага] |
| 2016 | 3D -обнаружение - подходы и приложения, ISPRS. [бумага] |
| 2016 | Глубокое обучение данных удаленного зондирования Техническое руководство по состоянию искусства, MGRS. [бумага] |
| 2017 | Комплексный обзор глубокого обучения в дистанционном зондировании: теории, инструменты и проблемы для сообщества, младший. [бумага] |
| 2017 | Глубокое обучение в дистанционном зондировании, Mgrs. [бумага] |
| 2018 | Вычислительный интеллект в обработке изображений оптического дистанционного зондирования, ASOC. [бумага] |
| 2019 | Обзор обнаружения изменений на многовременных гиперспектральных изображениях: текущие методы, приложения и проблемы, MGR. [бумага] |
| 2019 | Глубокое обучение в приложениях дистанционного зондирования: метаанализ и обзор, ISPRS. [бумага] |
| 2020 | Глубокое обучение для обнаружения изменений на изображениях дистанционного зондирования: комплексный обзор и метаанализ, Arxiv. [бумага] |
| 2020 | Обнаружение изменений на основе искусственного интеллекта: современные и проблемы, рупий. [бумага] |
[1] Набор данных об обнаружении гиперспектральных изменений. Доступно в Интернете: https://citius.usc.es/investigacion/datasets/hyperspectral-change-detection-dataset (по состоянию на 4 мая 2020 года).
[2] Ван, Q.; Юань, Z.; Du, Q.; Li, X. Getnet: общая сквозная среда 2-D CNN для обнаружения гиперспектрального изменения изображения. IEEE Trans. Geosci. Удаленное сенсация 2018, 57, 3–13. [Google Scholar] [CrossRef]
[3] Дадт, RC; Le Saux, B.; Boulch, A.; Gousseau, Y. Многозадачное обучение для крупномасштабного обнаружения семантических изменений. Вычислительный Визит Изображение понятно. 2019, 187, 102783. [Google Scholar] [CrossRef]
[4] Ji, S.; Wei, S.; Лу, М. Полностью сверточные сети для извлечения многосторонних зданий из открытого набора данных и спутниковых изображений. IEEE Trans. Geosci. Удаленное сенсация 2018, 57, 574–586. [Google Scholar] [CrossRef]
[5] Бенедик, C.; Sziranyi, T. Обнаружение изменения на оптических воздушных изображениях с помощью многослойной условной смешанной модели Маркова. IEEE Trans. Geosci. Отдаленное сен. 2009, 47, 3416–3430. [Google Scholar] [CrossRef]
[6] Бенедик, C.; Sziranyi, T. Смешанная модель Маркова для обнаружения изменений на аэрофотоснимках с большими различиями во времени. В материалах 198 -й Международной конференции по признанию образцов, Тампа, Флорида, США, 8–11 декабря 2008 г.; С. 1–4. [Google Scholar]
[7] Даудт, RC; Le Saux, B.; Boulch, A.; Gousseau, Y. Обнаружение городских изменений для многоспектрального наблюдения за землей с использованием сверточных нейронных сетей. В материалах IGARSS 2018 IEEE International Geoscience Symposium, Valencia, Valencia, Испания, 22–27 июля 2018 года; С. 2115–2118. [Google Scholar]
[8] Чжан, М.; Ши, В. Метод обнаружения изменений на основе нейронной сети. IEEE Trans. Geosci. Удаленное сенсация 2020, 1–15. [Google Scholar] [CrossRef]
[9] Wu, C.; Zhang, L.; Zhang, L. Структура обнаружения сцены для многовременных изображений дистанционного зондирования с очень высоким разрешением. Сигнальный процесс. 2016, 124, 184–197. [Google Scholar] [CrossRef]
[10] Fujita, A.; Сакурада, К.; Imaizumi, T.; Ito, R.; Hikosaka, S.; Накамура Р. Обнаружение повреждений от аэрофотоснимков через сверточные нейронные сети. В материалах Пятнадцатой Международной конференции IAPR 2017 года по приложениям машинного видения (MVA), Nagoya Univ, Нагоя, Япония, 08–12 мая 2017 года; С. 5–8 [Google Scholar]
[11] Гупта, Р.; Goodman, B.; Патель, Н.; Hosfelt, R.; Sajeev, S.; Heim, E.; Доши, Дж.; Лукас, К.; Choset, H.; Гастон М. Создание XBD: набор данных для оценки повреждения здания со спутниковых изображений. В материалах семинаров IEEE по компьютерному видению и распознаванию образцов, Лонг -Бич, Калифорния, США, 16–20 июня 2019 года; С. 10–17. [Google Scholar]
[12] Бурдис, Н.; Marraud, D.; Sahbi, H. Ограниченный оптический поток для обнаружения изменения воздушного изображения. В материалах Международного симпозиума IEEE IEEE 2011 года, Ванкувер, Британская Колумбия, Канада, 24–29 июля 2011 года; С. 4176–4179. [Google Scholar] [CrossRef]
[13] Лебедев, Массачусетс; Vizilter, YV; Vygolov, OV; Knyaz, VA; Рубис, обнаружение изменения AY на изображениях дистанционного зондирования с использованием условных состязательных сетей. ISPRS Int. Архи Фотография. Отдаленное сенсация. Spat. Инф. Наука 2018, 565–571. [Google Scholar] [CrossRef]
[14] Чен, Х.; Shi, Z. A Spatial-Temporal Attention-Based Method and a New Dataset for Remote Sensing Image Change Detection. Remote Sensing, 12(10), 1662. [Google Scholar] [CrossRef]
[15] Alcantarilla, PF; Stent, S.; Ros, G.; Arroyo, R.; Gherardi, R. Street-view change detection with deconvolutional networks. Auton. Робот. 2018, 42, 1301–1322. [Google Scholar] [CrossRef]
[16] Sakurada, K.; Okatani, T. Change detection from a street image pair using CNN features and superpixel segmentation. In Proceedings of the British Machine Vision Conference (BMVC), Swansea, UK, 7–10 September 2015; pp. 61.1–61.12. [Google Scholar]
[17] Sakurada, K.; Okatani, T.; Deguchi, K. Detecting changes in 3D structure of a scene from multi-view images captured by a vehicle-mounted camera. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Portland, OR, USA, 23–28 June 2013; pp. 137–144. [Google Scholar]
[18] Goyette, N.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Ishwar, P. Changedetection. net: A new change detection benchmark dataset. In Proceedings of the 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, Providence, RI, USA, 16–21 June 2012; pp. 1–8. [Google Scholar]
[19] Wang, Y.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Benezeth, Y.; Ishwar, P. CDnet 2014: An Expanded Change Detection Benchmark Dataset. In Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops, Columbus, OH, USA, 23–28 June 2014; pp. 393–400. [Google Scholar]
[20] Goyette, N.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Ishwar, P. A Novel Video Dataset for Change Detection Benchmarking. IEEE Trans. Image Process. 2014, 23, 4663–4679. [Google Scholar] [CrossRef]
[21] Volpi, Michele; Camps-Valls, Gustau; Tuia, Devis (2015). Spectral alignment of multi-temporal cross-sensor images with automated kernel canonical correlation analysis; ISPRS Journal of Photogrammetry and Remote Sensing, vol. 107, pp. 50-63, 2015. [CrossRef]
[22] LT Luppino, FM Bianchi, G. Moser and SN Anfinsen. Unsupervised Image Regression for Heterogeneous Change Detection. IEEE Transactions on Geoscience and Remote Sensing. 2019, vol. 57, no. 12, pp. 9960-9975. [CrossRef]
[23] D. Peng, L. Bruzzone, Y. Zhang, H. Guan, H. Ding and X. Huang, SemiCDNet: A Semisupervised Convolutional Neural Network for Change Detection in High Resolution Remote-Sensing Images. IEEE Transactions on Geoscience and Remote Sensing. 2020. [CrossRef]
[24] Yang, Kunping, et al. Asymmetric Siamese Networks for Semantic Change Detection. arXiv preprint arXiv:2010.05687 (2020). [CrossRef]
[25] Zhang, C., Yue, P., Tapete, D., Jiang, L., Shangguan, B., Huang, L., & Liu, G. A deeply supervised image fusion network for change detection in high resolution bi-temporal remote sensing images. ISPRS Journal of Photogrammetry and Remote Sensing. 2020. [CrossRef]
[26] LEENSTRA, Marrit, et al. Self-supervised pre-training enhances change detection in Sentinel-2 imagery. arXiv. 2021. [CrossRef]
[27] SHI, Qian, et al. A Deeply Supervised Attention Metric-Based Network and an Open Aerial Image Dataset for Remote Sensing Change Detection. IEEE Transactions on Geoscience and Remote Sensing. 2021. [CrossRef]
[28] SHEN, Li, et al. S2Looking: A Satellite Side-Looking Dataset for Building Change Detection. arXiv. 2021. [CrossRef]
[29] LEBEDEV, MA, et al. CHANGE DETECTION IN REMOTE SENSING IMAGES USING CONDITIONAL ADVERSARIAL NETWORKS. International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences, 2018. [CrossRef]
[30] SUN, Yuli, et al. Structure Consistency-Based Graph for Unsupervised Change Detection With Homogeneous and Heterogeneous Remote Sensing Images. IEEE Transactions on Geoscience and Remote Sensing, 2021. [CrossRef]
[31] PARK, Jin-Man, et al. ChangeSim: Towards End-to-End Online Scene Change Detection in Industrial Indoor Environments. arXiv. 2021. [CrossRef]
If you find this review helpful to you, please consider citing our paper. [Open Access]
@Article{rs12101688,
AUTHOR = {Shi, Wenzhong and Zhang, Min and Zhang, Rui and Chen, Shanxiong and Zhan, Zhao},
TITLE = {Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges},
JOURNAL = {Remote Sensing},
VOLUME = {12},
YEAR = {2020},
NUMBER = {10},
ARTICLE-NUMBER = {1688},
URL = {https://www.mdpi.com/2072-4292/12/10/1688},
ISSN = {2072-4292},
DOI = {10.3390/rs12101688}
}
This list will be updated in time, and volunteer contributions are welcome. For questions or sharing, please feel free to contact us or make issues.
