Change Detection Review
1.0.0
La détection des changements basée sur les données de télédétection (RS) est une méthode importante de détection des changements sur la surface de la Terre et propose un large éventail d'applications en planification urbaine, surveillance environnementale, enquête agricole, évaluation des catastrophes et révision des cartes. Ces dernières années, la technologie intégrée de l'intelligence artificielle (IA) est devenue un objectif de recherche dans le développement de nouvelles méthodes de détection des changements. Bien que certains chercheurs affirment que les approches de détection des changements basées sur l'IA surpassent les approches traditionnelles de détection des changements, il n'est pas immédiatement évident comment et dans quelle mesure l'IA peut améliorer les performances de la détection des changements. Cette revue se concentre sur les méthodes, les applications et les défis de pointe de l'IA pour la détection des changements. Plus précisément, le processus de mise en œuvre de la détection des changements basée sur l'IA est d'abord introduit. Ensuite, les données de différents capteurs utilisées pour la détection des changements, y compris les données RS optiques, les données radar d'ouverture synthétique (SAR), les images de vue de la rue et les données hétérogènes combinées, sont présentées et les ensembles de données ouverts disponibles sont également répertoriés. Les cadres généraux des méthodes de détection des changements basés sur l'IA sont examinés et analysés systématiquement, et les schémas non supervisés utilisés dans la détection des changements basés sur l'IA sont analysés. Par la suite, les réseaux couramment utilisés dans l'IA pour la détection des changements sont décrits. D'un point de vue pratique, les domaines d'application des méthodes de détection des changements basés sur l'IA sont classés en fonction de leur applicabilité. Enfin, les principaux défis et perspectives de l'IA pour la détection des changements sont discutés et délimités, y compris (a) le traitement hétérogène des mégadonnées, (b) l'IA non supervisée et (c) la fiabilité de l'IA. Cette revue sera bénéfique pour les chercheurs dans la compréhension de ce domaine.
La figure 2 fournit un processus général de mise en œuvre de la détection des changements basée sur l'IA, mais la structure du modèle d'IA est diversifiée et doit être bien conçue selon différentes situations d'application et les données de formation. Il convient de mentionner que des cadres matures existants tels que Tensorflow, Keras, Pytorch et Caffe, aident les chercheurs à réaliser plus facilement la conception, la formation et le déploiement de modèles d'IA, et leurs documents de développement fournissent des introductions détaillées.
| Méthodes | Mots clés | Publication | (Re) mise en œuvre |
|---|---|---|---|
| Srcdnet | CNN; Siamois; Attention; Super-résolution; RS optique | Réseau de détection de modification basé sur la super-résolution avec module d'attention empilé pour les images avec différentes résolutions, TGRS, 2021. [Paper], [Code, ensemble de données] | Pytorch 1.2 |
| Escnet | CNN; Siamois; Superpixel; RS optique | Un réseau de détection de changement de bout en bout de bout en bout pour les images de télédétection à très haute résolution. TNNLS, 2021. [Paper], [Code] | Pytorch 1.3 |
| Kpcamnet | CNN; Siamois; KPCA; Non supervisé; RS optique | Détection des changements non supervisés dans les images VHR multi-temporelles basées sur le réseau de cartographie convolutionnel de PCA profonde du noyau, TCYB, 2021. [Paper], [Code] | Python |
| Seco | Cnn (resnet); Transférer l'apprentissage; RS optique | Contraste saisonnier: pré-formation non supervisée à partir de données de télédétection non assurées, Arxiv, 2021. [Paper], [Code, ensemble de données] | Pytorch 1.7 |
| Capsnet | Capsule Network (SEGCAPS); CVA; Siamois; RS optique | Réseau de capsule pseudo-siamois pour les images de télédétection aérienne Changement de modification, GRSL, 2020. [Paper 1], Change Capsule Network for Optical Remote ImageChange Detection, RS, 2021. [Paper 2], [Code, jeu de données] | Kéras |
| Bit_cd | CNN (RESNET18); Siamois; Attention; Transformateur; RS optique | Détection du changement d'image de télédétection avec Transformers, TGRS, 2021. [Papier], [code, ensemble de données, modèle pré-formé] | Pytorch 1.6 |
| Iaug_cdnet | CNN (Gaugan + Unet); Siamois; Gan; Supervisé; RS optique | Augmentation de l'instance adversaire pour la détection des changements de construction dans les images de télédétection, TGRS, 2021. [Paper], [Code, ensemble de données] | Pytorch |
| Ddnet | CNN; Di + fcm; Non supervisé; Sar | Changer la détection des images radar d'ouverture synthétique à l'aide d'un réseau à double domaine, GRSL, 2021. [Paper], [Code, ensemble de données] | Pytorch |
| SNUNET-CD | CNN (Nestunet); Siamois; Attention; Supervisé; RS optique | SNUNET-CD: Un réseau siamois densément connecté pour la détection du changement des images VHR, GRSL, 2021. [Papier], [code, ensemble de données, modèle pré-formé] | Pytorch 1.4 |
| Dssmscn | CNN; Siamois; Multi-échelles; Non supervisé / supervisé; RS optique | Un réseau de fusion d'images profondément supervisé pour la détection des changements dans les images de scentes à distance biphymétriques haute résolution, Arxiv, 2020. [Paper], [Code, ensemble de données] | TensorFlow 1.9 |
| Siamcrnn | CNN + RNN; Siamois; Multi-source; RS optique | Modifier la détection des images VHR multisource via un réseau neuronal de profondeur multiple siamois profond, TGRS, 2020. [Paper], [Code, ensemble de données] | TensorFlow 1.9 |
| Dsifn | CNN; Mécanisme d'attention; RS optique | Un réseau de fusion d'images profondément supervisé pour la détection des changements dans les images de scentes à distance biphymétriques haute résolution, ISPRS, 2020. [Paper], [Code, ensemble de données] | Pytorch et keras |
| Ceecnet | CNN; Mécanisme d'attention; Mesure de similitude; RS optique | Vous cherchez du changement? Roulez les dés et demandez l'attention, Arxiv, 2020. [Papier], [Code, ensemble de données] | Mxnet + python |
| Lamboisenet | CNN (Light Unet ++); RS optique | Modifier la détection de l'imagerie satellite à l'aide d'un apprentissage en profondeur, thèse de maître. [code, ensemble de données, modèle pré-formé] | Pytorch |
| Dtcdscn | CNN; Siamois | La détection des changements de construction pour les images de télédétection à l'aide d'un modèle de réseau convolutionnel siamois profond à double tâche contraint, subissant une révision. [Code, ensemble de données] | Pytorch |
| Couverture terrestre | CNN (UNET); Post-classification; RS optique | Utilisation des terres / couverture terrestre Détection des changements dans les zones affectées par le cyclone à l'aide de réseaux de neurones convolutionnels. [rapport], [code, ensemble de données, modèle pré-formé] | TensorFlow + Keras |
| Corrfusionnet | CNN; Au niveau de la scène; Siamois; RS optique | Réseau de fusion basé sur la corrélation envers la classification des scène multi-temporelles et la détection des changements, en cours d'examen. [Code, modèle pré-formé], [ensemble de données] | Tensorflow 1.8 |
| Sscdnet | CNN (RESNET18); Siamois; Transférer l'apprentissage; Sémantique; Streetview | Détection de changement de scène sémantique à base de silhouette faiblement supervisée, ICRA, 2020. [Papier] [Code, ensemble de données, modèle pré-formé] | Pytorch + python3.6 |
| Hétérogène_cd | Ae (AE aligné par le code); Non supervisé; Transformation; Hétérogène; RS optique | Autoencoders alignés par code pour la détection des changements non supervisés dans les images de télédétection multimodales, Arxiv, 2020. [Paper] [Code, ensemble de données] | TensorFlow 2.0 |
| Fdcnn | CNN (VGG16); Transférer l'apprentissage; Pur-siamois; Multi-échelles; RS optique | Une méthode de détection de modification basée sur le réseau neuronal de différence de fonctionnalité, TGRS, 2020. [Papier] [Code, ensemble de données, modèle pré-formé] | Caffe + Python2.7 |
| Stanet | CNN (RESNET-18); Mécanisme d'attention; Pur-siamois; Dépendance spatiale-temporelle; RS optique | Une méthode basée sur l'attention spatiale-temporelle et un nouvel ensemble de données pour la détection des changements d'image de télédétection, RS, 2020. [Paper] [Code, ensemble de données] | Pytorch + python3.6 |
| X nez | CNN; Non supervisé; Transformation; Hétérogène; RS optique; Sar | Traduction d'image profonde avec un changement basé sur l'affinité Avant pour la détection des changements multimodaux non supervisés, 2020. [Paper] [Code, ensemble de données] | Tensorflow 1.4 |
| As-net | AE (Encodeurs cycliques adversaires); Non supervisé; Transformation; Hétérogène; RS optique; Sar | Traduction d'image profonde avec un changement basé sur l'affinité Avant pour la détection des changements multimodaux non supervisés, 2020. [Paper] [Code, ensemble de données] | Tensorflow 1.4 |
| Vgg_lr | CNN (VGG16); Transférer l'apprentissage; Pur-siamois; Slic; Randes bas; RS optique | Détection des changements basée sur des fonctionnalités profondes et un rang bas, GRSL, 2017. [Papier] [Code de réimplémentation, ensemble de données, modèle pré-formé] | Caffe + Matlab |
| CDNT | CNN; Siamois; Données multimodales; Données de cloud | Détection des changements de construction entre le balayage laser aérien et les données photogrammétriques, Rs, 2019. [Paper], [Code] | Pytorch |
| SCCN | Ae (dae); Non supervisé; Hétérogène; RS optique; Sar | Un réseau de couplage convolutionnel profond pour la détection des changements basé sur des images optiques et radar hétérogènes, TNNLS, 2018. [Papier] [Code de réimplémentation] | TensorFlow 2.0 |
| cgan | Gan (Gan conditionnel); Hétérogène; RS optique; Sar | Un réseau adversaire conditionnel pour la détection des changements dans les images hétérogènes, GRSL, 2019. [Papier] [Code de réimplémentation] | TensorFlow 2.0 |
| Dasnet | CNN (VGG16); Siamois; Mécanisme d'attention; RS optique | DASNET: Double réseaux siamois entièrement convolutionnels à la détection des images satellites à haute résolution, Arxiv, 2020. [Papier] [Code, ensemble de données, modèle pré-formé] | Pytorch + python3.6 |
| Unetlstm | CNN (UNET); RNN (LSTM); Modèle intégré; RS optique | Détection des changements urbains avec les réseaux de neurones récurrents à partir de données multi-temporelles Sentinel-2, IGARSS, 2019. [Papier] [Code, ensemble de données, modèle pré-formé] et [Code] | Pytorch + python3.6 |
| CDMI-NET | CNN (UNET); Pur-siamois; Apprentissage de plusieurs instances; Cartographie du glissement de terrain; RS optique | Apprentissage en instance multiple profonde pour la cartographie des glissements de terrain, GRSL, 2020. [Papier] [Code, modèle pré-formé] | Pytorch + python3.6 |
| Dsfanet | Dnn; Non supervisé; Pré-classification; Analyse des caractéristiques lents; RS optique | Analyse des fonctionnalités lents profondes non supervisées pour la détection des changements dans les images de télédétection multi-temporelles, TGRS, 2019. [Paper] [Code, ensemble de données] | Tensorflow 1.7 |
| CD-UNET ++ | CNN (amélioré unet ++); Classification directe; RS optique | Détection de changement de bout en bout pour les images satellites haute résolution en utilisant l'amélioration de l'UNE ++, RS, 2019. [Papier] [Code] | TensorFlow + Keras |
| Siamesenet | CNN (VGG16); Pur-siamois; RS optique | Réseau siamois avec des fonctionnalités à plusieurs niveaux pour la détection des changements basés sur le patch dans l'imagerie satellite, Globalsip, 2018. [Paper] [Code, ensemble de données] | TensorFlow + Keras |
| Re3fcn | CNN (Convlstm); PCA; Convolution 3D; Modifications multi-classes; RS optique; Hyperspectral | Modifier la détection des images hyperspectrales à l'aide de réseaux récurrents 3D récurrents, RS, 2018. [Paper] [Code, ensemble de données] | TensorFlow + Keras |
| FC-EF, FC-SIAM-CONC, FC-SIAM-DIFF | CNN (UNET); Pur-siamois; RS optique | Networks siamois entièrement convolutionnels pour la détection des changements, ICIP, 2018. [Paper] [Code, ensemble de données] | Pytorch |
| Cosimnet | CNN (DeepLab V2); Pur-siamois; Streetview | Apprendre à mesurer les changements: réseaux métriques siamois entièrement convolutionnels pour la détection des changements de scène, Arxiv, 2018. [Papier] [Code, ensemble de données, modèle pré-formé] | Pytorch + python2.7 |
| Masque r-cnn | Masque R-CNN (RESNET-101); Transférer l'apprentissage; Post-classification; RS optique | Segmentation des bidonvilles et détection des changements: une approche d'apprentissage en profondeur, NIPS, 2018. [Papier] [Code, ensemble de données, modèle pré-formé] | TensorFlow + Keras |
| Camence | CNN (CAFENET); Non supervisé; Transférer l'apprentissage; RS optique | Détection de modification des fonctionnalités de réseau neuronal convolutionnel dans les images satellites, IWPR, 2016. [Paper] [Code, ensemble de données] | TensorFlow + Keras |
| Cwnn | CNN (CWNN); Non supervisé; Pré-classification; Sar | Détection de changement de glace de mer dans les images SAR basées sur des réseaux de neurones en ondelettes convolutionnelles, GRSL, 2019. [Paper] [Code, ensemble de données] | Matlab |
| Mlfn | CNN (densenet); Transférer l'apprentissage; Sar | Transféré Deep Learning pour la détection des changements de glace de mer à partir d'images radar d'ouverture synthétique, GRSL, 2019. [Paper] [Code, ensemble de données] | Caffe + Matlab |
| Garborpcanet | CNN (PCANET); Non supervisé; Pré-classification; Wavelettes de Gabor; Sar | Détection de changement automatique dans les images radar d'ouverture synthétique basées sur PCANET, GRSL, 2016. [Paper] [Code, ensemble de données] | Matlab |
| Mme-Capsnet | CNN (MS-CAPSNET); Capsule; Mécanisme d'attention; Convolution de fusion adaptative; Sar | Modifier la détection dans les images SAR basées sur le réseau de capsule multi-échelles, GRSL, 2020. [Paper] [Code, ensemble de données] | Matlab + keras2.16 |
| Dcnet | CNN; Non supervisé; Pré-classification; Sar | Modifier la détection à partir d'images radar d'ouverture synthétique basées sur le réseau de cascade Deep Cascade basé sur la pondération des canaux, JStars, 2019. [Paper] [Code, ensemble de données] | Caffe |
| Changenet | CNN; Siamois; Streetview | Changenet: une architecture d'apprentissage en profondeur pour la détection des changements visuels, ECCV, 2018. [Paper] [Code, ensemble de données] | Pytorch |
| D'autres seront ajoutés bientôt! | |||
| Méthodes | Mots clés | Publication | Mise en œuvre |
|---|---|---|---|
| Plusieurs méthodes classiques | CVA; DPCA; Différenciation de l'image; Rapport d'image; Régression de l'image; Ir-Mad; FOU; PCakmeans; PCDA; Kmeans; OTSU; Seuil fixe | Une boîte à outils pour la détection des changements de télédétection. [code] | Matlab |
| Détection de modification de la boîte à outils MATLAB | Ir-Mad; It-PCA; Erm; ICI | Une boîte à outils pour l'analyse de détection des changements non supervisés, IJRS, 2016. [Papier] [Code] | Matlab |
| RFR, SVR, GPR | Non supervisé; Régression de l'image; Hétérogène; RS optique; Sar | Régression d'image non supervisée pour la détection des changements hétérogènes, TGRS, 2019. [Paper] [Code] | Matlab |
| Hpt | Non supervisé; Transformation; Hétérogène; RS optique; Sar | Changer la détection des images de télédétection hétérogènes via une transformation homogène des pixels, Tip, 2018. [Paper] [Code de réimplémentation] | Matlab |
| kcca | Analyse de corrélation canonique; Capteur croisé; RS optique | Alignement spectral des images trans-capteurs multi-temporelles avec analyse de corrélation du noyau automatisé, IJPRS, 2015. [Papier] [Code] | Matlab |
| Ker. Diff. RBF | Non supervisé; K-means; RS optique | Détection des changements non supervisés avec les noyaux, GRSL, 2012. [Papier] [Code] | Matlab |
| FDA-RM | DI-basé sur DI; Analyse du domaine fréquentiel; Multigraphes aléatoires; Sar | Détection du changement d'image radar d'ouverture synthétique basée sur l'analyse du domaine fréquentiel et les multigraphes aléatoires, Jars, 2018. [Paper] [Code] | Matlab |
| CD-NR-ELM | DI-basé sur DI; Pré-classification; Machine d'apprentissage extrême; Sar | Modifier la détection des images radar d'ouverture synthétique basées sur le ratio basé sur le quartier et la machine d'apprentissage extrême, Jars, 2016. [Paper] [Code, ensemble de données] | Matlab |
| Aucun | Rapport de vraisemblance; Statistique de test; Sar | Modifier la détection des images SAR polarimétriques, 2015. [Rapport] [Code] | Python |
| PCA K-means | Non supervisé; DI-basé sur DI; PCA; K signifie; RS optique | Détection des changements non supervisés dans les images satellites en utilisant l'analyse des composants principaux et le clustering K-Means, GRSL, 2009. [Paper] [Code de réimplémentation, ensemble de données] ou [Code de réimplémentation] | Matlab |
| CPRD | Tenseur; RS optique hyperspectral | Détecteur de décomposition et de reconstruction de Tucker à trois commandes pour la détection des changements hyperspectraux non supervisés. JStars, 2021. [Paper] [Code, ensemble de données] | Matlab |
| GBF-CD | Fusion de données; Graphique; Em; Ki; | La fusion de données basée sur des graphiques s'appliquait à: modifier la détection et l'estimation de la biomasse dans les cultures de riz. Télédétection, 2020 [papier] [code, ensemble de données] | Matlab |
| D'autres seront ajoutés bientôt! | |||
Actuellement, il existe des ensembles de données disponibles gratuitement pour la détection des changements, qui peuvent être utilisés comme ensembles de données de référence pour la formation et l'évaluation de la précision de l'IA dans les recherches futures. Des informations détaillées sont présentées dans le tableau 3.
| Taper | Ensemble de données | Description |
|---|---|---|
| RS optique | Ensemble de données DSIFN [25] | 6 Images haute résolution bi-temporelles de Google Earth. Il y a 3600 paires d'images avec une taille de 512 × 512 pour l'entraînement, 340 pour la validation et 48 pour le test. [Télécharger] |
| S2MTCP [26] | 1520 Sentinel-2 Niveau 1C Paires d'images axées sur les zones urbaines du monde entier, avec une résolution spatiale de 10 m et la taille de 600 x 600 pixels. Les corrections géométriques ou radiométriques ne sont pas effectuées. [Télécharger] | |
| Sysu-cd [27] | 20000 paires d'images aériennes de 0,5 m de taille 256 × 256 prises entre les années 2007 et 2014 à Hong Kong, dont 6 types de changement: (a) les bâtiments urbains nouvellement construits; (b) dilatation suburbaine; c) les bases avant la construction; (d) Changement de végétation; (e) Expansion des routes; (f) Construction de la mer. [Télécharger] | |
| S2looking [28] | L'ensemble de données de détection des changements de construction se compose de 5000 paires d'images bimporales enregistrées (taille de 1024 * 1024, 0,5 ~ 0,8 m / pixel) de zones rurales à travers le monde et plus de 65 920 instances de changement annotées, indiquant séparément le bâtiment nouvellement construit et démoli [téléchargement] | |
| Ensemble de données synthétiques et réels [29] | La base de données contient 12 000 triples d'images synthétiques sans décalage d'objet, 12 000 triples d'images de modèle avec décalage d'objet et 16 000 triples de fragments d'images de télédétection réelles. Des tests effectués ont montré que le CNN proposé est suffisamment prometteur et suffisamment efficace dans la détection des changements sur les images synthétiques et réelles [téléchargement] | |
| Ensemble de données de détection des changements sémantiques (deuxième) [24] | Un ensemble de données de détection de changement sémantique annoté au niveau des pixels, y compris 4662 paires d'images aériennes avec 512 x 512 pixels de plusieurs plates-formes et capteurs, couvrant Hangzhou, Chengdu et Shanghai. Il se concentre sur 6 classes de couverture terrestre principales, c'est-à-dire la surface du sol non végétale, l'arbre, la végétation basse, l'eau, les bâtiments et les terrains de jeux, qui sont fréquemment impliqués dans des changements géographiques naturels et créés par l'homme. [Télécharger] | |
| Ensemble de données de détection des changements hyperspectraux [1] | 3 Scènes hyperspectrales différentes acquises par Aviris ou Capteur Hyperion, avec 224 ou 242 bandes spectrales, étiquetées 5 types de changements liés aux transitions des cultures au niveau des pixels. [Télécharger] | |
| Ensemble de données River HSIS [2] | 2 HSIS dans la province du Jiangsu, en Chine, avec 198 groupes, étiquetés comme modifiés et inchangés au niveau des pixels. [Télécharger] | |
| HRSCD [3] | 291 paires co-enregistrées d'images aériennes RVB, avec changement de pixel et annotations de couverture terrestre, fournissant des étiquettes de changement de niveau hiérarchique, par exemple, les étiquettes de niveau 1 comprennent cinq classes: aucune information, surfaces artificielles, zones agricoles, forêts, zones humides et eau. [Télécharger] | |
| Ensemble de données de construction de WHU [4] | Des images aériennes de 2 périodes contenant 12 796 bâtiments, fournies avec des cartes de vecteur de construction et raster. [Télécharger] | |
| Benchmark Sztaki Air Change [5, 6] | 13 paires d'images aériennes avec une résolution spatiale de 1,5 m, étiquetée comme modifiée et inchangée au niveau des pixels. [Télécharger] | |
| Oscd [7] | 24 paires d'images multispectrales acquises par Sentinel-2, étiquetées comme modifiées et inchangées au niveau des pixels. [Télécharger] | |
| Ensemble de données de détection de modification [8] | 4 paires d'images multispectrales avec différentes résolutions spatiales, étiquetées comme modifiées et inchangées au niveau des pixels. [Télécharger] | |
| MTS-WH [9] | 2 images VHR de grande taille acquises par des capteurs Ikonos, avec 4 bandes et une résolution spatiale de 1 m, étiqueté 5 types de changements (c'est-à-dire, de stationnement, maisons clairsemées, région résidentielle et région de la végétation) au niveau de la scène. [Télécharger] | |
| ABCD [10] | 16 950 paires d'images aériennes RVB pour la détection des bâtiments lavés par le tsunami, étiquetés des bâtiments endommagés au niveau de la scène. [Télécharger] | |
| XBD [11] | Images satellites pré et post-catastrophe pour l'évaluation des dommages du bâtiment, avec plus de 850 000 polygones de construction de 6 types de catastrophes, étiquetés au niveau des pixels avec 4 échelles de dégâts. [Télécharger] | |
| AICD [12] | 1000 paires d'images aériennes synthétiques avec des changements artificiels générés avec un moteur de rendu, étiquetés comme modifiés et inchangés au niveau des pixels. [Télécharger] | |
| Base de données d'images synthétiques et réelles [13] | 24 000 images synthétiques et 16 000 fragments d'images RS variant réelles obtenues par Google Earth, étiquetées comme modifiées et inchangées au niveau des pixels. [Télécharger] | |
| Levir-CD [14] | 637 à très haute résolution (VHR, 0,5 m / pixel) Google Earth (GE) Patch d'images avec une taille de 1024 × 1024 pixels et contient un total de 31 333 instances de construction de changement individuelles, étiquetées comme modifiées et inchangées au niveau du pixel. [Télécharger] | |
| Ensemble de données de Fire Bastrop [21] | 4 images acquises par différents capteurs dans le comté de Bastrop, Texas (États-Unis). Il est composé par un Landsat 5 TM comme image pré-événement et un Landsat 5 TM, un EO-1 Ali et un Landsat 8 comme images post-événement, étiquetés comme modifiés et inchangés au niveau des pixels, principalement causés par des incendies de forêt. [Télécharger] | |
| Ensemble de données Google [23] | 19 images VHR variant 19 paires avec 3 bandes de rouge, vert et bleu, une résolution spatiale de 0,55 m, et la taille allant de 1006 × 1168 pixels à 4936 × 5224 pixels. Les changements d'image incluent les eaux, les routes, les terres agricoles, les terres nues, les forêts, les bâtiments, les navires, etc. Les bâtiments constituent les principaux changements. acquis pendant les périodes entre 2006 et 2019, couvrant les zones de banlieue de la ville de Guangzhou, en Chine. [Télécharger] | |
| RS & SAR optique | Ensemble de données californien [22] | 3 images, y compris une image RS capturée par Landsat 8 avec 9 canaux sur 2017, une image SAR capturée par Sentinel-1a (enregistrée dans les polarisations VV et VH) après la survenue d'une inondation et d'une carte de vérité au sol. [Télécharger] |
| Ensemble de données de CD homogène [30] | 6 scénarios: scénario 1 avec deux ensembles de données à polarisations uniques; Scénario 2 avec deux ensembles de données POLSAR; Scénario 3 avec deux ensembles de données d'image optiques. Hétérogèneouscd: scénario 4 avec deux ensembles de données SAR / optiques (multispectraux); Scénario 5 avec deux ensembles de données multispectraux de différentes bandes acquises à partir de différents capteurs; Scénario 6 avec ensembles de données Twopolsar / optique (multispectral). [Télécharger] | |
| Vue de la rue | VL-CMU-CD [15] | 1362 Paires co-enregistrées d'images RVB et de profondeur, étiqueté le changement de vérité au sol (par exemple, bac, signe, véhicule, déchets, construction, cône de circulation, personne / cycle, barrière) et masques de ciel au niveau des pixels. [Télécharger] |
| PCD 2015 [16] | 200 paires d'images panoramiques dans le sous-ensemble "tsunami" et "GSV", avec la taille de 224 × 1024 pixels, étiquetez-vous comme changé et inchangé au niveau des pixels. [Télécharger] | |
| Ensemble de données de détection de modification [17] | Les séquences d'image des rues de la ville capturées par une caméra montée sur un véhicule à deux moments différents, avec la taille de 5000 × 2500 pixels, étiquetée des changements de structure de scène 3D au niveau des pixels. [Télécharger] | |
| Cv | CDNET 2012 [18] | 6 Catégories de vidéos avec 4 à 6 séquences de vidéos dans chaque catégorie, et les images de pavillon contiennent 5 étiquettes, à savoir: statique, ombre dure, région extérieure d'intérêt, mouvement inconnu (généralement autour d'objets en mouvement, en raison de la semi-transparence et du flou de mouvement) et du mouvement. [Télécharger] |
| CDNET 2014 [19,20] | 22 vidéos supplémentaires (∼70; 000 cadres annotés par pixel) couvrant 5 nouvelles catégories qui incorporent les défis rencontrés dans de nombreux paramètres de surveillance et fournit une caméra réaliste capturée (sans CGI), un ensemble diversifié de vidéos intérieures et extérieures comme le CDNET 2012. [Téléchargement] | |
| Changesim [31] | Un ensemble de données difficile visant à la détection des changements de scène en ligne et plus encore, en collectant dans des environnements de simulation photo-réalistes avec la présence de variations environnementales non ciblées, telles que la turbidité de l'air et les changements de condition de lumière, ainsi que les changements d'objets ciblés dans les environnements intérieurs industriels. [Télécharger] | |
| Plus d'ensembles de données vidéo | ||
On peut voir que la quantité d'ensembles de données ouverts qui peuvent être utilisés pour les tâches de détection de changement est petite, et certains d'entre eux ont de petites tailles de données. À l'heure actuelle, il y a encore un manque de grands ensembles de données SAR qui peuvent être utilisés pour la formation en IA. La plupart des méthodes de détection des changements basées sur l'IA sont basées sur plusieurs ensembles de données SAR qui contiennent des types limités de changements, par exemple, l'ensemble de données Bern, l'ensemble de données Ottawa, l'ensemble de données jaune de la rivière et le jeu de données mexicain, qui ne peut pas répondre aux besoins de détection des changements dans les zones avec une couverture terrestre complexe et divers types de changements. De plus, leurs étiquettes ne sont pas disponibles librement. Les ensembles de données de vue de rue sont généralement utilisés pour la recherche sur les méthodes de détection des changements basées sur l'IA dans la vision par ordinateur (CV). En CV, la détection des changements basée sur des images ou des vidéos est également un domaine de recherche brûlant, et l'idée de base est cohérente avec celle basée sur les données RS. Par conséquent, en plus des ensembles de données d'image Street View, plusieurs ensembles de données vidéo dans CV peuvent également être utilisés pour la recherche sur les méthodes de détection des changements basés sur l'IA, tels que CDNET 2012 et CDNET 2014.
Le développement des techniques de détection des changements basés sur l'IA a considérablement facilité de nombreuses applications et a amélioré leur automatisation et leur intelligence. La plupart des changements basés sur l'IA génèrent des cartes binaires, et ces études ne se concentrent que sur l'algorithme lui-même, sans champ d'application spécifique. Par conséquent, on peut considérer qu'ils conviennent généralement à la détection des changements de LULC. Dans cette section, nous nous concentrons sur les techniques associées à des applications spécifiques, et elles peuvent être largement divisées en quatre catégories:
Nous donnons un aperçu des diverses techniques de détection des changements dans la littérature pour les différentes catégories d'applications. Les travaux et les types de données associés à ces applications sont répertoriés dans le tableau 4.
| Applications | Types de données | Papiers | |
|---|---|---|---|
| Contextes urbains | Extension urbaine | Images satellites | Lyu et.al (2018), Tong et.al (2007) |
| Images SAR | Iino et.al (2017) | ||
| Gestion de l'espace public | Images de vue de la rue | Varghese et.al (2018) | |
| Surface de la route | Images d'UAV | Truong et.al (2020) | |
| Détection du changement de construction | Images aériennes | Ji et.al (2019), Sun et.al (2019), Nemoto et.al (2017) | |
| Images satellites | Huang et.al (2019), Zhu et.al (2018) | ||
| Images satellites / aériennes | Jiang et.al (2020), Ji et.al (2018), Saha et.al (2020) | ||
| Données de balayage laser aéroportées et images aériennes | Zhang et.al (2019) | ||
| Images SAR | Jaturapitpornchai et.al (2019) | ||
| Images satellites et carte SIG | Ghaffarian et.al (2019) | ||
| Ressources et environnement | Changements environnementaux axés sur l'homme | Images satellites | Chen et.al (2016) |
| Changements hydro-environnementaux | Images satellites | Nourani et.al (2018) | |
| Glace de mer | Images SAR | Gao et.al (2019), Gao et.al (2019) | |
| Eaux de surface | Images satellites | Song et.al (2019), Rokni et.al (2015) | |
| Surveillance des forêts | Images satellites | Khan et.al (2017), Lindquist et.al (2016), Deilmai et.al (2014), Woodcock et.al (2001), Gopal et.al (1996) | |
| Catastrophes naturelles | Cartographie des glissements de terrain | Images aériennes | Fang et.al (2020), Lei et.al (2019) |
| Images satellites | Chen et.al (2018), Ding et.al (2016), Tarantino et.al (2006) | ||
| Évaluation des dommages | Images satellites | causée par le tsunami [Sublime et.al (2019), Singh et.al (2015)], l'incident particulier [Hedjam et.al (2019)], l'inondation [Peng et.al (2019)] ou le tremblement de terre [Ji et.al (2019)]] | |
| Images aériennes | causée par le tsunami [Fujita et.al (2017)]] | ||
| Images SAR | causée par des incendies [Planinšič et.al (2018)], ou tremblement de terre [Saha et.al (2018)] | ||
| Images de vue de la rue | causée par le tsunami [Sakurada et.al (2015)] | ||
| Images Street View et carte SIG | causée par le tsunami [Sakurada et.al (2017)]] | ||
| Astronomie | Surfaces planétaires | Images satellites | Kerner et.al (2019) |
Il existe actuellement un grand nombre de logiciels avec des outils de détection de changement, et nous en avons un bref résumé, voir le tableau 5.
| Taper | Nom | Description |
|---|---|---|
| Commercial | Erdas imaginez | Fournit une valeur réelle, la consolidation de la télédétection, la photogrammétrie, l'analyse du LiDAR, l'analyse vectorielle de base et le traitement radar en un seul produit, y compris une variété d'outils de détection de changement. |
| Arcgis | La détection des changements peut être calculée entre deux ensembles de données raster en utilisant l'outil de calculatrice raster ou le flux de travail d'apprentissage en profondeur. | |
| Envi | Fournit des outils d'analyse de détection des changements et le module d'enseignement en profondeur Envi. | |
| écognition | Peut être utilisé pour une variété de mappages de changements, et en tirant parti des technologies d'apprentissage en profondeur de la bibliothèque Google Tensorflow ™, l'écognition permet aux clients des outils de reconnaissance et de corrélation de modèles très sophistiqués qui automatisent la classification des objets d'intérêt pour des résultats plus rapides et plus précis, plus. | |
| PCI Geomatica | Fournit des outils de détection de changement et peut être utile dans de nombreuses circonstances dans lesquelles vous pouvez analyser le changement, tel que: les dommages causés par la tempête, les dommages causés par les tirs forestiers, les inondations, l'étalement urbain, etc. | |
| Temps sensible | SENSEREMOTE RÉLÉVISION SOLUTIONS Intelligent | |
| Open source | QGIS | fournit de nombreux outils de détection de changement. |
| Orfeo Toolbox | Détection du changement par algorithme de détecteur d'altération multivarié (MAD). | |
| Modifier la boîte à outils de détection | MATLAB Toolbox pour la détection des changements de télédétection. |
Les articles suivants sont utiles pour que les chercheurs comprennent mieux ce domaine de détection des changements de télédétection, voir le tableau 6.
| Année publiée | Document de révision |
|---|---|
| 1989 | Techniques de détection des changements numériques à l'aide de données détectées à distance, IJRS. [papier] |
| 2004 | Méthodes de détection des changements numériques dans la surveillance des écosystèmes: une revue, IJRS. [papier] |
| 2004 | Modifier les techniques de détection, IJRS. [papier] |
| 2012 | Détection de changement basée sur des objets, IJRS. [papier] |
| 2013 | Changez la détection à partir d'images détectées à distance: des approches basées sur les pixels aux approches basées sur des objets, ISPRS. [papier] |
| 2016 | Approvisionnement et applications de détection des changements 3D, ISPRS. [papier] |
| 2016 | Apprentissage en profondeur pour les données de télédétection Un tutoriel technique sur l'état de l'art, MGRS. [papier] |
| 2017 | Enquête complète sur l'apprentissage en profondeur dans la télédétection: théories, outils et défis pour la communauté, JRS. [papier] |
| 2017 | Apprentissage en profondeur dans la télédétection, MGRS. [papier] |
| 2018 | Intelligence informatique dans le traitement d'image de télédétection optique, ASOC. [papier] |
| 2019 | Une revue de la détection des changements dans les images hyperspectrales multi-temporelles: techniques actuelles, applications et défis, MGRS. [papier] |
| 2019 | Apprentissage en profondeur dans les applications de télédétection: une méta-analyse et une revue, ISPRS. [papier] |
| 2020 | Apprentissage en profondeur pour la détection des changements dans les images de télédétection: revue complète et méta-analyse, Arxiv. [papier] |
| 2020 | Détection du changement basé sur l'intelligence artificielle: à la pointe de la technologie et aux défis, Rs. [papier] |
[1] L'ensemble de données de détection des changements hyperspectraux. Disponible en ligne: https://citius.usc.es/investigacion/datasets/hyperspectral-change-dection-dataset (consulté le 4 mai 2020).
[2] Wang, Q.; Yuan, Z.; Du, Q.; Li, X. Getnet: un framework CNN 2-D de bout en bout pour la détection de changement d'image hyperspectrale. IEEE trans. Geosci. Remote Sens. 2018, 57, 3–13. [Google Scholar] [CrossRef]
[3] Daudt, RC; Le Saux, B.; Boulch, A.; Gousseau, Y. Apprentissage multitâche pour la détection des changements sémantiques à grande échelle. Comput. Vis. Image comprise. 2019, 187, 102783. [Google Scholar] [CrossRef]
[4] Ji, S.; Wei, S.; Lu, M. Réseaux entièrement convolutionnels pour l'extraction de la construction multisource à partir d'un ensemble de données d'imagerie aérien et satellite ouvert. IEEE trans. Geosci. Remote Sens. 2018, 57, 574–586. [Google Scholar] [CrossRef]
[5] Benedek, C.; Sziranyi, T. Changez la détection des images aériennes optiques par un modèle de Markov conditionnel multicouche à Markov. IEEE trans. Geosci. Remote Sens. 2009, 47, 3416–3430. [Google Scholar] [CrossRef]
[6] Benedek, C.; Sziranyi, T. Un modèle de Markov mixte pour la détection des changements dans les photos aériennes avec de grandes différences de temps. Dans Actes de la 19e Conférence internationale 2008 sur la reconnaissance des modèles, Tampa, FL, États-Unis, 8-11 décembre 2008; pp. 1–4. [Google Scholar]
[7] Daudt, RC; Le Saux, B.; Boulch, A.; Gousseau, Y. Détection du changement urbain pour l'observation de la Terre multispectrale à l'aide de réseaux de neurones convolutionnels. Dans les actes du Symposium international de géosciences et de télédétection IEEE IEEE 2018, Valence, Espagne, 22-27 juillet 2018; pp. 2115–2118. [Google Scholar]
[8] Zhang, M.; Shi, W. Une méthode de détection de modification basée sur le réseau neuronal de différence de différence de fonctionnalité. IEEE trans. Geosci. Remote Sens. 2020, 1–15. [Google Scholar] [CrossRef]
[9] Wu, C.; Zhang, L.; Zhang, L. Un cadre de détection de changement de scène pour les images de télédétection multi-temporelles à très haute résolution. Processus de signal. 2016, 124, 184–197. [Google Scholar] [CrossRef]
[10] Fujita, A.; Sakurada, K.; Imaizumi, T.; Ito, R.; Hikosaka, S.; Nakamura, R. Détection des dommages des images aériennes via des réseaux de neurones convolutionnels. Dans les actes de la Conférence internationale de l'IAPR 2017 2017 sur les applications de vision industrielle (MVA), Nagoya Univ, Nagoya, Japon, 08-12 mai 2017; pp. 5–8 [Google Scholar]
[11] Gupta, R.; Goodman, B.; Patel, N.; Hosfelt, R.; Sajeev, S.; Heim, E.; Doshi, J.; Lucas, K.; Choset, H.; Gaston, M. Création de XBD: un ensemble de données pour évaluer les dommages causés par la construction de l'imagerie satellite. Dans les actes de la Conférence de l'IEEE sur les ateliers de vision informatique et de reconnaissance des modèles, Long Beach, CA, États-Unis, 16-20 juin 2019; pp. 10-17. [Google Scholar]
[12] Bourdis, N.; Marraud, D.; Sahbi, H. Débit optique contraint pour la détection des changements d'image aérienne. Dans les actes du Symposium international de géosciences et de télédétection de l'IEEE 2011, Vancouver, BC, Canada, 24-29 juillet 2011; pp. 4176–4179. [Google Scholar] [CrossRef]
[13] Lebedev, MA; Vizilter, yv; Vygolov, OV; Knyaz, VA; Rubis, AY modifie la détection des images de télédétection à l'aide de réseaux contradictoires conditionnels. ISPRS INT. Cambre. Photogramm. Sens à distance. Inf. Sci. 2018, 565–571. [Google Scholar] [CrossRef]
[14] Chen, H.; Shi, Z. Une méthode basée sur l'attention spatiale-temporelle et un nouvel ensemble de données pour la détection de changement d'image de télédétection. Télédétection, 12 (10), 1662. [Google Scholar] [CrossRef]
[15] Alcantarilla, PF; Stent, S.; Ros, G.; Arroyo, R.; Gherardi, R. Street-View Change Detection avec les réseaux déconvolutionnels. Automatique. Robot. 2018, 42, 1301–1322. [Google Scholar] [CrossRef]
[16] Sakurada, K.; Okatani, T. Change detection from a street image pair using CNN features and superpixel segmentation. In Proceedings of the British Machine Vision Conference (BMVC), Swansea, UK, 7–10 September 2015; pp. 61.1–61.12. [Google Scholar]
[17] Sakurada, K.; Okatani, T.; Deguchi, K. Detecting changes in 3D structure of a scene from multi-view images captured by a vehicle-mounted camera. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Portland, OR, USA, 23–28 June 2013; pp. 137–144. [Google Scholar]
[18] Goyette, N.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Ishwar, P. Changedetection. net: A new change detection benchmark dataset. In Proceedings of the 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, Providence, RI, USA, 16–21 June 2012; pp. 1–8. [Google Scholar]
[19] Wang, Y.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Benezeth, Y.; Ishwar, P. CDnet 2014: An Expanded Change Detection Benchmark Dataset. In Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops, Columbus, OH, USA, 23–28 June 2014; pp. 393–400. [Google Scholar]
[20] Goyette, N.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Ishwar, P. A Novel Video Dataset for Change Detection Benchmarking. IEEE Trans. Image Process. 2014, 23, 4663–4679. [Google Scholar] [CrossRef]
[21] Volpi, Michele; Camps-Valls, Gustau; Tuia, Devis (2015). Spectral alignment of multi-temporal cross-sensor images with automated kernel canonical correlation analysis; ISPRS Journal of Photogrammetry and Remote Sensing, vol. 107, pp. 50-63, 2015. [CrossRef]
[22] LT Luppino, FM Bianchi, G. Moser and SN Anfinsen. Unsupervised Image Regression for Heterogeneous Change Detection. IEEE Transactions on Geoscience and Remote Sensing. 2019, vol. 57, no. 12, pp. 9960-9975. [CrossRef]
[23] D. Peng, L. Bruzzone, Y. Zhang, H. Guan, H. Ding and X. Huang, SemiCDNet: A Semisupervised Convolutional Neural Network for Change Detection in High Resolution Remote-Sensing Images. IEEE Transactions on Geoscience and Remote Sensing. 2020. [CrossRef]
[24] Yang, Kunping, et al. Asymmetric Siamese Networks for Semantic Change Detection. arXiv preprint arXiv:2010.05687 (2020). [CrossRef]
[25] Zhang, C., Yue, P., Tapete, D., Jiang, L., Shangguan, B., Huang, L., & Liu, G. A deeply supervised image fusion network for change detection in high resolution bi-temporal remote sensing images. ISPRS Journal of Photogrammetry and Remote Sensing. 2020. [CrossRef]
[26] LEENSTRA, Marrit, et al. Self-supervised pre-training enhances change detection in Sentinel-2 imagery. arXiv. 2021. [CrossRef]
[27] SHI, Qian, et al. A Deeply Supervised Attention Metric-Based Network and an Open Aerial Image Dataset for Remote Sensing Change Detection. IEEE Transactions on Geoscience and Remote Sensing. 2021. [CrossRef]
[28] SHEN, Li, et al. S2Looking: A Satellite Side-Looking Dataset for Building Change Detection. arXiv. 2021. [CrossRef]
[29] LEBEDEV, MA, et al. CHANGE DETECTION IN REMOTE SENSING IMAGES USING CONDITIONAL ADVERSARIAL NETWORKS. International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences, 2018. [CrossRef]
[30] SUN, Yuli, et al. Structure Consistency-Based Graph for Unsupervised Change Detection With Homogeneous and Heterogeneous Remote Sensing Images. IEEE Transactions on Geoscience and Remote Sensing, 2021. [CrossRef]
[31] PARK, Jin-Man, et al. ChangeSim: Towards End-to-End Online Scene Change Detection in Industrial Indoor Environments. arXiv. 2021. [CrossRef]
If you find this review helpful to you, please consider citing our paper. [Open Access]
@Article{rs12101688,
AUTHOR = {Shi, Wenzhong and Zhang, Min and Zhang, Rui and Chen, Shanxiong and Zhan, Zhao},
TITLE = {Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges},
JOURNAL = {Remote Sensing},
VOLUME = {12},
YEAR = {2020},
NUMBER = {10},
ARTICLE-NUMBER = {1688},
URL = {https://www.mdpi.com/2072-4292/12/10/1688},
ISSN = {2072-4292},
DOI = {10.3390/rs12101688}
}
This list will be updated in time, and volunteer contributions are welcome. For questions or sharing, please feel free to contact us or make issues.
