Change Detection Review - Change Detection Review

Change Detection Review

Pitão

1.0.0

Baixar

Detecção de mudança baseada na inteligência artificial: estado da arte e desafios

1. Introdução

A detecção de alterações com base nos dados de sensoriamento remoto (RS) é um método importante de detectar alterações na superfície da Terra e possui uma ampla gama de aplicações em planejamento urbano, monitoramento ambiental, investigação agrícola, avaliação de desastres e revisão de mapa. Nos últimos anos, a tecnologia integrada de inteligência artificial (IA) tornou -se um foco de pesquisa no desenvolvimento de novos métodos de detecção de mudanças. Embora alguns pesquisadores afirmem que as abordagens de detecção de alterações baseadas em IA superam as abordagens tradicionais de detecção de mudanças, não é imediatamente óbvio como e em que medida a IA pode melhorar o desempenho da detecção de mudanças. Esta revisão se concentra nos métodos, aplicativos e desafios de última geração da IA para a detecção de mudanças. Especificamente, o processo de implementação da detecção de alterações baseado em IA é introduzido pela primeira vez. Em seguida, os dados de diferentes sensores usados para detecção de alterações, incluindo dados ópticos de RS, dados do radar de abertura sintética (SAR), imagens de exibição de rua e dados heterogêneos combinados, e os conjuntos de dados abertos disponíveis também estão listados. As estruturas gerais dos métodos de detecção de alterações baseadas em IA são revisadas e analisadas sistematicamente, e os esquemas não supervisionados usados na detecção de alterações baseados em IA são analisados. Posteriormente, as redes comumente usadas na IA para detecção de alterações são descritas. Do ponto de vista prático, os domínios de aplicação dos métodos de detecção de alterações baseados em IA são classificados com base em sua aplicabilidade. Finalmente, os principais desafios e perspectivas de IA para detecção de mudanças são discutidos e delineados, incluindo (a) processamento heterogêneo de big data, (b) IA não supervisionada e (c) a confiabilidade da IA. Esta revisão será benéfica para os pesquisadores para entender esse campo.

Figura 1. Diagrama esquemático geral da detecção de alterações.

2. Processo de implementação

A Figura 2 fornece um processo geral de implementação de detecção de alterações baseado em IA, mas a estrutura do modelo de IA é diversa e precisa ser bem projetada de acordo com diferentes situações de aplicação e os dados de treinamento. Vale ressaltar que estruturas maduras existentes, como Tensorflow, Keras, Pytorch e Caffe, ajudam os pesquisadores a realizar mais facilmente o design, o treinamento e a implantação dos modelos de IA, e seus documentos de desenvolvimento fornecem apresentações detalhadas.

Figura 2. Processo de implementação da detecção de alterações baseada em IA (as setas pretas indicam fluxo de trabalho e seta vermelha indica um exemplo).

2.1 Códigos disponíveis para métodos baseados em IA

Tabela 1. Uma lista de códigos disponíveis para métodos de detecção de alterações baseados em IA.

Métodos	Palavras -chave	Publicação	(Re) implementação
Srcdnet	CNN; Siamês; Atenção; Super resolução; Rs óptico	Rede de detecção de alterações baseada em super-resolução com módulo de atenção empilhada para imagens com diferentes resoluções, TGRS, 2021. [Paper], [Code, DataSet]	Pytorch 1.2
Escnet	CNN; Siamês; Superpixel; Rs óptico	Uma rede de detecção de alterações aprimorada por superpixel de ponta a ponta para imagens de sensoriamento remoto de alta resolução. Tnnls, 2021. [Paper], [código]	Pytorch 1.3
KPCAMNET	CNN; Siamês; KPCA; Não supervisionado; Rs óptico	Detecção de alterações não supervisionada em imagens VHR multitemporais com base na rede de mapeamento convolucional do Kernel PCA profundo, TCYB, 2021. [Paper], [Code]	Python
Seco	CNN (resnet); Transferência de aprendizado; Rs óptico	Contraste sazonais: pré-treinamento não supervisionado a partir de dados de sensoriamento remoto não curados, Arxiv, 2021. [Paper], [Código, DataSet]	Pytorch 1.7
Capsnet	Rede de cápsulas (SEGCAPS); Cva; Siamês; Rs óptico	Rede de cápsula pseudo-siamesa para imagens de sensoriamento remoto aéreo Alterar a detecção, GRSL, 2020. [Artigo 1], Altere a rede de cápsulas para detecção óptica de ImageChange, RS, 2021. [Artigo 2], [Código, DataSet]	Keras
Bit_cd	CNN (resnet18); Siamês; Atenção; Transformador; Rs óptico	Detecção de mudança de imagem de sensoriamento remoto com transformadores, TGRS, 2021. [Paper], [Código, conjunto de dados, modelo pré-treinado]	Pytorch 1.6
Iaug_cdnet	CNN (Gaugan+Unet); Siamês; Gan; Supervisionado; Rs óptico	Aumento da instância adversária para a detecção de alterações de construção em imagens de sensoriamento remoto, TGRS, 2021. [Paper], [código, conjunto de dados]	Pytorch
DDNET	CNN; Di+fcm; Não supervisionado; Sar	Altere a detecção em imagens de radar de abertura sintética usando uma rede de domínio duplo, GRSL, 2021. [Paper], [código, conjunto de dados]	Pytorch
Snunet-cd	CNN (Nestedunet); Siamês; Atenção; Supervisionado; Rs óptico	Snunet-CD: Uma rede siamesa densamente conectada para a detecção de alterações de imagens VHR, GRSL, 2021. [Paper], [Código, conjunto de dados, modelo pré-treinado]	Pytorch 1.4
Dsmscn	CNN; Siamês; Multi-escala; Não supervisionado/supervisionado; Rs óptico	Uma rede de fusão de imagens profundamente supervisionada para detecção de alterações em imagens de senamento remoto bi-temporal de alta resolução, Arxiv, 2020. [Paper], [Code, DataSet]	Tensorflow 1.9
SIAMCRNN	Cnn+rnn; Siamês; Multi-fonte; Rs óptico	Altere a detecção de imagens de VHR multisource por meio da Rede Neural Recorrente Convolucional de Multisource, TGRS, 2020. [Paper], [Code, DataSet]	Tensorflow 1.9
Dsifn	CNN; Mecanismo de atenção; Rs óptico	Uma rede de fusão de imagens profundamente supervisionada para detecção de alterações em imagens de senamento remoto bi-temporal de alta resolução, ISPRS, 2020. [Paper], [Code, DataSet]	Pytorch & Keras
CEECNET	CNN; Mecanismo de atenção; Medida de similaridade; Rs óptico	Procurando mudanças? Role os dados e exige atenção, Arxiv, 2020. [Paper], [código, conjunto de dados]	Mxnet + python
Lamboisenet	CNN (luz unet ++); Rs óptico	Altere a detecção em imagens de satélite usando aprendizado profundo, tese de mestrado. [Código, conjunto de dados, modelo pré-treinado]	Pytorch
Dtcdscn	CNN; Siamese	Detecção de alterações de construção para imagens de sensoriamento remoto usando uma tarefa dupla restringiu o modelo de rede convolucional profundo, em revisão. [Código, conjunto de dados]	Pytorch
Análise da cobertura da terra	CNN (UNET); Pós-classificação; Rs óptico	Uso do solo/detecção de mudança de cobertura da terra em áreas afetadas por ciclone usando redes neurais convolucionais. [Relatório], [código, conjunto de dados, modelo pré-treinado]	Tensorflow+Keras
CorrfusionNet	CNN; Nível de cena; Siamês; Rs óptico	Rede de fusão baseada em correlação para a classificação de cenas multitemporais e a detecção de mudanças, em revisão. [Código, modelo pré-treinado], [conjunto de dados]	Tensorflow 1.8
ScdNet	CNN (resnet18); Siamês; Transferência de aprendizado; Semântico; Streetview	Detecção de mudança de cena semântica baseada em silhueta fracamente supervisionada, ICRA, 2020. [Paper] [Código, conjunto de dados, modelo pré-treinado]	Pytorch+Python3.6
Heterogeneous_cd	AE (AE alinhado ao código); Não supervisionado; Transformação; Heterogêneo; Rs óptico	Autoencoders alinhados ao código para detecção de alterações não supervisionadas em imagens de sensoriamento remoto multimodal, Arxiv, 2020. [Paper] [Código, DataSet]	Tensorflow 2.0
Fdcnn	CNN (VGG16); Transferência de aprendizado; Puro-siamês; Multi-escala; Rs óptico	Uma diferença de recurso Convolucional Neural Basey Basey Detection Method, TGRS, 2020. [Paper] [Código, conjunto de dados, modelo pré-treinado]	Caffe+Python2.7
Stanet	CNN (Resnet-18); Mecanismo de atenção; Puro-siamês; Dependência espacial -temporal; Rs óptico	Um método baseado em atenção espacial-temporal e um novo conjunto de dados para detecção de mudança de imagem de sensoriamento remoto, Rs, 2020. [Paper] [Código, DataSet]	Pytorch+Python3.6
X-Net	CNN; Não supervisionado; Transformação; Heterogêneo; RS óptico; Sar	Tradução de imagem profunda com uma mudança baseada em afinidade antes da detecção de alterações multimodais não supervisionadas, 2020. [Paper] [Código, DataSet]	Tensorflow 1.4
ACE-NET	AE (codificadores cíclicos adversários); Não supervisionado; Transformação; Heterogêneo; RS óptico; Sar	Tradução de imagem profunda com uma mudança baseada em afinidade antes da detecção de alterações multimodais não supervisionadas, 2020. [Paper] [Código, DataSet]	Tensorflow 1.4
Vgg_lr	CNN (VGG16); Transferência de aprendizado; Puro-siamês; Slic; Classificações baixas; Rs óptico	Alterar detecção com base em recursos profundos e baixa classificação, GRSL, 2017. [Paper] [Código de reimplementação, conjunto de dados, modelo pré-treinado]	Caffe+Matlab
CDNet	CNN; Siamês; Dados multimodais; Dados da nuvem de pontos	Detectando mudanças de construção entre a varredura a laser no ar e os dados fotogramétricos, RS, 2019. [Paper], [Código]	Pytorch
Sccn	Ae (dae); Não supervisionado; Heterogêneo; RS óptico; Sar	Uma profunda rede de acoplamento convolucional para detecção de alterações com base em imagens ópticas e de radar heterogêneas, TNNLS, 2018. [Paper] [Código de reimplementação]	Tensorflow 2.0
CGAN	GaN (GaN condicional); Heterogêneo; RS óptico; Sar	Uma rede adversária condicional para detecção de alterações em imagens heterogêneas, GRSL, 2019. [Paper] [Código de reimplementação]	Tensorflow 2.0
Dasnet	CNN (VGG16); Siamês; Mecanismo de atenção; Rs óptico	DASNET: Networks siameses totalmente convolucionais duplos para a detecção de alterações de imagens de satélite de alta resolução, Arxiv, 2020. [Paper] [código, conjunto de dados, modelo pré-treinado]	Pytorch+Python3.6
Inetlstm	CNN (UNET); Rnn (LSTM); Modelo integrado; Rs óptico	Detectar mudanças urbanas com redes neurais recorrentes de dados multitemporais do Sentinel-2, Igars, 2019. [Paper] [Código, conjunto de dados, modelo pré-treinado] e [código]	Pytorch+Python3.6
CDMI-Net	CNN (UNET); Puro-siamês; Aprendizado de múltiplas instâncias; Mapeamento de deslizamentos de terra; Rs óptico	Aprendizagem múltipla profunda para mapeamento de deslizamentos de terra, GRSL, 2020. [Paper] [Código, modelo pré-treinado]	Pytorch+Python3.6
Dsfanet	Dnn; Não supervisionado; Pré-classificação; Análise de recursos lentos; Rs óptico	Análise de recursos lentos profundos não supervisionados para detecção de alterações em imagens de sensoriamento remoto multitemporal, TGRS, 2019. [Paper] [Código, DataSet]	Tensorflow 1.7
CD-Unet ++	CNN (aprimorado unet ++); Classificação direta; Rs óptico	Detecção de alterações de ponta a ponta para imagens de satélite de alta resolução usando UNET ++, RS, 2019. [Paper] [Código]	Tensorflow+Keras
Siamesenet	CNN (VGG16); Puro-siamês; Rs óptico	Rede Siamese com recursos de vários níveis para detecção de alterações baseadas em patches em imagens de satélite, Globalsip, 2018. [Paper] [Código, DataSet]	Tensorflow+Keras
Re3fcn	CNN (convlstm); PCA; Convolução 3D; Mudanças de várias classes; RS óptico; Hiperespectral	Altere a detecção de imagens hiperespectrais usando redes recorrentes 3D totalmente convolucionais, RS, 2018. [Paper] [Código, conjunto de dados]	Tensorflow+Keras
FC-EF, FC-SIAM-CONC, FC-SIAM-DIFF	CNN (UNET); Puro-siamês; Rs óptico	Redes siamesas totalmente convolucionais para detecção de mudanças, ICIP, 2018. [Paper] [Código, DataSet]	Pytorch
Cosimnet	CNN (DEEPLAB V2); Puro-siamês; Streetview	Aprendendo a medir as mudanças: Redes métricas siamesas totalmente convolucionais para detecção de mudança de cena, Arxiv, 2018. [Paper] [Código, conjunto de dados, modelo pré-treinado]	Pytorch+python2.7
Máscara R-CNN	Máscara r-cnn (resnet-101); Transferência de aprendizado; Pós-classificação; Rs óptico	Segmentação de favelas e detecção de mudanças: uma abordagem de aprendizado profundo, NIPS, 2018. [Paper] [Código, conjunto de dados, modelo pré-treinado]	Tensorflow+Keras
Cafenet	CNN (cafenet); Não supervisionado; Transferência de aprendizado; Rs óptico	Rede neural convolucional Recursos de detecção de alterações baseadas em imagens de satélite, IWPR, 2016. [Paper] [Código, conjunto de dados]	Tensorflow+Keras
CWNN	CNN (CWNN); Não supervisionado; Pré-classificação; Sar	Detecção de mudança de gelo marinho em imagens SAR baseadas em redes neurais convolucionais-o-wavelets, GRSL, 2019. [Paper] [Código, DataSet]	Matlab
Mlfn	CNN (Densenet); Transferência de aprendizado; Sar	Aprendizagem profunda transferida para a detecção de mudança de gelo do mar das imagens de radar de abertura sintética, GRSL, 2019. [Paper] [Código, conjunto de dados]	Caffe+Matlab
GarborpCanet	CNN (pcanet); Não supervisionado; Pré-classificação; Wavelets de Gabor; Sar	Detecção automática de alterações em imagens de radar de abertura sintética com base no PCAnet, GRSL, 2016. [Paper] [Código, DataSet]	Matlab
MS-CAPSNET	CNN (MS-CAPSNET); Cápsula; Mecanismo de atenção; Convolução de fusão adaptativa; Sar	Alterar a detecção de imagens SAR baseadas em rede cápsula multiscaterais, GRSL, 2020. [Paper] [código, conjunto de dados]	MATLAB+KERAS2.16
DCNET	CNN; Não supervisionado; Pré-classificação; Sar	Altere a detecção de imagens de radar de abertura sintética com base na rede de cascata profunda baseada em ponderação de canal, JSTARS, 2019. [Paper] [Código, DataSet]	Caffe
ChangeNet	CNN; Siamês; Streetview	ChanGeNet: Uma arquitetura de aprendizado profundo para a detecção de mudanças visuais, ECCV, 2018. [Paper] [Código, conjunto de dados]	Pytorch
Outros serão adicionados em breve!

2.2 Códigos disponíveis para métodos tradicionais

Tabela 2. Uma lista dos códigos disponíveis para os métodos tradicionais de detecção de alterações.

Métodos	Palavras -chave	Publicação	Implementação
Vários métodos clássicos	Cva; DPCA; Diferenciação de imagem; Razão de imagem; Regressão de imagem; IR-MAD; LOUCO; Pcakmeans; Pcda; Kmeans; Otsu; Limiar fixo	Uma caixa de ferramentas para detecção de alteração de sensoriamento remoto. [código]	Matlab
Detecção de alteração da caixa de ferramentas MATLAB	IR-MAD; IT-PCA; Erm; ICM	Uma caixa de ferramentas para análise de detecção de alterações não supervisionada, IJRS, 2016. [Paper] [Código]	Matlab
RFR, SVR, GPR	Não supervisionado; Regressão de imagem; Heterogêneo; RS óptico; Sar	Regressão de imagem não supervisionada para detecção de mudanças heterogêneas, TGRS, 2019. [Paper] [Código]	Matlab
Hpt	Não supervisionado; Transformação; Heterogêneo; RS óptico; Sar	Altere a detecção de imagens de sensoriamento remoto heterogêneo por meio de transformação homogênea de pixels, Tip, 2018. [Paper] [Código de reimplementação]	Matlab
KCCA	Análise de correlação canônica; Sensor cruzado; Rs óptico	Alinhamento espectral de imagens entre sensores multitemporais com análise de correlação automatizada do kernel, IJPRS, 2015. [Paper] [Código]	Matlab
Ker. Dif. Rbf	Não supervisionado; K-means; Rs óptico	Detecção de alterações não supervisionadas com kernels, grsl, 2012. [Paper] [Código]	Matlab
Fda-rm	Baseado em DI; Análise do domínio da frequência; Multigrafos aleatórios; Sar	Detecção de mudança de imagem do radar de abertura sintética com base na análise de domínio de frequência e multigrafos aleatórios, Jars, 2018. [Paper] [Código]	Matlab
CD-NR-ELM	Baseado em DI; Pré-classificação; Máquina de aprendizado extremo; Sar	Altere a detecção de imagens de radar de abertura sintética com base na proporção baseada em bairro e na Máquina de Aprendizagem Extreme, Jars, 2016. [Paper] [Código, DataSet]	Matlab
Nenhum	Razão de verossimilhança; Estatística de teste; Sar	Alterar detecção em imagens SAR Polarimétricas, 2015. [Relatório] [Código]	Python
PCA K-Means	Não supervisionado; Baseado em DI; PCA; K significa; Rs óptico	Detecção de alterações não supervisionada em imagens de satélite usando análise de componentes principais e cluster-means, GRSL, 2009. [Paper] [Código de reimplementação, conjunto de dados] ou [código de re-rumentação]	Matlab
PTCD	Tensor; Rs óptico hiperespectral	Detector de decomposição e reconstrução de Tucker de três ordens para detecção de alteração hiperespectral não supervisionada. JSTARS, 2021. [Paper] [Código, conjunto de dados]	Matlab
GBF-CD	Fusão de dados; Gráfico; Em; Ki;	Fusão de dados baseada em gráficos aplicada a: Alteração de detecção e estimativa de biomassa em culturas de arroz. Sensoriamento remoto, 2020 [Paper] [código, conjunto de dados]	Matlab
Outros serão adicionados em breve!

3. Abra conjuntos de dados

Atualmente, existem alguns conjuntos de dados disponíveis gratuitamente para detecção de alterações, que podem ser usados como conjuntos de dados de referência para treinamento de IA e avaliação de precisão em pesquisas futuras. Informações detalhadas são apresentadas na Tabela 3.

Tabela 3. Uma lista de conjuntos de dados abertos para detecção de alterações.

Tipo	Conjunto de dados	Descrição
Rs óptico	Conjunto de dados DSIFN [25]	6 imagens bil-temporais de alta resolução do Google Earth. Existem 3600 pares de imagens com tamanho de 512 × 512 para treinamento, 340 para validação e 48 para teste. [Download]
	S2MTCP [26]	1520 Pares de imagem Sentinel-2 de nível 1C focados em áreas urbanas em todo o mundo, com resolução espacial de 10 milhões e tamanho de 600x600 pixels. As correções geométricas ou radiométricas não são realizadas. [Download]
	Sysu-CD [27]	20000 pares de imagens aéreas de 0,5 m de tamanho 256 × 256 tiradas entre os anos de 2007 e 2014 em Hong Kong, incluindo 6 tipos de mudança: (a) edifícios urbanos recém-construídos; (b) dilatação suburbana; (c) base antes da construção; (d) mudança de vegetação; (e) expansão da estrada; (f) Construção do mar. [Download]
	S2 Looking [28]	O conjunto de dados de detecção de alterações de construção consiste em 5000 pares de imagens bitemporais registrados (tamanho de 1024*1024, 0,5 ~ 0,8 m/pixel) de áreas rurais em todo o mundo e mais de 65.920 instâncias de mudança anotada, indicando separadamente o edifício recém -construído e demolido [download]
	Conjunto de dados de imagens sintéticas e reais [29]	O banco de dados contém 12.000 triplos de imagens sintéticas sem mudança de objeto, 12.000 triplos de imagens modelo com mudança de objeto e 16.000 triplos de fragmentos de imagens de sensoriamento remoto reais. Testes realizados mostraram que a CNN proposta é promissora e eficiente o suficiente na detecção de mudanças em imagens sintéticas e reais [download]
	Conjunto de dados de detecção de alterações semânticas (segundo) [24]	Um conjunto de dados de detecção de alterações semânticas anotadas no nível de pixel, incluindo 4662 pares de imagens aéreas com 512 x 512 pixels de várias plataformas e sensores, cobrindo Hangzhou, Chengdu e Shanghai. Ele se concentra em 6 principais classes de cobertura do solo, ou seja, superfície do solo não vegetada, árvore, baixa vegetação, água, edifícios e playgrounds, que estão frequentemente envolvidos em mudanças geográficas naturais e artificiais. [Download]
	Conjunto de dados de detecção de mudança hiperespectral [1]	3 cenas hiperespectrais diferentes adquiridas pelo sensor Aviris ou Hyperion, com 224 ou 242 bandas espectrais, rotuladas 5 tipos de alterações relacionadas às transições de culturas no nível de pixels. [Download]
	Conjunto de dados do rio HSIS [2]	2 HSIS na província de Jiangsu, China, com 198 bandas, rotuladas como alteradas e inalteradas no nível do pixel. [Download]
	HRSCD [3]	291 pares co-registrados de imagens aéreas RGB, com alterações no nível de pixel e anotações da cobertura do solo, fornecendo rótulos de mudança de nível hierárquico, por exemplo, os rótulos de nível 1 incluem cinco classes: sem informação, superfícies artificiais, áreas agrícolas, florestas, áreas úmidas e água. [Download]
	WHU Building DataSet [4]	Imagens aéreas de 2 period, contendo 12.796 edifícios, fornecidos juntamente com mapas de vetor de construção e raster. [Download]
	Sztaki Air Change Benchmark [5, 6]	13 pares de imagens aéreas com resolução espacial de 1,5 m, marcadas como alteradas e inalteradas no nível do pixel. [Download]
	OSCD [7]	24 pares de imagens multiespectrais adquiridas pelo Sentinel-2, rotuladas como alteradas e inalteradas no nível do pixel. [Download]
	Alterar conjunto de dados de detecção [8]	4 pares de imagens multiespectrais com diferentes resoluções espaciais, rotuladas como alteradas e inalteradas no nível do pixel. [Download]
	MTS-WH [9]	2 imagens de VHR de grande porte adquiridas por sensores ikonos, com 4 bandas e resolução espacial de 1 m, rotuladas 5 tipos de mudanças (ou seja, estacionamento, casas esparsas, região residencial e região vegetal) no nível da cena. [Download]
	ABCD [10]	16.950 pares de imagens aéreas RGB para detectar edifícios lavados por tsunami, rotulados com edifícios danificados no nível da cena. [Download]
	XBD [11]	Imagens de satélite pré e pós-desastre para avaliação de danos à construção, com mais de 850.000 polígonos de construção de 6 tipos de desastres, rotulados no nível do pixel com 4 escalas de danos. [Download]
	AICD [12]	1000 pares de imagens aéreas sintéticas com alterações artificiais geradas com um mecanismo de renderização, rotulado como alterado e inalterado no nível do pixel. [Download]
	Banco de dados de imagens sintéticas e reais [13]	24.000 imagens sintéticas e 16.000 fragmentos de imagens RS que variam na temporada real obtidas pelo Google Earth, rotuladas como alteradas e inalteradas no nível do pixel. [Download]
	LeVir-CD [14]	637 Pares de patches de imagem do Google Earth (GE) de alta resolução (VHR, 0,5m/pixel) com um tamanho de 1024 × 1024 pixels e contém um total de 31.333 instâncias individuais de construção, rotuladas como alteradas e inalteradas no nível de pixel. [Download]
	BASTROP FIRE DATASET [21]	4 imagens adquiridas por diferentes sensores sobre o Condado de Bastrop, Texas (EUA). É composto por um Landsat 5 TM como a imagem pré-evento e um Landsat 5 Tm, um EO-1 Ali e um Landsat 8 como imagens pós-evento, rotuladas como alteradas e inalteradas no nível de pixels, principalmente causadas por incêndio. [Download]
	Conjunto de dados do Google [23]	19 Imagens VHR de variação de temporada param 3 bandas de vermelho, verde e azul, uma resolução espacial de 0,55 me e o tamanho variando de 1006 × 1168 pixels a 4936 × 5224 pixels. As mudanças de imagem incluem águas, estradas, terras agrícolas, terras nuas, florestas, prédios, navios, etc. Os edifícios compõem as principais mudanças. adquirido durante os períodos entre 2006 e 2019, cobrindo as áreas do subúrbio da cidade de Guangzhou, China. [Download]
RS e SAR ópticos	DataSet da Califórnia [22]	3 imagens, incluindo uma imagem RS capturada pelo Landsat 8 com 9 canais em 2017, uma imagem SAR capturada por Sentinel-1a (registrada em polarizações VV e VH) após a ocorrência de uma inundação e um mapa da verdade no solo. [Download]
RS e SAR ópticos	Conjunto de dados de CD homogêneo [30]	6 cenários: cenário 1 com dois conjuntos de dados de polarizações unicelulares; Cenário 2 com dois conjuntos de dados PolSAR; Cenário 3 com dois conjuntos de dados de imagem óptica. Heterogeneouscd: cenário 4 com dois conjuntos de dados SAR/óptico (multiespectral); Cenário 5 com dois conjuntos de dados multiespectrais de diferentes bandas adquiridas de diferentes sensores; Cenário 6 com conjuntos de dados de Twopolsar/óptico (multiespectral). [Download]
Vista da rua	VL-CMU-CD [15]	1362 Pares co-registrados de imagens de RGB e profundidade, rotulou a mudança da verdade no solo (por exemplo, lixo, sinal, veículo, lixo, construção, cone de tráfego, pessoa/ciclo, barreira) e máscaras do céu no nível de pixels. [Download]
	PCD 2015 [16]	200 pares de imagens panorâmicas no subconjunto "tsunami" e "gsv", com o tamanho de 224 × 1024 pixels, rótulo como alterado e inalterado no nível de pixels. [Download]
	Alterar conjunto de dados de detecção [17]	Sequências de imagem das ruas da cidade capturadas por uma câmera montada em veículos em dois momentos diferentes, com o tamanho de 5000 × 2500 pixels, rotulados em 3D, a estrutura da cena muda no nível do pixel. [Download]
cv	CDNET 2012 [18]	6 categorias de vídeo com 4 a 6 sequências de vídeos em cada categoria, e as imagens de truta de solteiro contêm 5 rótulos, a saber: estática, sombra dura, região externa de interesse, movimento desconhecido (geralmente em torno de objetos em movimento, devido a semi-transparência e desfoque de movimento) e movimento. [Download]
	CDNET 2014 [19,20]	22 Vídeos adicionais (~ 70; 000 quadros anotados em termos de pixels) abrangendo 5 novas categorias que incorporam desafios encontrados em muitas configurações de vigilância e fornecem câmera realista e capturada (sem CGI), conjunto diversificado de vídeos internos e externos como o CDNET 2012. [Download]
	Alteraçõesim [31]	Um conjunto de dados desafiador destinado à detecção de mudança de cena on-line e muito mais, coletando em ambientes de simulação foto-realistas com a presença de variações ambientais não direcionadas, como turbidez do ar e mudanças na condição de luz, bem como mudanças direcionadas de objetos nos ambientes internos industriais. [Download]
	Mais conjuntos de dados de vídeo

Pode -se observar que a quantidade de conjuntos de dados abertos que podem ser usados para tarefas de detecção de alterações é pequena e alguns deles têm tamanhos de dados pequenos. Atualmente, ainda há uma falta de grandes conjuntos de dados SAR que podem ser usados para o treinamento de IA. A maioria dos métodos de detecção de alterações baseados em IA é baseada em vários conjuntos de dados SAR que contêm tipos limitados de alterações, por exemplo, o conjunto de dados Bern, o conjunto de dados de Ottawa, o conjunto de dados do rio Yellow e o conjunto de dados do México, que não pode atender às necessidades de detecção de alterações em áreas com cobertura de terra complexa e vários tipos de mudança. Além disso, seus rótulos não estão disponíveis gratuitamente. Os conjuntos de dados de visão de rua são geralmente usados para pesquisas de métodos de detecção de alterações baseados em IA em visão computacional (CV). No currículo, a detecção de alterações com base em imagens ou vídeo também é um campo de pesquisa quente, e a idéia básica é consistente com a baseada nos dados RS. Portanto, além dos conjuntos de dados de imagens do Street View, vários conjuntos de dados de vídeo no CV também podem ser usados para pesquisas sobre métodos de detecção de alterações baseados em IA, como CDNET 2012 e CDNET 2014.

4. Aplicações

O desenvolvimento de técnicas de detecção de mudanças baseadas em IA facilitou bastante muitas aplicações e melhorou sua automação e inteligência. A maioria das detecções de mudança baseada em IA gera mapas binários, e esses estudos se concentram apenas no próprio algoritmo, sem um campo de aplicação específico. Portanto, pode -se considerar que eles geralmente são adequados para a detecção de alterações do LULC. Nesta seção, focamos nas técnicas associadas a aplicativos específicos e eles podem ser amplamente divididos em quatro categorias:

Contextos urbanos : expansão urbana, gerenciamento de espaço público e detecção de mudanças de construção;
Recursos e Meio Ambiente : Mudanças Ambientais, orientadas pelo homem, alterações hidroambientais, gelo marinho, água superficial e monitoramento florestal;
Desastres naturais : mapeamento de deslizamentos de terra e avaliação de danos;
Astronomia : superfícies planetárias.

Fornecemos uma visão geral das várias técnicas de detecção de alterações na literatura para as diferentes categorias de aplicativos. Os tipos de obras e dados associados a esses aplicativos estão listados na Tabela 4.

Tabela 4. Resumo das principais aplicações das técnicas de detecção de alterações baseadas em IA.

Aplicações		Tipos de dados	Papéis
Contextos urbanos	Expansão urbana	Imagens de satélite	Lyu et.al (2018), Tong et.al (2007)
	Expansão urbana	Imagens SAR	Iino et.al (2017)
	Gerenciamento de espaço público	Imagens da View Street	Varghese et.al (2018)
	Superfície da estrada	Imagens de UAV	Truong et.al (2020)
	Detecção de mudança de construção	Imagens aéreas	Ji et.al (2019), Sun et.al (2019), Nemoto et.al (2017)
		Imagens de satélite	Huang et.al (2019), Zhu et.al (2018)
		Imagens de satélite/antena	Jiang et.al (2020), Ji et.al (2018), Saha et.al (2020)
		Dados de varredura a laser no ar e imagens aéreas	Zhang et.al (2019)
		Imagens SAR	Jaturapitpornchai et.al (2019)
		Imagens de satélite e mapa GIS	Ghaffarian et.al (2019)
Recursos e Meio Ambiente	Mudanças ambientais orientadas pelo homem	Imagens de satélite	Chen et.al (2016)
	Alterações hidroambientais	Imagens de satélite	Nourani et.al (2018)
	Gelo marinho	Imagens SAR	Gao et.al (2019), Gao et.al (2019)
	Águas superficiais	Imagens de satélite	Song et.al (2019), Rokni et.al (2015)
	Monitoramento florestal	Imagens de satélite	Khan et.al (2017), Lindquist et.al (2016), Deilmai et.al (2014), Woodcock et.al (2001), Gopal et.al (1996)
Desastres naturais	Mapeamento de deslizamentos de terra	Imagens aéreas	Fang et.al (2020), Lei et.al (2019)
	Mapeamento de deslizamentos de terra	Imagens de satélite	Chen et.al (2018), Ding et.al (2016), Tarantino et.al (2006)
	Avaliação de danos	Imagens de satélite	Causada por tsunami [Subblime et.al (2019), Singh et.al (2015)], incidente particular [Hedjam et.al (2019)], Flood [Peng et.al (2019)] ou terremoto [Ji et.al (2019)]
		Imagens aéreas	Causado por tsunami [Fujita et.al (2017)]
		Imagens SAR	causado por incêndios [Planinšič et.al (2018)] ou terremoto [Saha et.al (2018)]
		Imagens da View Street	causado por tsunami [Sakurada et.al (2015)]
		Imagens da View Street e mapa GIS	causado por tsunami [Sakurada et.al (2017)]
Astronomia	Superfícies planetárias	Imagens de satélite	Kerner et.al (2019)

5. Programas de software

Atualmente, há um grande número de software com ferramentas de detecção de alterações e temos um breve resumo deles, consulte a Tabela 5.

Tabela 5. Uma lista de software para detecção de alterações.

Tipo	Nome	Descrição
Comercial	Erdas imagine	Fornece valor verdadeiro, consolidação de sensoriamento remoto, fotogrametria, análise LIDAR, análise de vetores básicos e processamento de radar em um único produto, incluindo uma variedade de ferramentas de detecção de alterações.
	Arcgis	A detecção de alteração pode ser calculada entre dois conjuntos de dados raster, usando a ferramenta de calculadora raster ou o fluxo de trabalho de aprendizado profundo.
	EnvI	Fornece ferramentas de análise de detecção de alterações e o módulo ENVI Deep Learning.
	Ecognição	Pode ser usado para uma variedade de mapeamento de alterações e, ao alavancar a tecnologia de aprendizado profundo da biblioteca do Google Tensorflow ™, o Ecognition capacita os clientes com ferramentas de reconhecimento e correlação de padrões altamente sofisticadas que automatizam a classificação de objetos de interesse para resultados mais rápidos e precisos, mais.
	PCI Geomatica	Fornece ferramentas de detecção de alterações e pode ser útil em inúmeras circunstâncias nas quais você pode analisar mudanças, como: danos causados por tempestades, danos à incêndio florestal, inundações, expansão urbana e muito mais.
	SenseTime	Soluções inteligentes de sensoriamento remoto SenseRemote
Código aberto	Qgis	Fornece muitas ferramentas de detecção de alterações.
	Orfeo Toolbox	Alterar a detecção do algoritmo de detector de alteração multivariado (MAD).
	Altere a caixa de ferramentas de detecção	Caixa de ferramentas do MATLAB para detecção de alterações de sensoriamento remoto.

6. Revise os documentos para detecção de mudança

Os trabalhos a seguir são úteis para os pesquisadores entenderem melhor esse campo de detecção de mudanças de sensoriamento remoto, consulte a Tabela 6.

Tabela 6. Uma lista de documentos de revisão sobre detecção de alterações.

Ano publicado	Artigo de revisão
1989	Técnicas de detecção de alterações digitais usando dados detectados remotamente, IJRS. [papel]
2004	Métodos de detecção de alterações digitais no monitoramento do ecossistema: uma revisão, IJRS. [papel]
2004	Técnicas de detecção de mudança, IJRS. [papel]
2012	Detecção de alterações baseada em objetos, IJRS. [papel]
2013	Altere a detecção de imagens detectadas remotamente: das abordagens baseadas em pixels para abordagens baseadas em objetos, ISPRS. [papel]
2016	3D Alteração Detecção - Abordagens e Aplicações, ISPRS. [papel]
2016	Aprendizagem profunda para dados de sensoriamento remoto Um tutorial técnico sobre o estado da arte, MGRS. [papel]
2017	Pesquisa abrangente de aprendizado profundo em sensoriamento remoto: teorias, ferramentas e desafios para a comunidade, Jrs. [papel]
2017	Aprendizagem profunda em sensoriamento remoto, MGRs. [papel]
2018	Inteligência computacional no processamento de imagem de sensoriamento remoto óptico, ASOC. [papel]
2019	Uma revisão da detecção de alterações em imagens hiperespectrais multitemporais: técnicas, aplicações e desafios atuais, MGRs. [papel]
2019	Aprendizagem profunda em aplicações de sensoriamento remoto: uma meta-análise e revisão, ISPRS. [papel]
2020	Aprendizagem profunda para detecção de mudanças em imagens de sensoriamento remoto: revisão abrangente e meta-análise, arxiv. [papel]
2020	Detecção de mudança baseada na inteligência artificial: ponta e desafios, Rs. [papel]

7. Referência

[1] conjunto de dados de detecção de alteração hiperespectral. Disponível online: https://citius.usc.es/investigacion/datasets/hyperspectral-change-detection-dataset (acessado em 4 de maio de 2020).

[2] Wang, Q.; Yuan, Z.; Du, Q.; Li, X. GetNet: Uma estrutura geral de ponta a ponta da CNN 2-D para detecção de mudança de imagem hiperespectral. IEEE Trans. Geosci. Remote Sens. 2018, 57, 3-13. [Google Scholar] [CrossRef]

[3] Daudt, RC; Le Saux, B.; Boulch, A.; Gousseau, Y. Aprendizagem multitarefa para detecção de mudanças semânticas em larga escala. Computação. Vis. Imagem usa. 2019, 187, 102783. [Google Scholar] [Crossref]

[4] Ji, S.; Wei, S.; Lu, M. Redes totalmente convolucionais para extração de edifícios de várias fontes de um conjunto de dados de imagens aéreas e de satélite aberto. IEEE Trans. Geosci. Remote Sens. 2018, 57, 574-586. [Google Scholar] [CrossRef]

[5] Benedek, C.; Sziranyi, T. Altera a detecção de imagens aéreas ópticas por um modelo de Markov misto condicional multicamada. IEEE Trans. Geosci. Remote Sens. 2009, 47, 3416-3430. [Google Scholar] [CrossRef]

[6] Benedek, C.; Sziranyi, T. Um modelo misto de Markov para detecção de alterações em fotos aéreas com grandes diferenças de tempo. Em Anais da 19ª Conferência Internacional de 2008 sobre Reconhecimento de Padrões, Tampa, FL, EUA, 8 a 11 de dezembro de 2008; pp. 1-4. [Google Scholar]

[7] Daudt, RC; Le Saux, B.; Boulch, A.; Gousseau, Y. Detecção de mudanças urbanas para observação multiespectral da terra usando redes neurais convolucionais. Em Anais do IGARS 2018 IEEE International Geociência e Simpósio de Sensoriamento Remoto, Valencia, Espanha, 22 a 27 de julho de 2018; pp. 2115-2118. [Google Scholar]

[8] Zhang, M.; SHI, W. Uma diferença de característica Convolucional Neural Baseado no método de detecção de alterações baseado em rede. IEEE Trans. Geosci. Remote Sens. 2020, 1–15. [Google Scholar] [CrossRef]

[9] Wu, C.; Zhang, L.; Zhang, L. Uma estrutura de detecção de mudança de cena para imagens de sensoriamento remoto de alta resolução de alta resolução. Processo de sinal. 2016, 124, 184-197. [Google Scholar] [CrossRef]

[10] Fujita, A.; Sakurada, K.; Imaizumi, T.; Ito, R.; Hikosaka, S.; Nakamura, R. Detecção de danos a partir de imagens aéreas por meio de redes neurais convolucionais. Em Anais da Conferência Internacional da IAPR de 2017, Applications Applications (MVA), Nagoya Univ, Nagoya, Japão, 08-12 de maio de 2017; pp. 5-8 [Google Scholar]

[11] Gupta, R.; Goodman, B.; Patel, N.; Hosfelt, R.; Sajeev, S.; Heim, E.; Doshi, J.; Lucas, K.; Escolhido, H.; Gaston, M. Criando XBD: um conjunto de dados para avaliar os danos à construção a partir de imagens de satélite. Em Anais da Conferência IEEE sobre Visão Computacional e Oficinas de Reconhecimento de Padrões, Long Beach, CA, EUA, 16 a 20 de junho de 2019; pp. 10–17. [Google Scholar]

[12] Bourdis, N.; Marraud, D.; Sahbi, H. Fluxo óptico restrito para detecção de mudança de imagem aérea. Em Anais do Simpósio de Geociência Internacional IEEE de 2011 e Sensoriamento Remoto, Vancouver, BC, Canadá, 24 a 29 de julho de 2011; pp. 4176-4179. [Google Scholar] [CrossRef]

[13] Lebedev, MA; Vizilter, yv; Vygolov, OV; Knyaz, VA; Rubis, AY Alterar detecção em imagens de sensoriamento remoto usando redes adversárias condicionais. ISPRS INT. Arco. Fotograma. Sens. Spat. Inf. Sci. 2018, 565-571. [Google Scholar] [CrossRef]

[14] Chen, H.; Shi, Z. Um método baseado em atenção espacial-temporal e um novo conjunto de dados para detecção de mudança de imagem de sensoriamento remoto. Remote Sensing, 12(10), 1662. [Google Scholar] [CrossRef]

[15] Alcantarilla, PF; Stent, S.; Ros, G.; Arroyo, R.; Gherardi, R. Street-view change detection with deconvolutional networks. Auton. Robô. 2018, 42, 1301–1322. [Google Scholar] [CrossRef]

[16] Sakurada, K.; Okatani, T. Change detection from a street image pair using CNN features and superpixel segmentation. In Proceedings of the British Machine Vision Conference (BMVC), Swansea, UK, 7–10 September 2015; pp. 61.1–61.12. [Google Scholar]

[17] Sakurada, K.; Okatani, T.; Deguchi, K. Detecting changes in 3D structure of a scene from multi-view images captured by a vehicle-mounted camera. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Portland, OR, USA, 23–28 June 2013; pp. 137–144. [Google Scholar]

[18] Goyette, N.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Ishwar, P. Changedetection. net: A new change detection benchmark dataset. In Proceedings of the 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, Providence, RI, USA, 16–21 June 2012; pp. 1–8. [Google Scholar]

[19] Wang, Y.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Benezeth, Y.; Ishwar, P. CDnet 2014: An Expanded Change Detection Benchmark Dataset. In Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops, Columbus, OH, USA, 23–28 June 2014; pp. 393–400. [Google Scholar]

[20] Goyette, N.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Ishwar, P. A Novel Video Dataset for Change Detection Benchmarking. IEEE Trans. Image Process. 2014, 23, 4663–4679. [Google Scholar] [CrossRef]

[21] Volpi, Michele; Camps-Valls, Gustau; Tuia, Devis (2015). Spectral alignment of multi-temporal cross-sensor images with automated kernel canonical correlation analysis; ISPRS Journal of Photogrammetry and Remote Sensing, vol. 107, pp. 50-63, 2015. [CrossRef]

[22] LT Luppino, FM Bianchi, G. Moser and SN Anfinsen. Unsupervised Image Regression for Heterogeneous Change Detection. IEEE Transactions on Geoscience and Remote Sensing. 2019, vol. 57, no. 12, pp. 9960-9975. [CrossRef]

[23] D. Peng, L. Bruzzone, Y. Zhang, H. Guan, H. Ding and X. Huang, SemiCDNet: A Semisupervised Convolutional Neural Network for Change Detection in High Resolution Remote-Sensing Images. IEEE Transactions on Geoscience and Remote Sensing. 2020. [CrossRef]

[24] Yang, Kunping, et al. Asymmetric Siamese Networks for Semantic Change Detection. arXiv preprint arXiv:2010.05687 (2020). [CrossRef]

[25] Zhang, C., Yue, P., Tapete, D., Jiang, L., Shangguan, B., Huang, L., & Liu, G. A deeply supervised image fusion network for change detection in high resolution bi-temporal remote sensing images. ISPRS Journal of Photogrammetry and Remote Sensing. 2020. [CrossRef]

[26] LEENSTRA, Marrit, et al. Self-supervised pre-training enhances change detection in Sentinel-2 imagery. arXiv. 2021. [CrossRef]

[27] SHI, Qian, et al. A Deeply Supervised Attention Metric-Based Network and an Open Aerial Image Dataset for Remote Sensing Change Detection. IEEE Transactions on Geoscience and Remote Sensing. 2021. [CrossRef]

[28] SHEN, Li, et al. S2Looking: A Satellite Side-Looking Dataset for Building Change Detection. arXiv. 2021. [CrossRef]

[29] LEBEDEV, MA, et al. CHANGE DETECTION IN REMOTE SENSING IMAGES USING CONDITIONAL ADVERSARIAL NETWORKS. International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences, 2018. [CrossRef]

[30] SUN, Yuli, et al. Structure Consistency-Based Graph for Unsupervised Change Detection With Homogeneous and Heterogeneous Remote Sensing Images. IEEE Transactions on Geoscience and Remote Sensing, 2021. [CrossRef]

[31] PARK, Jin-Man, et al. ChangeSim: Towards End-to-End Online Scene Change Detection in Industrial Indoor Environments. arXiv. 2021. [CrossRef]

Citar

If you find this review helpful to you, please consider citing our paper. [Open Access]

 @Article{rs12101688,
AUTHOR = {Shi, Wenzhong and Zhang, Min and Zhang, Rui and Chen, Shanxiong and Zhan, Zhao},
TITLE = {Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges},
JOURNAL = {Remote Sensing},
VOLUME = {12},
YEAR = {2020},
NUMBER = {10},
ARTICLE-NUMBER = {1688},
URL = {https://www.mdpi.com/2072-4292/12/10/1688},
ISSN = {2072-4292},
DOI = {10.3390/rs12101688}
}