Change Detection Review
1.0.0
원격 감지 (RS) 데이터를 기반으로 한 변경 탐지는 지구 표면의 변화를 감지하는 중요한 방법이며 도시 계획, 환경 모니터링, 농업 조사, 재난 평가 및지도 개정에 광범위한 응용 프로그램이 있습니다. 최근 몇 년 동안 통합 인공 지능 (AI) 기술은 새로운 변화 탐지 방법을 개발하는 데 중점을 두었습니다. 일부 연구자들은 AI 기반 변화 탐지 접근법이 전통적인 변화 탐지 접근 방식보다 우수하다고 주장하지만, AI가 변화 탐지의 성능을 어떻게 향상시킬 수 있는지는 어떻게 그리고 어느 정도의 범위를 개선 할 수 있는지는 즉시 명확하지 않습니다. 이 검토는 변화 탐지를위한 AI의 최신 방법, 응용 프로그램 및 과제에 중점을 둡니다. 구체적으로, AI 기반 변경 감지의 구현 프로세스가 먼저 소개됩니다. 그런 다음 광학 RS 데이터, SAR (Synthetic Aperture Radar) 데이터, 스트리트 뷰 이미지 및 결합 된 이종 데이터를 포함하여 변경 감지에 사용되는 다른 센서의 데이터가 제시되고 사용 가능한 열린 데이터 세트도 나열됩니다. AI 기반 변경 감지 방법의 일반적인 프레임 워크는 체계적으로 검토되고 분석되며 AI 기반 변경 탐지에 사용 된 비 감독 체계가 추가로 분석됩니다. 결과적으로, 변경 감지를 위해 AI에서 일반적으로 사용되는 네트워크가 설명되어 있습니다. 실제 관점에서 볼 때 AI 기반 변경 감지 방법의 응용 분야는 적용 가능성에 따라 분류됩니다. 마지막으로, (a) 이질적인 빅 데이터 처리, (b) 감독되지 않은 AI 및 (c) AI의 신뢰성을 포함하여 변화 탐지에 대한 AI의 주요 과제와 전망이 논의되고 묘사됩니다. 이 검토는이 분야를 이해하는 데 연구원에게 도움이 될 것입니다.
그림 2는 AI 기반 변경 감지의 일반적인 구현 프로세스를 제공하지만 AI 모델의 구조는 다양하며 다양한 응용 상황 및 교육 데이터에 따라 잘 설계되어야합니다. Tensorflow, Keras, Pytorch 및 Caffe와 같은 기존의 성숙한 프레임 워크는 연구자들이 AI 모델의 설계, 훈련 및 배포를보다 쉽게 깨닫게하는 데 도움이되며 개발 문서는 자세한 소개를 제공합니다.
| 행동 양식 | 키워드 | 출판 | (Re) 구현 |
|---|---|---|---|
| srcdnet | CNN; 시암 사람; 주목; 초-해상도; 광학 Rs | 다른 해상도, TGRS, 2021. | Pytorch 1.2 |
| ESCNET | CNN; 시암 사람; 슈퍼 픽셀; 광학 Rs | 매우 높은 해상도 원격 감지 이미지를위한 엔드 투 엔드 슈퍼 픽셀 강화 변경 감지 네트워크. Tnnls, 2021. [종이], [코드] | Pytorch 1.3 |
| KPCAMNET | CNN; 시암 사람; KPCA; 감독되지 않은; 광학 Rs | 깊은 커널 PCA Convolutional Mapping Network, TCYB, 2021에 기반한 다중 학기 VHR 이미지에서 감독되지 않은 변경 감지 | 파이썬 |
| Seco | CNN (RESNET); 전이 학습; 광학 Rs | 계절적 대비 : 수술되지 않은 원격 감지 데이터에서 감독되지 않은 사전 훈련, Arxiv, 2021. [종이], [코드, 데이터 세트] | Pytorch 1.7 |
| 캡넷 | 캡슐 네트워크 (SEGCAPS); CVA; 시암 사람; 광학 Rs | 공중 원격 감지 이미지 변경 탐지, GRSL, 2020을위한 의사 시암 캡슐 네트워크. | 케라 |
| bit_cd | CNN (RESNET18); 시암 사람; 주목; 변신 로봇; 광학 Rs | Transformers, TGRS, 2021의 원격 감지 이미지 변경 감지. [용지], [코드, 데이터 세트, 미리 훈련 된 모델] | Pytorch 1.6 |
| iaug_cdnet | CNN (Gaugan+unet); 시암 사람; 간; 감독; 광학 Rs | 원격 감지 이미지의 건물 변경 감지를위한 적대 인스턴스 증강, TGRS, 2021. [용지], [코드, 데이터 세트] | Pytorch |
| ddnet | CNN; di+fcm; 감독되지 않은; SAR | 이중 도메인 네트워크, GRSL, 2021을 사용하여 합성 조리개 레이더 이미지의 감지 변경. [논문], [코드, 데이터 세트] | Pytorch |
| Snunet-CD | CNN (NestedUnet); 시암 사람; 주목; 감독; 광학 Rs | Snunet-CD : VHR 이미지의 변경 감지를위한 밀도가 높아진 시암 네트워크, GRSL, 2021. [용지], [코드, 데이터 세트, 미리 훈련 된 모델] | Pytorch 1.4 |
| DSMSCN | CNN; 시암 사람; 멀티 스케일; 감독되지 않은/감독; 광학 Rs | 고해상도의 변화 감지를위한 깊게 감독 된 이미지 퓨전 네트워크, 고해상도 2 시간 원격 Sening 이미지, Arxiv, 2020. [논문], [코드, 데이터 세트] | 텐서 플로 1.9 |
| 시암 | CNN+RNN; 시암 사람; 멀티 소스; 광학 Rs | 깊은 샴 컨볼 루션 다중층 반복 신경 네트워크, TGRS, 2020을 통한 다중 소스 VHR 이미지의 변경 변경. [논문], [코드, 데이터 세트] | 텐서 플로 1.9 |
| dsifn | CNN; 주의 메커니즘; 광학 Rs | 고해상도의 변화 감지를위한 깊게 감독 된 이미지 퓨전 네트워크, ISPRS, 2020. [논문], [코드, 데이터 세트] | Pytorch & Keras |
| Ceecnet | CNN; 주의 메커니즘; 유사성 측정; 광학 Rs | 변화를 찾고 계십니까? 주사위를 굴리고주의를 기울여야합니다. Arxiv, 2020. [종이], [코드, 데이터 세트] | MXNET + 파이썬 |
| lamboisenet | CNN (Light UNET ++); 광학 Rs | 딥 러닝, 마스터 논문을 사용하여 위성 이미지의 탐지 변경. [코드, 데이터 세트, 미리 훈련 된 모델] | Pytorch |
| dtcdscn | CNN; 시암 사람 | 듀얼 작업을 사용한 원격 감지 이미지에 대한 변경 변경 탐지는 심층 샴 컨볼 루션 네트워크 모델을 제한하여 검토를 진행합니다. [코드, 데이터 세트] | Pytorch |
| 토지 사용 분석 | CNN (UNET); 분류 후; 광학 Rs | Convolutional Neural Networks를 사용하여 사이클론 영향을받는 지역의 토지 이용/토지 커버 변경 탐지. [보고서], [코드, 데이터 세트, 미리 훈련 된 모델] | 텐서 플로우+케라 |
| 주 마비 네트 | CNN; 장면 수준; 시암 사람; 광학 Rs | 다중 시간 장면 분류 및 변경 탐지에 대한 상관 관계 기반 퓨전 네트워크. [코드, 미리 훈련 된 모델], [데이터 세트] | 텐서 플로 1.8 |
| SSCDNet | CNN (RESNET18); 시암 사람; 전이 학습; 시맨틱; 스트리트 뷰 | 약하게 감독 된 실루엣 기반 시맨틱 장면 변경 감지, ICRA, 2020. [종이] [코드, 데이터 세트, 미리 훈련 된 모델] | Pytorch+Python3.6 |
| 이종성 _cd | AE (코드 정렬 AE); 감독되지 않은; 변환; 이질적인; 광학 Rs | 멀티 모달 원격 감지 이미지에서 감독되지 않은 변경 감지를위한 코드 정렬 자동 인코더, Arxiv, 2020. [논문] [코드, 데이터 세트] | 텐서 플로 2.0 |
| fdcnn | CNN (VGG16); 전이 학습; 순수한 시암; 멀티 스케일; 광학 Rs | 기능 차이 컨볼 루션 신경 네트워크 기반 변경 감지 방법, TGRS, 2020. [논문] [코드, 데이터 세트, 미리 훈련 된 모델] | Caffe+Python2.7 |
| 스탠넷 | CNN (RESNET-18); 주의 메커니즘; 순수한 시암; 공간 - 임계 의존성; 광학 Rs | 원격 감지 이미지 변경 감지, RS, 2020을위한 공간-측면주의 기반 방법 및 새로운 데이터 세트. [논문] [코드, 데이터 세트] | Pytorch+Python3.6 |
| x-net | CNN; 감독되지 않은; 변환; 이질적인; 광학 R; SAR | 감독되지 않은 멀티 모달 변경 감지에 대한 친화력 기반 변화를 가진 깊은 이미지 번역, 2020. [논문] [코드, 데이터 세트] | 텐서 플로 1.4 |
| 에이스 넷 | AE (부대 주기적 엔코더); 감독되지 않은; 변환; 이질적인; 광학 R; SAR | 감독되지 않은 멀티 모달 변경 감지에 대한 친화력 기반 변화를 가진 깊은 이미지 번역, 2020. [논문] [코드, 데이터 세트] | 텐서 플로 1.4 |
| vgg_lr | CNN (VGG16); 전이 학습; 순수한 시암; 슬릭; 낮은 순위; 광학 Rs | 깊은 특징 및 저 순위, GRSL, 2017을 기반으로 감지 변경. [논문] [재 구현 코드, 데이터 세트, 미리 훈련 된 모델] | Caffe+matlab |
| CDNET | CNN; 시암 사람; 멀티 모달 데이터; 포인트 클라우드 데이터 | 공기 중 레이저 스캐닝과 사진 측량 데이터 간의 건물 변화 감지, RS, 2019. [종이], [코드] | Pytorch |
| SCCN | Ae (DAE); 감독되지 않은; 이질적인; 광학 R; SAR | 이질적인 광학 및 레이더 이미지를 기반으로 한 변화 탐지를위한 깊은 컨볼 루션 커플 링 네트워크, TNNLS, 2018. [용지] [재 구현 코드] | 텐서 플로 2.0 |
| CGAN | 간 (조건부 간); 이질적인; 광학 R; SAR | 이종 이미지의 변화 탐지를위한 조건부 대적 네트워크, GRSL, 2019. [논문] [재 구현 코드] | 텐서 플로 2.0 |
| DASNET | CNN (VGG16); 시암 사람; 주의 메커니즘; 광학 Rs | DASNET : 고해상도 위성 이미지의 변화 감지를위한 이중 세심한 완전 컨볼 루션 시암 네트워크, Arxiv, 2020. [용지] [코드, 데이터 세트, 미리 훈련 된 모델] | Pytorch+Python3.6 |
| unetlstm | CNN (UNET); RNN (LSTM); 통합 모델; 광학 Rs | 다중 시간 Sentinel-2 Data, Igarss, 2019에서 반복적 인 신경망으로 도시 변화 감지 | Pytorch+Python3.6 |
| cdmi-net | CNN (UNET); 순수한 시암; 다중 인스턴스 학습; 산사태 매핑; 광학 Rs | 산사태 매핑에 대한 깊은 다중 인스턴스 학습, GRSL, 2020. [용지] [코드, 미리 훈련 된 모델] | Pytorch+Python3.6 |
| dsfanet | DNN; 감독되지 않은; 사전 분류; 느린 기능 분석; 광학 Rs | 다중 시간 원격 감지 이미지에서 변경 감지를위한 감독되지 않은 깊은 느린 기능 분석, TGRS, 2019. [용지] [코드, 데이터 세트] | 텐서 플로 1.7 |
| CD-UNET ++ | CNN (개선되지 않은 ++); 직접 분류; 광학 Rs | 개선 된 UNET ++, RS, 2019를 사용한 고해상도 위성 이미지의 엔드 투 엔드 변경 감지. [논문] [코드] | 텐서 플로우+케라 |
| 시암 세트 | CNN (VGG16); 순수한 시암; 광학 Rs | 위성 이미지에서 패치 기반 변경 감지를위한 다단계 기능을 갖춘 시암 네트워크, Globalsip, 2018. [용지] [코드, 데이터 세트] | 텐서 플로우+케라 |
| RE3FCN | CNN (convlstm); PCA; 3D 컨볼 루션; 멀티 클래스 변화; 광학 R; 초 분광 | 반복적 인 3D 완전 컨볼 루션 네트워크, RS, 2018을 사용하여 초 분광 이미지의 감지 변경. [논문] [코드, 데이터 세트] | 텐서 플로우+케라 |
| FC-EF, FC-SIAM-CONC, FC-SIAM-DIFF | CNN (UNET); 순수한 시암; 광학 Rs | 변경 탐지를위한 완전 컨볼 루션 시암 네트워크, ICIP, 2018. [논문] [코드, 데이터 세트] | Pytorch |
| COSIMNET | CNN (Deeplab v2); 순수한 시암; 스트리트 뷰 | 변경 측정 학습 : 장면 변경 감지를위한 완전 컨볼 루션 시암 메트릭 네트워크, Arxiv, 2018. [논문] [코드, 데이터 세트, 미리 훈련 된 모델] | Pytorch+Python2.7 |
| 마스크 R-CNN | 마스크 R-CNN (RESNET-101); 전이 학습; 분류 후; 광학 Rs | 빈민가 세분화 및 변경 탐지 : 딥 러닝 접근법, NIPS, 2018. [논문] [코드, 데이터 세트, 미리 훈련 된 모델] | 텐서 플로우+케라 |
| 카페네 | CNN (Caffenet); 감독되지 않은; 전이 학습; 광학 Rs | Convolutional Neural Network 기능은 위성 이미지에서 변경 감지, IWPR, 2016. [논문] [코드, 데이터 세트] | 텐서 플로우+케라 |
| CWNN | CNN (CWNN); 감독되지 않은; 사전 분류; SAR | Convolutional Wavelet Neural Networks, GRSL, 2019를 기반으로 SAR 이미지의 해빙 변화 감지. [논문] [코드, 데이터 세트] | MATLAB |
| mlfn | CNN (Densenet); 전이 학습; SAR | 합성 조리개 레이더 이미지에서 해빙 교체 탐지를위한 딥 러닝을 전송했습니다. GRSL, 2019. [용지] [코드, 데이터 세트] | Caffe+matlab |
| 가보 프라넷 | CNN (PCANET); 감독되지 않은; 사전 분류; 가버 웨이블릿; SAR | PCANET, GRSL, 2016을 기반으로 합성 조리개 레이더 이미지의 자동 변화 감지. [논문] [코드, 데이터 세트] | MATLAB |
| MS-Capsnet | CNN (MS-CAPSNET); 캡슐; 주의 메커니즘; 적응성 융합 컨볼 루션; SAR | Multiscale Capsule Network, GRSL, 2020을 기반으로 SAR 이미지의 감지 변경. [논문] [코드, 데이터 세트] | MATLAB+KERAS2.16 |
| DCNET | CNN; 감독되지 않은; 사전 분류; SAR | 채널 가중치 기반 딥 캐스케이드 네트워크, JSTARS, 2019에 기반한 합성 조리개 레이더 이미지에서의 변경 감지. [논문] [코드, 데이터 세트] | 카페 |
| Changenet | CNN; 시암 사람; 스트리트 뷰 | Changenet : 시각적 변화 탐지를위한 딥 러닝 아키텍처, ECCV, 2018. [논문] [코드, 데이터 세트] | Pytorch |
| 다른 사람들은 곧 추가 될 것입니다! | |||
| 행동 양식 | 키워드 | 출판 | 구현 |
|---|---|---|---|
| 몇 가지 고전적인 방법 | CVA; DPCA; 이미지 차이; 이미지 비율; 이미지 회귀; ir-mad; 미친; pcakmeans; PCDA; kmeans; 오츠; 고정 임계 값 | 원격 감지 변경 감지를위한 도구 상자. [암호] | MATLAB |
| MATLAB 도구 상자 변경 감지 | ir-mad; IT-PCA; 음; ICM | 감독되지 않은 변경 감지 분석을위한 도구 상자, IJRS, 2016. [논문] [코드] | MATLAB |
| RFR, SVR, GPR | 감독되지 않은; 이미지 회귀; 이질적인; 광학 R; SAR | 이기종 변화 감지에 대한 감독되지 않은 이미지 회귀, TGRS, 2019. [논문] [코드] | MATLAB |
| hpt | 감독되지 않은; 변환; 이질적인; 광학 R; SAR | 균질 한 픽셀 변환을 통한 이종 원격 감지 이미지의 변화, 팁, 2018. [논문] [재 구현 코드] | MATLAB |
| KCCA | 표준 상관 분석; 크로스 센서; 광학 Rs | 자동화 된 커널 상관 분석, IJPRS, 2015. [논문] [코드] | MATLAB |
| 케르. 차이. RBF | 감독되지 않은; K- 평균; 광학 Rs | 커널을 통한 감독되지 않은 변경 감지, GRSL, 2012. [논문] [코드] | MATLAB |
| FDA-RM | DI 기반; 주파수 도메인 분석; 임의의 멀티 그래프; SAR | 주파수 도메인 분석 및 임의의 멀티 그래프에 기반한 합성 조리개 레이더 이미지 변경 탐지, Jars, 2018. [논문] [코드] | MATLAB |
| CD-NR-ELM | DI 기반; 사전 분류; 극단적 인 학습 기계; SAR | 이웃 기반 비율과 극한 학습 기계를 기반으로 합성 조리개 레이더 이미지에서 감지, Jars, 2016. [종이] [코드, 데이터 세트] | MATLAB |
| 없음 | 가능성 비율; 테스트 통계; SAR | 편광 SAR 이미지의 감지 변경, 2015. [보고서] [코드] | 파이썬 |
| PCA K- 평균 | 감독되지 않은; DI 기반; PCA; K는 의미; 광학 Rs | 주요 구성 요소 분석 및 k-means 클러스터링을 사용하여 위성 이미지에서 감독되지 않은 변경 감지, GRSL, 2009. [논문] [재 구현 코드, 데이터 세트] 또는 [재 구현 코드] | MATLAB |
| PTCD | 텐서; 초 분광 광학 Rs | 감독되지 않은 초 전자 변화 검출을위한 3 차 터커 분해 및 재구성 검출기. JSTARS, 2021. [종이] [코드, 데이터 세트] | MATLAB |
| GBF-CD | 데이터 융합; 그래프; 여자 이름; ki; | 그래프 기반 데이터 융합에 적용됩니다 : 쌀 작물의 변화 및 바이오 매스 추정. 원격 감지, 2020 [종이] [코드, 데이터 세트] | MATLAB |
| 다른 사람들은 곧 추가 될 것입니다! | |||
현재 변경 감지를위한 자유롭게 사용 가능한 데이터 세트가 있으며, 이는 향후 연구에서 AI 교육 및 정확성 평가를위한 벤치 마크 데이터 세트로 사용할 수 있습니다. 자세한 정보는 표 3에 나와 있습니다.
| 유형 | 데이터 세트 | 설명 |
|---|---|---|
| 광학 Rs | DSIFN 데이터 세트 [25] | 6 Google Earth의 6 개의 양적 고해상도 이미지. 훈련의 경우 512 × 512 크기의 3600 개의 이미지 쌍, 검증의 경우 340, 테스트의 경우 48 쌍이 있습니다. [다운로드] |
| S2MTCP [26] | 1520 Sentinel-2 Level 1C 이미지 쌍은 전 세계 도시 지역에 중점을 두 었으며 10m 공간 해상도와 600x600 픽셀 크기가 있습니다. 기하학적 또는 방사선 수정은 수행되지 않습니다. [다운로드] | |
| SYSU-CD [27] | 홍콩에서 2007 년과 2014 년 사이에 촬영 한 256 × 256의 0.5m 공중 이미지의 20000 쌍 : 6 가지 변화 유형을 포함하여 : (a) 새로 지어진 도시 건물; (b) 교외 팽창; (c) 건설 전의 토대; (d) 식생의 변화; (e) 도로 확장; (f) 해상 구조. [다운로드] | |
| S2의 관찰 [28] | 건물 변경 탐지 데이터 세트는 전 세계의 농촌 지역의 5000 등록 된 비 단순한 이미지 쌍 (1024*1024, 0.5 ~ 0.8 m/픽셀)과 65,920 개 이상의 주석이 달린 변경 인스턴스로 구성되며 새로 건축되고 철거 된 건물을 별도로 나타냅니다 [다운로드]. | |
| 합성 및 실제 이미지 데이터 세트 [29] | 데이터베이스에는 객체 이동이없는 12,000 트리플의 합성 이미지, 객체 시프트가있는 12,000 개의 모델 이미지 및 실제 원격 감지 이미지의 16,000 트리플의 트리플이 포함되어 있습니다. 수행 된 테스트는 제안 된 CNN이 합성 및 실제 이미지에 대한 변화 탐지에서 유망하고 효율적이라는 것을 보여주었습니다 [다운로드] | |
| 시맨틱 변경 감지 데이터 세트 (두 번째) [24] | 여러 플랫폼 및 센서의 512 x 512 픽셀을 포함한 4662 쌍의 항공 이미지를 포함하여 픽셀 수준의 시맨틱 변경 감지 데이터 세트, Hangzhou, Chengdu 및 Shanghai를 포함합니다. 자연스럽고 인공 지리적 변화에 자주 관여하는 6 개의 주요 토지 커버 클래스 (즉, 비 채식 지표, 나무, 낮은 식물, 물, 건물 및 놀이터)에 중점을 둡니다. [다운로드] | |
| 초 분광 변화 감지 데이터 세트 [1] | 3 픽셀 수준에서 작물 전이와 관련된 5 가지 유형의 변화로 레이블이 지정된 224 또는 242 개의 스펙트럼 대역으로 Aviris 또는 Hyperion 센서에 의해 획득 한 3 가지 다른 초 분광 장면. [다운로드] | |
| River HSIS 데이터 세트 [2] | 중국 장부 지방의 2 HSI는 198 개의 밴드가 있으며, 픽셀 수준에서 변경되고 변경되지 않은 것으로 표시되어 있습니다. [다운로드] | |
| HRSCD [3] | 픽셀 레벨 변경 및 랜드 커버 주석이 포함 된 291 RGB 공중 이미지 쌍의 공동 등록 된 RGB 공중 이미지 쌍, 예를 들어 계층 적 레벨 변경 레이블을 제공합니다. 예를 들어 레벨 1 레이블에는 정보, 인공 표면, 농업, 숲, 습지 및 물이 5 가지 등급이 포함됩니다. [다운로드] | |
| 구축 데이터 세트 [4] | 건물 벡터 및 래스터 맵과 함께 제공되는 12,796 건의 건물이 포함 된 2- 기간 공중 이미지. [다운로드] | |
| Sztaki Air Change 벤치 마크 [5, 6] | 13 개의 공중 이미지 쌍이 1.5m의 공간 해상도를 갖는 13 개의 공중 이미지 쌍이며, 픽셀 레벨에서 변경되고 변경되지 않은 것으로 표시됩니다. [다운로드] | |
| OSCD [7] | Sentinel-2에 의해 획득 된 24 쌍의 다중 스펙트럼 이미지, 픽셀 레벨에서 변경되고 변경되지 않은 것으로 표시됩니다. [다운로드] | |
| 감지 데이터 세트 변경 [8] | 픽셀 레벨에서 변경되고 변경되지 않은 다른 공간 해상도를 갖는 4 쌍의 멀티 스펙트럼 이미지. [다운로드] | |
| MTS- [9] | 2 개의 대형 크기의 VHR 이미지는 4 개의 밴드와 1m 공간 해상도로 Ikonos 센서에서 획득 한 2 개의 대형 VHR 이미지, 장면 수준에서 5 가지 유형의 변화 (예 : 주차, 스파 스 하우스, 주거 지역 및 식생 지역)로 표시되어 있습니다. [다운로드] | |
| ABCD [10] | Tsunami에 의해 세척 된 건물을 감지하기위한 16,950 RGB 공중 이미지, 장면 수준에서 손상된 건물로 표시되어 있습니다. [다운로드] | |
| XBD [11] | 건물 손상 평가를위한 사전 및 사후 위성 이미지는 4 개의 손상 척도로 픽셀 레벨로 표시된 6 개의 재해 유형의 850,000 개가 넘는 구축 다각형을 갖습니다. [다운로드] | |
| AICD [12] | 렌더링 엔진으로 생성 된 인공 변화가있는 1000 쌍의 합성 공중 이미지는 픽셀 레벨에서 변경되고 변경되지 않은 것으로 표시됩니다. [다운로드] | |
| 합성 및 실제 이미지 데이터베이스 [13] | 24,000 개의 합성 이미지와 16,000 개의 실제 계절 변동 RS 이미지의 16,000 개가 Google 어스에서 얻은 픽셀 수준에서 변경 및 변경되지 않은 것으로 표시됩니다. [다운로드] | |
| Levir-CD [14] | 637 매우 고해상도 (VHR, 0.5m/픽셀) Google 어스 (GE) 이미지 패치 쌍이 1024 × 1024 픽셀의 크기를 가진 총 31,333 개의 개별 변경 빌딩 인스턴스를 포함하며, 픽셀 레벨에서 변경되고 변경되지 않은 것으로 표시됩니다. [다운로드] | |
| Bastrop Fire 데이터 세트 [21] | 4 개의 미국 텍사스 바스톱 카운티를 통해 다른 센서에 의해 획득 된 4 개의 이미지. 이는 사전 이벤트 이미지로 Landsat 5 tm 및 Landsat 5 TM, EO-1 Ali 및 Landsat 8을 이벤트 후 이미지로 구성하며, 주로 와일드 파이어로 인해 픽셀 수준에서 변경되고 변경되지 않은 것으로 표시됩니다. [다운로드] | |
| Google 데이터 세트 [23] | 19 계절 변동 VHR 이미지 3 밴드의 빨간색, 녹색 및 파란색, 공간 해상도 0.55m, 크기는 1006 × 1168 픽셀에서 4936 × 5224 픽셀의 크기입니다. 이미지 변화에는 물, 도로, 농지, 맨 토지, 숲, 건물, 배 등이 포함됩니다. 건물은 주요 변화를 구성합니다. 2006 년에서 2019 년 사이에 인수 된 중국 광저우시의 교외 지역을 다루고 있습니다. [다운로드] | |
| 광학 RS & SAR | 캘리포니아 데이터 세트 [22] | 2017 년 9 개의 채널이있는 Landsat 8에서 캡처 한 RS 이미지, 홍수 발생 후 Sentinel-1A (Polarisations VV 및 VH에 기록 된 SAR 이미지) 및 Ground Truth Map을 포함한 3 개의 이미지. [다운로드] |
| 균질 한 CD 데이터 세트 [30] | 6 시나리오 : 시나리오 1 두 개의 단일 편광 층 데이터 세트가있는 시나리오 1; 두 개의 polsar 데이터 세트가있는 시나리오 2; 두 개의 광학 이미지 데이터 세트가있는 시나리오 3. HeorgeoNeouSCD : 2 개의 SAR/광학 (다중 스펙트럼) 데이터 세트가있는 시나리오 4; 다른 센서에서 획득 한 두 개의 다중 스펙트럼 데이터 세트가있는 시나리오 5; Twopolsar/광학 (다중 스펙트럼) 데이터 세트가있는 시나리오 6. [다운로드] | |
| 스트리트 뷰 | VL-CMU-CD [15] | 1362 공동 등록 된 RGB 및 깊이 이미지 쌍 (예 : 지상 진실 변경) (예 : BIN, SIGN, 차량, 쓰레기, 건축, 교통 원뿔, 사람/사이클, 장벽) 및 픽셀 레벨의 스카이 마스크. [다운로드] |
| PCD 2015 [16] | "쓰나미"및 "GSV"서브 세트의 200 파노라마 이미지 쌍은 224 × 1024 픽셀의 크기로 픽셀 레벨에서 변경되고 변경되지 않았습니다. [다운로드] | |
| 감지 데이터 세트 변경 [17] | 차량 장착 카메라로 캡처 한 도시 거리의 이미지 시퀀스는 2 개의 다른 시점에서 5000 × 2500 픽셀의 크기로 픽셀 레벨에서 3D 장면 구조 변경으로 표시됩니다. [다운로드] | |
| CV | CDNET 2012 [18] | 각 카테고리에 4 ~ 6 개의 비디오 시퀀스가있는 6 개의 비디오 카테고리와 GroundTruth 이미지에는 5 개의 레이블이 포함되어 있습니다 : 정적, 단단한 그림자, 관심 영역 외부, 알 수없는 움직임 (일반적으로 반영성 및 모션 블러로 인한 객체 이동) 및 동작 및 모션이 포함됩니다. [다운로드] |
| CDNET 2014 [19,20] | 22 개의 추가 비디오 (~ 70; ~ 70; 000 픽셀 별 주석이 달린 프레임) 많은 감시 설정에서 발생하는 도전을 포함하고 CGI없이 캡처 된 현실적인 카메라 (CGI없이), CDNET 2012와 같은 다양한 실내 및 실외 비디오 세트를 제공하는 5 가지 새로운 카테고리에 걸쳐 있습니다. [다운로드] | |
| changesim [31] | 온라인 장면 변경 탐지 등을 목표로하는 도전적인 데이터 세트는 공기 탁도 및 가벼운 상태 변화와 같은 환경 비 표적 변형 및 산업 실내 환경의 대상 객체 변화와 같은 환경이 비 표적화 된 변형이 존재하는 사진 현실 시뮬레이션 환경을 수집합니다. [다운로드] | |
| 더 많은 비디오 데이터 세트 | ||
변경 감지 작업에 사용할 수있는 개방형 데이터 세트의 양은 작고 일부는 데이터 크기가 작다는 것을 알 수 있습니다. 현재 AI 교육에 사용할 수있는 대형 SAR 데이터 세트가 여전히 부족합니다. 대부분의 AI 기반 변경 감지 방법은 제한된 유형의 변경 사항 (예 : Bern DataSet, Ottawa DataSet, Yellow River 데이터 세트 및 멕시코 데이터 세트를 포함하는 여러 SAR 데이터 세트를 기반으로합니다. 또한 레이블을 자유롭게 사용할 수 없습니다. 스트리트 뷰 데이터 세트는 일반적으로 컴퓨터 비전 (CV)에서 AI 기반 변경 감지 방법을 연구하는 데 사용됩니다. 이력서에서는 사진이나 비디오를 기반으로 한 변경 감지도 인기있는 연구 분야이며 기본 아이디어는 RS 데이터를 기반으로 한 아이디어와 일치합니다. 따라서 Street View 이미지 데이터 세트 외에도 CV의 여러 비디오 데이터 세트를 사용하여 CDNET 2012 및 CDNET 2014와 같은 AI 기반 변경 감지 방법에 대한 연구에도 사용될 수 있습니다.
AI 기반 변화 탐지 기술의 개발은 많은 응용 프로그램을 크게 촉진했으며 자동화 및 인텔리전스를 개선했습니다. 대부분의 AI 기반 변경 감지는 이진 맵을 생성하며 이러한 연구는 특정 응용 프로그램 필드없이 알고리즘 자체에만 초점을 맞 춥니 다. 따라서, 그것들은 일반적으로 LULC 변화 탐지에 적합하다는 것을 고려할 수있다. 이 섹션에서는 특정 응용 프로그램과 관련된 기술에 중점을두고 있으며, 이들은 4 가지 범주로 크게 나눌 수 있습니다.
우리는 다양한 응용 프로그램 범주에 대한 문헌의 다양한 변화 탐지 기술에 대한 개요를 제공합니다. 이러한 응용 프로그램과 관련된 작업 및 데이터 유형은 표 4에 나열되어 있습니다.
| 응용 프로그램 | 데이터 유형 | 서류 | |
|---|---|---|---|
| 도시 맥락 | 도시 확장 | 위성 이미지 | Lyu et.al (2018), Tong et.al (2007) |
| SAR 이미지 | iino et.al (2017) | ||
| 공공 우주 관리 | 스트리트 뷰 이미지 | varghese et.al (2018) | |
| 도로 표면 | UAV 이미지 | Truong et.al (2020) | |
| 건물 변화 탐지 | 항공 이미지 | Ji et.al (2019), Sun et.al (2019), Nemoto et.al (2017) | |
| 위성 이미지 | Huang et.al (2019), Zhu et.al (2018) | ||
| 위성/항공 이미지 | Jiang et.al (2020), Ji et.al (2018), Saha et.al (2020) | ||
| 공중 레이저 스캐닝 데이터 및 항공 이미지 | Zhang et.al (2019) | ||
| SAR 이미지 | Jaturapitpornchai et.al (2019) | ||
| 위성 이미지 및 GIS지도 | Ghaffarian et.al (2019) | ||
| 자원 및 환경 | 인간 중심의 환경 변화 | 위성 이미지 | Chen et.al (2016) |
| 수력 환경 변화 | 위성 이미지 | Nourani et.al (2018) | |
| 해빙 | SAR 이미지 | Gao et.al (2019), Gao et.al (2019) | |
| 지표수 | 위성 이미지 | Song et.al (2019), Rokni et.al (2015) | |
| 산림 모니터링 | 위성 이미지 | Khan et.al (2017), Lindquist et.al (2016), Deilmai et | |
| 자연 재해 | 산사태 매핑 | 항공 이미지 | Fang et.al (2020), Lei et.al (2019) |
| 위성 이미지 | Chen et | ||
| 손상 평가 | 위성 이미지 | 쓰나미 [Sublime et.al (2019), Singh et.al (2015)], 특정 사건 [Hedjam et.al (2019)], 홍수 [Peng et | |
| 항공 이미지 | 쓰나미로 인한 [Fujita et.al (2017)] | ||
| SAR 이미지 | 화재로 인한 [Planinšič et.al (2018)] 또는 지진 [Saha et.al (2018)] | ||
| 스트리트 뷰 이미지 | 쓰나미로 인한 [Sakurada et.al (2015)] | ||
| 스트리트 뷰 이미지 및 GIS지도 | 쓰나미로 인한 [Sakurada et.al (2017)] | ||
| 천문학 | 행성 표면 | 위성 이미지 | Kerner et.al (2019) |
현재 변경 감지 도구가있는 소프트웨어가 많이 있으며 간단한 요약이 있습니다 (표 5를 참조하십시오.
| 유형 | 이름 | 설명 |
|---|---|---|
| 광고 | Erdas는 상상합니다 | 원격 감지, 사진 측량, 라이더 분석, 기본 벡터 분석 및 다양한 변화 탐지 도구를 포함하여 단일 제품으로의 레이더 처리를 통합하는 진정한 값을 제공합니다. |
| arcgis | 래스터 계산기 도구 또는 딥 러닝 워크 플로를 사용하여 두 래스터 데이터 세트간에 변경 감지를 계산할 수 있습니다. | |
| 환경 | 변경 탐지 분석 도구 및 ENVI 딥 러닝 모듈을 제공합니다. | |
| Ecognition | Ecognition은 다양한 변경 매핑에 사용하고 Google Tensorflow ™ 라이브러리에서 딥 러닝 기술을 활용하여 고객에게 관심있는 패턴 인식 및 상관 도구를 통해 관심있는 객체의 분류를 더 빠르고 정확한 결과를 자동으로 자동으로 제공합니다. | |
| PCI Geomatica | 변화 탐지 도구를 제공하며 폭풍 피해, 산림 발사 피해, 홍수, 도시 스프롤 등과 같은 변화를 분석하려는 여러 상황에서 유용 할 수 있습니다. | |
| Sensetime | Senseremote 원격 감지 지능형 솔루션 | |
| 오픈 소스 | qgis | 많은 변화 탐지 도구를 제공합니다. |
| Orfeo 도구 상자 | 다변량 변경 검출기 (MAD) 알고리즘에 의한 변화 감지. | |
| 감지 도구 상자 변경 | 원격 감지 변경 감지를위한 MATLAB 도구 상자. |
다음 논문은 연구원 들이이 원격 감지 변화 감지 분야의 분야를 더 잘 이해하는 데 도움이됩니다 (표 6을 참조하십시오.
| 출판 된 연도 | 검토 논문 |
|---|---|
| 1989 | 원격으로 감지 된 데이터, IJRS를 사용한 디지털 변경 탐지 기술. [종이] |
| 2004 | 생태계 모니터링의 디지털 변경 탐지 방법 : 검토, IJRS. [종이] |
| 2004 | 변경 탐지 기술, IJRS. [종이] |
| 2012 | 객체 기반 변경 감지, IJRS. [종이] |
| 2013 | 원격 감지 이미지에서 감지 : 픽셀 기반에서 객체 기반 접근법, ISPR. [종이] |
| 2016 | 3D 변경 감지 - 접근 및 응용 프로그램, ISPR. [종이] |
| 2016 | 원격 감지 데이터를위한 딥 러닝 ART의 기술 튜토리얼, MGRS. [종이] |
| 2017 | 원격 감지의 딥 러닝에 대한 포괄적 인 조사 : 지역 사회의 이론, 도구 및 도전 과제 JRS. [종이] |
| 2017 | 원격 감지의 딥 러닝, mgrs. [종이] |
| 2018 | 광학 원격 감지 이미지 처리의 계산 지능, ASOC. [종이] |
| 2019 | 다국적 초 분광 이미지에서 변화 탐지 검토 : 현재 기술, 응용 및 과제, MGRS. [종이] |
| 2019 | 원격 감지 응용 프로그램의 딥 러닝 : 메타 분석 및 검토, ISPR. [종이] |
| 2020 | 원격 감지 이미지의 변화 탐지를위한 딥 러닝 : 포괄적 인 검토 및 메타 분석, Arxiv. [종이] |
| 2020 | 인공 지능을 기반으로 한 변화 : 최첨단 및 도전, Rs. [종이] |
[1] Hyperspectral Change Detection DataSet. 온라인으로 제공 : https://citius.usc.es/investigacion/datasets/hyperspectral-change-detection-dataset (2020 년 5 월 4 일에 액세스).
[2] 왕, Q.; 위안, Z.; du, Q.; Li, X. Getnet : 초 분광 이미지 변경 감지를위한 일반적인 엔드 투 엔드 2-D CNN 프레임 워크. IEEE 트랜스. 지오 스키. Remote Sens. 2018, 57, 3–13. [Google Scholar] [CrossRef]
[3] Daudt, RC; Le Saux, B.; Boulch, a.; Gousseau, Y. 대규모 시맨틱 변화 탐지를위한 멀티 태스킹 학습. 컴퓨터. Vis. 이미지 이해. 2019, 187, 102783. [Google Scholar] [CrossRef]
[4] JI, S.; Wei, s.; Lu, M. 개방형 항공 및 위성 이미지 데이터 세트에서 멀티 소스 건물 추출을위한 완전 컨볼 루션 네트워크. IEEE 트랜스. 지오 스키. Remote Sens. 2018, 57, 574–586. [Google Scholar] [CrossRef]
[5] Benedek, C.; Sziranyi, T. 다층 조건부 혼합 Markov 모델에 의한 광학 공중 이미지의 변화 감지. IEEE 트랜스. 지오 스키. Remote Sens. 2009, 47, 3416–3430. [Google Scholar] [CrossRef]
[6] Benedek, C.; Sziranyi, T. 시간 차이가 큰 항공 사진에서 변화 탐지를위한 혼합 마르코프 모델. 2008 년 12 월 8 ~ 11 일, 미국 플로리다 주 탬파에있는 2008 년 19 차 국제 국제 회의 진행에서; 1-4 쪽. [Google Scholar]
[7] Daudt, RC; Le Saux, B.; Boulch, a.; Gousseau, Y. Convolutional Neural Networks를 사용한 다중 스펙트럼 지구 관찰을위한 도시 변화 탐지. 2018 년 7 월 22 ~ 27 일, IGARS 2018 IEEE 국제 지구과학 및 원격 감지 심포지엄, 발렌시아, 스페인 발렌시아; 2115–2118 쪽. [Google Scholar]
[8] Zhang, M.; Shi, W. 기능 차이 컨볼 루션 신경 네트워크 기반 변경 감지 방법. IEEE 트랜스. 지오 스키. 원격 감각 2020, 1–15. [Google Scholar] [CrossRef]
[9] Wu, C.; Zhang, L.; Zhang, L. 다기능 매우 높은 해상도 원격 감지 이미지를위한 장면 변경 감지 프레임 워크. 신호 프로세스. 2016, 124, 184–197. [Google Scholar] [CrossRef]
[10] Fujita, A.; 사쿠라 다, K.; Imaizumi, T.; Ito, R.; Hikosaka, S.; Nakamura, R. Convolutional Neural Networks를 통한 공중 이미지로부터의 손상 감지. 2017 년 5 월 8 일 ~ 12 일, Nagoya Univ, Nagoya Univ, MACHION VISION APPLICATIONS (MACHY VISION APPLICATIONS에 관한 2017 년 IAPR 국제 회의)의 절차에서; pp. 5–8 [Google Scholar]
[11] Gupta, R.; 굿맨, B.; Patel, N.; Hosfelt, R.; Sajeev, S.; Heim, E.; 도시, J.; 루카스, K.; Choset, H.; Gaston, M. 생성 XBD : 위성 이미지의 건물 손상을 평가하기위한 데이터 세트. 컴퓨터 비전 및 패턴 인식 워크샵에 관한 IEEE 컨퍼런스의 절차에서 2019 년 6 월 16 일부터 20 일까지 미국 캘리포니아 주 롱 비치; pp. 10–17. [Google Scholar]
[12] Bourdis, N.; Marraud, D.; Sahbi, H. 공중 이미지 변화 감지를위한 구속 된 광학 흐름. 2011 년 7 월 24 일 ~ 29 일 캐나다 밴쿠버, 밴쿠버, 2011 IEEE 국제 지구과학 및 원격 감지 심포지엄의 절차; pp. 4176–4179. [Google Scholar] [CrossRef]
[13] Lebedev, MA; Vizilter, YV; Vygolov, ov; Knyaz, VA; Rubis, 조건부 적대적 네트워크를 사용하여 원격 감지 이미지에서 변경 감지. ISPRS int. 아치. 사진 영구. 원격 감지 Spat. inf. 공상 과학. 2018, 565–571. [Google Scholar] [CrossRef]
[14] Chen, H.; Shi, Z. A Spatial-Temporal Attention-Based Method and a New Dataset for Remote Sensing Image Change Detection. Remote Sensing, 12(10), 1662. [Google Scholar] [CrossRef]
[15] Alcantarilla, PF; Stent, S.; Ros, G.; Arroyo, R.; Gherardi, R. Street-view change detection with deconvolutional networks. Auton. 기계 인간. 2018, 42, 1301–1322. [Google Scholar] [CrossRef]
[16] Sakurada, K.; Okatani, T. Change detection from a street image pair using CNN features and superpixel segmentation. In Proceedings of the British Machine Vision Conference (BMVC), Swansea, UK, 7–10 September 2015; pp. 61.1–61.12. [Google Scholar]
[17] Sakurada, K.; Okatani, T.; Deguchi, K. Detecting changes in 3D structure of a scene from multi-view images captured by a vehicle-mounted camera. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Portland, OR, USA, 23–28 June 2013; pp. 137–144. [Google Scholar]
[18] Goyette, N.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Ishwar, P. Changedetection. net: A new change detection benchmark dataset. In Proceedings of the 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, Providence, RI, USA, 16–21 June 2012; pp. 1–8. [Google Scholar]
[19] Wang, Y.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Benezeth, Y.; Ishwar, P. CDnet 2014: An Expanded Change Detection Benchmark Dataset. In Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops, Columbus, OH, USA, 23–28 June 2014; pp. 393–400. [Google Scholar]
[20] Goyette, N.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Ishwar, P. A Novel Video Dataset for Change Detection Benchmarking. IEEE Trans. Image Process. 2014, 23, 4663–4679. [Google Scholar] [CrossRef]
[21] Volpi, Michele; Camps-Valls, Gustau; Tuia, Devis (2015). Spectral alignment of multi-temporal cross-sensor images with automated kernel canonical correlation analysis; ISPRS Journal of Photogrammetry and Remote Sensing, vol. 107, pp. 50-63, 2015. [CrossRef]
[22] LT Luppino, FM Bianchi, G. Moser and SN Anfinsen. Unsupervised Image Regression for Heterogeneous Change Detection. IEEE Transactions on Geoscience and Remote Sensing. 2019, vol. 57, no. 12, pp. 9960-9975. [CrossRef]
[23] D. Peng, L. Bruzzone, Y. Zhang, H. Guan, H. Ding and X. Huang, SemiCDNet: A Semisupervised Convolutional Neural Network for Change Detection in High Resolution Remote-Sensing Images. IEEE Transactions on Geoscience and Remote Sensing. 2020. [CrossRef]
[24] Yang, Kunping, et al. Asymmetric Siamese Networks for Semantic Change Detection. arXiv preprint arXiv:2010.05687 (2020). [CrossRef]
[25] Zhang, C., Yue, P., Tapete, D., Jiang, L., Shangguan, B., Huang, L., & Liu, G. A deeply supervised image fusion network for change detection in high resolution bi-temporal remote sensing images. ISPRS Journal of Photogrammetry and Remote Sensing. 2020. [CrossRef]
[26] LEENSTRA, Marrit, et al. Self-supervised pre-training enhances change detection in Sentinel-2 imagery. arXiv. 2021. [CrossRef]
[27] SHI, Qian, et al. A Deeply Supervised Attention Metric-Based Network and an Open Aerial Image Dataset for Remote Sensing Change Detection. IEEE Transactions on Geoscience and Remote Sensing. 2021. [CrossRef]
[28] SHEN, Li, et al. S2Looking: A Satellite Side-Looking Dataset for Building Change Detection. arXiv. 2021. [CrossRef]
[29] LEBEDEV, MA, et al. CHANGE DETECTION IN REMOTE SENSING IMAGES USING CONDITIONAL ADVERSARIAL NETWORKS. International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences, 2018. [CrossRef]
[30] SUN, Yuli, et al. Structure Consistency-Based Graph for Unsupervised Change Detection With Homogeneous and Heterogeneous Remote Sensing Images. IEEE Transactions on Geoscience and Remote Sensing, 2021. [CrossRef]
[31] PARK, Jin-Man, et al. ChangeSim: Towards End-to-End Online Scene Change Detection in Industrial Indoor Environments. arXiv. 2021. [CrossRef]
If you find this review helpful to you, please consider citing our paper. [Open Access]
@Article{rs12101688,
AUTHOR = {Shi, Wenzhong and Zhang, Min and Zhang, Rui and Chen, Shanxiong and Zhan, Zhao},
TITLE = {Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges},
JOURNAL = {Remote Sensing},
VOLUME = {12},
YEAR = {2020},
NUMBER = {10},
ARTICLE-NUMBER = {1688},
URL = {https://www.mdpi.com/2072-4292/12/10/1688},
ISSN = {2072-4292},
DOI = {10.3390/rs12101688}
}
This list will be updated in time, and volunteer contributions are welcome. For questions or sharing, please feel free to contact us or make issues.
