ホーム>プログラミング関連>パイソン
ダウンロード

人工知能に基づく検出を変更：最先端および課題

1。はじめに

リモートセンシング（RS）データに基づく変更検出データは、地球の表面の変化を検出する重要な方法であり、都市計画、環境監視、農業調査、災害評価、地図改訂に幅広い用途があります。近年、統合された人工知能（AI）テクノロジーは、新しい変化検出方法の開発に研究の焦点となっています。一部の研究者は、AIベースの変更検出アプローチが従来の変更検出アプローチよりも優れていると主張していますが、AIがどのように、どの程度AIが変化検出のパフォーマンスを改善できるかはすぐにはわかりません。このレビューは、変更検出のためのAIの最先端の方法、アプリケーション、および課題に焦点を当てています。具体的には、AIベースの変更検出の実装プロセスが最初に導入されます。次に、光学RSデータ、合成開口レーダー（SAR）データ、ストリートビュー画像、および複合的な不均一データなど、変化検出に使用されるさまざまなセンサーからのデータが表示され、利用可能なオープンデータセットもリストされています。 AIベースの変更検出方法の一般的なフレームワークがレビューされ、体系的に分析され、AIベースの変更検出で使用される監視なしスキームがさらに分析されます。その後、変化検出のためにAIで一般的に使用されるネットワークについて説明します。実用的な観点から、AIベースの変更検出方法のアプリケーションドメインは、その適用性に基づいて分類されます。最後に、（a）不均一なビッグデータ処理、（b）監視されていないAI、および（c）AIの信頼性を含む、変更検出に関するAIの主要な課題と見通しについて議論および描写されます。このレビューは、この分野を理解する研究者にとって有益です。

図1。変化検出の一般的な概略図。

2。実装プロセス

図2は、AIベースの変更検出の一般的な実装プロセスを提供しますが、AIモデルの構造は多様であり、さまざまなアプリケーションの状況とトレーニングデータに応じて適切に設計する必要があります。 Tensorflow、Keras、Pytorch、Caffeなどの既存の成熟したフレームワークは、研究者がAIモデルの設計、トレーニング、展開をより簡単に実現するのに役立つことに言及する価値があり、その開発文書は詳細な紹介を提供します。

図2。AIベースの変更検出の実装プロセス（黒い矢印はワークフローを示し、赤い矢印は例を示します）。

2.1 AIベースの方法の利用可能なコード

表1。AIベースの変更検出方法の利用可能なコードのリスト。
方法キーワード出版（re）実装
srcdnet CNN;シャム;注意;超解像度;光学Rsさまざまな解像度の画像用のスタックされた注意モジュールを備えたスーパー解像度ベースの変更検出ネットワーク、TGRS、2021。[Paper]、[Code、Dataset] Pytorch 1.2
escnet CNN;シャム;スーパーピクセル;光学Rs非常に高解像度のリモートセンシング画像のためのエンドツーエンドのスーパーピクセル強化変化検出ネットワーク。 TNNLS、2021。[Paper]、[code] Pytorch 1.3
kpcamnet CNN;シャム; KPCA;監視なし;光学RsディープカーネルPCA畳み込みマッピングネットワーク、TCYB、2021。[Paper]、[Code]に基づく多面的なVHR画像の監視なし変更検出Python
セコcnn（resnet）;転送学習;光学Rs季節的なコントラスト：未確認のリモートセンシングデータからの監視なしの事前トレーニング、ARXIV、2021。[Paper]、[Code、Dataset] Pytorch 1.7
capsnetカプセルネットワーク（segcaps）; CVA;シャム;光学Rs空中リモートセンシング画像のための擬似シアムカプセルネットワーク変更検出、GRSL、2020。ケラス
BIT_CD CNN（RESNET18）;シャム;注意;トランス;光学Rs変圧器によるリモートセンシング画像変更検出、TGRS、2021。[Paper]、[コード、データセット、事前訓練モデル] Pytorch 1.6
iaug_cdnet cnn（gaugan+unet）;シャム;ガン;監督;光学Rsリモートセンシング画像での変更変更検出のための敵対的なインスタンスの増強、TGRS、2021。[Paper]、[Code、Dataset] Pytorch
ddnet CNN; di+fcm;監視なし; sarデュアルドメインネットワーク、GRSL、2021を使用した合成開口レーダー画像の検出を変更。[Paper]、[Code、Dataset] Pytorch
Snunet-CD cnn（nestedunet）;シャム;注意;監督;光学Rs Snunet-CD：VHR画像の変化検出のための密に接続されたシャムネットワーク、GRSL、2021。 Pytorch 1.4
DSMSCN CNN;シャム;マルチスケール;監視なし/監督;光学Rs高解像度のバイテンポラルリモートセーニング画像における変化検出のための深く監視されている画像融合ネットワーク、Arxiv、2020。[Paper]、[Code、Dataset] Tensorflow 1.9
siamcrnn CNN+RNN;シャム;マルチソース;光学Rs深いシャム畳み込み型畳み込み型多層ニューラルネットワーク、TGRS、2020を介したマルチソースVHR画像の検出を変更します。[Paper]、[Code、Dataset] Tensorflow 1.9
dsifn CNN;注意メカニズム;光学Rs高解像度のバイテンポラルリモートセニング画像での変化検出のための深く監視されている画像融合ネットワーク、ISPRS、2020。[Paper]、[Code、Dataset] Pytorch＆Keras
ceecnet CNN;注意メカニズム;類似性測定;光学Rs変化をお探しですか？サイコロを転がして注意を要求する、arxiv、2020。[紙]、[コード、データセット] mxnet + python
Lamboisenet cnn（light unet ++）;光学Rs深い学習、マスター論文を使用した衛星画像の検出を変更します。 [コード、データセット、事前に訓練されたモデル] Pytorch
DTCDSCN CNN;シャムレビューを受けている深いシャム畳み込みネットワークモデルを制約したデュアルタスクを使用したリモートセンシング画像の構築チェンジ検出。 [コード、データセット] Pytorch
土地被覆分析CNN（UNET）;分類後;光学Rs畳み込みニューラルネットワークを使用して、サイクロンの影響を受ける地域の土地利用/土地カバーの検出。 [レポート]、[コード、データセット、事前訓練モデル] Tensorflow+Keras
corrfusionnet CNN;シーンレベル;シャム;光学Rs相関ベースの融合ネットワークは、多時代のシーンの分類と変化の検出に向けて、レビューを受けています。 [コード、事前訓練されたモデル]、[データセット] Tensorflow 1.8
sscdnet CNN（RESNET18）;シャム;転送学習;セマンティック; StreetView弱く監視されたシルエットベースのセマンティックシーンの変更検出、ICRA、2020。 pytorch+python3.6
heterogeneous_cd AE（コードアリードAE）;監視なし;変換;不均一;光学Rsマルチモーダルリモートセンシング画像における監視されていない変更検出のためのコード整合自動エンコーダー、Arxiv、2020。[Paper] [Code、Dataset] Tensorflow 2.0
fdcnn CNN（VGG16）;転送学習;純粋なシアム;マルチスケール;光学Rs特徴の違い畳み込みニューラルネットワークベースの変更検出方法、TGRS、2020。 Caffe+Python2.7
スタネットCNN（ResNet-18）;注意メカニズム;純粋なシアム;空間的依存関係;光学Rs空間的な注意ベースの方法とリモートセンシング画像変更検出のための新しいデータセット、RS、2020。[Paper] [Code、Dataset] pytorch+python3.6
x-net CNN;監視なし;変換;不均一;光rs; sarアフィニティベースの変更を伴う深い画像翻訳は、監視されていないマルチモーダル変更検出のための先行、2020。[Paper] [Code、Dataset] Tensorflow 1.4
Ace-net AE（敵対的な環状エンコーダー）;監視なし;変換;不均一;光rs; sarアフィニティベースの変更を伴う深い画像翻訳は、監視されていないマルチモーダル変更検出のための先行、2020。[Paper] [Code、Dataset] Tensorflow 1.4
vgg_lr CNN（VGG16）;転送学習;純粋なシアム; slic;低ランク;光学Rsディープ機能と低ランクに基づく検出の変更、GRSL、2017。[Paper] [再実装コード、データセット、事前訓練モデル] Caffe+Matlab
cdnet CNN;シャム;マルチモーダルデータ;ポイントクラウドデータ空中レーザースキャンと写真測量データの間の建物の変化の検出、RS、2019。[Paper]、[Code] Pytorch
sccn ae（dae）;監視なし;不均一;光rs; sar不均一な光学およびレーダー画像に基づく変化検出のための深い畳み込み結合ネットワーク、TNNLS、2018。 Tensorflow 2.0
cganガン（条件付きガン）;不均一;光rs; sar不均一な画像における変化検出のための条件付き敵対的なネットワーク、GRSL、2019。[Paper] [再実装コード] Tensorflow 2.0
dasnet CNN（VGG16）;シャム;注意メカニズム;光学Rs DASNET：高解像度の衛星画像の変化検出のためのデュアル丁寧な完全畳み込みシャムネットワーク、ARXIV、2020。[Paper] [コード、データセット、事前訓練モデル] pytorch+python3.6
unetlstm CNN（UNET）; RNN（LSTM）;統合モデル。光学Rs多面的なセンチネル2データ、Igarss、2019年からの再発性ニューラルネットワークによる都市の変化の検出。 pytorch+python3.6
cdmi-net CNN（UNET）;純粋なシアム;複数のインスタンス学習。地滑りマッピング。光学Rs地滑りマッピングの深い複数のインスタンス学習、GRSL、2020。[紙] [コード、事前訓練モデル] pytorch+python3.6
dsfanet DNN;監視なし;事前分類;遅い機能分析。光学Rs監視されていないディープスローフィーチャイメージ、多時的なリモートセンシング画像における変化検出のための分析、TGRS、2019。[Paper] [Code、Dataset] Tensorflow 1.7
cd-unet ++ CNN（UNET ++の改善）;直接分類;光学Rs改良されたUNET ++、RS、2019を使用した高解像度衛星画像のエンドツーエンドの変更検出。[Paper] [Code] Tensorflow+Keras
SiamesEnet CNN（VGG16）;純粋なシアム;光学Rs衛星画像におけるパッチベースの変更検出のためのマルチレベル機能を備えたシャムネットワーク、Globalsip、2018。[Paper] [Code、Dataset] Tensorflow+Keras
re3fcn cnn（reblstm）; PCA; 3D畳み込み;マルチクラスの変更;光rs;ハイパースペクトル再発3D完全畳み込みネットワークを使用したハイパースペクトル画像の検出を変更する、RS、2018。[Paper] [Code、Dataset] Tensorflow+Keras
FC-EF、FC-SIAM-CONC、FC-SIAM-DIFF CNN（UNET）;純粋なシアム;光学Rs変化検出のための完全な畳み込みシャムネットワーク、ICIP、2018。[Paper] [Code、Dataset] Pytorch
cosimnet cnn（deeplab v2）;純粋なシアム; StreetView変更を測定するための学習：シーン変更検出のための完全な畳み込みシャムメトリックネットワーク、ARXIV、2018。 pytorch+python2.7
マスクr-cnnマスクR-CNN（ResNet-101）;転送学習;分類後;光学Rsスラムセグメンテーションと変更検出：ディープラーニングアプローチ、NIP、2018。 Tensorflow+Keras
カフェネットcnn（caffenet）;監視なし;転送学習;光学Rs畳み込みニューラルネットワーク機能衛星画像の変更ベースの変更、IWPR、2016。[Paper] [Code、Dataset] Tensorflow+Keras
cwnn CNN（CWNN）;監視なし;事前分類; sar Convolutional Wavelet Neural Networks、GRSL、2019に基づくSAR画像の海氷交換検出。マトラブ
mlfn CNN（densenet）;転送学習; sar合成開口レーダー画像からの海氷変化の検出のためのディープラーニングの転送、GRSL、2019。[Paper] [Code、Dataset] Caffe+Matlab
GarborpCanet CNN（pcanet）;監視なし;事前分類;ガボールウェーブレット; sar PCANET、GRSL、2016に基づく合成開口レーダー画像の自動変化検出。[Paper] [Code、Dataset]マトラブ
ms-capsnet cnn（ms-capsnet）;カプセル;注意メカニズム;適応融合畳み込み; sar Multiscale Capsule Network、GRSL、2020に基づいたSAR画像の検出を変更します[Paper] [Code、Dataset] Matlab+Keras2.16
dcnet CNN;監視なし;事前分類; sarチャネルの重み付けベースのディープカスケードネットワーク、JSTARS、2019年に基づく合成開口レーダー画像からの検出の変更。[Paper] [Code、Dataset]カフェ
changenet CNN;シャム; StreetView changenet：視覚変化検出のための深い学習アーキテクチャ、ECCV、2018。[Paper] [Code、Dataset] Pytorch
他の人はすぐに追加されます！

2.2従来の方法の利用可能なコード

表2。従来の変更検出方法のための利用可能なコードのリスト。
方法キーワード出版実装
いくつかの古典的な方法CVA; DPCA;画像の違い;画像比率;画像回帰; ir-mad;狂った; pcakmeans; PCDA; Kmeans;オツ;固定しきい値リモートセンシング変更検出のためのツールボックス。 [コード]マトラブ
MATLABツールボックスの変更検出ir-mad; IT-PCA;えー; ICM監視されていない変更検出分析のためのツールボックス、IJRS、2016。[Paper] [Code]マトラブ
RFR、SVR、GPR監視なし;画像回帰;不均一;光rs; sar不均一な変化検出のための監視されていない画像回帰、TGRS、2019。[Paper] [Code]マトラブ
hpt監視なし;変換;不均一;光rs; sar均一なピクセル変換、TIP、2018を介した異種リモートセンシング画像の検出を変更します。[Paper] [再実装コード]マトラブ
KCCA標準的な相関分析。クロスセンサー;光学Rs自動化されたカーネル相関分析を伴う多粘度のクロスセンサー画像のスペクトルアラインメント、IJPRS、2015。[Paper] [Code]マトラブ
ker。 diff。 RBF監視なし; k-means;光学Rsカーネルによる監視なしの変更検出、GRSL、2012。[Paper] [Code]マトラブ
FDA-RM diベース;周波数ドメイン分析;ランダムマルチグラフ; sar合成開口レーダー画像の変化周波数ドメイン分析とランダムマルチグラフ、JARS、2018。[Paper] [Code]に基づく検出マトラブ
CD-NR-ELM diベース;事前分類;極端な学習マシン; sar近隣ベースの比率と極端な学習マシン、JARS、2016 [Paper] [Code、Dataset]に基づいた合成開口レーダー画像からの検出を変更するマトラブ
なし尤度比。テスト統計; sar Polarimetric SAR画像の検出の変更、2015年。[レポート] [コード] Python
PCA K-Means監視なし; diベース; PCA; kは意味します。光学Rs主成分分析とK-meansクラスタリング、GRSL、2009を使用した衛星画像の監視なし変更検出。マトラブ
PTCDテンソル;ハイパースペクトル光学Rs監視されていないハイパースペクトル変化検出のための3次タッカー分解および再構築検出器。 JSTARS、2021。[Paper] [コード、データセット]マトラブ
GBF-CDデータ融合;グラフ; em; ki;適用されるグラフベースのデータ融合：稲作の検出とバイオマス推定の変更。リモートセンシング、2020 [紙] [コード、データセット]マトラブ
他の人はすぐに追加されます！

3.データセットを開きます

現在、変更検出のための自由に利用可能なデータセットがいくつかあります。これは、将来の研究でAIトレーニングと精度評価のためのベンチマークデータセットとして使用できます。詳細情報を表3に示します。

表3。変更検出のためのオープンデータセットのリスト。
タイプデータセット説明
光学Rs DSIFNデータセット[25] Google Earthからの6時代の高解像度画像。トレーニング用の512×512のサイズの3600の画像ペア、検証用の340、テスト用の48の画像ペアがあります。 [ダウンロード]
S2MTCP [26] 1520 Sentinel-2レベル1C画像ペアは、世界中の都市部に焦点を当てており、10mの空間分解能と600x600ピクセルのサイズがあります。幾何学または放射測定補正は実行されません。 [ダウンロード]
sysu-cd [27] 2007年から2014年の間に香港で撮影されたサイズ256×256の0.5 mの空中画像の20000ペア、6つの変更タイプを含む。 （b）郊外の拡張。 （c）建設前の基礎。 （d）植生の変化。 （e）道路拡張。 （f）海の建設。 [ダウンロード]
s2looking [28]建物の変化検出データセットは、世界中の農村地域の5000の登録されたビット側頭画像ペア（1024*1024、0.5〜0.8m/ピクセルのサイズ）と、65,920を超える注釈付き変更インスタンスで構成され、新しく建てられた破壊された建物を個別に示します[ダウンロード]
合成および実際の画像データセット[29]データベースには、オブジェクトシフトなしの12,000トリプルの合成画像、オブジェクトシフトを備えた12,000トリプルのモデル画像、および実際のリモートセンシング画像の16,000トリプルのフラグメントが含まれています。実行されたテストは、提案されたCNNが合成画像および実際の画像での変化検出において十分に有望で効率的であることを示しています[ダウンロード]
セマンティック変更検出データセット（2番目）[24]ピクセルレベルの注釈付きセマンティック変更検出データセット。いくつかのプラットフォームとセンサーから512 x 512ピクセルの4662ペアの空中画像を含む、杭州、成都、上海をカバーしています。 6つのメインランドカバークラス、すなわち、自然や人工の地理的変化に頻繁に関与する、6つのメインランドカバークラス、すなわち、植生のない地面、木、低植生、水、建物、遊び場に焦点を当てています。 [ダウンロード]
ハイパースペクトル変化検出データセット[1] 224または242のスペクトルバンドを備えたAvirisまたはHyperionセンサーによって取得された3つの異なるハイパースペクトルシーン。ピクセルレベルでの作物移行に関連する5種類の変更とラベル付けされています。 [ダウンロード]
River HSISデータセット[2]中国の江蘇省の2 HSIは、198のバンドがあり、ピクセルレベルで変化し、変化していないとラベル付けされています。 [ダウンロード]
HRSCD [3]ピクセルレベルの変更と土地被覆アノテーションを備えたRGB航空画像の291の共登録ペア。たとえば、レベル1のラベルには、情報なし、人工表面、農業地域、森林、湿地、水の5つのクラスが含まれます。 [ダウンロード]
WHUビルディングデータセット[4]建物のベクトルマップとラスターマップとともに提供される12,796の建物を含む2期間の空中画像。 [ダウンロード]
Sztaki Air Change Benchmark [5、6] 13の空間画像ペアは、1.5 mの空間分解能で、ピクセルレベルで変更され、変化しないとラベル付けされています。 [ダウンロード]
OSCD [7] Sentinel-2によって取得された24ペアのマルチスペクトル画像。ピクセルレベルで変更され、変更されていないとラベル付けされています。 [ダウンロード]
検出データセットの変更[8]異なる空間解像度を持つ4組のマルチスペクトル画像。ピクセルレベルで変更され、変化しないとラベル付けされています。 [ダウンロード]
mts-wh [9]イコノスセンサーによって取得された2つの大規模VHR画像、4つのバンドと1 Mの空間分解能を備えた、シーンレベルで5種類の変更（すなわち、駐車、駐車場、住宅地、植生地域）とラベル付けされました。 [ダウンロード]
ABCD [10]津波による洗浄された建物を検出するための16,950ペアのRGB空中画像、シーンレベルで損傷した建物とラベル付けされました。 [ダウンロード]
XBD [11]ダメージ評価を構築するための災害前および災害後の衛星画像は、6つの災害タイプから850,000を超える建物ポリゴンを備えており、ピクセルレベルで4つのダメージスケールでラベル付けされています。 [ダウンロード]
AICD [12]レンダリングエンジンで生成された人工的な変化を伴う合成航空画像1000ペア。ピクセルレベルで変更され、変化しないとラベル付けされています。 [ダウンロード]
合成および実際の画像のデータベース[13] Google Earthが取得した24,000の合成画像と、Pixelレベルで変更されていないとラベル付けされたGoogle Earthによって得られた実際のシーズン変化のRS画像の16,000の断片。 [ダウンロード]
levir-cd [14] 637非常に高解像度（VHR、0.5m/ピクセル）Google Earth（GE）画像パッチペアは1024×1024ピクセルのサイズで、合計31,333個の個別の変更ビルディングインスタンスが含まれており、ピクセルレベルで変更されていないとラベル付けされています。 [ダウンロード]
バストロップファイアデータセット[21]テキサス州バストロップ郡（米国）で異なるセンサーによって取得された4つの画像。イベント前の画像としてLandsat 5 tmで構成され、Landsat 5 tm、EO-1 AliとLandsat 8は、主に山火事によって引き起こされるピクセルレベルで変更されて変化していないとラベル付けされています。 [ダウンロード]
Googleデータセット[23] 19シーズン変化のVHR画像ペアスウィス赤、緑、青の3バンド、0.55 mの空間分解能、および1006×1168ピクセルから4936×5224ピクセルの範囲のサイズ。画像の変更には、水、道路、農地、裸地、森林、建物、船などが含まれます。 2006年から2019年の間に期間中に買収され、中国広州市の郊外地域をカバーしました。 [ダウンロード]
光学RS＆SARカリフォルニアデータセット[22] 2017年に9チャンネルでLandsat 8がキャプチャしたRS画像、洪水の発生後にSentinel-1A（偏光VVおよびVHで記録）によってキャプチャされたSAR画像、およびグラウンドトゥルースマップを含む3つの画像。 [ダウンロード]
均一なCDデータセット[30] 6シナリオ：シナリオ1 2つの単極化データセットを備えたシナリオ1。 2つのPOLSARデータセットを備えたシナリオ2。 2つの光学画像データセットを備えたシナリオ3。 heterogeneouscd：2つのSAR/光（マルチスペクトル）データセットを備えたシナリオ4。シナリオ5異なるセンサーから取得した異なるバンドの2つのマルチスペクトルデータセットを備えた。 Twopolsar/光（マルチスペクトル）データセットを備えたシナリオ6。 [ダウンロード]
ストリートビューVL-CMU-CD [15] 1362 RGBと深さ画像の共同登録ペア、グラウンドトゥルースの変化（例えば、ビン、サイン、車両、ゴミ、建設、交通コーン、人/サイクル、バリア）とピクセルレベルでのスカイマスク。 [ダウンロード]
PCD 2015 [16] 「津波」および「GSV」サブセットの200のパノラマ画像ペア、224×1024ピクセルのサイズで、ピクセルレベルで変更されて変化していないラベル。 [ダウンロード]
検出データセットの変更[17] 5000×2500ピクセルのサイズの2つの異なる時点で車両に取り付けられたカメラによってキャプチャされた街路の画像シーケンスは、ピクセルレベルで3Dシーン構造の変化とラベル付けされています。 [ダウンロード]
cv CDNET 2012 [18]各カテゴリに4〜6個のビデオシーケンスを備えた6ビデオカテゴリがあり、GroundTruth画像には5つのラベルが含まれています。すなわち、静的、ハードシャドウ、関心のある領域の外側、未知の動き（通常、感動的なオブジェクトの周り、半透明性と動きのぼやけのため）、および動きが含まれます。 [ダウンロード]
CDNET 2014 [19,20]多くの監視設定で遭遇する課題を組み込んだ5つの新しいカテゴリにまたがる22の追加ビデオ（〜70; 000ピクセルごとの注釈付きフレーム）。
Changesim [31]オンラインシーンの変更の検出などを目的とした挑戦的なデータセットは、空気の濁りや光の状態の変化、および産業用屋内環境のターゲットを絞ったオブジェクトの変更など、環境の非ターゲットバリエーションの存在で写真と現実的なシミュレーション環境で収集します。 [ダウンロード]
その他のビデオデータセット

変更検出タスクに使用できるオープンデータセットの量は小さく、一部のデータサイズが少ないことがわかります。現在、AIトレーニングに使用できる大規模なSARデータセットがまだ不足しています。ほとんどのAIベースの変更検出方法は、限られた種類の変更を含むいくつかのSARデータセットに基づいています。たとえば、BERNデータセット、オタワデータセット、イエローリバーデータセット、およびメキシコデータセットは、複雑な土地被覆とさまざまな変更タイプを持つ地域での変更検出のニーズを満たすことができません。さらに、彼らのラベルは自由に利用できません。ストリートビューデータセットは、一般に、コンピュータービジョン（CV）におけるAIベースの変化検出方法の研究に使用されます。 CVでは、写真やビデオに基づいた変更検出もホットな研究分野であり、基本的なアイデアはRSデータに基づくものと一致しています。したがって、Street View画像データセットに加えて、CVのいくつかのビデオデータセットを使用して、CDNET 2012やCDNET 2014などのAIベースの変更検出方法の研究にも使用できます。

4。アプリケーション

AIベースの変更検出技術の開発により、多くのアプリケーションが大幅に促進され、自動化とインテリジェンスが改善されました。ほとんどのAIベースの変更検出はバイナリマップを生成し、これらの研究は特定のアプリケーションフィールドなしでアルゴリズム自体にのみ焦点を当てています。したがって、それらは一般にLULC変化の検出に適していると考えることができます。このセクションでは、特定のアプリケーションに関連付けられている手法に焦点を当て、4つのカテゴリに広く分割できます。

  • 都市のコンテキスト：都市の拡大、公共空間管理、および構築変化の検出。
  • 資源と環境：人間主導の環境変化、水力環境の変化、海氷、地表水、森林監視。
  • 自然災害：地滑りのマッピングと損傷の評価。
  • 天文学：惑星表面。

さまざまなアプリケーションカテゴリについて、文献のさまざまな変更検出手法の概要を説明します。これらのアプリケーションに関連付けられた作業とデータ型を表4に示します。

表4。AIベースの変更検出手法の主要なアプリケーションの概要。
アプリケーションデータ型論文
都市の文脈都市の拡大衛星画像Lyu et.al（2018）、Tong et.al（2007）
SAR画像iino et.al（2017）
パブリックスペース管理ストリートビュー画像Varghese et.al（2018）
路面UAV画像Truong et.al（2020）
構築変更検出空中画像Ji et.al（2019）、Sun et.al（2019）、nemoto et.al（2017）
衛星画像Huang et.al（2019）、Zhu et.al（2018）
衛星/空中画像Jiang et.al（2020）、Ji et.al（2018）、Saha et.al（2020）
空中レーザースキャンデータと空中画像Zhang et.al（2019）
SAR画像jaturapitpornchai et.al（2019）
衛星画像とGISマップGhaffarian et.al（2019）
リソースと環境人間主導の環境の変化衛星画像Chen et.al（2016）
水力環境の変化衛星画像Nourani et.al（2018）
海氷SAR画像Gao et.al（2019）、Gao et.al（2019）
地表水衛星画像Song et.al（2019）、Rokni et.al（2015）
森林監視衛星画像Khan et.al（2017）、Lindquist et.al（2016）、Deilmai et.al（2014）、Woodcock et.al（2001）、Gopal et.al（1996）
自然災害地滑りマッピング空中画像Fang et.al（2020）、Lei et.al（2019）
衛星画像Chen et.al（2018）、Ding et.al（2016）、Tarantino et.al（2006）
損傷評価衛星画像津波[Sublime et.al（2019）、Singh et.al（2015）]、特定の事件[Hedjam et.al（2019）]、Flood [Peng et.al（2019）]、または地震[Ji et.al（2019）]によって引き起こされた
空中画像津波によって引き起こされた[Fujita et.al（2017）]
SAR画像火によって引き起こされた[Planinšičet.al（2018）]または地震[Saha et.al（2018）]
ストリートビュー画像津波によって引き起こされた[Sakurada et.al（2015）]
ストリートビュー画像とGISマップ津波によって引き起こされた[Sakurada et.al（2017）]
天文学惑星表面衛星画像Kerner et.al（2019）

5。ソフトウェアプログラム

現在、変更検出ツールを備えた多数のソフトウェアがあり、それらの簡単な要約があります。表5を参照してください。

表5。変化検出のためのソフトウェアのリスト。
タイプ名前説明
コマーシャルエルダは想像しますリモートセンシング、写真測量、LIDAR分析、基本ベクトル分析、レーダー処理の統合、さまざまな変更検出ツールを含む単一の製品に真の値を提供します。
arcgis変更検出は、ラスター計算機ツールまたはディープラーニングワークフローを使用して、2つのラスターデータセット間で計算できます。
envi変更検出分析ツールとEnvi Deep Learningモジュールを提供します。
認知さまざまな変更マッピングに使用でき、Google Tensorflow™ライブラリからディープラーニングテクノロジーを活用することで、Ecognitionは、より速くて正確な結果を得るために、対象のオブジェクトの分類を自動化する非常に洗練されたパターン認識と相関ツールを顧客に支援します。
PCI Geomatica変化検出ツールを提供し、嵐の損傷、森林火災の損傷、洪水、都市のスプロールなど、変化を分析したい多くの状況で役立つ場合があります。
Sensetime Senseremoteリモートセンシングインテリジェントソリューション
オープンソースQGIS多くの変更検出ツールを提供します。
Orfeoツールボックス多変量変質検出器（MAD）アルゴリズムによる検出を変更します。
検出ツールボックスを変更しますリモートセンシングの変更のためのMATLABツールボックス。

6。変化検出のための論文を確認します

次の論文は、研究者がこのリモートセンシングの変化検出のこの分野をよりよく理解するために役立ちます。表6を参照してください。

表6。変更検出に関するレビュー論文のリスト。
公開された年レビューペーパー
1989年リモートセンシングデータ、IJRSを使用したデジタル変更検出技術。 [紙]
2004年生態系監視におけるデジタル変更検出方法：レビュー、IJRS。 [紙]
2004年検出技術を変更、IJRS。 [紙]
2012年オブジェクトベースの変更検出、IJRS。 [紙]
2013年リモートセンシング画像からの検出を変更：ピクセルベースからオブジェクトベースのアプローチ、ISPRS。 [紙]
2016年3D変更検出 - アプローチとアプリケーション、ISPRS。 [紙]
2016年リモートセンシングデータの深い学習最先端の技術チュートリアル、MGRS。 [紙]
2017年リモートセンシングにおける深い学習の包括的な調査：コミュニティ、JRSの理論、ツール、課題。 [紙]
2017年リモートセンシングの深い学習、mgrs。 [紙]
2018年光学リモートセンシング画像処理、ASOCの計算インテリジェンス。 [紙]
2019年多面的なハイパースペクトル画像における変化検出のレビュー：現在の手法、アプリケーション、および課題、MGR。 [紙]
2019年リモートセンシングアプリケーションの深い学習：メタ分析とレビュー、ISPRS。 [紙]
2020リモートセンシング画像における変化検出のための深い学習：包括的なレビューとメタ分析、arxiv。 [紙]
2020人工知能に基づく検出の変更：最先端および課題、Rs。 [紙]

7。参照

[1]ハイパースペクトル変化検出データセット。オンラインで入手可能：https：//citius.usc.es/investigacion/datasets/hyperspectral-change-setection-dataset（2020年5月4日にアクセス）。

[2] Wang、Q。;元、Z。; Du、Q。; Li、X。getnet：ハイパースペクトル画像変更検出のための一般的なエンドツーエンド2-D CNNフレームワーク。 IEEEトランス。 geosci。 Remote Sens。2018、57、3–13。 [Google Scholar] [CrossRef]

[3] Daudt、RC; Le Saux、B。; Boulch、A。; Gousseau、Y。大規模なセマンティック変更検出のためのマルチタスク学習。コンピューター。 Vis。画像は理解されています。 2019、187、102783。[Google Scholar] [CrossRef]

[4] Ji、S。; Wei、S。; Lu、M。オープンな航空および衛星画像データセットからのマルチソースビルディング抽出のための完全畳み込みネットワーク。 IEEEトランス。 geosci。 Remote Sens。2018、57、574–586。 [Google Scholar] [CrossRef]

[5]ベネデク、C。; Sziranyi、T。多層条件付き混合マルコフモデルによる光学航空画像の変化検出。 IEEEトランス。 geosci。 Remote Sens。2009、47、3416–3430。 [Google Scholar] [CrossRef]

[6]ベネデク、C。; Sziranyi、T。大きな時間の違いがある航空写真での変化検出のための混合マルコフモデル。 2008年12月8〜11日、米国フロリダ州タンパのパターン認識に関する2008年第19回国際会議の議事録。 pp。1–4。 [Google Scholar]

[7] Daudt、RC; Le Saux、B。; Boulch、A。; Gousseau、Y。畳み込みニューラルネットワークを使用したマルチスペクトル地球観測の都市変化検出。 Igarss 2018 IEEE International Geoscience and Remote Sensing SymposiumのIGARSSの議事録、スペイン、バレンシア、2018年7月22〜27日。 pp。2115–2118。 [Google Scholar]

[8] Zhang、M。; Shi、W。特徴の違い畳み込み型ニューラルネットワークベースの変化検出方法。 IEEEトランス。 geosci。 Remote Sens。2020、1–15。 [Google Scholar] [CrossRef]

[9]ウー、C。; Zhang、L。; Zhang、L。信号プロセス。 2016、124、184–197。 [Google Scholar] [CrossRef]

[10] Fujita、A。;サクラダ、K。; imaizumi、T。;伊藤、R。; hikosaka、S。;中村、R。畳み込みニューラルネットワークを介した航空画像からの損傷検出。 2017年5月8〜12日、日本、名古屋、名古屋大学、マシンビジョンアプリケーションに関する2017年15番目のIAPR国際会議（MVA）の議事録。 pp。5–8 [Google Scholar]

[11] Gupta、R。;グッドマン、B。; Patel、N。; Hosfelt、R。; Sajeev、S。;ハイム、E。; Doshi、J。;ルーカス、K。; Choset、H。; Gaston、M。XBDの作成：衛星画像からの建物の損傷を評価するためのデータセット。 2019年6月16〜20日、米国カリフォルニア州ロングビーチのコンピュータービジョンおよびパターン認識ワークショップに関するIEEE会議の議事録。 pp。10–17。 [Google Scholar]

[12] Bourdis、N。; Marraud、D。; Sahbi、H。空中画像変化の検出のための光学流量を制約します。 2011年7月24〜29日、カナダ、バンクーバー、バンクーバー、2011年IEEE International Geoscience and Remote Sensing Symposiumの議事録。 pp。4176–4179。 [Google Scholar] [CrossRef]

[13]マサチューセッツ州レベデフ。 Vizilter、YV; Vygolov、ov;バージニア州ナイアズ; Rubis、条件付き敵対的なネットワークを使用したリモートセンシング画像での変更検出。 isprs int。アーチ。 Photogramm。 remotesens。Spat。 Inf。 SCI。 2018、565–571。 [Google Scholar] [CrossRef]

[14] Chen、H。; Shi、Z。空間的な注意ベースの方法と、リモートセンシング画像変更の検出のための新しいデータセット。リモートセンシング、12（10）、1662。[Google Scholar] [CrossRef]

[15]アルカンタリラ、pf;ステント、S。 ROS、G。;アロヨ、R。; Gherardi, R. Street-view change detection with deconvolutional networks. Auton.ロボット。 2018, 42, 1301–1322. [Google Scholar] [CrossRef]

[16] Sakurada, K.; Okatani, T. Change detection from a street image pair using CNN features and superpixel segmentation. In Proceedings of the British Machine Vision Conference (BMVC), Swansea, UK, 7–10 September 2015; pp. 61.1–61.12. [Google Scholar]

[17] Sakurada, K.; Okatani, T.; Deguchi, K. Detecting changes in 3D structure of a scene from multi-view images captured by a vehicle-mounted camera. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Portland, OR, USA, 23–28 June 2013; pp. 137–144. [Google Scholar]

[18] Goyette, N.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Ishwar, P. Changedetection. net: A new change detection benchmark dataset. In Proceedings of the 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, Providence, RI, USA, 16–21 June 2012; pp. 1–8. [Google Scholar]

[19] Wang, Y.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Benezeth, Y.; Ishwar, P. CDnet 2014: An Expanded Change Detection Benchmark Dataset. In Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops, Columbus, OH, USA, 23–28 June 2014; pp. 393–400. [Google Scholar]

[20] Goyette, N.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Ishwar, P. A Novel Video Dataset for Change Detection Benchmarking. IEEE Trans. Image Process. 2014, 23, 4663–4679. [Google Scholar] [CrossRef]

[21] Volpi, Michele; Camps-Valls, Gustau; Tuia, Devis (2015). Spectral alignment of multi-temporal cross-sensor images with automated kernel canonical correlation analysis; ISPRS Journal of Photogrammetry and Remote Sensing, vol. 107, pp. 50-63, 2015. [CrossRef]

[22] LT Luppino, FM Bianchi, G. Moser and SN Anfinsen. Unsupervised Image Regression for Heterogeneous Change Detection. IEEE Transactions on Geoscience and Remote Sensing. 2019, vol. 57, no. 12, pp. 9960-9975. [CrossRef]

[23] D. Peng, L. Bruzzone, Y. Zhang, H. Guan, H. Ding and X. Huang, SemiCDNet: A Semisupervised Convolutional Neural Network for Change Detection in High Resolution Remote-Sensing Images. IEEE Transactions on Geoscience and Remote Sensing. 2020. [CrossRef]

[24] Yang, Kunping, et al. Asymmetric Siamese Networks for Semantic Change Detection. arXiv preprint arXiv:2010.05687 (2020). [CrossRef]

[25] Zhang, C., Yue, P., Tapete, D., Jiang, L., Shangguan, B., Huang, L., & Liu, G. A deeply supervised image fusion network for change detection in high resolution bi-temporal remote sensing images. ISPRS Journal of Photogrammetry and Remote Sensing. 2020. [CrossRef]

[26] LEENSTRA, Marrit, et al. Self-supervised pre-training enhances change detection in Sentinel-2 imagery. arXiv. 2021. [CrossRef]

[27] SHI, Qian, et al. A Deeply Supervised Attention Metric-Based Network and an Open Aerial Image Dataset for Remote Sensing Change Detection. IEEE Transactions on Geoscience and Remote Sensing. 2021. [CrossRef]

[28] SHEN, Li, et al. S2Looking: A Satellite Side-Looking Dataset for Building Change Detection. arXiv. 2021. [CrossRef]

[29] LEBEDEV, MA, et al. CHANGE DETECTION IN REMOTE SENSING IMAGES USING CONDITIONAL ADVERSARIAL NETWORKS. International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences, 2018. [CrossRef]

[30] SUN, Yuli, et al. Structure Consistency-Based Graph for Unsupervised Change Detection With Homogeneous and Heterogeneous Remote Sensing Images. IEEE Transactions on Geoscience and Remote Sensing, 2021. [CrossRef]

[31] PARK, Jin-Man, et al. ChangeSim: Towards End-to-End Online Scene Change Detection in Industrial Indoor Environments. arXiv. 2021. [CrossRef]

Cite

If you find this review helpful to you, please consider citing our paper. [Open Access] 

 @Article{rs12101688,
AUTHOR = {Shi, Wenzhong and Zhang, Min and Zhang, Rui and Chen, Shanxiong and Zhan, Zhao},
TITLE = {Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges},
JOURNAL = {Remote Sensing},
VOLUME = {12},
YEAR = {2020},
NUMBER = {10},
ARTICLE-NUMBER = {1688},
URL = {https://www.mdpi.com/2072-4292/12/10/1688},
ISSN = {2072-4292},
DOI = {10.3390/rs12101688}
}

注記

This list will be updated in time, and volunteer contributions are welcome. For questions or sharing, please feel free to contact us or make issues.

Reference materials:
  • I-Hope-Peace/ChangeDetectionRepository
  • Michele Volpi personal research page
  • llu025/Heterogeneous_CD
  • wenhwu/awesome-remote-sensing-change-detection
  • neverstoplearn/remote_sensing_change_detection
  • Change Detection in GIS
  • Gao Feng personal research page
  • Bobholamovic/ChangeDetectionToolbox
拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて