CAN_Reverse_Engineering

自動化されたリバースエンジニアリングをペイロードできます

知らせ

この文書とコードで表明されている見解は著者の見解であり、米国空軍、米国陸軍、米国国防総省、または米国政府の公式政策または地位を反映していません。この資料は米国政府の仕事と宣言されており、米国では著作権保護の対象ではありません。このコードの公開開示の承認は、2019年3月8日に第8888888ABW-2019-0910に基づいて第88航空基地の広報によって承認されました。論文の未分類の開示は、2019年1月3日に事件番号88ABW-2019-0024に基づいて承認されました。

---

このプロジェクトには、乗用車から観察されたコントローラーエリアネットワーク（CAN）ペイロードの自動リバースエンジニアリングを促進することを目的としたPythonおよびRスクリプトがあります。このコードはもともと、コンピューターサイエンスの哲学博士号を追求する空軍工科大学のブレントストーン博士によって開発されました。使用されている方法の詳細については、「独自のコントローラーエリアネットワークの監査と侵入検知の有効化と侵入検知」というタイトルの論文を参照してください。タイプミス、悪い文法、削除したい著作権で保護された画像、またはその他の問題を見つけた場合、問題を開いてください！

車のハッカーハンドブックの共著者であるデイブ・ブランデルと、技術的なアドバイスとサウンディングボードとしてのサービスを提供してくれたオープンガレージコミュニティに感謝します。

ヒントとアドバイス

これらのスクリプトは、このリポジトリをクローニングするときにすぐには実行されません。うまくいけば、これらのヒントが「なぜこれらのことが機能しないのか！？！？！」という時間と欲求不満を節約することで、 Open Garages Google Groupに投稿して質問してください。これらのスクリプトは、Python 3.6を使用して開発およびテストされました。 Pythonインタープリターが利用できるNumpy、Pandas、およびScikit-Learnパッケージがあることを確認してください。

ファイルには、データサンプルと3つのフォルダーの例が編成されています。各フォルダーは、相互依存のPythonクラスのセットまたはRoggerProgram0.logの例に示されている形式の缶データを調べるためのRスクリプトのセットです。それに応じてPreprocessor.pyを調整することで、さまざまなファイル形式を使用できます。

• フォルダー1：パイプライン

  • LoggerProgram0.logをこのフォルダーにコピーして、main.pyを実行するだけです。
  • これは、論文で説明されているパイプラインの最も基本的な実装です。コードの80％以上がmain.pyから参照されています。 Main.pyで行われた通話に従って、データがどのように処理され、ディスクに保存されているかを確認します。
  • 残りの20％は、Pythonで物事を行うさまざまな方法の参照として機能するか、保存する価値のある興味深い実験（Smith-Waterman Searchのような）のいずれかのコードの未使用の部分です。

• フォルダー2： pipeline_multi-file

  • これは、論文で提示された概念の最も完全で堅牢な実装です。ただし、このコードは、一度に多くのCANデータサンプルの自動処理を可能にするために、より複雑です。 PythonとPandasにまだあまり快適でない場合は、この拡張されたバージョンのコードを実行しようとする前に、パイプラインフォルダーのスクリプトがどのように機能するかを確認してください。

  • このフォルダーには、パイプラインから同じクラスが含まれています。ただし、ここではいくつかのバグが修正されましたが、パイプラインで保存されたクラスでは修正されませんでした。寛大な魂が修正をパイプラインに戻したい場合、私は喜んでフォークを融合させます。

  • 予想されるフォルダー構造に関するコメントを必ずお読みください！

• フォルダー3： Rスクリプト

  • RスクリプトにはREDMパッケージが必要です。一連のRコマンドのシーケンシャルシリーズのcommands_list.txtを探します。 EDMの詳細については、UC San DiegoのSugihara Lab Homepage：https：//deepeco.ucsd.edu/を参照してください。

  • フォルダー「City」と「Home」には、さまざまな運転条件中のエンジンRPM、ブレーキ圧力、および車両速度時系列の.CSVファイルが含まれます。各フォルダーには、redmパッケージを使用してこのデータを分析するためのコピーパステrコマンドの「commands_list _ ####。txt」ファイルが含まれています。

  • .RDAファイルと.pdfグラフィカル出力は、Rコマンドを使用した出力の例であり、.CSVデータを提供します。

[2020年4月の更新] Freemanは、コマンドライン引数とCan-Utilsログ形式の前処理のサポートを追加しました。使用法は次のとおりです。

can -utilsでの使用ログフォーマットpython main.py -c inputfile.log

python main.py - can-utils inputfile.log

例オリジナルフォーマットPython main.py originalformat.logで使用します

例で使用します。./loggerprogram0.logpython main.py

フォルダーによるスクリプト固有の情報

パイプライン

入力：loggerprogram0.logで実証された形式のデータは

• main.py
  1. 目的：このスクリプトは、このフォルダー内のすべての残りのスクリプトをリンクおよび呼び出します。スクリプト間のデータのフローを変更するために使用されるいくつかの「グローバル」変数と、ローカルハードディスクに出力されるファイルを処理します。
• Preprocessor.py
  1. 目的：このスクリプトは、.logファイルを読み取り、パンダデータフレームとして知られるランタイムデータ構造に変換する責任があります。一部の「データクリーニング」もこのスクリプトによって実行されます。出力は、 Arbid.pyで定義されたクラスに基づいた幼稚園のランタイムオブジェクトを含む辞書データ構造です。 J1979.pyは、SAE J1979標準に関連するデータフレーム内のデータを識別および抽出しようとするために呼び出されます。 J1979は公共コミュニケーションの基準であるため、このデータを次のスクリプトで特別に分析する必要はありません。
• lexicalanalysis.py
  1. 目的：このスクリプトは、 Preprocessor.pyによって作成されたデータフレームとAurbid Dictionaryに存在する時系列データについて教育を受けた推測を行う責任があります。個々の時系列は、 Signal.pyで定義されたクラスに基づいて、信号ランタイムオブジェクトの辞書を使用して記録されます。
• semanticanalysis.py
  1. 目的：このスクリプトは、 lexicalanalysis.pyによって生成された信号時系列の相関マトリックスを生成します。次に、その相関マトリックスを使用して、階層クラスタリングアルゴリズムのオープンソース実装を使用して信号時系列をクラスター化します。
• plotter.py
  1. 目的：このスクリプトは、オープンソースプロットライブラリを使用して、以前のスクリプトによって生成された信号時系列およびJ1979時系列のグループの視覚化を生成します。

出力：この一連のスクリプトは、 main.pyで定義されたグローバル変数に応じて、一連の出力を生成します。この出力には、次のものが含まれる場合があります。

• Python用のオープンソースピクルスライブラリを使用して、ランタイム辞書およびデータフレームオブジェクトの「ピックル」ファイル。これらのファイルは、同じ.logファイルがMain.pyへの入力に使用される場合、Pythonスクリプトの繰り返し実行を単純にスピードアップするだけです。
• .logファイルに存在する時系列データ間の相関マトリックスのコンマ分離値（.csv）プレーンテキストファイル。
• .logファイルに存在する時系列の散布図のグラフィックス。
• Semanticanalysis.pyの階層的クラスタリング中に生成された樹状図のグラフィック。樹状図は、階層的クラスタリングアルゴリズムの結果を視覚化するための十分に文書化された方法です。

pipeline_multi-file

入力：loggerprogram0.logで実証された形式のデータを使用できます。

• Main.pyおよびPipelineの他の同じ名前のスクリプトが更新され、スクリプトが複数の.logファイルを自動的にインポートおよび処理できるようにしています。
• fileboi.py
  1. 目的：これは、複数の.logファイルからのデータの検索と読み取りのロジスティクスを処理する一連の関数です。
• sample.py
  1. 目的： PipelineのMain.pyに存在する機能の多くは、このスクリプトに移動されました。これは、 fileboi.pyと組み合わせて動作し、複数の.logファイルを使用したロジスティクスを処理します。
• samplestats.py
  1. 目的：このスクリプトは、特定の.logファイルに関する一連の基本統計を作成および記録します。
• validator.py
  1. 目的：このスクリプトは、「列車テストスプリット」と呼ばれる一般的な機械学習検証手法を実行して、 lexicalanalysis.pyおよびsemanticanalysis.pyの出力の一貫性を定量化します。これは、 SampleStats.pyと併用して使用され、研究論文と論文の定量化可能な調査結果を作成しました。出力： pipeline_multi-fileの出力はパイプラインと同じですが、入力として使用される.logファイルのセットを保存するために使用されるファイル構造に従って編成されます。 samplestats.pyおよびvalidator.pyは、各.logファイルに関するいくつかの追加の統計メトリックも作成します。

r

入力：このフォルダーに含まれるような時系列データを含むPlain-Text .CSVファイル。

• commands_list.txt、commands_list_city.txt、commands_list_home.txt
  1. 目的：これは、公開されているREDMパッケージのRコマンドのリストです。目的は、REDMユーザーガイドに従って時系列の分析を実行することです。各バージョンは非常に類似しており、出力を視覚化する入力および.pdfファイルの別の.csvファイルを指すようにカスタマイズされています。

出力：

• .RDAファイル
  1. 目的：これらは、Rデータフレームオブジェクトをディスクに保存するためのマシン読み取り可能なファイルです。これらのすべてのファイルは、commands_list.txt、commands_list_city.txt、commands_list_home.txt、および提供された.csvファイルにリストされている操作を使用して生成されました。
• .pdfファイル
  1. 目的：これらは、提供された.csvファイルを使用して、Rコマンドの出力の視覚化です。