CAN_Reverse_Engineering

自動化可以有效載荷逆向工程

注意

本文檔中表達的觀點和守則是作者的觀點，不反映美國空軍，美國陸軍，美國國防部或美國政府的官方政策或立場。該材料被宣佈為美國政府的工作，在美國不受版權保護。批准公開披露該守則的批准已於2019年3月8日第88空軍基地公共事務批准，案件號為88ABW-2019-0910。未分類的論文披露於2019年1月3日批准了案件編號88ABW-2019-0024。

---

該項目包含Python和R腳本，旨在促進控制器區域網絡（CAN）有效載荷的自動化逆向工程。該守則最初是由空軍理工學院的布倫特·斯通（Brent Stone）博士開發的，以追求計算機科學哲學博士。有關使用方法的詳細信息，請參閱包括“啟用審計和入侵檢測的審計和入侵檢測”的詳細信息。請打開一個問題，讓我知道您是否找到任何錯別字，不良語法，您想要刪除的受版權保護的圖像或其他問題！

特別感謝《汽車黑客手冊》的合著者戴夫·布倫德爾（Dave Blundell）和開放式車庫社區的技術建議和發聲板。

提示和建議

這些腳本在克隆此存儲庫時不會立即運行。希望這些技巧能節省您的時間和挫敗感：“為什麼這些事情不起作用！？！？！”請通過在開放式車庫Google Group中發布問題來提出問題。這些腳本是使用Python 3.6開發和測試的。請確保您的Python解釋器可提供Numpy，Pandas和Scikit-Learn軟件包。

這些文件是用示例CAN數據樣本和三個文件夾進行組織的。每個文件夾是一組獨立的相互依存的Python類或R腳本，用於檢查示例LoggerProgram0.log中所示的格式的CAN數據。可以通過相應地調整預處理器py來使用不同的文件格式。

• 文件夾1：管道

  • 只需將LoggerProgram0.log複製到此文件夾中並運行main.py。
  • 這是論文中描述的管道的最基本實現。超過80％的代碼從main.py引用。按照main.py中的呼叫，以查看數據如何順序處理並保存到磁盤上。
  • 其餘的20％是未使用的代碼部分，這些代碼剩下，可以作為在Python中做事的不同方式的參考，或者是值得保留的有趣實驗（例如Smith-Waterman Search）。

• 文件夾2： pipeline_multi-file

  • 這是論文中提出的概念的最完整，最強大的實施。但是，該代碼也更為複雜，可以一次啟用許多罐頭數據樣本的自動處理。如果您對Python和Pandas還不太滿意，請確保您在嘗試瀏覽此擴展的代碼版本之前，了解管道文件夾中的腳本如何工作。

  • 該文件夾包括管道中的相同類。但是，某些錯誤是在這裡修復的，但沒有在保存在管道中的類中。如果一個慷慨的靈魂想將修復程序移植到管道中，我會很樂意合併叉子。

  • 確保您閱讀有關預期文件夾結構的評論！

• 文件夾3： R腳本

  • R腳本需要REDM軟件包。查找commands_list.txt以獲取一系列r命令。有關EDM的更多信息，請參見聖地亞哥分校的Sugihara Lab Homepage：https：//deepeco.ucsd.edu/。

  • 文件夾“ City”和“ Home”包括在不同駕駛條件下的發動機RPM，制動壓力和車輛速度時間序列的.CSV文件。每個文件夾都包含一個“ commands_list _ ####。txt”文件，用於復制paste r命令，以使用REDM軟件包分析此數據。

  • .RDA文件和.pdf圖形輸出是使用R命令並提供.CSV數據的輸出的示例。

[2020年4月更新] Will Freeman增加了對命令行參數和CAN-UTILS日誌格式預處理的支持。用法是：

示例與can -utils log格式python main.py -c inputfile.log一起使用

python main.py-can-utils inputfile.log

示例與原始格式python main.py OriginalFormat.log一起使用

示例與./loggerprogram0.log Python main.py一起使用

文件夾腳本特定的信息

管道

輸入：loggerprogram0.log中所示格式的數據可以

• main.py
  1. 目的：此腳本鏈接並調用此文件夾中的所有剩餘腳本。它處理一些用於修改腳本之間數據流以及輸出到本地硬盤的文件的“全局”變量。
• 預處理器
  1. 目的：此腳本負責讀取.log文件並將其轉換為運行時數據結構，稱為PANDAS數據框架。此腳本還執行了一些“數據清潔”。輸出是基於Arbid.py中定義的類的詞典數據結構。 J1979.Py被要求嘗試在與SAE J1979標準有關的數據框中識別和提取數據。 J1979是公共通信標準，因此此數據無需通過以下腳本專門分析。
• 詞彙分析
  1. 目的：此腳本負責對Preprocessor.py創建的數據框架和芳烴字典中存在的時間序列數據進行有根據的猜測。使用基於信號運行時對象的字典記錄單個時間序列。
• 詞性分析
  1. 目的：該腳本生成了由詞彙分析產生的信號時間序列的相關矩陣。然後，使用層次聚類算法的開源實現將相關矩陣用於聚類信號時間序列。
• plotter.py
  1. 目的：此腳本使用一個開源繪圖庫來生成信號時間序列和J1979時間序列的可視化，由以前的腳本產生。

輸出：這一系列腳本會根據Main.py中定義的全局變量產生輸出數組。該輸出可能包括以下內容：

• 運行時詞典和數據框架對象的“泡菜”文件使用python的開源醃製庫。這些文件只需加快python腳本的重複執行時，當使用相同的.log文件進行ipput到main.py時。
• 逗號分隔的值（.csv）.log文件中存在的時間序列數據之間的相關矩陣的純文本文件。
• .log文件中存在時間序列的散點圖的圖形。
• 在semanticanalysis.py中層次聚類期間產生的樹狀圖的圖形。樹狀圖是一種可視化分層聚類算法結果的有據可查的方法。

pipeline_multi-file

輸入：loggerprogram0.log中所示的格式數據可以。

• Main.py和Pipeline中的其他命名腳本已更新，以允許腳本自動導入和處理多個.log文件。
• fileboi.py
  1. 目的：這是一系列功能，可以處理從多個.log文件中搜索和讀取數據的物流。
• 樣品
  1. 目的： Main.py中存在的許多功能已將其移入此腳本中。這與fileboi.py結合使用，以處理使用多個.log文件的物流。
• samplestats.py
  1. 目的：此腳本會產生並記錄有關特定.log文件的一系列基本統計信息。
• 驗證器
  1. 目的：此腳本執行一種稱為“火車測試拆分”的通用機器學習驗證技術，以量化詞彙分析的輸出的一致性。這與Samplestats.py一起使用，用於為研究論文和論文產生可量化的發現。輸出： pipeline_multi-file的輸出與管道相同，但根據用於存儲用作輸入的.log文件集的文件結構進行組織。 samplestats.py和validator.py還為每個.log文件產生一些其他統計指標。

r

輸入：包含時間序列數據的普通text .csv文件，例如此文件夾中包含的數據。

• commands_list.txt，commands_list_city.txt，commands_list_home.txt
  1. 目的：這是公開可用Redm軟件包的R命令列表。目的是根據REDM用戶指南對時間序列進行分析。每個版本都高度相似，並且自定義僅指向輸入和.pdf文件的不同.csv文件以可視化輸出。

輸出：

• .rda文件
  1. 目的：這些是​​用於將R數據框架對象存儲為磁盤的機器可讀文件。所有這些文件均使用commands_list.txt，commands_list_city.txt，commands_list_home.txt和提供的.CSV文件中列出的操作生成。
• .pdf文件
  1. 目的：這些是​​使用提供的.CSV文件的R命令輸出的可視化。