CAN_Reverse_Engineering

自动化可以有效载荷逆向工程

注意

本文档中表达的观点和守则是作者的观点，不反映美国空军，美国陆军，美国国防部或美国政府的官方政策或立场。该材料被宣布为美国政府的工作，在美国不受版权保护。批准公开披露该守则的批准已于2019年3月8日第88空军基地公共事务批准，案件号为88ABW-2019-0910。未分类的论文披露于2019年1月3日批准了案件编号88ABW-2019-0024。

---

该项目包含Python和R脚本，旨在促进控制器区域网络（CAN）有效载荷的自动化逆向工程。该守则最初是由空军理工学院的布伦特·斯通（Brent Stone）博士开发的，以追求计算机科学哲学博士。有关使用方法的详细信息，请参阅包括“启用审计和入侵检测的审计和入侵检测”的详细信息。请打开一个问题，让我知道您是否找到任何错别字，不良语法，您想要删除的受版权保护的图像或其他问题！

特别感谢《汽车黑客手册》的合着者戴夫·布伦德尔（Dave Blundell）和开放式车库社区的技术建议和发声板。

提示和建议

这些脚本在克隆此存储库时不会立即运行。希望这些技巧能节省您的时间和挫败感：“为什么这些事情不起作用！？！？！”请通过在开放式车库Google Group中发布问题来提出问题。这些脚本是使用Python 3.6开发和测试的。请确保您的Python解释器可提供Numpy，Pandas和Scikit-Learn软件包。

这些文件是用示例CAN数据样本和三个文件夹进行组织的。每个文件夹是一组独立的相互依存的Python类或R脚本，用于检查示例LoggerProgram0.log中所示的格式的CAN数据。可以通过相应地调整预处理器py来使用不同的文件格式。

• 文件夹1：管道

  • 只需将LoggerProgram0.log复制到此文件夹中并运行main.py。
  • 这是论文中描述的管道的最基本实现。超过80％的代码从main.py引用。按照main.py中的呼叫，以查看数据如何顺序处理并保存到磁盘上。
  • 其余的20％是未使用的代码部分，这些代码剩下，可以作为在Python中做事的不同方式的参考，或者是值得保留的有趣实验（例如Smith-Waterman Search）。

• 文件夹2： pipeline_multi-file

  • 这是论文中提出的概念的最完整，最强大的实施。但是，该代码也更为复杂，可以一次启用许多罐头数据样本的自动处理。如果您对Python和Pandas还不太满意，请确保您在尝试浏览此扩展的代码版本之前，了解管道文件夹中的脚本如何工作。

  • 该文件夹包括管道中的相同类。但是，某些错误是在这里修复的，但没有在保存在管道中的类中。如果一个慷慨的灵魂想将修复程序移植到管道中，我会很乐意合并叉子。

  • 确保您阅读有关预期文件夹结构的评论！

• 文件夹3： R脚本

  • R脚本需要REDM软件包。查找commands_list.txt以获取一系列r命令。有关EDM的更多信息，请参见圣地亚哥分校的Sugihara Lab Homepage：https：//deepeco.ucsd.edu/。

  • 文件夹“ City”和“ Home”包括在不同驾驶条件下的发动机RPM，制动压力和车辆速度时间序列的.CSV文件。每个文件夹都包含一个“ commands_list _ ####。txt”文件，用于复制paste r命令，以使用REDM软件包分析此数据。

  • .RDA文件和.pdf图形输出是使用R命令并提供.CSV数据的输出的示例。

[2020年4月更新] Will Freeman增加了对命令行参数和CAN-UTILS日志格式预处理的支持。用法是：

示例与can -utils log格式python main.py -c inputfile.log一起使用

python main.py-can-utils inputfile.log

示例与原始格式python main.py OriginalFormat.log一起使用

示例与./loggerprogram0.log Python main.py一起使用

文件夹脚本特定的信息

管道

输入：loggerprogram0.log中所示格式的数据可以

• main.py
  1. 目的：此脚本链接并调用此文件夹中的所有剩余脚本。它处理一些用于修改脚本之间数据流以及输出到本地硬盘的文件的“全局”变量。
• 预处理器
  1. 目的：此脚本负责读取.log文件并将其转换为运行时数据结构，称为PANDAS数据框架。此脚本还执行了一些“数据清洁”。输出是基于Arbid.py中定义的类的词典数据结构。 J1979.Py被要求尝试在与SAE J1979标准有关的数据框中识别和提取数据。 J1979是公共通信标准，因此此数据无需通过以下脚本专门分析。
• 词汇分析
  1. 目的：此脚本负责对Preprocessor.py创建的数据框架和芳烃字典中存在的时间序列数据进行有根据的猜测。使用基于信号运行时对象的字典记录单个时间序列。
• 词性分析
  1. 目的：该脚本生成了由词汇分析产生的信号时间序列的相关矩阵。然后，使用层次聚类算法的开源实现将相关矩阵用于聚类信号时间序列。
• plotter.py
  1. 目的：此脚本使用一个开源绘图库来生成信号时间序列和J1979时间序列的可视化，由以前的脚本产生。

输出：这一系列脚本会根据Main.py中定义的全局变量产生输出数组。该输出可能包括以下内容：

• 运行时词典和数据框架对象的“泡菜”文件使用python的开源腌制库。这些文件只需加快python脚本的重复执行时，当使用相同的.log文件进行ipput到main.py时。
• 逗号分隔的值（.csv）.log文件中存在的时间序列数据之间的相关矩阵的纯文本文件。
• .log文件中存在时间序列的散点图的图形。
• 在semanticanalysis.py中层次聚类期间产生的树状图的图形。树状图是一种可视化分层聚类算法结果的有据可查的方法。

pipeline_multi-file

输入：loggerprogram0.log中所示的格式数据可以。

• Main.py和Pipeline中的其他命名脚本已更新，以允许脚本自动导入和处理多个.log文件。
• fileboi.py
  1. 目的：这是一系列功能，可以处理从多个.log文件中搜索和读取数据的物流。
• 样品
  1. 目的： Main.py中存在的许多功能已将其移入此脚本中。这与fileboi.py结合使用，以处理使用多个.log文件的物流。
• samplestats.py
  1. 目的：此脚本会产生并记录有关特定.log文件的一系列基本统计信息。
• 验证器
  1. 目的：此脚本执行一种称为“火车测试拆分”的通用机器学习验证技术，以量化词汇分析的输出的一致性。这与Samplestats.py一起使用，用于为研究论文和论文产生可量化的发现。输出： pipeline_multi-file的输出与管道相同，但根据用于存储用作输入的.log文件集的文件结构进行组织。 samplestats.py和validator.py还为每个.log文件产生一些其他统计指标。

r

输入：包含时间序列数据的普通text .csv文件，例如此文件夹中包含的数据。

• commands_list.txt，commands_list_city.txt，commands_list_home.txt
  1. 目的：这是公开可用Redm软件包的R命令列表。目的是根据REDM用户指南对时间序列进行分析。每个版本都高度相似，并且自定义仅指向输入和.pdf文件的不同.csv文件以可视化输出。

输出：

• .rda文件
  1. 目的：这些是​​用于将R数据框架对象存储为磁盘的机器可读文件。所有这些文件均使用commands_list.txt，commands_list_city.txt，commands_list_home.txt和提供的.CSV文件中列出的操作生成。
• .pdf文件
  1. 目的：这些是​​使用提供的.CSV文件的R命令输出的可视化。