CAN_Reverse_Engineering

Автоматизированный может получить обратную инженерию

УВЕДОМЛЕНИЕ

Мнения, выраженные в этом документе и кодексе, являются мнениями автора и не отражают официальную политику или должность ВВС США, армии Соединенных Штатов, Министерства обороны США или правительства Соединенных Штатов. Этот материал объявляется работой правительства США и не подлежит защите авторских прав в Соединенных Штатах. Одобрение публичного раскрытия этого кодекса было одобрено 88-м крылом авиабазой 08 марта 2019 года в соответствии с делом № 88ABW-2019-0910. Неклассифицированное раскрытие диссертации было одобрено 3 января 2019 года по делу № 88ABW-2019-0024.

---

В этом проекте расположены сценарии Python и R, предназначенные для облегчения автоматической обработки полезных нагрузок (CAN), наблюдаемых из пассажирских транспортных средств. Этот кодекс был первоначально разработан доктором Брентом Стоуном в Технологическом институте ВВС для получения доктора философии в области компьютерных наук. Пожалуйста, смотрите включенную диссертацию под названием «Включение аудита и обнаружения вторжений для сетей областей контроллера» для получения подробной информации об используемых методах. Пожалуйста, откройте проблему, сообщая мне, если вы найдете какие -либо опечатки, плохую грамматику, ваши авторские права, которые вы хотите удалить, или другие проблемы!

Особая благодарность Дейву Бланделлу, соавтору справочника автомобильного хакера, и сообществу «Открытые гаражи за технические советы» и служение в качестве совета по звучанию.

Советы и советы

Эти сценарии не будут работать сразу при клонировании этого репо. Надеюсь, эти советы сэкономит вам время и разочарование, говоря: «Почему эти вещи не сработают!?!?!» Пожалуйста, задавайте вопросы, опубликовав в открытых гаражах Google Group. Эти сценарии были разработаны и протестированы с использованием Python 3.6. Пожалуйста, убедитесь, что у вас есть пакеты Numpy, Pandas и Scikit-Learn, доступные для вашего интерпретатора Python.

Файлы организованы с примером примера данных и тремя папками. Каждая папка представляет собой автономный набор взаимозависимых классов Python или R сценариев для изучения данных CAN в формате, показанном в примере LoggerProgram0.log. Различные форматы файлов могут быть использованы путем настройки preprocessor.py соответственно.

• Папка 1: трубопровод

  • Просто скопируйте loggerprogram.log в эту папку и запустите main.py.
  • Это самая основная реализация трубопровода, описанного в диссертации. Более 80% кода ссылается на Main.py. Следуйте звонкам, сделанным в main.py, чтобы увидеть, как данные последовательно обрабатываются и сохраняются на диск.
  • Оставшиеся 20% являются неиспользованными частями кода, которые были оставлены на месте, чтобы либо служить ссылкой на различные способы ведения дел в Python, либо интересные эксперименты, которые стоили сохранить (например, поиск Смит-Ватермана).

• Папка 2: Pipeline_multi-file

  • Это самая полная и надежная реализация концепций, представленных в диссертации; Тем не менее, код также более сложный для обеспечения автоматической обработки многих образцов данных может одновременно. Если вам еще не очень удобно с Python и Pandas, убедитесь, что вы понимаете, как работают сценарии в папке трубопровода, прежде чем пытаться пройти эту расширенную версию кода.

  • Эта папка включает в себя те же классы из трубопровода . Однако некоторые ошибки были исправлены здесь, но не в классах, сохраненных в трубопроводе . Если щедрая душа хочет пересадить исправления обратно в трубопровод , я с радостью объединяю вилку.

  • Убедитесь, что вы прочитали комментарии о ожидаемой структуре папок!

• Папка 3: сценарии R

  • R -сценарии требуют пакета REDM. Ищите commands_list.txt для последовательной серии команд R. Для получения дополнительной информации о EDM см. В лаборатории Sugihara UC Sugihara UC Sugihara: https://deepeco.ucsd.edu/.

  • Папки «Город» и «Дома» включают в себя файлы .csv of Engine RPM, тормозное давление и временные ряды скорости автомобиля в различных условиях вождения. Каждая папка включает в себя файл «commands_list _ ####.

  • .RDA Файлы и .pdf Графический вывод являются примерами вывода с использованием команд R и предоставленных данных .csv.

[Апрель 2020 г. Обновление] будет добавить поддержку аргументов командной строки и предварительной обработки формата логаризма Can-Outils. Использование есть:

Пример Использование с форматом логарифмического формата Can -UTILS

python main.py-can-utils inputfile.log

Пример Использование с исходным форматом python main.py riginalformat.log

Пример Использовать с ./loggerprogram0.log python main.py

Информация о конкретной сценарии по папке

Трубопровод

Ввод : может ли данные в формате, продемонстрированные в loggerprogram.log

• Main.py
  1. Цель : этот скрипт ссылки и вызовы все оставшиеся сценарии в этой папке. Он обрабатывает некоторые «глобальные» переменные, используемые для изменения потока данных между сценариями, а также любыми файлами, выводимыми на локальный жесткий диск.
• Preprocessor.py
  1. Цель : этот скрипт отвечает за чтение в файлах .log и преобразовании их в структуру данных времени выполнения, известную как кадр данных Pandas. Некоторая «очистка данных» также выполняется этим сценарием. Вывод - это структура данных словаря, содержащая объекты проностного времени выполнения, основанную на классе, определенном в Arbid.py . J1979.py призван к попытке идентифицировать и извлечь данные в кадре данных, связанных со стандартом SAE J1979. J1979 - это стандарт общественных коммуникаций, поэтому эти данные не должны быть специально проанализированы по следующим сценариям.
• Lexicalanalysis.py
  1. Цель : этот скрипт отвечает за то, что он осматривал данные о данных временных рядов, присутствующих в кадре данных и оборудования, созданных Preprocessor.py . Индивидуальные временные ряды записываются с использованием словаря объектов времени выполнения сигнала на основе класса, определенного в Signal.py .
• Semanticanalysis.py
  1. Цель : Этот скрипт генерирует корреляционную матрицу временного ряда сигнала, создаваемой LexicalAnalysis.py . Эта матрица корреляции затем используется для кластера временных рядов сигнала, используя реализацию с открытым исходным кодом иерархического алгоритма кластеризации.
• Plotter.py
  1. Цель : В этом скрипте используется библиотека с открытым исходным кодом для создания визуализаций групп сигнальных временных рядов и временных рядов J1979, созданных предыдущими сценариями.

Вывод : эта серия сценариев создает массив вывода в зависимости от глобальных переменных, определенных в main.py. Этот вывод может включать следующее:

• Файлы «Pickle» словаря времени выполнения и объектов рамки данных с использованием библиотеки Pickle с открытым исходным кодом для Python. Эти файлы просто ускоряют повторное выполнение сценариев Python, когда один и тот же файл .log используется для ввода в main.py.
• Запятая отделенная значение (.csv) Простые текстовые файлы матрицы корреляции между данными временных рядов, присутствующих в файле .log.
• Графика рассеянных участков временных рядов, присутствующих в файле .log.
• График дендрограммы, полученной во время иерархической кластеризации в Semanticanalysis.py . Дендрограмма является хорошо документированным методом визуализации результатов иерархических алгоритмов кластеризации.

Pipeline_multi-file

Ввод : может ли данные в формате, продемонстрированные в loggerprogram.log.

• Main.py и другие идентично названные сценарии из Pipeline были обновлены, чтобы позволить сценариям автоматически импортировать и обрабатывать несколько файлов .log.
• Fileboi.py
  1. Цель : Это ряд функций, которые обрабатывают логистику поиска и чтения в данных из нескольких файлов .log.
• Sample.py
  1. Цель : Большая часть функциональности, присутствующей в Main.py в трубопроводе , была перемещена в этот сценарий. Это работает в сочетании с fileboi.py для обработки логистики работы с несколькими файлами .log.
• Spamplestats.py
  1. Цель : этот скрипт создает и записывает серию основных статистических данных о конкретном файле .log.
• Varidator.py
  1. Цель : Этот скрипт выполняет общую технику проверки машинного обучения, называемую «разделение тестирования поезда» для количественной оценки согласованности вывода LexicalAnalysis.py и Semanticanalysis.py . Это использовалось в сочетании с smplestats.py для получения количественных результатов для исследовательских работ и диссертации. Вывод : выход Pipeline_multi-файла такой же, как трубопровод , но организованный в соответствии со структурой файла, используемой для хранения набора файлов .log, используемых в качестве входных данных. Spamplestats.py и validator.py также дают некоторые дополнительные статистические метрики, касающиеся каждого файла .log.

Ведущий

Ввод : файлы с простым текстом .csv, содержащие данные временных рядов, такие как данные, включенные в эту папку.

• commands_list.txt, commands_list_city.txt, commands_list_home.txt
  1. Цель : это список команд R для публично доступного пакета Redm. Цель состоит в том, чтобы провести анализ временных рядов в соответствии с Руководством пользователя REDM. Каждая версия очень похожа и настроена только для того, чтобы указывать на другой файл .csv для ввода и файла .pdf для визуализации вывода.

Выход :

• .Rda файлы
  1. Цель : это машинные читаемые файлы для хранения R -объектов RAM Data Data. Все эти файлы были сгенерированы с использованием операций, перечисленных в commands_list.txt, commands_list_city.txt, commands_list_home.txt и предоставленные файлы .csv.
• .pdf файлы
  1. Цель : это визуализация вывода команд R с использованием предоставленных файлов .csv.