CAN_Reverse_Engineering

Automatisiert kann Reverse Engineering in Nutzlast

BEACHTEN

Die in diesem Dokument und in diesem Kodex geäußerten Ansichten sind die des Autors und spiegeln nicht die offizielle Politik oder Position der US -amerikanischen Luftwaffe, der US -Armee der Vereinigten Staaten, des US -Verteidigungsministeriums oder der Regierung der Vereinigten Staaten wider. Dieses Material wird als Arbeit der US -Regierung erklärt und unterliegt in den Vereinigten Staaten nicht dem Urheberrechtsschutz. Die Genehmigung für die öffentliche Offenlegung dieses Kodex wurde am 08. März 2019 unter Fallnummer 88ABW-2019 von den 88. Luftwaffenflügel-öffentliche Angelegenheiten genehmigt. Die nicht klassifizierte Offenlegung der Dissertation wurde am 03. Januar 2019 unter der Fallnummer 88ABW-2019-0024 genehmigt.

---

Dieses Projekt beherbergt Python- und R -Skripte, mit denen die automatisierte Reverse Engineering of Controller Area Network (CAN) von Passagierfahrzeugen beobachtet wurden. Dieser Kodex wurde ursprünglich von Dr. Brent Stone vom Air Force Institute of Technology entwickelt, um einen Doktor der Philosophie in der Informatik zu verfolgen. Weitere Informationen zu den verwendeten Methoden finden Sie in der mitgelieferten Dissertation mit dem Titel "Aktivierung der Prüfungs- und Intrusion -Erkennung für proprietäre Controller Area -Netzwerke". Bitte öffnen Sie ein Problem, in dem ich wissen kann, ob Sie Tippfehler, schlechte Grammatik, Ihre urheberrechtlich geschützten Bilder finden, die Sie entfernt werden möchten, oder andere Probleme!

Besonderer Dank geht an Dave Blundell, Co-Autor des Handbuchs des Car Hackers, und der Open Garages Community für technische Ratschläge und als Resonanzboden.

Tipps und Ratschläge

Diese Skripte werden beim Klonen dieses Repo nicht sofort ausgeführt. Hoffentlich sparen diese Tipps Zeit und Frustration, die sagen: "Warum funktionieren diese Dinge nicht!?!?!" Bitte stellen Sie Fragen, indem Sie in den Open Garagen Google Group veröffentlichen. Diese Skripte wurden mit Python 3.6 entwickelt und getestet. Bitte stellen Sie sicher, dass Sie die Python-Dolmetscher von Numpy, Pandas und Scikit-Learn zur Verfügung haben.

Die Dateien werden mit einem Beispiel für Dose -Daten und drei Ordnern organisiert. Jeder Ordner ist ein in sich geschlossener Satz voneinander abhängigen Python-Klassen oder R-Skripten zur Untersuchung von Can-Daten im Format im Beispiel loggerProgram0.log. Verschiedene Dateiformate können verwendet werden, indem der Präprozessor eingestellt wird. Py entsprechend.

• Ordner 1: Pipeline

  • Kopieren Sie einfach loggerProgram0.log in diesen Ordner und führen Sie Main.py aus.
  • Dies ist die grundlegendste Implementierung der in der Dissertation beschriebenen Pipeline. Über 80% des Codes werden von Main.Py bezeichnet. Befolgen Sie die in Main.Py getätigten Anrufe, um festzustellen, wie die Daten nacheinander verarbeitet und auf der Festplatte gespeichert werden.
  • Die verbleibenden 20% sind unbenutzte Teile des Code, die entweder als Referenz für verschiedene Möglichkeiten für die Tat von Dingen in Python oder interessante Experimente dienen sollen, die es wert waren, erhalten zu werden (wie die Smith-Waterman-Suche).

• Ordner 2: Pipeline_Multi-File

  • Dies ist die vollständigste und robusteste Implementierung der in der Dissertation vorgestellten Konzepte. Der Code ist jedoch auch komplizierter, um die automatisierte Verarbeitung vieler CAN -Datenproben gleichzeitig zu ermöglichen. Wenn Sie sich mit Python und Pandas nicht bereits sehr wohl nicht wohlfühlen, stellen Sie sicher, dass Sie verstehen, wie die Skripte im Pipeline -Ordner funktionieren, bevor Sie versuchen, diese erweiterte Version des Codes zu durchlaufen.

  • Dieser Ordner enthält dieselben Klassen aus der Pipeline . Hier wurden jedoch einige Fehler behoben, aber nicht in den in der Pipeline gespeicherten Klassen. Wenn eine großzügige Seele die Fixes in Pipeline zurückverpflanzen will, werde ich die Gabel gerne verschmelzen.

  • Stellen Sie sicher, dass Sie die Kommentare zur erwarteten Ordnerstruktur lesen!

• Ordner 3: R -Skripte

  • Die R -Skripte erfordern das Redm -Paket. Suchen Sie nach commands_list.txt für eine sequentielle Reihe von R -Befehlen. Weitere Informationen zu EDM finden Sie in der Sugihara -Labor -Homepage von UC San Diego: https://deepeco.ucsd.edu/.

  • Die Ordner "City" und "Home" enthalten .csv -Dateien mit Motordrehzahl, Bremsdruck und Fahrzeuggeschwindigkeitszeitreihen unter verschiedenen Fahrbedingungen. Jeder Ordner enthält eine Datei "commands_list _ ####.

  • .RDA -Dateien und .pdf Grafische Ausgabe sind Beispiele für die Ausgabe, die mit den Befehlen r und zur Verfügung gestellt werden. CSV -Daten.

[April 2020 Update] Will Freeman fügte Unterstützung für Befehlszeilenargumente und Can-Utils-Protokollformat-Vorverarbeitungen hinzu. Verwendung ist:

Beispiel Verwendung mit Can -Utils -Protokollformat Python main.py -c InputFile.log

python main.py--can-utils InputFile.log

Beispiel Verwendung mit Originalformat Python main.py OriginalFormat.log

Beispiel Verwendung mit ./LoggerProgram0.log Python main.py

Skriptspezifische Informationen nach Ordner

Pipeline

Eingabe : CAN -Daten im Format, das in loggerProgram0.log gezeigt wurde

• Main.py
  1. Zweck : Dieses Skript verlinkt und ruft alle verbleibenden Skripte in diesem Ordner auf. Es behandelt einige "globale" Variablen, die zum Ändern des Datenflusss zwischen Skripten sowie alle Dateien, die an der lokalen Festplatte ausgegeben werden, verwendet werden.
• Präprozessor.py
  1. Zweck : Dieses Skript ist für das Lesen von .log -Dateien verantwortlich und konvertiert sie in eine Laufzeit -Datenstruktur, die als Pandas -Datenrahmen bezeichnet wird. Einige "Datenreinigung" werden auch von diesem Skript durchgeführt. Die Ausgabe ist eine Dictionary -Datenstruktur, die arbid -Laufzeitobjekte basiert, die auf der in arbid.py definierten Klasse basiert. J1979.Py wird aufgerufen, um zu versuchen, Daten im Datenrahmen zu identifizieren und zu extrahieren, die sich auf den SAE J1979 -Standard beziehen. J1979 ist ein öffentlicher Kommunikationsstandard, daher müssen diese Daten nicht speziell von den folgenden Skripten analysiert werden.
• Lexikalanalyse.py
  1. Zweck : Dieses Skript ist dafür verantwortlich, eine fundierte Vermutung zu den Zeitreihendaten zu erraten, die im Datenrahmen und im Arbid Dictionary von Precessor.py erstellt wurden. Einzelne Zeitreihen werden unter Verwendung eines Wörterbuchs von Signal -Laufzeitobjekten aufgezeichnet, die auf der in signal.py definierten Klasse basieren.
• Semanticanalysis.py
  1. Zweck : Dieses Skript erzeugt eine Korrelationsmatrix von Signalzeitreihen, die durch lexikalanalyse erzeugt werden.py. Diese Korrelationsmatrix wird dann verwendet, um die Signalzeitreihen mit einer Open -Source -Implementierung eines hierarchischen Clustering -Algorithmus zu clusteren.
• Plotter.py
  1. Zweck : Dieses Skript verwendet eine Open -Source -Ploting -Bibliothek, um Visualisierungen der Gruppen von Signalzeitreihen und J1979 -Zeitreihen zu erstellen, die von den vorherigen Skripten erzeugt werden.

Ausgabe : Diese Reihe von Skripten erzeugt abhängig von den in Main.py definierten globalen Variablen eine Ausgabearray. Diese Ausgabe kann Folgendes enthalten:

• "Pickle" -Dateien des Laufzeit -Wörterbuchs und der Datenrahmenobjekte mit der Open Source Pickle -Bibliothek für Python. Diese Dateien beschleunigen einfach die wiederholte Ausführung der Python -Skripte, wenn die gleiche .log -Datei für die Eingabe in Main.py verwendet wird.
• Comma Separated Value (.csv) Klartextdateien der Korrelationsmatrix zwischen den in der .log -Datei vorhandenen Zeitreihendaten.
• Grafiken von Streupotten der in der .log-Datei vorhandenen Zeitreihen.
• Eine Grafik des Dendrogramms, das während der hierarchischen Clusterbildung in der Semantikanalyse produziert wurde. Ein Dendrogramm ist eine gut dokumentierte Methode zur Visualisierung der Ergebnisse hierarchischer Clustering-Algorithmen.

Pipeline_Multi-Datei

Eingabe : CAN -Daten im Format, das in loggerProgram0.log gezeigt wurde.

• Main.py und die anderen identisch benannten Skripte von Pipeline wurden aktualisiert, damit die Skripte mehrere .log -Dateien automatisch importieren und verarbeiten können.
• TedoBoi.py
  1. Zweck : Dies ist eine Reihe von Funktionen, die die Logistik der Suche und Lesen in Daten aus mehreren .log -Dateien verarbeiten.
• Sample.py
  1. Zweck : Ein Großteil der in Main vorhandenen Funktionen in der Pipeline wurde in dieses Skript verschoben. Dies funktioniert in Verbindung mit öfto.py , um die Logistik der Arbeit mit mehreren .log -Dateien zu verarbeiten.
• SAMPLESTATS.PY
  1. Zweck : Dieses Skript erstellt und zeichnet eine Reihe grundlegender Statistiken zu einer bestimmten .log -Datei auf.
• Validator.py
  1. Zweck : Dieses Skript führt eine gemeinsame Validierungstechnik für maschinelles Lernen durch, die als "Zug-Test-Split" bezeichnet wird , um die Konsistenz der Lexikalanalyse zu quantifizieren. Dies wurde in Verbindung mit SampleStats.Py verwendet, um quantifizierbare Ergebnisse für Forschungsarbeiten und die Dissertation zu erstellen. Ausgabe : Die Ausgabe von Pipeline_Multi-File entspricht der Pipeline , jedoch gemäß der Dateistruktur, mit der die als Eingabe verwendete .log-Dateien gespeichert wurden. SampleStats.py und Validator.py erstellen auch einige zusätzliche statistische Metriken in Bezug auf jede .log -Datei.

R

Eingabe : Plain-Text .csv-Dateien, die Zeitreihendaten enthalten, wie z. B. in diesem Ordner enthalten.

• commands_list.txt, commands_list_city.txt, commands_list_home.txt
  1. Zweck : Dies ist eine Liste von R -Befehlen für das öffentlich verfügbare Redm -Paket. Die Absicht ist es, die Analyse der Zeitreihe gemäß dem Redm -Benutzerhandbuch durchzuführen. Jede Version ist sehr ähnlich und nur so angepasst, dass sie auf eine andere .csv -Datei für die Eingabe- und .pdf -Datei verweist, um die Ausgabe zu visualisieren.

Ausgabe :

• .RDA -Dateien
  1. Zweck : Dies sind maschinell lesbare Dateien zum Speichern von R -Daten -Frame -Objekten für die Festplatte. Alle diese Dateien wurden mit den in commands_list.txt aufgeführten Operationen generiert, Befehlslist_City.txt, commands_list_home.txt und die bereitgestellten .csv -Dateien.
• .pdf Dateien
  1. Zweck : Dies sind Visualisierungen der Ausgabe der R -Befehle mit den bereitgestellten .csv -Dateien.