CAN_Reverse_Engineering

Automatisé peut ingénierie inverse de charge utile

AVIS

Les opinions exprimées dans ce document et ce code sont celles de l'auteur et ne reflètent pas la politique ou la position officielle de l'armée de l'air des États-Unis, de l'armée américaine, du ministère américain de la Défense ou du gouvernement américain. Ce matériel est déclaré des travaux du gouvernement américain et n'est pas soumis à la protection du droit d'auteur aux États-Unis. L'approbation de la divulgation publique de ce code a été approuvée par la 88th Air Base Wing Affairs Public le 08 mars 2019 en vertu du numéro 88ABW-2019-0910. La divulgation non classifiée de la dissertation a été approuvée le 03 janvier 2019 en vertu du numéro 88ABW-2019-0024.

---

Ce projet abrite des scripts Python et R destinés à faciliter l'ingénierie inverse automatisée des charges utiles du réseau de zone de contrôleur observées à partir des véhicules de tourisme. Ce code a été initialement développé par le Dr Brent Stone à l'Air Force Institute of Technology à la poursuite d'un docteur en philosophie en informatique. Veuillez consulter la thèse incluse intitulée "Activation de la détection d'audit et d'intrusion pour les réseaux de zone de contrôleur propriétaire" pour plus de détails sur les méthodes utilisées. Veuillez ouvrir un problème pour me faire savoir si vous trouvez des fautes de frappe, une mauvaise grammaire, vos images protégées par le droit d'auteur que vous souhaitez supprimer ou d'autres problèmes!

Merci spécial à Dave Blundell, co-auteur du manuel du pirate de voiture, et de la communauté des garages ouverts pour des conseils techniques et en tant que caisse de résonance.

Conseils et conseils

Ces scripts ne fonctionneront pas immédiatement lors du clonage de ce dépôt. J'espère que ces conseils vous feront gagner du temps et de la frustration en disant "Pourquoi ces choses ne fonctionneront-elles pas!?!?!" Veuillez poser des questions en publiant dans le groupe Google Garages Open. Ces scripts ont été développés et testés à l'aide de Python 3.6. Veuillez vous assurer d'avoir les packages Numpy, Pandas et Scikit-Learn disponibles pour votre interprète Python.

Les fichiers sont organisés avec un exemple d'échantillonnage de données peuvent et trois dossiers. Chaque dossier est un ensemble autonome de classes Python interdépendantes ou des scripts R pour examiner les données du format dans le format illustré dans l'exemple LoggerProgram0.log. Différents formats de fichiers peuvent être utilisés en ajustant Preprocessor.py en conséquence.

• Dossier 1: pipeline

  • Copiez simplement LoggerProgram0.log dans ce dossier et exécutez main.py.
  • Il s'agit de l'implémentation la plus élémentaire du pipeline décrit dans la thèse. Plus de 80% du code est référencé de main.py. Suivez les appels passés dans main.py pour voir comment les données sont traitées séquentiellement et enregistrées sur le disque.
  • Les 20% restants sont des parties du code inutilisées qui ont été laissées en place pour servir de référence à différentes façons de faire des choses en python ou des expériences intéressantes qui méritent d'être préservées (comme la recherche Smith-Waterman).

• Dossier 2: pipeline_multi-file

  • Il s'agit de la mise en œuvre la plus complète et la plus robuste des concepts présentés dans la thèse; Cependant, le code est également plus compliqué pour permettre le traitement automatisé de nombreux échantillons de données CAN en même temps. Si vous n'êtes pas déjà très à l'aise avec Python et Pandas, assurez-vous de comprendre comment les scripts dans le dossier du pipeline fonctionnent avant d'essayer de passer par cette version élargie du code.

  • Ce dossier comprend les mêmes classes à partir de pipeline . Cependant, certains bogues ont été corrigés ici mais pas dans les classes enregistrées en pipeline . Si une âme généreuse veut transplanter les correctifs dans le pipeline , je fusionnerai volontiers la fourche.

  • Assurez-vous de lire les commentaires sur la structure du dossier attendu!

• Dossier 3: R SCRIPTS

  • Les scripts R nécessitent le package RedM. Recherchez des commandes_list.txt pour une série séquentielle de commandes R. Pour plus d'informations sur EDM, consultez la page d'accueil du laboratoire Sugihara de l'UC San Diego: https://deeeco.ucsd.edu/.

  • Les dossiers "ville" et "à domicile" comprennent des fichiers .csv de régime moteur, de pression de freinage et de séries chronologiques de vitesse du véhicule pendant différentes conditions de conduite. Chaque dossier comprend un fichier "commandes_list _ ####. Txt" pour les commandes ROP-P-casson R pour analyser ces données à l'aide du package Redm.

  • Les fichiers .rda et la sortie graphique .pdf sont des exemples de sortie à l'aide des commandes R et des données .csv fournies.

[Mise à jour d'avril 2020] Will Freeman a ajouté la prise en charge des arguments de ligne de commande et du prétraitement du format de journal Cantils. L'utilisation est:

EXEMPLE UTILISATION AVEC CAN-UTILS LOG FORMAT Python main.py -c inputfile.log

python main.py --can-utils inputfile.log

Exemple d'utilisation avec le format d'origine Python main.py originalformat.log

Exemple d'utilisation avec ./loggerprogram0.log python main.py

Informations spécifiques au script par dossier

Pipeline

Entrée : les données du format peuvent être présentées dans loggerprogram0.log

• Main.py
  1. Objectif : Ce script relie et appelle tous les scripts restants dans ce dossier. Il gère certaines variables «globales» utilisées pour modifier le flux de données entre les scripts ainsi que tous les fichiers de sortie vers le disque dur local.
• Préprocesseur.py
  1. Objectif : Ce script est responsable de la lecture dans des fichiers .log et de la conversion en une structure de données d'exécution connue sous le nom de Pandas Data Frame. Certains «nettoyage des données» sont également effectués par ce script. La sortie est une structure de données de dictionnaire contenant des objets d'exécution arbide basés sur la classe définie dans arbid.py . J1979.py est appelé pour tenter d'identifier et d'extraire des données dans le cadre de données lié à la norme SAE J1979. J1979 est une norme de communication publique, ces données n'ont donc pas besoin d'être spécialement analysées par les scripts suivants.
• Lexicanalysis.py
  1. Objectif : Ce script est chargé de faire une supposition éclairée sur les données de séries chronologiques présentes dans le cadre de données et le dictionnaire arbitre créé par Preprocessor.py . Les séries chronologiques individuelles sont enregistrées à l'aide d'un dictionnaire d'objets d'exécution du signal basé sur la classe définie dans Signal.py .
• Sémancanalysis.py
  1. Objectif : Ce script génère une matrice de corrélation des séries chronologiques de signal produites par lexicanalysis.py . Cette matrice de corrélation est ensuite utilisée pour regrouper les séries chronologiques du signal à l'aide d'une implémentation open source d'un algorithme de clustering hiérarchique.
• Plotter.py
  1. Objectif : Ce script utilise une bibliothèque de traçage open source pour produire des visualisations des groupes de séries chronologiques de signal et des séries chronologiques J1979 produites par les scripts précédents.

Sortie : Cette série de scripts produit un tableau de sortie en fonction des variables globales définies dans main.py. Cette sortie peut inclure les éléments suivants:

• Fichiers 'Pickle' du dictionnaire d'exécution et des objets de trame de données à l'aide de la bibliothèque de pickle open source pour Python. Ces fichiers accélèrent simplement l'exécution répétée des scripts Python lorsque le même fichier .log est utilisé pour la saisie sur main.py.
• Fichiers de texte brut de valeur séparée par virgule (.csv) de la matrice de corrélation entre les données de séries chronologiques présentes dans le fichier .log.
• Graphiques des parcelles de dispersion des séries chronologiques présentes dans le fichier .log.
• Un graphique du dendrogramme produit pendant le regroupement hiérarchique dans sémancanalysis.py . Un dendrogramme est une méthode bien documentée pour visualiser les résultats des algorithmes de clustering hiérarchiques.

Pipeline_multi-file

Entrée : les données du format peuvent être démontrées dans loggerProgram0.log.

• Main.py et les autres scripts nommés à partir de pipeline ont été mis à jour pour permettre aux scripts d'importer et de traiter automatiquement plusieurs fichiers .log multiples.
• Fileboi.py
  1. Objectif : Il s'agit d'une série de fonctions qui gèrent la logistique de la recherche et de la lecture dans les données de plusieurs fichiers .log.
• Sample.py
  1. Objectif : Une grande partie de la fonctionnalité présente dans main.py en pipeline a été déplacée dans ce script. Cela fonctionne en conjonction avec fileboi.py pour gérer la logistique du travail avec plusieurs fichiers .log.
• Samplestats.py
  1. Objectif : Ce script produit et enregistre une série de statistiques de base sur un fichier .log particulier.
• Validator.py
  1. Objectif : Ce script effectue une technique commune de validation d'apprentissage automatique appelée «split-test de trains» pour quantifier la cohérence de la sortie de Lexicanalysis.py et sémintianalysis.py . Ceci a été utilisé conjointement avec SampleStats.py pour produire des résultats quantifiables pour les documents de recherche et la thèse. Sortie : La sortie de Pipeline_Multi-File est la même que le pipeline mais organisée en fonction de la structure de fichiers utilisées pour stocker l'ensemble des fichiers .log utilisés comme entrée. SampleStats.py et Validator.py produisent également des mesures statistiques supplémentaires concernant chaque fichier .log .log.

R

Entrée : fichiers .csv en texte ordinaire contenant des données de séries chronologiques telles que celles incluses dans ce dossier.

• commandes_list.txt, commandes_list_city.txt, commandes_list_home.txt
  1. Objectif : Il s'agit d'une liste des commandes R pour le package RedM disponible publiquement. L'intention est d'effectuer une analyse de la série chronologique selon le Guide de l'utilisateur de RedM. Chaque version est très similaire et personnalisée uniquement pour pointer vers un fichier .csv différent pour l'entrée et le fichier .pdf pour visualiser la sortie.

Sortir :

• Fichiers .rda
  1. Objectif : Ce sont des fichiers lisibles par la machine pour stocker les objets de trame de données R vers le disque. Tous ces fichiers ont été générés à l'aide des opérations répertoriées dans commandes_list.txt, commandes_list_city.txt, commandes_list_home.txt et les fichiers .csv fournis.
• Fichiers .pdf
  1. Objectif : Ce sont des visualisations de la sortie des commandes R à l'aide des fichiers .csv fournis.