CAN_Reverse_Engineering

Automatizado pode pagar engenharia reversa

PERCEBER

As opiniões expressas neste documento e código são as do autor e não refletem a política ou posição oficial da Força Aérea dos Estados Unidos, do Exército dos Estados Unidos, do Departamento de Defesa dos Estados Unidos ou do governo dos Estados Unidos. Este material é declarado um trabalho do governo dos EUA e não está sujeito à proteção de direitos autorais nos Estados Unidos. A aprovação para a divulgação pública deste Código foi aprovada pela 88ª Ala Asa Aira Pública de Asa Pública em 08 de março de 2019 sob o caso número 88ABW-2019-0910. A divulgação não classificada da dissertação foi aprovada em 03 de janeiro de 2019 sob o processo número 88ABW-2019-0024.

---

Este projeto abriga os scripts Python e R destinados a facilitar a engenharia reversa automatizada da rede de áreas do controlador (CAN), observadas nos veículos de passageiros. Este código foi originalmente desenvolvido pelo Dr. Brent Stone no Instituto de Tecnologia da Força Aérea em busca de um Doutor em Filosofia em Ciência da Computação. Consulte a dissertação incluída intitulada "Ativando as redes de área de auditoria e intrusões para redes de área de controladores proprietários" para obter detalhes sobre os métodos utilizados. Por favor, abra um problema, informe -me se você encontrar erros de digitação, gramática ruim, imagens protegidas por direitos autorais que você deseja remover ou outros problemas!

Agradeço especial a Dave Blundell, co-autor do Manual do Hacker de Carro, e à Comunidade de Garagens Open para obter conselhos técnicos e servir como uma tábua.

Dicas e conselhos

Esses scripts não serão executados imediatamente ao clonar este repositório. Espero que essas dicas economizem tempo e frustração dizendo "Por que essas coisas não funcionam!?!?!" Faça perguntas postando no grupo Open Garages Google. Esses scripts foram desenvolvidos e testados usando o Python 3.6. Certifique-se de ter os pacotes Numpy, Pandas e Scikit-Learn disponíveis para o seu intérprete Python.

Os arquivos são organizados com um exemplo de amostra de dados e três pastas. Cada pasta é um conjunto independente de classes de Python interdependentes ou scripts R para examinar dados CAN no formato mostrado no exemplo LoggerProgram0.log. Diferentes formatos de arquivo podem ser usados ​​ajustando o pré -processador.py de acordo.

• Pasta 1: Pipeline

  • Basta copiar o LoggerProgram0.log nesta pasta e executar main.py.
  • Esta é a implementação mais básica do pipeline descrito na dissertação. Mais de 80% do código é referenciado de main.py. Siga as chamadas feitas no main.py para ver como os dados são processados ​​sequencialmente e salvos no disco.
  • Os 20% restantes são partes não utilizadas de código que foram deixadas no local para servir de referência para diferentes maneiras de fazer as coisas em Python ou experimentos interessantes que valiam a pena preservar (como a pesquisa de Smith-Waterman).

• Pasta 2: Pipeline_multi-File

  • Esta é a implementação mais completa e robusta dos conceitos apresentados na dissertação; No entanto, o código também é mais complicado para permitir o processamento automatizado de muitas amostras de dados CAN ao mesmo tempo. Se você ainda não está muito confortável com o Python e o Pandas, entenda como os scripts da pasta do pipeline funcionam antes de tentar passar por essa versão expandida do código.

  • Esta pasta inclui as mesmas classes do pipeline . No entanto, alguns bugs foram corrigidos aqui, mas não nas classes salvas no pipeline . Se uma alma generosa quiser transplantar as correções de volta para o pipeline , eu vou mesclar o garfo.

  • Leia os comentários sobre a estrutura esperada da pasta!

• Pasta 3: r scripts

  • Os scripts R requerem o pacote Redm. Procure comandos_list.txt para uma série seqüencial de comandos R. Para obter mais informações sobre o EDM, consulte a página inicial do Laboratório Sugihara da UC San Diego: https://deepeco.ucsd.edu/.

  • As pastas "City" e "Home" incluem arquivos .CSV de RPM do motor, pressão do freio e séries temporais de velocidade do veículo durante diferentes condições de condução. Cada pasta inclui um arquivo "Commands_list _ ####.

  • Os arquivos .rda e a saída gráfica .pdf são exemplos de saída usando os comandos R e dados .csv fornecidos.

[Atualização de abril de 2020] Will Freeman adicionou suporte para argumentos da linha de comando e formato de log de Can-Utils pré-processamento. O uso é:

Exemplo Use com o formato de log de can -utils main.py -c inputfile.log

python main.py-can-utils inputfile.log

Exemplo Use com formato original python main.py originalFormat.log

Exemplo Use com ./loggerprogram0.log python main.py

Informações específicas do script por pasta

Oleoduto

Entrada : os dados podem no formato demonstrado no LoggerProgram0.log

• Main.py
  1. Objetivo : Este script vincula e chama todos os scripts restantes nesta pasta. Ele lida com algumas variáveis ​​'globais' usadas para modificar o fluxo de dados entre os scripts, bem como os arquivos em saída para o disco rígido local.
• Preprocessor.py
  1. Objetivo : Este script é responsável por ler em arquivos .log e convertê -los em uma estrutura de dados de tempo de execução conhecida como um quadro de dados de pandas. Algumas 'limpeza de dados' também são realizadas por este script. A saída é uma estrutura de dados do dicionário que contém objetos de tempo de execução arbid com base na classe definida no arbid.py . J1979.Py é chamado a tentar identificar e extrair dados no quadro de dados relacionados ao padrão SAE J1979. J1979 é um padrão de comunicação pública, portanto, esses dados não precisam ser especialmente analisados ​​pelos scripts a seguir.
• Lexicalanalysis.py
  1. Objetivo : Este script é responsável por fazer um palpite educado sobre os dados de séries temporais presentes no quadro de dados e no dicionário Arbid criado pelo preprocessor.py . As séries temporais individuais são gravadas usando um dicionário de objetos de tempo de execução do sinal com base na classe definida no Signal.py .
• Semanticanálise.py
  1. Objetivo : Este script gera uma matriz de correlação de séries temporais de sinal produzida pela lexicalanalysis.py . Essa matriz de correlação é então usada para agrupar séries temporais do sinal usando uma implementação de código aberto de um algoritmo de cluster hierárquico.
• Plotter.py
  1. Objetivo : Este script usa uma biblioteca de plotagem de código aberto para produzir visualizações dos grupos de séries temporais de sinal e séries temporais J1979 produzidas pelos scripts anteriores.

Saída : Esta série de scripts produz uma matriz de saída, dependendo das variáveis ​​globais definidas em main.py. Esta saída pode incluir o seguinte:

• Os arquivos 'Pickle' do dicionário de tempo de execução e objetos de quadro de dados usando a biblioteca de picles de código aberto para Python. Esses arquivos simplesmente aceleram a execução repetida dos scripts python quando o mesmo arquivo .log é usado para entrada para main.py.
• Valor separado por vírgula (.csv) arquivos de texto simples da matriz de correlação entre os dados da série temporal presentes no arquivo .log.
• Gráficos de gráficos de dispersão das séries temporais presentes no arquivo .log.
• Um gráfico do dendrograma produzido durante o agrupamento hierárquico em semanticanálise.py . Um dendrograma é um método bem documentado para visualizar os resultados de algoritmos hierárquicos de agrupamento.

Pipeline_multi-File

Entrada : os dados podem no formato demonstrado no LoggerProgram0.log.

• Main.Py e os outros scripts denominados de forma idêntica do pipeline foram atualizados para permitir que os scripts importem e processem automaticamente vários arquivos .log.
• Fileboi.py
  1. Objetivo : Esta é uma série de funções que lidam com a logística de busca e leitura em dados de vários arquivos .log.
• Sample.py
  1. Objetivo : grande parte da funcionalidade presente no main.py no pipeline foi movida para esse script. Isso funciona em conjunto com o Fileboi.py para lidar com a logística de trabalhar com vários arquivos .Log.
• Samplestats.py
  1. Objetivo : Este script produz e registra uma série de estatísticas básicas sobre um arquivo .log específico.
• Validator.py
  1. Objetivo : Este script executa uma técnica comum de validação de aprendizado de máquina chamada 'Split de teste de trem' para quantificar a consistência da saída de lexicalanalysis.py e semanticanálise.py . Isso foi usado em conjunto com samplestats.py para produzir achados quantificáveis ​​para trabalhos de pesquisa e a dissertação. Saída : a saída do pipeline_multi-File é a mesma do pipeline , mas organizada de acordo com a estrutura de arquivos usada para armazenar o conjunto de arquivos .log usados ​​como entrada. Samplestats.py e validator.py também produzem algumas métricas estatísticas adicionais em relação a cada arquivo .log.

R

Entrada : arquivos de texto simples .csv contendo dados de séries temporais como os incluídos nesta pasta.

• commands_list.txt, commands_list_city.txt, commands_list_home.txt
  1. Objetivo : Esta é uma lista de comandos R para o pacote Redm disponível publicamente. A intenção é executar a análise da série temporal de acordo com o Redm User Guide. Cada versão é altamente semelhante e personalizada apenas para apontar para um arquivo .csv diferente para entrada e arquivo .pdf para visualizar a saída.

Saída :

• Arquivos .rda
  1. Objetivo : esses são arquivos legíveis à máquina para armazenar objetos de quadro de dados r no disco. Todos esses arquivos foram gerados usando as operações listadas em commands_list.txt, commands_list_city.txt, commands_list_home.txt e os arquivos .csv fornecidos.
• .pdf arquivos
  1. Objetivo : são visualizações da saída dos comandos R usando os arquivos .CSV fornecidos.