CAN_Reverse_Engineering

자동화 된 캔 페이로드 리버스 엔지니어링

알아채다

이 문서와 코드에 표현 된 견해는 저자의 견해이며 미국 공군, 미 육군, 미국 국방부 또는 미국 정부의 공식 정책 또는 직책을 반영하지 않습니다. 이 자료는 미국 정부의 작업으로 선언되었으며 미국의 저작권 보호 대상이되지 않습니다. 이 코드의 공개 승인은 2019 년 3 월 8 일 사례 번호 88ABW-2019-0910에 따라 88 번째 항공 기지 윙 홍보에 의해 승인되었습니다. 논문의 분류되지 않은 공개는 2019 년 1 월 3 일 사례 번호 88ABW-2019-0024에 따라 승인되었습니다.

---

이 프로젝트에는 여객 차량에서 관찰 된 컨트롤러 영역 네트워크 (CAN) 페이로드의 자동 리버스 엔지니어링을 용이하게하기위한 Python 및 R 스크립트가 있습니다. 이 코드는 원래 컴퓨터 과학 철학 박사를 추구하기 위해 공군 기술 연구소의 Brent Stone 박사가 개발했습니다. 사용 된 방법에 대한 자세한 내용은 "독점 컨트롤러 영역 네트워크에 대한 감사 및 침입 탐지 활성화"라는 제목의 논문을 참조하십시오. 오타, 잘못된 문법, 제거하려는 저작권이있는 이미지 또는 기타 문제가있는 경우 알려주는 문제를 열어주십시오!

자동차 해커 핸드북의 공동 저자 인 Dave Blundell과 기술 조언과 사운드 보드 역할을하는 Open Garages 커뮤니티에 특별한 감사를드립니다.

팁과 조언

이 스크립트는이 repo를 복제 할 때 즉시 실행되지 않습니다. 바라건대이 팁은 "왜 이런 일이 작동하지 않는다!?!?!"라는 시간과 좌절을 절약 할 수 있기를 바랍니다. 오픈 차고 Google Group에 게시하여 질문을하십시오. 이 스크립트는 Python 3.6을 사용하여 개발 및 테스트되었습니다. Python 통역사가 Numpy, Pandas 및 Scikit-Learn 패키지를 사용할 수 있는지 확인하십시오.

파일은 예제로 데이터 샘플과 3 개의 폴더로 구성됩니다. 각 폴더는 예제 LoggerProgram0.log에 표시된 형식의 CAN 데이터를 검사하기위한 자체 포함 된 상호 의존적 인 Python 클래스 또는 R 스크립트 세트입니다. Preprocessor.py를 조정하여 다른 파일 형식을 사용할 수 있습니다.

• 폴더 1 : 파이프 라인

  • LoggerProgram0.log를이 폴더에 복사하고 main.py를 실행하기 만하면됩니다.
  • 이것은 논문에 설명 된 파이프 라인의 가장 기본적인 구현입니다. 코드의 80% 이상이 main.py에서 참조됩니다. Main.py에서 작성된 통화를 따라 데이터가 순차적으로 처리되고 디스크에 저장되는 방법을 확인하십시오.
  • 나머지 20%는 코드의 미사용 부분으로, 파이썬에서 일을하는 다른 방법 또는 보존 할 가치가있는 흥미로운 실험 (Smith-Waterman Search와 같은)에 대한 참조로 사용되었습니다.

• 폴더 2 : pipeline_multi-file

  • 이것은 논문에 제시된 개념의 가장 완벽하고 강력한 구현입니다. 그러나이 코드는 한 번에 많은 CAN 데이터 샘플의 자동 처리를 가능하게하는 것이 더 복잡합니다. Python 및 Pandas에 아직 편안하지 않은 경우이 확장 된 버전의 코드를 사용하기 전에 파이프 라인 폴더의 스크립트가 어떻게 작동하는지 이해하십시오.

  • 이 폴더에는 파이프 라인 의 동일한 클래스가 포함되어 있습니다. 그러나 일부 버그는 여기서 고정되었지만 파이프 라인 에 저장된 클래스에는 수정되지 않았습니다 . 관대 한 영혼이 수정 사항을 파이프 라인 으로 다시 이식하기를 원한다면, 나는 포크를 행복하게 병합 할 것입니다.

  • 예상 폴더 구조에 대한 의견을 읽으십시오!

• 폴더 3 : r 스크립트

  • R 스크립트에는 REDM 패키지가 필요합니다. 순차적 인 R 명령에 대해서는 commands_list.txt를 찾으십시오. EDM에 대한 자세한 내용은 UC San Diego의 Sugihara Lab 홈페이지 : https://deepeco.ucsd.edu/를 참조하십시오.

  • 폴더 "City"및 "Home"에는 다양한 주행 조건에서 엔진 RPM의 .CSV 파일, 브레이크 압력 및 차량 속도 시계열이 포함됩니다. 각 폴더에는 redm 패키지를 사용 하여이 데이터를 분석하기 위해 Copy-Paste r 명령에 대한 "Commands_list _ #####. txt"파일이 포함되어 있습니다.

  • .RDA 파일 및 .pdf 그래픽 출력은 r 명령을 사용한 출력의 예이며 .CSV 데이터를 제공했습니다.

[2020 년 4 월 업데이트] Freeman은 명령 줄 인수 및 can-utils 로그 형식 사전 프로세싱에 대한 지원을 추가 할 것입니다. 사용법은 다음과 같습니다.

Can -utils 로그 형식 Python Main.py -c inputfile.log와 함께 사용

Python main.py -can-utils inputfile.log

예제 원본 형식 Python Main.py OriginalFormat.log와 함께 사용합니다

예제 ./loggerprogram0.log python main.py와 함께 사용합니다

폴더 별 특정 정보

관로

입력 : LoggerProgram0.log에서 시연 된 형식의 데이터가 가능합니다.

• main.py
  1. 목적 :이 스크립트는이 폴더의 나머지 스크립트를 링크하고 호출합니다. 스크립트 간 데이터 흐름을 수정하는 데 사용되는 일부 '글로벌'변수와 로컬 하드 디스크에 출력하는 파일을 처리합니다.
• 사전 처리기 .py
  1. 목적 :이 스크립트는 .log 파일을 읽고 Pandas 데이터 프레임으로 알려진 런타임 데이터 구조로 변환 할 책임이 있습니다. 일부 '데이터 청소'도이 스크립트에서 수행됩니다. 출력은 Arbid.py 에 정의 된 클래스를 기반으로 Arbid 런타임 개체를 포함하는 사전 데이터 구조입니다. J1979.Py 는 SAE J1979 표준과 관련된 데이터 프레임에서 데이터를 식별하고 추출하려고 시도합니다. J1979는 공개 커뮤니케이션 표준 이므로이 데이터는 다음 스크립트에서 특별히 분석 할 필요가 없습니다.
• lexicalanalysis.py
  1. 목적 :이 스크립트는 데이터 프레임에 존재하는 시계열 데이터와 preprocessor.py 가 만든 사전 사전에 대한 교육받은 추측을 담당합니다. 개별 시계열은 Signal.py 에 정의 된 클래스를 기반으로 신호 런타임 객체 사전을 사용하여 기록됩니다.
• Semanticanalysis.py
  1. 목적 :이 스크립트는 LexicalAnalysis.py 에 의해 생성 된 신호 시계열의 상관 관계 행렬을 생성합니다. 이 상관 행렬은 계층 적 클러스터링 알고리즘의 오픈 소스 구현을 사용하여 신호 시계열을 클러스터하는 데 사용됩니다.
• plotter.py
  1. 목적 :이 스크립트는 오픈 소스 플로팅 라이브러리를 사용하여 이전 스크립트에서 생성 된 신호 시계열 및 J1979 시계열의 시각화를 생성합니다.

출력 :이 일련의 스크립트는 main.py 에 정의 된 글로벌 변수에 따라 출력 배열을 생성합니다. 이 출력은 다음을 포함 할 수 있습니다.

• 파이썬 용 오픈 소스 피클 라이브러리를 사용하는 런타임 사전 및 데이터 프레임 개체의 '피클'파일. 이 파일은 동일한 .log 파일이 main.py 에 입력하는 데 사용되는 경우 Python 스크립트의 반복 실행 속도를 높이십시오.
• Comma 분리 값 (.CSV) .Log 파일에 존재하는 시계열 데이터 간의 상관 행렬의 일반 텍스트 파일.
• .log 파일에 존재하는 시계열의 산란 플롯의 그래픽.
• SemanticAnalysis.py 에서 계층 적 클러스터링 중에 생성 된 덴드로 그램의 그래픽. 덴드로 그램은 계층 적 클러스터링 알고리즘의 결과를 시각화하기위한 잘 문서화 된 방법입니다.

파이프 라인_multi-file

입력 : LoggerProgram0.log에 표시된 형식의 데이터가 가능합니다.

• Main.py 및 파이프 라인 에서 동일한 이름이 지정된 스크립트가 업데이트되어 스크립트가 여러 .log 파일을 자동으로 가져오고 처리 할 수 ​​있습니다.
• fileboi.py
  1. 목적 : 이것은 여러 .log 파일의 데이터를 검색하고 읽는 물류를 처리하는 일련의 기능입니다.
• 샘플 .py
  1. 목적 : 파이프 라인 의 Main.py 에있는 많은 기능 이이 스크립트로 이동되었습니다. 이는 FileBoi.py 와 함께 작동하여 여러 .log 파일 작업의 물류를 처리합니다.
• samplestats.py
  1. 목적 :이 스크립트는 특정 .log 파일에 대한 일련의 기본 통계를 생성하고 기록합니다.
• validator.py
  1. 목적 :이 스크립트는 lexicalanalysis.py 및 semanticanalysis.py 의 출력의 일관성을 정량화하기 위해 'Train-Test Split'이라는 일반적인 기계 학습 검증 기술을 수행합니다. 이것은 Samplestats.py 와 함께 사용하여 연구 논문 및 논문에 대한 정량화 가능한 결과를 생성했습니다. 출력 : Pipeline_multi-File 의 출력은 파이프 라인 과 동일하지만 입력으로 사용되는 .log 파일 세트를 저장하는 데 사용되는 파일 구조에 따라 구성됩니다. samplestats.py 및 validator.py는 또한 각 .log 파일에 대한 몇 가지 추가 통계 메트릭을 생성합니다.

아르 자형

입력 :이 폴더에 포함 된 것과 같은 시계열 데이터가 포함 된 일반 텍스트 .CSV 파일.

• commands_list.txt, commands_list_city.txt, commands_list_home.txt
  1. 목적 : 이것은 공개적으로 사용 가능한 REDM 패키지의 R 명령 목록입니다. 의도는 REDM 사용자 안내서에 따라 시계열 분석을 수행하는 것입니다. 각 버전은 입력을 위해 다른 .CSV 파일을 가리키고 출력을 시각화하기 위해 .pdf 파일을 가리키도록 매우 유사하고 사용자 정의됩니다.

출력 :

• .RDA 파일
  1. 목적 : 이들은 R 데이터 프레임 개체를 디스크에 저장하기위한 머신 읽기 가능한 파일입니다. 이러한 모든 파일은 commands_list.txt, commands_list_city.txt, commands_list_home.txt 및 제공된 .csv 파일에 나열된 작업을 사용하여 생성되었습니다.
• .pdf 파일
  1. 목적 : 제공된 .CSV 파일을 사용하여 R 명령의 출력을 시각화합니다.