leakage analysis

Анализ утечки

Статический инструмент анализа для обнаружения утечки данных тестовых данных в ноутбуках Python

Это инструмент бумаги ASE'22: утечка данных в ноутбуках: статическое обнаружение и лучшие процессы. Онлайн -демонстрация также доступна. Для наших сценариев оценки и материалов, пожалуйста, обратитесь к этому репо.

Как построить

1. Установите Souffle, двигатель Datalog, который мы используем для нашего основного анализа. Убедитесь, что суфле может быть непосредственно вызван в командной строке.
2. Получите и создайте нашу индивидуальную версию [Pyright], механизма вывода, который мы используем: git submodule update --init --recursive (пожалуйста, см. Подмодуль для создания проекта).
3. Установите необходимые пакеты Python в требованиях.txt. Мы используем Python 3.8 для нашего инструмента; Различные версии Python могут привести к различным проанализированным AST и неожиданным ошибкам.

Как использовать

1. Запустить анализ для одного файла Python: python3 -m src.main /path/to/file
2. Запустите анализ для всех файлов Python в каталоге: python3 -m src.run /path/to/dir
3. Больше информации можно найти с помощью флага -h .

Как построить и запустить изображение Docker

1. Вытащите нашу индивидуальную версию Pyright, механизм вывода, который мы используем: git submodule update --init --recursive .
2. Добавьте все используемые библиотеки Python в requirements.txt , которые будут установлены в контейнере и используются пирзащиками.
3. Строительство Docker Image: docker build -t leakage-analysis .
4. Запустите изображение Docker: docker run -v /path/to/dir:/path/to/dir leakage-analysis /path/to/dir/$FILE -o . Все ноутбуки для анализа должны быть преобразованы в файлы Python и храниться в /path/to/dir .

Как прочитать выход

Для заданного входного файла test.py будет сгенерирован -o html test.html .

В test.html мы показываем результаты анализа наряду с входным кодом. Сводная таблица по выявленным проблемам утечки показана сверху. Пользователи также могут использовать интерактивные кнопки для выделения соответствующего кода и перемещаться по различным сегментам кода.

Внутренняя структура

Учитывая файл Python, src/main.py Сначала анализирует вход в AST. Затем он подает AST в экземпляр GlobalCollector (от global_collector.py ), который собирает глобальные переменные, мы не могли переименовать в более поздних преобразованиях, которые мы проигнорируем позже.

Затем он подает AST в экземпляр CodeTransformer (из irgen.py ), который переводит исходный код Python в более простую версию, которая 1) разбивает сложные операторы на несколько более простых и 2) переводит код в форму статического отдельного назначения (SSA).

Затем он вызывает механизм вывода типа в файле преобразованного кода. С помощью информации о выводе типа он преобразует файл кода в факты Datalog. Окончательный анализ может прочитать, используя FactGenerator из factgen.py .

Наконец, он выполняет анализ данных Datalog ( main.dl ) на сгенерированных фактах и ​​выходах приводит к тому же каталогу.

Структура каталога

 src
├── factgen.py: convert transformed code to datalog facts
├── global_collector.py: collect global variables
├── __init__.py
├── irgen.py: transform code to simpler SSA form
├── main.dl: main datalog analysis that analyzes leakage
├── main.py: run analysis on a single file
├── render.py: output a html file based on analysis results and original code
├── run.py: run analysis on multiple files
└── scope.py: manage variable scopes for renaming purposes