HeaderGen

Headern

HeaGen ist ein Werkzeugbasis, um das Verständnis und die Navigation von Jupyter-Notizbüchern undokumentierter Python-basierter Python zu verbessern, indem automatisch eine narrative Struktur im Notebook erstellt wird.

Datenwissenschaftler erstellen ein ML-basierter Lösungs-Notebook, indem er zuerst die Daten vorbereitet, dann wichtige Merkmale extrahiert und dann das Modell erstellt und trainiert. Headen nutzt die implizite narrative Struktur eines ML -Notizbuchs, um dem Notebook strukturelle Header als Annotationen hinzuzufügen.

Vorschau

Installieren Sie Headergen

 pip install headergen

Merkmale

• Automatisierte Markdown-Header-Einfügung: Durch eine Taxonomie für maschinell-lernende Operationen kommentiert Header Code-Zellen mit relevanten Markdown-Headern.

• Funktionsaufruf Taxonomie: Klassifiziert Funktionsaufrufe methodisch auf der Grundlage einer Taxonomie des maschinellen Lernbetriebs.

• Advanced Call-Diagrammanalyse: Verbessert das PYCG-Framework mit Flusssensitivität und externer Bibliotheksrückgabeauflösung.

• Präzision in externen Bibliotheken: Funktionen zur genauen Auflösung von Funktionsrückgabetypen aus externen Bibliotheken mithilfe von Schreiben.

• Syntax -Musteranpassung: Verwendet Typdaten für die Musteranpassung.

CLI -Verwendung

Befehl generate :

Generieren Sie das annotierte Notizbuch des Kopfes im aktuellen Verzeichnis. Beachten Sie, dass die Caches erstellt werden, wenn das erste Mal Headergen ausgeführt wird.

headergen generate -i /path/to/input.ipynb

Generieren Sie eine JSON -Metadata -Datei, die verschiedene Analyseinformationen enthält. Verwenden Sie das Flag --json_output oder -J.

headergen generate -i /path/to/input.ipynb -o /path/to/output/ -j

types :

Führen Sie den Typ -Inferenz in den Datei- und Fetch -Typinformationen aus.

headergen types -i /path/to/input.ipynb

Generieren Sie eine JSON -Datei mit Typinformationen und verwenden Sie das Flag -Json_Output oder -J.

headergen types -i /path/to/input.ipynb -o /path/to/output/ -j

server :

Das Starten des Servers ist unkompliziert:

 headergen server

Dadurch wird der Uvicorn -Server gestartet, der Host 0.0.0.0 und Port 54068 anhört.

get_analysis_notebook Endpoint:

Dieser Endpunkt gibt die Analyse des angegebenen Notebook- oder Python -Skripts als JSON -Antwort zurück, das Analysedaten wie Cell_Callssite und Block_Mapping enthält.

Beispiel mit Curl:

 curl "http://0.0.0.0:54068/get_analysis_notebook?file_path=/absolute/path/to/your/file.ipynb"

Get_types Endpoint:

Dieser Endpunkt gibt Typinformationen des angegebenen Notebook- oder Python -Skripts als JSON -Antwort zurück.

Beispiel mit Curl:

 curl "http://0.0.0.0:54068/get_types?file_path=/absolute/path/to/your/file.ipynb"

generate_annotated_notebook Endpoint:

Dieser Endpunkt gibt das kommentierte Notizbuch basierend auf der Analyse zurück. Die Antwort ist ein Datei -Download.

Beispiel mit Curl:

 curl "http://0.0.0.0:54068/generate_annotated_notebook?file_path=/absolute/path/to/your/file.ipynb" --output annotated_file.ipynb

Ordnerstruktur

• callsites-jupyternb-micro-benchmark : Micro-Benchmark
• callsites-jupyternb-real-world-benchmark : Real-World Benchmark
• evaluation : Enthält manuelle Header -Annotation und Benutzerstudienergebnisse
• framework_models : Funktionsaufrufe zur ML -Taxonomie -Zuordnung
• typestub-database : Typ-STBS für ML-Bibliotheken
• headergen : Quellcode von Heatengen
• pycg_extended : Quellcode von erweitertem PYCG
• headergen-extension : Jupyter Notebook Plugin für HG
• headergen_output : Ordner, in dem die generierten Notizbücher aus dem Docker -Container gespeichert sind

---

1. Container bauen

• Holen Sie sich Quelldateien

   git clone --recursive
  git submodule update --init --recursive
  git pull --recurse-submodules
  

• Linux

   docker build -t headergen .
  docker run -v {$PWD}/headergen_output:/headergen_output -it headergen bash
  

• Fenster

   docker build -t headergen .
  docker run -v "%cd%"/headergen_output:/headergen_output -it headergen bash
  

2. Run Headergen -Benchmarks von Inside Contatiner

Ausgabe, die aus den folgenden Befehlen erzeugt werden, wie z. B. annotierte Notizbücher, Berichte, Callsites, Header usw., werden im lokalen Ordner headergen_output gespeichert, nachdem die folgenden Befehle ausgeführt wurden.

• Micro -Benchmark (generiert eine CSV -Datei mit Ergebnissen)

   make ROOT_PATH=/app/HeaderGen microbench
  

• Real-World Benchmark (generiert kommentierte Notizbücher und CSV-Datei, die Tabelle 2 reproduzieren)

   make ROOT_PATH=/app/HeaderGen realworldbench
  

• Beide Benchmarks

   make ROOT_PATH=/app/HeaderGen all
  

• Erzeugte Ausgabe sauber

   make clean
  

---

Gebäude aus der Quelle

• Holen Sie sich Quelldateien

   git clone --recursive
  git submodule update --init --recursive
  git pull --recurse-submodules
  

• Cache löschen, wenn existiert

   rm framework_models/models_cache.pickle
  rm pycg_extended/machinery/pytd_cache.pickle
  

• Setup Venv und Abhängigkeiten mit setup.sh script

   ./setup.sh -i
  

• Micro -Benchmark (generiert eine CSV -Datei mit Ergebnissen)

   make ROOT_PATH=<path to repo root> microbench
  

• Real-World Benchmark (generiert kommentierte Notizbücher und CSV-Datei, die Tabelle 2 reproduzieren)

   make ROOT_PATH=<path to repo root> realworldbench
  

• Beide Benchmarks

   make ROOT_PATH=<path to repo root> all
  

• Erzeugte Ausgabe sauber

   make clean
  

---

Dieses Repo enthält Code für das Papier "Verbesserung des Verständnisses und Navigation in Jupyter -Notizbüchern mit statischer Analyse", die auf der Saner Conference 2023 veröffentlicht wurde.