libsa4py

Intro

LibSA4Py ist eine statische Analysebibliothek für Python, die Typen und Merkmale für Schulungsmodelle für das Training von ML-basierten Inferenzmodellen extrahiert.

• Anforderungen
• Schnelle Installation
• Verwendung
  • Verarbeitungsprojekte
  • Projekte zusammenführen
• JSON -Ausgabe

Anforderungen

• Python 3.7 oder neuer (Python 3.8 wird empfohlen)
• Watchman (zum Ausführen von Pyre) [ optional ]
• MacOS- oder Linux -Systeme

Schnelle Installation

 git clone https://github.com/saltudelft/libsa4py.git
cd libsa4py && pip install .

Verwendung

Verarbeitungsprojekte

Führen Sie angesichts von Python-Repositories den folgenden Befehl aus, um Quellcodedateien zu verarbeiten und JSON-formatierte Ausgänge zu generieren:

 libsa4py process --p $REPOS_PATH --o $OUTPUT_PATH --d $DUPLICATE_PATH --j $WORKERS_COUNT --l $LIMIT --c --no-nlp --pyre

Beschreibung:

• --p $REPOS_PATH : Der Pfad zum Python Corpus oder zum Datensatz.
• --o $OUTPUT_PATH : Pfad zum Speichern verarbeiteter Projekte.
• --d $DUPLICATE_PATH : Pfad zu doppelten Dateien des angegebenen Datensatzes (dh JSONL.GZ-Datei, die vom CD4Py-Tool erstellt wurde). [ Optional ]
• --s : Pfad zur CSV-Datei zum Aufteilen des angegebenen Datensatzes. [ Optional ]
• --j $WORKERS_COUNT : Anzahl der Arbeitnehmer für die Verarbeitung von Projekten. [ Optional , Standard = Nr. von verfügbaren CPU -Kernen]
• --l $LIMIT : Anzahl der zu verarbeitenden Projekte. [ Optional ]
• --c : Ob Sie verarbeitete Projekte ignorieren. [ Optional , default = false]
• --no-nlp : Ob Sie Standard-NLP-Techniken auf extrahierte Kennungen anwenden möchten. [ Optional , default = true]
• --pyre : Ob Sie pyre laufen lassen, um die Arten von Variablen für bestimmte Projekte zu schließen. [ Optional , default = false]
• --tc : Ob Anmerkungen vom Typ Check-Check in Projekten tippen. [ Optional , default = false]

Projekte zusammenführen

Führen Sie den folgenden Befehl aus:

 libsa4py merge --o $OUTPUT_PATH --l $LIMIT

Beschreibung:

• --o $OUTPUT_PATH : Pfad zu den verarbeiteten Projekten, die im vorherigen Verarbeitungsschritt verwendet werden.
• --l $LIMIT : Anzahl der zu verschmelzen von Projekten. [ Optional ]

Typen anwenden

Führen Sie den folgenden Befehl aus:

 libsa4py apply --p $REPOS_PATH --o $OUTPUT_PATH

Beschreibung:

• --p $REPOS_PATH : Der Pfad zum Python Corpus oder zum Datensatz.
• --o $OUTPUT_PATH : Pfad zu den verarbeiteten Projekten, die im vorherigen Verarbeitungsschritt verwendet werden.

JSON -Ausgabe

Nach der Verarbeitung jedes Projekts wird eine JSON-formatierte Datei erstellt, die hier beschrieben wird.