treeedb

pohon

treeedb memudahkan untuk mulai menulis analisis program tingkat sumber di Souffle Datalog. Pertama, treeedb menghasilkan jenis dan hubungan souffle yang mewakili ast program. Kemudian, treeedb mem -parsing kode sumber dan memancarkan fakta yang mengisi hubungan tersebut.

treeedb saat ini mendukung analisis bahasa -bahasa ini:

• C
• C#
• Jawa
• Javascript
• Karat
• Souffle
• Cepat

Parser dan AST treeedb didasarkan pada tata bahasa pengasuh pohon, dan sangat mudah untuk menambah dukungan untuk bahasa apa pun dengan tata bahasa pengasuh pohon.

Nama treeedb adalah portmanteau dari "pengasuh pohon" dengan "EDB", di mana EDB adalah singkatan dari "Extensional Database" dan mengacu pada serangkaian fakta dalam program Datalog.

Instalasi

Anda akan membutuhkan dua artefak untuk setiap bahasa pemrograman yang ingin Anda analisis:

1. File souffle dengan jenis dan hubungan yang mendefinisikan AST
2. Yang dapat dieksekusi yang mem -parsing bahasa itu dan memancarkan fakta

Misalnya, untuk Java ini masing-masing disebut treeedb-java.dl dan treeedb-java .

Untuk benar -benar menganalisis beberapa kode, Anda juga harus menginstal Souffle.

Instal dari rilis

Arahkan ke rilis terbaru di halaman rilis dan unduh artefak yang terkait dengan bahasa yang ingin Anda analisis. Eksekusi pra-dibangun secara statis terkait, tetapi saat ini hanya tersedia untuk Linux.

Bangun dari Crates.io

Anda dapat membangun versi yang dirilis dari Crates.io. Anda akan membutuhkan kompiler karat dan alat pembuatan kargo. Rustup membuatnya sangat mudah untuk mendapatkan ini. Kemudian, untuk menginstal alat untuk bahasa <LANG> , jalankan:

 cargo install treeedb-<LANG> treeedbgen-souffle-<LANG>

Ini akan menginstal binari ke ~/.cargo/bin . Untuk menghasilkan file datalog, jalankan biner treeedbgen-souffle-<LANG> .

Sayangnya, binari terkait Java belum tersedia di Crates.io.

Membangun dari sumber

Untuk membangun dari sumber, Anda akan membutuhkan kompiler karat dan alat pembuatan kargo. Rustup membuatnya sangat mudah untuk mendapatkan ini.

Kemudian, dapatkan sumbernya:

git clone https://github.com/langston-barrett/treeedb
cd treeedb

Akhirnya, bangun semuanya:

cargo build --release

Anda dapat menemukan binari treeedb-<LANG> di target/release . Untuk menghasilkan file datalog, jalankan biner treeedbgen-souffle-<LANG> yang sesuai.

Contoh: Menganalisis Kode Java

Untuk mengikuti contoh ini, ikuti instruksi instalasi untuk Java. Kemudian, buat file java bernama Main.java :

 class Main {
    public static void main ( String [] args ) {
        int x = 2 + 2 ;
    }
}

(File yang ditampilkan di bagian ini juga tersedia dalam examples/java/ .)

Buat file datalog bernama const-binop.dl yang mencakup treeedb-java.dl dan memiliki aturan untuk menemukan ekspresi biner bernilai konstan:

 #include "treeedb-java.dl"

.decl const_binop(expr: JavaBinaryExpression)

const_binop(expr) :-
  java_binary_expression(expr),
  java_binary_expression_left_f(expr, l),
  java_binary_expression_right_f(expr, r),
  java_decimal_integer_literal(l),
  java_decimal_integer_literal(r).

.decl show_const_binop(text: JavaNodeText)

show_const_binop(text) :-
  const_binop(expr),
  java_node_text(expr, text).

.output const_binop(IO=stdout)
.output show_const_binop(IO=stdout)

Hasilkan file input ( node.csv dan field.csv ):

treeedb-java Main.java

Akhirnya, jalankan analisis dengan souffle:

souffle const-binop.dl

Anda akan melihat sesuatu seperti ini:

 ---------------
const_binop
===============
94001952741472
===============
---------------
show_const_binop
===============
2 + 2
===============

Menggali lebih dalam

Untuk melihat jenis dan nama relasi apa yang tersedia, lihat treeedb-<LANGUAGE>.dl . Jika tidak terbukti, bagian mana dari bahasa yang sesuai dengan jenis atau hubungan yang diberikan, lihatlah tata bahasa pengasuh pohon (misalnya tata bahasa.

Motivasi dan perbandingan dengan alat lain

Sebelum menulis analisis program di Datalog, Anda perlu mencari tahu (1) bagaimana mewakili program sebagai hubungan, dan (2) cara mencerna program ke dalam representasi itu. Proyek datalog canggih melakukan semua ini "dengan tangan":

• Cclyzer ++ memiliki direktori "skema" (1) dan factgenerator (2).
• DOOP memiliki file impor.dl besar (1) dan berbagai generator (2).
• Ddisasm memiliki GTIRB-Decoder (2).
• Securify memiliki analysis-input.dl (1).

Menulis representasi dan alat konsumsi ini membutuhkan waktu yang berharga dan mengalihkan perhatian dari pekerjaan analisis penulisan. treeedb bertujuan untuk mengotomatiskannya, menyesuaikan ceruk yang sama dengan alat -alat ini.

Struktur repositori

• treeedb : menghasilkan fakta datalog dari pohon parse pengasuh pohon
• treeedb-c : menghasilkan fakta datalog dari kode sumber C
• treeedb-csharp : Hasilkan fakta datalog dari kode sumber C#
• treeedbgen : Parse node-types.json dari tata bahasa pengasuh pohon
• treeedbgen-souffle : Hasilkan jenis dan hubungan souffle dari tata bahasa pengasuh pohon
• treeedbgen-souffle-c : Hasilkan jenis dan hubungan souffle dari tata bahasa C Tree-Sitter
• treeedbgen-souffle-csharp : Hasilkan jenis dan hubungan souffle dari tata bahasa C#-pengasuh pohon
• treeedbgen-souffle-java : Hasilkan jenis dan hubungan souffle dari tata bahasa pengasuh pohon java
• treeedbgen-souffle-javascript : Hasilkan jenis dan hubungan souffle dari tata bahasa pengasuh pohon javascript
• treeedbgen-souffle-rust : Hasilkan jenis dan hubungan souffle dari tata bahasa pemecah pohon karat
• treeedbgen-souffle-souffle : Hasilkan jenis dan hubungan souffle dari tata bahasa pengasuh pohon souffle
• treeedbgen-souffle-swift : Hasilkan jenis dan hubungan souffle dari tata bahasa pengasuh pohon yang cepat
• treeedb-java : Hasilkan fakta datalog dari kode sumber java
• treeedb-javascript : Hasilkan fakta datalog dari kode sumber JavaScript
• treeedb-rust : Hasilkan fakta datalog dari kode sumber karat
• treeedb-souffle : Hasilkan fakta datalog dari kode sumber Souffle
• treeedb-swift : menghasilkan fakta datalog dari kode sumber cepat

Berkontribusi

Terima kasih atas minat Anda pada treeedb ! Kami menyambut dan menghargai semua jenis kontribusi. Silakan mengajukan dan mengeluarkan atau membuka permintaan tarik.

Menambahkan bahasa

Seperti yang dijelaskan dalam instalasi, ada dua alat yang terlibat dalam analisis pendukung masing-masing bahasa pemrograman: satu untuk menghasilkan jenis dan hubungan souffle (misalnya, treeedbgen-souffle-c ), dan satu lagi untuk mengurai bahasa yang dianalisis dan memancarkan fakta (misalnya, treeedb-c ).

Untuk menambahkan bahasa baru:

• Buat direktori baru treeedb-<LANG> dan treeedbgen-souffle-<LANG> dengan struktur yang sama dengan yang sudah ada (mungkin paling mudah untuk hanya menyalin yang sudah ada secara rekursif).
• Tambahkan direktori baru ke Cargo.toml tingkat atas.
• Tambahkan bahasa ke .github/workflows/release.yml dengan menyalin dan memodifikasi baris yang ada untuk bahasa lain.

Lihat PR #9 untuk contoh lengkap.

Script ./scripts/add-language.sh mengotomatiskan beberapa langkah ini-tetapi tidak selalu merupakan solusi turn-key. Contoh Penggunaan:

bash scripts/add-language.sh python Python