treeedb

ต้นไม้

treeedb ทำให้ง่ายต่อการเริ่มเขียนการวิเคราะห์โปรแกรมระดับต้นทางในSoufflé Datalog อันดับแรก treeedb สร้างประเภทSouffléและความสัมพันธ์ที่เป็นตัวแทนของโปรแกรม AST จากนั้นรหัสต้นฉบับของ treeedb Parses และปล่อยข้อเท็จจริงที่เติมเต็มความสัมพันธ์เหล่านั้น

ปัจจุบัน treeedb สนับสนุนการวิเคราะห์ภาษาเหล่านี้:

• C
• C#
• ชวา
• จาวาสคริปต์
• สนิม
• soufflé
• ฉับพลัน

Parsers และ AST ของ treeedb ขึ้นอยู่กับไวยากรณ์ของ Tree-Sitter และมันง่ายมากที่จะเพิ่มการสนับสนุนสำหรับภาษาใด ๆ ด้วยไวยากรณ์ของ Tree-Sitter

ชื่อ treeedb เป็นพอร์ตมานูของ "ผู้จับต้นไม้" ด้วย "EDB" ซึ่ง EDB ย่อมาจาก "ฐานข้อมูลส่วนขยาย" และหมายถึงชุดของข้อเท็จจริงในโปรแกรม Datalog

การติดตั้ง

คุณจะต้องมีสองสิ่งประดิษฐ์สำหรับแต่ละภาษาการเขียนโปรแกรมที่คุณต้องการวิเคราะห์:

1. ไฟล์souffléที่มีประเภทและความสัมพันธ์ที่กำหนด AST
2. การปฏิบัติที่สามารถแยกวิเคราะห์ภาษานั้นและปล่อยข้อเท็จจริงได้

ตัวอย่างเช่นสำหรับ java เหล่านี้เรียกว่า treeedb-java.dl และ treeedb-java ตามลำดับ

ในการวิเคราะห์รหัสบางอย่างจริงคุณจะต้องติดตั้งsoufflé

ติดตั้งจากการเปิดตัว

นำทางไปยังรุ่นล่าสุดในหน้ารีลีสและดาวน์โหลดสิ่งประดิษฐ์ที่เกี่ยวข้องกับภาษาที่คุณต้องการวิเคราะห์ ปฏิบัติการที่สร้างไว้ล่วงหน้านั้นมีการเชื่อมโยงแบบคงที่ แต่ปัจจุบันมีให้สำหรับ Linux เท่านั้น

สร้างจาก Crates.io

คุณสามารถสร้างเวอร์ชันที่ปล่อยออกมาจาก Crates.io คุณจะต้องใช้คอมไพเลอร์สนิมและเครื่องมือสร้างสินค้า Rustup ทำให้ง่ายต่อการได้รับสิ่งเหล่านี้ จากนั้นเพื่อติดตั้งเครื่องมือสำหรับภาษา <LANG> ให้เรียกใช้:

 cargo install treeedb-<LANG> treeedbgen-souffle-<LANG>

สิ่งนี้จะติดตั้งไบนารีเป็น ~/.cargo/bin ในการสร้างไฟล์ Datalog ให้เรียกใช้ Binary treeedbgen-souffle-<LANG> ไบนารี

น่าเสียดายที่ไบนารีที่เกี่ยวข้องกับจาวายังไม่สามารถใช้งานได้ใน Crates.io

สร้างจากแหล่งที่มา

ในการสร้างจากแหล่งที่มาคุณจะต้องใช้คอมไพเลอร์สนิมและเครื่องมือสร้างสินค้า Rustup ทำให้ง่ายต่อการได้รับสิ่งเหล่านี้

จากนั้นรับแหล่งที่มา:

git clone https://github.com/langston-barrett/treeedb
cd treeedb

ในที่สุดก็สร้างทุกอย่าง:

cargo build --release

คุณสามารถค้นหาไบนารี treeedb-<LANG> ใน target/release ในการสร้างไฟล์ Datalog ให้เรียกใช้ Binary treeedbgen-souffle-<LANG> Binary

ตัวอย่าง: การวิเคราะห์รหัส Java

หากต้องการติดตามตัวอย่างนี้ให้ทำตามคำแนะนำการติดตั้งสำหรับ Java จากนั้นสร้างไฟล์ java ชื่อ Main.java :

 class Main {
    public static void main ( String [] args ) {
        int x = 2 + 2 ;
    }
}

(ไฟล์ที่แสดงในส่วนนี้มีอยู่ใน examples/java/ .)

สร้างไฟล์ datalog ชื่อ const-binop.dl ซึ่งมี treeedb-java.dl และมีกฎเพื่อค้นหานิพจน์ไบนารีที่มีค่าคงที่:

 #include "treeedb-java.dl"

.decl const_binop(expr: JavaBinaryExpression)

const_binop(expr) :-
  java_binary_expression(expr),
  java_binary_expression_left_f(expr, l),
  java_binary_expression_right_f(expr, r),
  java_decimal_integer_literal(l),
  java_decimal_integer_literal(r).

.decl show_const_binop(text: JavaNodeText)

show_const_binop(text) :-
  const_binop(expr),
  java_node_text(expr, text).

.output const_binop(IO=stdout)
.output show_const_binop(IO=stdout)

สร้างไฟล์อินพุต ( node.csv และ field.csv ):

treeedb-java Main.java

ในที่สุดเรียกใช้การวิเคราะห์ด้วยsoufflé:

souffle const-binop.dl

คุณจะเห็นอะไรแบบนี้:

 ---------------
const_binop
===============
94001952741472
===============
---------------
show_const_binop
===============
2 + 2
===============

ขุดลึกลงไป

หากต้องการดูชื่อประเภทและความสัมพันธ์ใดให้ดูที่ treeedb-<LANGUAGE>.dl หากไม่ชัดเจนว่าส่วนใดของภาษาประเภทหรือความสัมพันธ์ที่กำหนดสอดคล้องกับให้ดูที่ไวยากรณ์ของผู้เลี้ยงต้นไม้ (เช่นไวยากรณ์. js ใน repo tree-sitter-java repo สำหรับ Java)

แรงจูงใจและการเปรียบเทียบกับเครื่องมืออื่น ๆ

ก่อนที่จะเขียนการวิเคราะห์โปรแกรมใน Datalog คุณต้องคิดออก (1) วิธีการแสดงโปรแกรมเป็นความสัมพันธ์และ (2) วิธีการบริโภคโปรแกรมในการเป็นตัวแทนนั้น โครงการ Datalog ที่ทันสมัยทำทั้งหมดนี้ "ด้วยมือ":

• CCLYZER ++ มีไดเรกทอรี "สคีมา" (1) และ FactGenerator (2)
• Doop มีไฟล์นำเข้าขนาดใหญ่ (1) และเครื่องกำเนิดไฟฟ้าที่หลากหลาย (2)
• DDISASM มี GTIRB-Decoder (2)
• Securify มี analysis-input.dl (1)

การเขียนการเป็นตัวแทนและเครื่องมือกลืนกินเหล่านี้ใช้เวลาอันมีค่าและเบี่ยงเบนความสนใจจากงานเขียนการวิเคราะห์ treeedb ตั้งเป้าหมายที่จะทำให้มันเป็นไปโดยอัตโนมัติและติดตั้งในช่องเดียวกับเครื่องมือเหล่านี้

โครงสร้างที่เก็บ

• treeedb : สร้างข้อเท็จจริง datalog จากต้นไม้แยกวิเคราะห์ต้นไม้
• treeedb-c : สร้างข้อเท็จจริง Datalog จาก C ซอร์สโค้ด C
• treeedb-csharp : สร้างข้อเท็จจริง datalog จาก c# ซอร์สโค้ด c#
• treeedbgen : แยกประเภทโหนดโหนด json จากไวยากรณ์ของต้นไม้
• treeedbgen-souffle : สร้างประเภทSouffléและความสัมพันธ์จากไวยากรณ์ของผู้เลี้ยงต้นไม้
• treeedbgen-souffle-c : สร้างประเภทsouffléและความสัมพันธ์จากไวยากรณ์ของ Tree-tree-tree
• treeedbgen-souffle-csharp : สร้างประเภทsouffléและความสัมพันธ์จากไวยากรณ์ C# tree-sitter
• treeedbgen-souffle-java : สร้างประเภทSouffléและความสัมพันธ์จากไวยากรณ์ของ Tree-Tree Java
• treeedbgen-souffle-javascript : สร้างประเภทsouffléและความสัมพันธ์จากไวยากรณ์ของ Tree-Tree JavaScript
• treeedbgen-souffle-rust : สร้างประเภทSouffléและความสัมพันธ์จากไวยากรณ์ของผู้เลี้ยงต้นไม้สนิม
• treeedbgen-souffle-souffle : สร้างประเภทSouffléและความสัมพันธ์จากไวยากรณ์Soufflé Tree-Tree-Tree-Tree
• treeedbgen-souffle-swift : สร้างประเภทSouffléและความสัมพันธ์จากไวยากรณ์ของผู้เลี้ยงต้นไม้ที่รวดเร็ว
• treeedb-java : สร้างข้อเท็จจริง Datalog จากซอร์สโค้ด Java
• treeedb-javascript : สร้างข้อเท็จจริง datalog จากซอร์สโค้ด JavaScript
• treeedb-rust : สร้างข้อเท็จจริง datalog จากซอร์สโค้ดสนิม
• treeedb-souffle : สร้างข้อเท็จจริง datalog จากซอร์สโค้ดsoufflé
• treeedb-swift : สร้างข้อเท็จจริง datalog จากซอร์สโค้ด Swift

การบริจาค

ขอบคุณสำหรับความสนใจใน treeedb ! เรายินดีต้อนรับและชื่นชมการมีส่วนร่วมทุกประเภท โปรดอย่าลังเลที่จะยื่นและออกหรือเปิดคำขอดึง

การเพิ่มภาษา

ตามที่อธิบายไว้ในการติดตั้งมีเครื่องมือสองอย่างที่เกี่ยวข้องกับการวิเคราะห์การวิเคราะห์ของแต่ละภาษาการเขียนโปรแกรม: หนึ่งในการสร้างประเภทsouffléและความสัมพันธ์ (เช่น treeedbgen-souffle-c ) และอีกประเภทหนึ่งเพื่อแยกวิเคราะห์ภาษาที่ถูกวิเคราะห์และปล่อยข้อเท็จจริง (เช่น treeedb-c )

เพื่อเพิ่มภาษาใหม่:

• สร้างไดเรกทอรีใหม่ treeedb-<LANG> และ treeedbgen-souffle-<LANG> ด้วยโครงสร้างเดียวกับที่มีอยู่ (อาจเป็นวิธีที่ง่ายที่สุดที่จะคัดลอกสิ่งที่มีอยู่ซ้ำ)
• เพิ่มไดเรกทอรีใหม่ลงใน Cargo.toml ระดับบนสุด
• เพิ่มภาษาลงใน .github/workflows/release.yml โดยการคัดลอกและแก้ไขบรรทัดที่มีอยู่สำหรับภาษาอื่น ๆ

ดู PR #9 สำหรับตัวอย่างที่สมบูรณ์

สคริปต์ ./scripts/add-language.sh ทำให้ขั้นตอนเหล่านี้ไม่กี่ขั้นตอน-แต่ไม่จำเป็นต้องเป็นโซลูชันเทิร์นคีย์ ตัวอย่างการใช้งาน:

bash scripts/add-language.sh python Python