treeedb

TreeedB

treeedb يجعل من السهل البدء في كتابة تحليل البرنامج على مستوى المصدر في Soufflé Datalog. أولاً ، يولد treeedb أنواعًا وعلاقات Soufflé التي تمثل AST للبرنامج. بعد ذلك ، يقوم treeedb بتوزيع رمز المصدر وينبعث من الحقائق التي تملأ تلك العلاقات.

يدعم treeedb حاليًا تحليل هذه اللغات:

• ج
• ج#
• جافا
• جافا سكريبت
• الصدأ
• Soufflé
• سريع

تعتمد محللات treeedb و ASTS على قواعد جليدية للأشجار ، ومن السهل جدًا إضافة دعم لأي لغة مع قواعد جليدية للأشجار.

اسم treeedb هو portmanteau من "Sitter Tree Sitter" مع "EDB" ، حيث يرمز EDB إلى "قاعدة بيانات التمديد" ويشير إلى مجموعة الحقائق في برنامج DataLog.

تثبيت

ستحتاج إلى اثنين من القطع الأثرية لكل لغة برمجة تريد تحليلها:

1. ملف soufflé مع أنواع وعلاقات تحدد AST
2. القابلة للتنفيذ التي تحلل تلك اللغة وتنبعث من الحقائق

على سبيل المثال ، بالنسبة إلى Java ، تسمى treeedb-java.dl و treeedb-java ، على التوالي.

لتحليل بعض التعليمات البرمجية فعليًا ، ستحتاج أيضًا إلى تثبيت Soufflé.

التثبيت من إصدار

انتقل إلى أحدث إصدار على صفحة الإصدارات وقم بتنزيل القطع الأثرية المتعلقة باللغة التي تريد تحليلها. ترتبط الموظفين التنفيذيون المُحسّنون مسبقًا بشكل ثابت ، ولكنها متاحة حاليًا فقط لـ Linux.

بناء من الصناديق

يمكنك إنشاء نسخة صدر من Cates.io. ستحتاج إلى برنامج التحويل البرمجي للصدأ وأداة بناء الشحن. Rustup يجعل من السهل للغاية الحصول على هذه. ثم ، لتثبيت أدوات اللغة <LANG> ، قم بتشغيل:

 cargo install treeedb-<LANG> treeedbgen-souffle-<LANG>

سيؤدي ذلك إلى تثبيت الثنائيات على ~/.cargo/bin . لإنشاء ملف datalog ، قم بتشغيل treeedbgen-souffle-<LANG> ثنائي.

لسوء الحظ ، فإن الثنائيات ذات الصلة Java ليست متاحة بعد على Crates.io.

بناء من المصدر

للبناء من المصدر ، ستحتاج إلى برنامج التحويل البرمجي للصدأ وأداة بناء الشحن. Rustup يجعل من السهل للغاية الحصول على هذه.

ثم ، احصل على المصدر:

git clone https://github.com/langston-barrett/treeedb
cd treeedb

أخيرًا ، قم ببناء كل شيء:

cargo build --release

يمكنك العثور على ثنائيات treeedb-<LANG> في target/release . لإنشاء ملف datalog ، قم بتشغيل treeedbgen-souffle-<LANG> ثنائي.

مثال: تحليل رمز Java

لمتابعة هذا المثال ، اتبع تعليمات التثبيت لـ Java. ثم ، قم بإنشاء ملف Java باسم Main.java :

 class Main {
    public static void main ( String [] args ) {
        int x = 2 + 2 ;
    }
}

(الملفات الموضحة في هذا القسم متوفرة أيضًا في examples/java/ .)

قم بإنشاء ملف datalog المسماة const-binop.dl يتضمن treeedb-java.dl وله قاعدة للعثور على تعبيرات ثنائية ذات قيمة ثابتة:

 #include "treeedb-java.dl"

.decl const_binop(expr: JavaBinaryExpression)

const_binop(expr) :-
  java_binary_expression(expr),
  java_binary_expression_left_f(expr, l),
  java_binary_expression_right_f(expr, r),
  java_decimal_integer_literal(l),
  java_decimal_integer_literal(r).

.decl show_const_binop(text: JavaNodeText)

show_const_binop(text) :-
  const_binop(expr),
  java_node_text(expr, text).

.output const_binop(IO=stdout)
.output show_const_binop(IO=stdout)

إنشاء ملفات الإدخال ( node.csv و field.csv ):

treeedb-java Main.java

أخيرًا ، قم بإجراء التحليل باستخدام Soufflé:

souffle const-binop.dl

سترى شيئًا كهذا:

 ---------------
const_binop
===============
94001952741472
===============
---------------
show_const_binop
===============
2 + 2
===============

حفر أعمق

لمعرفة ما هو نوع وأسماء العلاقات المتوفرة ، انظر إلى treeedb-<LANGUAGE>.dl . إذا لم يكن واضحًا أي جزء من اللغة أو علاقة معينة أو علاقة يتوافق معها ، فقم بإلقاء نظرة على القواعد النحوية لعلامة الأشجار (على سبيل المثال Grammar.js في ريبو جافا جافا من أجل Java).

الدافع والمقارنة مع الأدوات الأخرى

قبل كتابة تحليل البرنامج في DataLog ، تحتاج إلى معرفة (1) كيفية تمثيل البرنامج كعلاقات ، و (2) كيفية استيعاب البرامج في هذا التمثيل. تقوم مشاريع DataLog الحديثة بأحدث هذا "باليد":

• يحتوي Cclyzer ++ على دليل "مخطط" (1) و agengenerator (2).
• لدى DOOP ملف استيرادات كبير (1) ومجموعة متنوعة من المولدات (2).
• DDisasm لديه GTIRB-Decoder (2).
• Securify لديه analysis-input.dl (1).

كتابة هذه العروض وأدوات الابتلاع تستغرق وقتًا ثمينًا وتشتيت انتباههم عن عمل تحليلات الكتابة. يهدف treeedb إلى أتمتة ذلك ، وتركيبه في نفس مكان هذه الأدوات.

هيكل المستودع

• treeedb : قم بإنشاء حقائق DataLog من أشجار تحليل تجسس الأشجار
• treeedb-c : إنشاء حقائق DataLog من رمز المصدر C.
• treeedb-csharp : إنشاء حقائق Datalog من رمز المصدر C
• treeedbgen : Types-types.json من قواعد النحوية
• treeedbgen-souffle : قم بتوليد أنواع Soufflé وعلاقات من قواعد النحام الجليدية
• treeedbgen-souffle-c : قم بإنشاء أنواع Soufflé وعلاقاتها من قواعد الشجرة C.
• treeedbgen-souffle-csharp : توليد أنواع وعلاقات Soufflé من قواعد النحو الجسدية C#
• treeedbgen-souffle-java : توليد أنواع وعلاقات Soufflé من قواعد جافا تري
• treeedbgen-souffle-javascript : إنشاء أنواع وعلاقات Soufflé من قواعد جافا سكريبت جافش سكريبت
• treeedbgen-souffle-rust : قم بإنشاء أنواع Soufflé وعلاقاتها من القواعد النحوية لعضلة شجرة الصدأ
• treeedbgen-souffle-souffle : قم بإنشاء أنواع وعلاقات Soufflé من قواعد Soufflé Tree Sitter
• treeedbgen-souffle-swift : توليد أنواع وعلاقات Soufflé من قواعد النحو السويفت لعضلة الأشجار
• treeedb-java : قم بإنشاء حقائق Datalog من رمز المصدر Java
• treeedb-javascript : إنشاء حقائق DataLog من رمز مصدر JavaScript
• treeedb-rust : إنشاء حقائق datalog من رمز مصدر الصدأ
• treeedb-souffle : إنشاء حقائق DataLog من رمز المصدر Soufflé
• treeedb-swift : إنشاء حقائق DataLog من رمز المصدر السريع

المساهمة

شكرا لك على اهتمامك بـ treeedb ! نرحب ونقدر جميع أنواع المساهمات. لا تتردد في تقديم طلب السحب وإصداره أو فتحه.

إضافة لغة

كما هو موضح في التثبيت ، هناك أداتان متورطتان في دعم تحليل كل لغة برمجة: واحدة لإنشاء أنواع وعلاقات Soufflé (على سبيل المثال ، treeedbgen-souffle-c ) ، والآخر لتحليل اللغة التي يتم تحليلها والحقائق (على سبيل المثال ، treeedb-c ).

لإضافة لغة جديدة:

• قم بإنشاء أدلة جديدة treeedb-<LANG> و treeedbgen-souffle-<LANG> بنفس الهيكل مثل الهيكل الحالي (قد يكون من الأسهل نسخها القائمة بشكل متكرر).
• أضف الدلائل الجديدة إلى Cargo.toml من المستوى الأعلى.
• أضف اللغة إلى .github/workflows/release.yml

انظر PR #9 للحصول على مثال كامل.

البرنامج النصي ./scripts/add-language.sh مثال الاستخدام:

bash scripts/add-language.sh python Python