تنزيل HeaderGen - تنزيل رمز مصدر HeaderGen

HeaderGen

فئات أخرى

1.0.0

تنزيل

Headergen

Headergen هو نهج قائم على الأدوات لتعزيز فهم وملاحة دفاتر Jupyter المستندة إلى Python غير الموثقة عن طريق إنشاء بنية سردية تلقائيًا في دفتر الملاحظات.

يقوم علماء البيانات بإنشاء دفتر حلول يستند إلى ML عن طريق إعداد البيانات أولاً ، ثم استخراج الميزات الرئيسية ، ثم إنشاء النموذج وتدريبه. يقوم Headergen بتعزيز الهيكل السردي الضمني لدفتر ML لإضافة الرؤوس الهيكلية كتعليقات توضيحية إلى دفتر الملاحظات.

معاينة

تثبيت headergen

 pip install headergen

سمات

إدراج رأس تخفيض تلقائي: من خلال تصنيف لعمليات التعلم الآلي ، يقوم Headergen بتعليق خلايا الكود برؤوس تخفيض ذات صلة.
تصنيف استدعاء الوظيفة: يصنف بشكل منهجي مكالمات الوظائف بناءً على تصنيف عمليات التعلم الآلي.
تحليل الرسم البياني المتقدم للمكالمات: يعزز إطار عمل PYCG مع الحساسية للتدفق ودقة نوع المكتبة الخارجية.
الدقة في المكتبات الخارجية: القدرة على حل أنواع إرجاع الوظائف بدقة من المكتبات الخارجية باستخدام typestubs.
مطابقة نمط بناء الجملة: توظف بيانات النوع لمطابقة الأنماط.

استخدام CLI

`generate` الأمر:

قم بإنشاء دفتر NoteGen المشروح في الدليل الحالي. لاحظ أنه سيتم إنشاء ذاكرة التخزين المؤقت في المرة الأولى التي يتم فيها تشغيل Headergen.

headergen generate -i /path/to/input.ipynb

قم بإنشاء ملف بيانات تعريف JSON يتضمن معلومات تحليل مختلفة ، استخدم علامة -json_output أو -j.

headergen generate -i /path/to/input.ipynb -o /path/to/output/ -j

أمر `types` :

قم بتشغيل الاستدلال نوعًا على الملف وجلب المعلومات.

headergen types -i /path/to/input.ipynb

قم بإنشاء ملف JSON مع معلومات النوع ، استخدم علامة -json_output أو -j.

headergen types -i /path/to/input.ipynb -o /path/to/output/ -j

أمر `server` :

بدء الخادم واضح ومباشر:

 headergen server

سيؤدي ذلك إلى بدء تشغيل خادم Uvicorn على المضيف 0.0.0.0 ومنفذ 54068.

get_analysis_notebook نقطة نهاية:

تقوم نقطة النهاية بإرجاع تحليل دفتر الملاحظات المحدد أو البرنامج النصي Python كاستجابة JSON التي تحتوي على بيانات تحليل مثل cell_callsites و block_mapping.

مثال باستخدام Curl:

 curl "http://0.0.0.0:54068/get_analysis_notebook?file_path=/absolute/path/to/your/file.ipynb"

نقطة النهاية get_types:

تقوم نقطة النهاية بإرجاع معلومات النوع من دفتر الملاحظات المحدد أو البرنامج النصي Python كاستجابة JSON.

مثال باستخدام Curl:

 curl "http://0.0.0.0:54068/get_types?file_path=/absolute/path/to/your/file.ipynb"

generate_annotated_notebook نقطة نهاية:

هذه نقطة النهاية تُرجع دفتر الملاحظات المشروح بناءً على التحليل. سيكون الاستجابة تنزيل ملف.

مثال باستخدام Curl:

 curl "http://0.0.0.0:54068/generate_annotated_notebook?file_path=/absolute/path/to/your/file.ipynb" --output annotated_file.ipynb

هيكل المجلد

callsites-jupyternb-micro-benchmark : معيار صغير
callsites-jupyternb-real-world-benchmark : معيار في العالم الحقيقي
evaluation : يحتوي على توضيح الرأس اليدوي ونتائج دراسة المستخدم
framework_models : مكالمات الوظائف إلى تعيين تصنيف ML
typestub-database : نوع STBS لمكتبات ML
headergen : رمز مصدر headergen
pycg_extended : رمز المصدر لـ PYCG الممتد
headergen-extension : jupyter Notebook plugin for hg
headergen_output : مجلد حيث يتم تخزين أجهزة الكمبيوتر المحمولة التي تم إنشاؤها من حاوية Docker

1. بناء الحاوية

احصل على ملفات المصدر

 git clone --recursive
git submodule update --init --recursive
git pull --recurse-submodules

Linux

 docker build -t headergen .
docker run -v {$PWD}/headergen_output:/headergen_output -it headergen bash

النوافذ

 docker build -t headergen .
docker run -v "%cd%"/headergen_output:/headergen_output -it headergen bash

2. قم بتشغيل معايير Headergen من الداخل COTANER

يتم تخزين الإخراج الذي تم إنشاؤه من الأوامر التالية ، مثل دفاتر الملاحظات المشروحة والتقارير والمكالمات والرؤوس وما إلى ذلك ، في المجلد المحلي headergen_output بعد تنفيذ الأوامر التالية.

القياس الصغير (يولد ملف CSV مع نتائج)
```
 make ROOT_PATH=/app/HeaderGen microbench
```
معيار العالم الحقيقي (يولد دفاتر ملاحظات مشروحة وملف CSV الذي يعيد إنتاج الجدول 2)
```
 make ROOT_PATH=/app/HeaderGen realworldbench
```
كلا المعايير
```
 make ROOT_PATH=/app/HeaderGen all
```
الناتج الناتج الناتج
```
 make clean
```

بناء من المصدر

احصل على ملفات المصدر

 git clone --recursive
git submodule update --init --recursive
git pull --recurse-submodules

مسح ذاكرة التخزين المؤقت إذا كانت موجودة

 rm framework_models/models_cache.pickle
rm pycg_extended/machinery/pytd_cache.pickle

الإعداد VenV والتبعيات مع setup.sh SCRIPT
```
 ./setup.sh -i
```
القياس الصغير (يولد ملف CSV مع نتائج)
```
 make ROOT_PATH=<path to repo root> microbench
```
معيار العالم الحقيقي (يولد دفاتر ملاحظات مشروحة وملف CSV الذي يعيد إنتاج الجدول 2)
```
 make ROOT_PATH=<path to repo root> realworldbench
```