generative ai cybersecurity

AI generatif dalam keamanan siber: menghasilkan kode ofensif dari bahasa alami

Repositori ini berisi materi dan skrip untuk pembicaraan berjudul "AI Generatif dalam Keamanan Cybersurity: Menghasilkan Kode Ofensif dari Bahasa Alami" oleh Pietro Liguori, University of Naples Federico II, Grup Makanan penutup. Pembicaraan adalah bagian dari Artisan 2024: Summer School tentang peran dan efek kecerdasan buatan dalam aplikasi yang aman .

Pengaturan Python

Pastikan Anda menginstal Python di sistem Anda. Jika tidak, Anda dapat menggunakan lingkungan virtual dengan Anaconda untuk menghindari bekerja langsung di mesin Anda. Ikuti langkah -langkah di bawah ini:

Instalasi Anaconda

1. Instal anaconda3 :
   • Pastikan Anda memasang anaconda3. Jika tidak, Anda dapat mengunduh penginstal dari sini.
   • Gunakan perintah wget untuk mengunduh penginstal:

     wget https://repo.anaconda.com/archive/Anaconda3-version-OS.sh

   • Buat installer dapat dieksekusi:

     chmod +x Anaconda3-version-OS.sh

   • Jalankan penginstal:

     bash Anaconda3-version-OS.sh

   • Anda mungkin perlu menambahkan direktori Anaconda ke variabel lingkungan jalur. Misalnya, tambahkan baris ini ke file bashrc Anda:

      export PATH= " /path_to_anaconda/anaconda3/bin: $PATH "

Menciptakan lingkungan virtual

2. Buat Python 3.9 Lingkungan Virtual :

   • Buat lingkungan virtual menggunakan perintah:

     conda create -n yourenvname python=3.9

     Ganti yourenvname dengan nama lingkungan yang Anda inginkan.

3. Aktifkan lingkungan :

   • Aktifkan lingkungan yang dibuat dengan perintah:

      source activate yourenvname

Anda sekarang siap untuk menginstal dependensi dan bekerja di dalam lingkungan virtual Anda.

Bagian 1: Pembuatan dan Evaluasi Kode Otomatis

Keterangan

Dalam folder Violent-Python-functions , kami memiliki file .in dan .out yang berisi deskripsi NL (bahasa alami) dan masing-masing fungsi Python yang sesuai.

Dataset Python yang kejam adalah dataset yang dikuratori secara manual, di mana sampel berisi sepotong kode Python dari perangkat lunak ofensif, dan deskripsi yang sesuai dalam bahasa alami (bahasa Inggris biasa). Kami membangun dataset menggunakan buku populer "Violent Python" oleh TJ O'Connor, yang menyajikan beberapa contoh program ofensif menggunakan bahasa Python.

Kami hanya menyertakan deskripsi tingkat fungsi, total 72 pasang deskripsi NL - fungsi Python.

Mengekstraksi subset

1. Instal dependensi :

   • Di direktori utama, instal dependensi yang diperlukan menggunakan:

     pip install -r requirements.txt --user

2. Ekstraksi subset :

   • Kami akan mengekstrak subset acak dari 10 sampel dari dataset kekerasan-python.
   • Di direktori utama, jalankan skrip create_subset.py dengan perintah berikut:

     python create_subset.py

   • Script akan membuat subfolder scripts/results yang berisi reference.in dan file reference.out .
   • File reference.in berisi 10 deskripsi NL yang diekstraksi secara acak.
   • File reference.out berisi 10 fungsi Python yang sesuai dan berfungsi sebagai kebenaran dasar kami untuk evaluasi.

Menghasilkan output dengan model AI

Selanjutnya, Anda akan menghasilkan 10 output menggunakan model AI generatif seperti ChatGPT atau Claude Sonnet.

Peringatan

Perhatikan struktur cuplikan kode. Seperti yang Anda lihat, semua kode Python adalah satu baris . Bahkan, instruksi multi-line dipisahkan satu sama lain dengan n .

3. Menghasilkan output :

   • Gunakan deskripsi NL yang disimpan dalam file reference.in untuk menghasilkan 10 output menggunakan model AI.
   • Pastikan model AI menghasilkan garis output demi baris sesuai kebutuhan untuk evaluasi.
   • Simpan output model dalam file bernama output.out di folder results .
   • Pastikan model telah menghasilkan kode dalam format baris tunggal
   • Pastikan Anda memiliki file dengan 10 baris (tidak ada baris kosong di akhir file).

   Contoh prompt:

    Generate Python 10 functions starting from the following 10 natural language (NL) descriptions:
   
   1. [NL description]
   2. [NL description]
   ...
   10. [NL description]
   
   Each function should be generated in a single line, for a total of 10 lines.
   Different instructions of the same function should be separated by the special character "n".
   Do not use empty lines to separate functions.
   

4. Hitung metrik kesamaan output :

   • Di folder scripts , jalankan skrip python output_similarity_metrics.py untuk menghitung metrik kesamaan output antara prediksi model ( output.out ) dan referensi kebenaran tanah ( reference.out ):

     python output_similarity_metrics.py hypothesis_file

     di mana hypothesis_file adalah file results/output.out .

Metrik akan dihasilkan dalam file results/output_metrics.txt .

5. Visualisasikan Variabilitas Metrik :
   • Di folder scripts , jalankan skrip boxplot_metrics.py untuk memvisualisasikan variabilitas metrik yang disimpan dalam results/output_metrics.txt :

     python boxplot_metrics.py

Di bawah ini adalah gambar yang menunjukkan variabilitas metrik kesamaan output dengan boxplot:

6. Bandingkan model yang berbeda
   • Cobalah untuk menghasilkan output dengan model yang berbeda dan simpan prediksi model dalam file results/output2.out .
   • Jalankan lagi Python Script output_similarity_metrics.py untuk menghitung metrik kesamaan output antara prediksi model ( output2.out ) dan referensi kebenaran darat ( reference.out ):

     python output_similarity_metrics.py results/output2.out

   • Jalankan skrip compare_models.py untuk menunjukkan perbandingan dua model kinerja di dua metrik

      python compare_models.py

Di bawah ini adalah contoh output:

Bagian 2: Teknik yang cepat

Keterangan

Pada bagian ini, kami akan mengulangi proses pembuatan kode menggunakan model AI, tetapi kali ini menerapkan teknik rekayasa cepat yang dibahas selama pembicaraan. Tujuannya adalah untuk mengamati apakah teknik ini meningkatkan kualitas kode yang dihasilkan.

Tangga

1. Menerapkan rekayasa cepat :

   • Gunakan deskripsi NL yang sama yang disimpan dalam file reference.in .
   • Ubah petunjuk Anda sesuai dengan teknik rekayasa cepat yang dipelajari selama pembicaraan.

   Contoh prompt dapat ditemukan di folder scripts/prompt_examples .

2. Menghasilkan output :

   • Hasilkan 10 output menggunakan model AI dengan prompt yang direkayasa.
   • Simpan output model dalam file bernama output_prompt_pattern.out di folder scripts/results , di mana prompt_pattern adalah pengidentifikasi yang ingin Anda gunakan untuk menentukan pola yang diadopsi (misalnya, output_persona.out , output_few_shot.out ).
   • Pastikan (lagi) model telah menghasilkan kode dalam format baris tunggal.
   • Pastikan (lagi) Anda memiliki file dengan 10 baris (tidak ada baris kosong di akhir file).

3. Hitung metrik kesamaan output :

   • Di folder scripts , jalankan skrip untuk menghitung metrik kesamaan output antara prediksi model ( output_prompt_pattern.out ) dan referensi kebenaran tanah ( reference.out ):

   python output_similarity_metrics.py hypothesis_file

   di mana hypothesis_file adalah file yang dihasilkan dengan pola prompt (misalnya, results/output_few_shot.out file).

   • Metrik akan dihasilkan dalam file scripts/results/output_prompt_engineering_metrics.txt file (misalnya, scripts/results/output_few_shot_metrics.txt file).

4. Bandingkan Hasil :

   • Di folder scripts , jalankan skrip plot_metrics_comparison.py untuk membandingkan hasilnya:

     python plot_metrics_comparison.py file_metrics

     di mana file_metrics adalah scripts/results/output_prompt_engineering_metrics.txt file.
   • Script akan membuat bagan batang untuk memvisualisasikan perbedaan antara metrik output yang berbeda.

Di bawah ini adalah gambar yang menunjukkan perbandingan metrik antara output yang dihasilkan tanpa rekayasa prompt dan dengan rekayasa cepat beberapa shot:

Ikuti langkah -langkah ini untuk menerapkan rekayasa cepat dan mengevaluasi dampaknya pada kualitas pembuatan kode.

Output yang disimpan

Di folder saved_outputs , Anda akan menemukan contoh yang dihasilkan dengan chatgpt-4o. Contoh -contoh ini menggambarkan bagaimana output model terlihat dengan berbagai teknik rekayasa cepat yang diterapkan.

Kredit

Repositori ini dan materi dikembangkan oleh:

• Alessio Foggia ([email protected])
• Cristina Improta ([email protected])
• Pietro Liguori ([email protected])