The_Prompt_Report

Repositori kode laporan prompt

Sistem Kecerdasan Buatan Generatif (Genai) semakin banyak digunakan di semua bagian industri dan pengaturan penelitian. Pengembang dan pengguna akhir berinteraksi dengan sistem ini melalui penggunaan dorongan atau rekayasa cepat. Sementara mendorong adalah konsep yang meluas dan sangat diteliti, ada terminologi yang bertentangan dan pemahaman ontologis yang buruk tentang apa yang merupakan prompt karena naskensi daerah tersebut. Repositori ini adalah kode untuk laporan prompt, penelitian kami yang menetapkan pemahaman terstruktur tentang petunjuk, dengan merakit taksonomi teknik yang diminta dan menganalisis penggunaannya. Kode ini memungkinkan untuk tinjauan otomatis makalah, kumpulan data, dan menjalankan eksperimen. Dataset kami tersedia di Hugging Face dan makalah kami tersedia di arxiv.org. Informasi juga tersedia di situs web kami.

Daftar isi

• Survei Teknik Segera
  • Pasang persyaratan
  • Menyiapkan Kunci API
  • Menyiapkan kunci untuk menjalankan tes
  • Struktur repositori
  • Menjalankan kode
    • Tldr;
  • Catatan

Pasang persyaratan

Setelah kloning, jalankan pip install -r requirements.txt dari root

Menyiapkan Kunci API

Buat file di root yang disebut .env .

Untuk openai: https://platform.openai.com/docs/quickstart
Untuk memeluk wajah: https://huggingface.co/docs/hub/security-tokens, juga menjalankan huggingface-cli login
Untuk sarjana sematik: https://www.semanticscholar.org/product/api#api-key

Gunakan file example.env Referensi.ENV untuk mengisi tombol/token API Anda.

 OPENAI_API_KEY=sk.-...
SEMANTIC_SCHOLAR_API_KEY=...
HF_TOKEN=...

Menyiapkan kunci untuk menjalankan tes

Kemudian untuk memuat file .env, ketik:
pip install pytest-dotenv

Anda juga dapat memilih untuk memperbarui file env dengan melakukan:
py.test --envfile path/to/.env

Dalam hal Anda memiliki beberapa file .env, buat ENV_FILES baru di folder konfigurasi pytest dan ketik:

 env_files =
.env
.test.env
.deploy.env

Struktur repositori

Script main.py memanggil fungsi yang diperlukan untuk mengunduh semua kertas, mendeduplikat dan memfilternya, dan kemudian menjalankan semua percobaan.

Inti dari repositori adalah dalam src/prompt_systematic_review . Skrip config_data.py berisi konfigurasi yang penting untuk menjalankan eksperimen dan menghemat waktu. Anda dapat melihat di main.py bagaimana beberapa opsi ini digunakan.

The source folder is divided into 4 main sections: 3 scripts ( automated_review.py , collect_papers.py , config_data.py ) that deal with collecting the data and running the automated review, the utils folder that contains utility functions that are used throughout the repository, the get_papers folder that contains the scripts to download the papers, and the experiments folder that contains the scripts to run the Eksperimen.

Pada root, ada folder data . Muat sebelumnya dengan beberapa data yang digunakan untuk percobaan, namun sebagian besar dataset dapat dihasilkan dengan menjalankan main.py atau dengan mengunduh data dari memeluk wajah. Di data/experiments_output bahwa hasil percobaan disimpan.

Khususnya, kata kunci yang digunakan dalam proses tinjauan/pengikis otomatis ada di src/prompt_systematic_review/utils/keywords.py . PYPY. Siapa pun yang ingin menjalankan ulasan otomatis dapat menyesuaikan kata kunci ini sesuai keinginan mereka di file itu.

Menjalankan kode

Tldr;

git clone https://github.com/trigaten/Prompt_Systematic_Review.git && cd Prompt_Systematic_Review
pip install -r requirements.txt
# create a .env file with your API keys
nano .env
git lfs install
git clone https://huggingface.co/datasets/PromptSystematicReview/ThePromptReport
mv ThePromptReport/ * data/
python main.py

Menjalankan main.py akan mengunduh kertas, menjalankan ulasan otomatis, dan menjalankan eksperimen. Namun, jika Anda ingin menghemat waktu dan hanya menjalankan percobaan, Anda dapat mengunduh data dari memeluk wajah dan memindahkan folder kertas dan semua file CSV dalam dataset ke folder data (akan terlihat seperti data/papers/*.pdf dan data/master_papers.csv dll). Sesuaikan Main.py yang sesuai.

Setiap skrip percobaan memiliki fungsi run_experiment yang disebut di main.py Fungsi run_experiment bertanggung jawab untuk menjalankan percobaan dan menyimpan hasilnya. Namun setiap skrip dapat dijalankan secara individual hanya dengan menjalankan python src/prompt_systematic_review/experiments/<experiment_name>.py dari root.

Ada satu percobaan, graph_internal_references yang, karena masalah aneh dengan paralelisme, lebih baik dijalankan dari root sebagai skrip individual. Untuk menghindarinya menyebabkan masalah dengan eksperimen lain, itu dijalankan terakhir karena dipesan di bagian bawah daftar dalam experiments/__init__.py .

Catatan

• Terkadang judul kertas dapat muncul secara berbeda di API Arxiv. Misalnya, "Prediksi dan Pembelajaran yang Dipaksa Perhatian Visual" (ARXIV: 2310.08420), menurut ARXIV API berjudul "Model Pengkodean Visual yang didasarkan pada jaringan saraf dalam dan pembelajaran transfer"