The_Prompt_Report

ที่เก็บรหัสรายงานแจ้ง

ระบบปัญญาประดิษฐ์กำเนิด (GENAI) กำลังถูกนำไปใช้มากขึ้นในทุกส่วนของอุตสาหกรรมและการตั้งค่าการวิจัย นักพัฒนาและผู้ใช้ปลายทางโต้ตอบกับระบบเหล่านี้ผ่านการใช้งานด้านการแจ้งเตือนหรือวิศวกรรมที่รวดเร็ว ในขณะที่การกระตุ้นเตือนเป็นแนวคิดที่แพร่หลายและได้รับการวิจัยอย่างสูงมีคำศัพท์ที่ขัดแย้งกันและความเข้าใจเกี่ยวกับธรรมชาติที่ไม่ดีเกี่ยวกับสิ่งที่ถือเป็นเรื่องที่เกิดขึ้นเนื่องจากความไม่แน่นอนของพื้นที่ ที่เก็บนี้เป็นรหัสสำหรับรายงานที่รวดเร็วการวิจัยของเราที่สร้างความเข้าใจที่มีโครงสร้างของการแจ้งเตือนโดยการรวบรวมอนุกรมวิธานของเทคนิคการแจ้งเตือนและวิเคราะห์การใช้งานของพวกเขา รหัสนี้อนุญาตให้มีการตรวจสอบเอกสารโดยอัตโนมัติการรวบรวมข้อมูลและการทำงานของการทดลอง ชุดข้อมูลของเรามีให้บริการบนใบหน้าที่กอดและกระดาษของเรามีอยู่ใน arxiv.org ข้อมูลยังมีอยู่ในเว็บไซต์ของเรา

สารบัญ

• การสำรวจวิศวกรรมที่รวดเร็ว
  • ติดตั้งข้อกำหนด
  • การตั้งค่าปุ่ม API
  • การตั้งค่าคีย์สำหรับการทดสอบการรัน
  • โครงสร้างของที่เก็บ
  • รันรหัส
    • tldr;
  • หมายเหตุ

ติดตั้งข้อกำหนด

หลังจากการโคลนนิ่งให้เรียกใช้ pip install -r requirements.txt จากรูท

การตั้งค่าปุ่ม API

สร้างไฟล์ที่รูทที่เรียกว่า .env

สำหรับ openai: https://platform.openai.com/docs/quickstart
สำหรับการกอดใบหน้า: https://huggingface.co/docs/hub/security-tokens ยังเรียกใช้ huggingface-cli login
สำหรับ Sematic Scholar: https://www.semanticscholar.org/product/api#api-key

ใช้ไฟล์อ้างอิง example.env เพื่อกรอกคีย์/โทเค็น API ของคุณ

 OPENAI_API_KEY=sk.-...
SEMANTIC_SCHOLAR_API_KEY=...
HF_TOKEN=...

การตั้งค่าคีย์สำหรับการทดสอบการรัน

จากนั้นในการโหลดไฟล์. env พิมพ์:
pip install pytest-dotenv

คุณสามารถเลือกที่จะอัปเดตไฟล์ env โดยทำ:
py.test --envfile path/to/.env

ในกรณีที่คุณมีไฟล์. ENV หลายไฟล์สร้าง ENV_FILES ใหม่ในโฟลเดอร์ pyTest config และพิมพ์:

 env_files =
.env
.test.env
.deploy.env

โครงสร้างของที่เก็บ

สคริปต์ main.py เรียกฟังก์ชั่นที่จำเป็นเพื่อดาวน์โหลดเอกสารทั้งหมดหักหลังและกรองพวกเขาจากนั้นเรียกใช้การทดลองทั้งหมด

แกนกลางของที่เก็บอยู่ใน src/prompt_systematic_review สคริปต์ config_data.py มีการกำหนดค่าที่สำคัญสำหรับการใช้การทดลองและประหยัดเวลา คุณสามารถดูได้ใน main.py ว่ามีการใช้ตัวเลือกเหล่านี้อย่างไร

โฟลเดอร์ต้นทางแบ่งออกเป็น 4 ส่วนหลัก: 3 สคริปต์ ( automated_review.py , collect_papers.py , config_data.py ) ที่เกี่ยวข้องกับการรวบรวมข้อมูลและเรียกใช้การตรวจสอบอัตโนมัติโฟลเดอร์ utils ที่มีฟังก์ชั่น get_papers experiments ตี้ เรียกใช้การทดลอง

ที่รูทมีโฟลเดอร์ data มันมาพร้อมกับข้อมูลบางอย่างที่ใช้สำหรับการทดลองอย่างไรก็ตามชุดข้อมูลจำนวนมากสามารถสร้างขึ้นได้โดยการเรียกใช้ main.py หรือโดยการดาวน์โหลดข้อมูลจากการกอดใบหน้า มันอยู่ใน data/experiments_output ว่าผลลัพธ์ของการทดลองจะถูกบันทึกไว้

โดยเฉพาะอย่างยิ่งคำหลักที่ใช้ในกระบวนการตรวจสอบ/ขูดอัตโนมัติอยู่ใน src/prompt_systematic_review/utils/keywords.py ทุกคนที่ต้องการเรียกใช้รีวิวอัตโนมัติสามารถปรับคำหลักเหล่านี้ให้เป็นที่ชื่นชอบในไฟล์นั้น

รันรหัส

tldr;

git clone https://github.com/trigaten/Prompt_Systematic_Review.git && cd Prompt_Systematic_Review
pip install -r requirements.txt
# create a .env file with your API keys
nano .env
git lfs install
git clone https://huggingface.co/datasets/PromptSystematicReview/ThePromptReport
mv ThePromptReport/ * data/
python main.py

Running main.py จะดาวน์โหลดเอกสารเรียกใช้รีวิวอัตโนมัติและเรียกใช้การทดลอง อย่างไรก็ตามหากคุณต้องการประหยัดเวลาและเรียกใช้การทดลองเท่านั้นคุณสามารถดาวน์โหลดข้อมูลจากการกอดใบหน้าและย้ายโฟลเดอร์เอกสารและไฟล์ CSV ทั้งหมดในชุดข้อมูลลงในโฟลเดอร์ข้อมูล (ควรมีลักษณะเป็น data/papers/*.pdf และ data/master_papers.csv ฯลฯ ) ปรับ main.py ตาม

ทุกสคริปต์การทดลองมีฟังก์ชั่น run_experiment ที่เรียกว่าใน main.py ฟังก์ชั่น run_experiment มีหน้าที่เรียกใช้การทดสอบและบันทึกผลลัพธ์ อย่างไรก็ตามแต่ละสคริปต์สามารถเรียกใช้เป็นรายบุคคลได้เพียงแค่เรียกใช้ python src/prompt_systematic_review/experiments/<experiment_name>.py จากรูท

มีการทดลองหนึ่งครั้ง graph_internal_references ที่เนื่องจากปัญหาแปลก ๆ กับการขนานกันนั้นดีกว่าการทำงานจากรูทเป็นสคริปต์แต่ละตัว เพื่อหลีกเลี่ยงการก่อให้เกิดปัญหากับการทดลองอื่น ๆ มันจะดำเนินการครั้งสุดท้ายเนื่องจากมีการสั่งซื้อที่ด้านล่างของรายการใน experiments/__init__.py

หมายเหตุ

• บางครั้งชื่อกระดาษอาจปรากฏแตกต่างกันใน arxiv API ตัวอย่างเช่น "การทำนายและการเรียนรู้ที่ได้รับความสนใจจากภาพ" (arxiv: 2310.08420) ตาม Arxiv API มีชื่อว่า "รูปแบบการเข้ารหัสภาพที่อิงจากเครือข่ายประสาทลึกและการเรียนรู้การถ่ายโอน"