生成人工智能(Genai)系统正在越来越多地部署在行业和研究环境的各个部分。开发人员和最终用户通过使用提示或提示工程与这些系统进行交互。虽然提示是一个广泛而高度研究的概念,但术语存在冲突,并且对由于该地区的纳西奇(Nascency)的迅速构成的构成构成的本体论差异很差。该存储库是提示报告的代码,我们的研究通过组装提示技术并分析其使用的分类法来建立对提示的结构化理解。该代码允许对论文,数据收集和实验运行进行自动审查。我们的数据集可在拥抱面上可用,我们的论文可在arxiv.org上找到。信息也可以在我们的网站上找到。
克隆后,从root运行pip install -r requirements.txt
在root称为.env 。
对于Openai:https://platform.openai.com/docs/quickstart
为了拥抱面孔:https://huggingface.co/docs/hub/security-tokens,也运行huggingface-cli login
对于语义学者:https://www.semanticscholar.org/product/api#api-key
使用参考example.env文件填写您的API键/令牌。
OPENAI_API_KEY=sk.-...
SEMANTIC_SCHOLAR_API_KEY=...
HF_TOKEN=...
然后加载.env文件,键入:
pip install pytest-dotenv
您还可以选择通过以下操作来更新ENV文件:
py.test --envfile path/to/.env
如果您有多个.env文件,请在pytest config文件夹中创建一个新的env_files,然后键入:
env_files =
.env
.test.env
.deploy.env
脚本main.py调用必要的功能,以下载所有论文,重复删除并过滤它们,然后运行所有实验。
存储库的核心位于src/prompt_systematic_review中。 config_data.py脚本包含对于运行实验和节省时间很重要的配置。您可以在main.py中看到这些选项中的一些。
The source folder is divided into 4 main sections: 3 scripts ( automated_review.py , collect_papers.py , config_data.py ) that deal with collecting the data and running the automated review, the utils folder that contains utility functions that are used throughout the repository, the get_papers folder that contains the scripts to download the papers, and the experiments folder that contains the scripts to run the实验。
根本上有一个data文件夹。它预先加载了一些用于实验的数据,但是数据集的大部分可以通过运行main.py或通过从拥抱面下载数据来生成。在data/experiments_output中,实验的结果保存在数据/实验中。
值得注意的是,自动化评论/刮擦过程中使用的关键字在src/prompt_systematic_review/utils/keywords.py中。任何希望运行自动化评论的人都可以将这些关键字调整为在该文件中的喜欢。
git clone https://github.com/trigaten/Prompt_Systematic_Review.git && cd Prompt_Systematic_Review
pip install -r requirements.txt
# create a .env file with your API keys
nano .env
git lfs install
git clone https://huggingface.co/datasets/PromptSystematicReview/ThePromptReport
mv ThePromptReport/ * data/
python main.py运行main.py将下载论文,运行自动化评论并运行实验。但是,如果您想节省时间并仅运行实验,则可以从拥抱面孔下载数据,并将纸文件夹和数据集中的所有CSV文件移动到数据文件夹中(应该看起来像data/papers/*.pdf和data/master_papers.csv等)。相应地调整Main.py。
每个实验脚本都有一个run_experiment函数,该功能在main.py中称为。 run_experiment功能负责运行实验并保存结果。但是,每个脚本可以通过仅运行python src/prompt_systematic_review/experiments/<experiment_name>.py来单独运行。
有一个实验, graph_internal_references ,由于与并行性的怪异问题,它可以从根本上作为单个脚本进行运行。为了避免在其他实验中引起问题,它是在experiments/__init__.py中列出的列表底部的最后一次运行。