The_Prompt_Report

O repositório de código de relatório imediato

Os sistemas generativos de inteligência artificial (GENAI) estão sendo cada vez mais implantados em todas as partes das configurações da indústria e pesquisa. Desenvolvedores e usuários finais interagem com esses sistemas através do uso de engenharia pronta ou pronta. Embora a solicitação seja um conceito generalizado e altamente pesquisado, existe terminologia conflitante e uma má compreensão ontológica do que constitui um aviso devido à nasca da área. Esse repositório é o código do relatório imediato, nossa pesquisa que estabelece um entendimento estruturado de avisos, reunindo uma taxonomia de solicitações de técnicas e analisando seu uso. Este código permite a revisão automatizada de artigos, a coleta de dados e a execução de experimentos. Nosso conjunto de dados está disponível para abraçar o rosto e nosso papel está disponível no arxiv.org. As informações também estão disponíveis em nosso site.

Índice

• Pesquisa de engenharia imediata
  • Instale requisitos
  • Configurando as chaves da API
  • Configurando chaves para execução de testes
  • Estrutura do repositório
  • Executando o código
    • Tldr;
  • Notas

Instale requisitos

Após a clonagem, execute pip install -r requirements.txt da root

Configurando as chaves da API

Faça um arquivo na root chamado .env .

Para o OpenAI: https://platform.openai.com/docs/quickstart
Para abraçar o rosto: https://huggingface.co/docs/hub/security-tokens, também execute huggingface-cli login
Para Scholar semático: https://www.semanticscholar.org/product/api#api-key

Use o arquivo example.env de referência.env para preencher suas chaves/tokens da API.

 OPENAI_API_KEY=sk.-...
SEMANTIC_SCHOLAR_API_KEY=...
HF_TOKEN=...

Configurando chaves para execução de testes

Em seguida, para carregar o arquivo .env, digite:
pip install pytest-dotenv

Você também pode optar por atualizar o arquivo Env fazendo:
py.test --envfile path/to/.env

No caso de você ter vários arquivos .env, crie um novo Env_Files na pasta de configuração Pytest e digite:

 env_files =
.env
.test.env
.deploy.env

Estrutura do repositório

O script main.py chama as funções necessárias para baixar todos os papéis, deduzir e filtrá -los e executar todas as experiências.

O núcleo do repositório está no src/prompt_systematic_review . O script config_data.py contém configurações importantes para executar experimentos e economizar tempo. Você pode ver em main.py como algumas dessas opções são usadas.

A pasta de origem é dividida em 4 seções principais: 3 scripts ( automated_review.py , collect_papers.py , config_data.py ) que lidam com a coleta dos dados e executando a revisão automatizada, a pasta utils que contém as funções de utilitários que são usados ​​para o painel, o Papanks, que contém os que contém os que contêm os que contêm os jogadores para os que contribuem para os que contribuem para os que contribuem para os que contribuem os que contêm os get_papers , o que contém os que contêm os que contêm os jogadores para os que contêm os que contêm os que contêm os jogadores, os que experiments os que contêm os que contêm os que contêm os que contêm os que contêm os que contêm os que contêm os jogadores. experimentos.

Na raiz, há uma pasta data . Ele vem pré-carregado com alguns dados usados ​​para os experimentos, no entanto, a maior parte do conjunto de dados pode ser gerada executando main.py ou baixando os dados do Hugging Face. Está em data/experiments_output que os resultados dos experimentos são salvos.

Notavelmente, as palavras -chave usadas no processo de revisão/raspagem automatizadas estão no src/prompt_systematic_review/utils/keywords.py . Qualquer pessoa que deseje executar a revisão automatizada pode ajustar essas palavras -chave ao seu gosto nesse arquivo.

Executando o código

Tldr;

git clone https://github.com/trigaten/Prompt_Systematic_Review.git && cd Prompt_Systematic_Review
pip install -r requirements.txt
# create a .env file with your API keys
nano .env
git lfs install
git clone https://huggingface.co/datasets/PromptSystematicReview/ThePromptReport
mv ThePromptReport/ * data/
python main.py

Running main.py baixará os papéis, executará a revisão automatizada e executará os experimentos. No entanto, se você deseja economizar tempo e executar apenas os experimentos, pode baixar os dados de abraçar o rosto e mover a pasta de papéis e todos os arquivos CSV no conjunto de dados na pasta de dados (deve parecer data/papers/*.pdf e data/master_papers.csv etc). Ajuste main.py de acordo.

Todo script de experimentos possui uma função run_experiment que é chamada no main.py A função run_experiment é responsável por executar o experimento e salvar os resultados. No entanto, cada script pode ser executado individualmente apenas executando python src/prompt_systematic_review/experiments/<experiment_name>.py da root.

Há um experimento, graph_internal_references que, devido a problemas estranhos com o paralelismo, é melhor executado da raiz como um script individual. Para evitá -lo causando problemas com outros experimentos, é executado por último, pois é ordenado na parte inferior da lista em experiments/__init__.py .

Notas

• Às vezes, um título em papel pode aparecer de maneira diferente na API ARXIV. Por exemplo, "Previsão e aprendizagem promovidos à atenção visual" (ARXIV: 2310.08420), de acordo com a API ARXIV é intitulada "Um modelo de codificação visual baseado em redes neurais profundas e aprendizado de transferência"