llm cooperation

LLM-Cooperação

Este repo contém código, explicações e resultados de experimentos para determinar a propensão de modelos de grande língua para cooperar em dilemas sociais. Os experimentos são descritos nos seguintes trabalhos.

S. Phelps e Yi Russell, investigando um comportamento emergente semelhante a objetivos em grandes modelos de idiomas usando economia experimental , trabalho de trabalho, maio de 2023, arxiv: 2305.07970

S. Phelps e R. Rannson, de modelos e homens de lata-um estudo de economia comportamental de problemas de agentes principais no alinhamento da IA ​​usando modelos de grande língua , trabalho de trabalho, julho de 2023, arxiv: 2307.11137

Começando

1. Instale Miniforge.
2. Em uma concha:

 export OPENAI_API_KEY= ' <my key> '
make install
make run

Configuração

Para executar experimentos específicos e combinações de parâmetros, siga as instruções abaixo.

1. Em uma concha:

mkdir ~ /.llm-cooperation
cat > ~ /.llm-cooperation/llm_config.py << EOF


grid = {
        "temperature": [0.1, 0.6],
        "model": ["gpt-3.5-turbo", "gpt-4"],
        "max_tokens": [300]
}


num_replications = 3


experiments = ["dictator", "dilemma"]
EOF

2. Editar $HOME/.llm-cooperation/llm_config.py com valores necessários.

3. Em uma concha:

 export OPENAI_API_KEY= ' <key> '
make run

Contribuindo

Se você tiver um novo experimento, envie uma solicitação de tração. Todo o código deve ter testes correspondentes e todas as experiências devem ser replicáveis.