llm cooperation

LLM-Cooperation

Este repositorio contiene código, explicaciones y resultados de experimentos para determinar la propensión de modelos de gran lenguaje para cooperar en los dilemas sociales. Los experimentos se describen en los siguientes documentos.

S. Phelps y Yi Russell, Investigando el comportamiento de objetivos emergentes en modelos de idiomas grandes utilizando economía experimental , documento de trabajo, mayo de 2023, ARXIV: 2305.07970

S. Phelps y R. Rannson, de modelos y hombres de estaño: un estudio de economía conductual de problemas de agente principal en la alineación de IA utilizando modelos de lenguaje grande , trabajo de trabajo, julio de 2023, ARXIV: 2307.11137

Empezando

1. Instalar Miniforge.
2. En un caparazón:

 export OPENAI_API_KEY= ' <my key> '
make install
make run

Configuración

Para ejecutar experimentos específicos y combinaciones de parámetros, siga las instrucciones a continuación.

1. En un caparazón:

mkdir ~ /.llm-cooperation
cat > ~ /.llm-cooperation/llm_config.py << EOF


grid = {
        "temperature": [0.1, 0.6],
        "model": ["gpt-3.5-turbo", "gpt-4"],
        "max_tokens": [300]
}


num_replications = 3


experiments = ["dictator", "dilemma"]
EOF

2. Editar $HOME/.llm-cooperation/llm_config.py con los valores requeridos.

3. En un caparazón:

 export OPENAI_API_KEY= ' <key> '
make run

Que contribuye

Si tiene un nuevo experimento, envíe una solicitud de extracción. Todo el código debe tener pruebas correspondientes y todos los experimentos deben ser replicables.