llm cooperation

coopération LLM

Ce repo contient du code, des explications et des résultats des expériences pour déterminer la propension des modèles à grande langue pour coopérer dans les dilemmes sociaux. Les expériences sont décrites dans les articles suivants.

S. Phelps et Yi Russell, Investigation sur le comportement émergent de type objectif dans les modèles de grande langue à l'aide de l'économie expérimentale , papier de travail, mai 2023, Arxiv: 2305.07970

S. Phelps et R. Rannon, de Models and Tin Men - Une étude d'économie comportementale des problèmes d'agent principal dans l'alignement de l'IA à l'aide de modèles à grande langue , document de travail, juillet 2023, Arxiv: 2307.11137

Commencer

1. Installez MinIforge.
2. Dans une coquille:

 export OPENAI_API_KEY= ' <my key> '
make install
make run

Configuration

Pour exécuter des expériences et des combinaisons de paramètres spécifiques, suivez les instructions ci-dessous.

1. Dans une coquille:

mkdir ~ /.llm-cooperation
cat > ~ /.llm-cooperation/llm_config.py << EOF


grid = {
        "temperature": [0.1, 0.6],
        "model": ["gpt-3.5-turbo", "gpt-4"],
        "max_tokens": [300]
}


num_replications = 3


experiments = ["dictator", "dilemma"]
EOF

2. EDIT $HOME/.llm-cooperation/llm_config.py avec les valeurs requises.

3. Dans une coquille:

 export OPENAI_API_KEY= ' <key> '
make run

Contributif

Si vous avez une nouvelle expérience, veuillez soumettre une demande de traction. Tout le code doit subir des tests correspondants et toutes les expériences doivent être reproductibles.