llm cooperation

Обоснование LLM

Этот репо содержит код, объяснения и результаты экспериментов, чтобы выяснить склонность моделей большого языка к сотрудничеству в социальных дилеммах. Эксперименты описаны в следующих документах.

S. Phelps и Yi Russell, исследуя возникающее поведение, похожее на цели в крупных языковых моделях с использованием экспериментальной экономики , рабочий документ, май 2023 г., Arxiv: 2305.07970

С. Фелпс и Р. Раннсон из моделей и оловянных мужчин-исследование поведенческой экономики основных задач в выравнивании ИИ с использованием моделей крупных языков , рабочий документ, июль 2023 г., Arxiv: 2307.11137

Начиная

1. Установите Miniforge.
2. В оболочке:

 export OPENAI_API_KEY= ' <my key> '
make install
make run

Конфигурация

Для запуска конкретных экспериментов и комбинаций параметров следуют инструкциям ниже.

1. В оболочке:

mkdir ~ /.llm-cooperation
cat > ~ /.llm-cooperation/llm_config.py << EOF


grid = {
        "temperature": [0.1, 0.6],
        "model": ["gpt-3.5-turbo", "gpt-4"],
        "max_tokens": [300]
}


num_replications = 3


experiments = ["dictator", "dilemma"]
EOF

2. Редактировать $HOME/.llm-cooperation/llm_config.py с необходимыми значениями.

3. В оболочке:

 export OPENAI_API_KEY= ' <key> '
make run

Внося

Если у вас есть новый эксперимент, пожалуйста, отправьте запрос на привлечение. Весь код должен иметь соответствующие тесты, и все эксперименты должны быть воспроизводимыми.