MPSC

多視覚的自己整合性を通じてコーディングにおいて大きな言語モデルを強化する[ACL 2024]

環境

1. 必要なパッケージのインストール： pip install -r requirements.txt
2. Google Driveからdata dirにベンチマークデータセットをダウンロードします
3. Googleドライブ[すぐに利用可能！]からruntime dirにauther生成された出力をダウンロード
4. api.py独自のOpenai構成に更新します

ディレクトリ構造

 | - - data # four code generation datasets
| - - runtime # runtime files including LLM generated results and inter-consistency measurements
| - - src
    | - - pipeline . py # the entry point for LLM sampling & inter-consistency measurements. All results will be saved in `runtime`.
    | - - graph . py # the entry point of MPSC
    | - - evaluation . py , _evaluation . py # evaluation metrics
    | - - execution . py , _execution . py # execution process for inter-consistency measurements
    | - - api . py # OpenAI api 
    | - - exemplars # ICL exemplars for test case generation 

再生

• MPSCのLLM生成結果を提供する著者を直接適用します

   python3 graph.py
  

• ゼロからのMPSC（警告：多数のOpenAI API呼び出しを引き起こす可能性があります）

   python3 pipeline.py
  python3 graph.py
  

MPSCの使用

また、 MPSC dirの他のタスクにMPSCのコードスニペットを提供します。