MPSC

다수성 자기 컨설턴트를 통해 코딩 할 때 큰 언어 모델 향상 [ACL 2024]

환경

1. 필수 패키지 설치 : pip install -r requirements.txt
2. Google Drive에서 data Dir로 벤치 마크 데이터 세트를 다운로드하십시오
3. Google 드라이브에서 Auther 생성 출력을 runtime [곧 사용 가능합니다!]
4. api.py 자신의 OpenAI 구성으로 업데이트하십시오

디렉토리 구조

 | - - data # four code generation datasets
| - - runtime # runtime files including LLM generated results and inter-consistency measurements
| - - src
    | - - pipeline . py # the entry point for LLM sampling & inter-consistency measurements. All results will be saved in `runtime`.
    | - - graph . py # the entry point of MPSC
    | - - evaluation . py , _evaluation . py # evaluation metrics
    | - - execution . py , _execution . py # execution process for inter-consistency measurements
    | - - api . py # OpenAI api 
    | - - exemplars # ICL exemplars for test case generation 

생식

• MPSC에 대한 LLM 생성 결과를 제공 한 저자를 직접 적용하십시오

   python3 graph.py
  

• 처음부터 MPSC (경고 : 많은 수의 OpenAI API 호출을 유발할 수 있음)

   python3 pipeline.py
  python3 graph.py
  

MPSC 사용

또한 MPSC DIR의 다른 작업에 대한 MPSC의 코드 스 니펫도 제공합니다.