promptolution

신속한

Promptolution은 프롬프트 튜닝 실험을 구현하기위한 모듈 식적이고 확장 가능한 프레임 워크를 제공하는 라이브러리입니다. 다양한 프롬프트 최적화 작업에 대한 핵심 구성 요소를 조립하기 위해 사용자 친화적 인 인터페이스를 제공합니다.

또한이 저장소에는 논문 실험에 "비용 효율적인 프롬프트 튜닝을 향한 실험 : 모델 크기, 모델 패밀리 및 작업 설명의 효과 평가"가 포함되어 있습니다.

이 프로젝트는 Timo Heiß, Moritz Schlager 및 Tom Zehle에 의해 개발되었습니다.

설치

PIP를 사용하여 라이브러리를 설치하십시오.

 pip install promptolution

또는 저장소를 복제하고 실행하십시오

 poetry install

필요한 종속성을 설치합니다. 먼저 PIPX와시를 설치해야 할 수도 있습니다.

선적 서류 비치

API 참조가 포함 된 포괄적 인 문서는 https://finitearth.github.io/promptolution/에서 사용됩니다.

용법

사용하려는 모델에 대한 API 키를 만듭니다.

• Openai : OpenAitoken.txt에 토큰을 저장합니다
• Anthropic : Anthropictoken.txt에 토큰을 저장하십시오
• DeepInfra (llama 용) : DeepInfratoken.txt에 토큰을 저장하십시오

선택할 수있는 최적화 알고리즘

이름	# 개입 인구	탐구	소송 비용	수렴 속도	병렬화 가능	실패 사례를 사용합니다
Evoprompt de	8-12	?	?	⚡⚡	✅
Evoprompt GA	8-12	?	?	⚡⚡	✅
Opro	0	?	??	⚡

핵심 구성 요소

• 작업 : 초기 프롬프트, 데이터 세트 기능, 대상 및 평가 방법을 캡슐화합니다.
• 예측 변수 : 태스크와 LLM 구성 요소 사이의 인터페이스, 예측 로직을 구현합니다.
• LLM : API를 통해 로컬 호스팅 또는 액세스 여부에 관계없이 언어 모델로부터 응답을 얻는 프로세스를 통합합니다.
• 최적화 : 최적화 프로세스 중에 다른 구성 요소를 사용하여 프롬프트 최적화 알고리즘을 구현합니다.
• 예시 선택기 : 프롬프트에 추가되는 몇 가지 샷 예제를 검색하기위한 알고리즘을 구현합니다.

주요 기능

• 모듈 식 및 객체 지향 디자인
• 확장 가능한 아키텍처
• 실험을 조립하기위한 사용하기 쉬운 인터페이스
• 효율성 향상에 대한 병렬 LLM 요청
• 표준화 된 LLM API 호출을위한 Langchain과의 통합
• 최적화 분석을위한 자세한 로깅 및 콜백 시스템

시작하기

Getting Start Notebook : Gettrated.py를 살펴보십시오

실험을 재현하십시오

우리는 모든 실험에 대한 스크립트와 구성을 제공합니다. 다음을 통해 구성을 기반으로 실험을 실행하십시오.

 poetry run python scripts/experiment_runs.py --experiment "configs/<my_experiment>.ini"

여기서 <my_experiment>.ini 는 템플릿을 기반으로 한 구성입니다.

이 프로젝트는 LMU Munich의 세미나 "대형 미리 훈련 된 모델의 시대"에 대한 세미나를 위해 개발되었습니다.