ollama grid search

Ollama 그리드 검색 : 여러 LLM 및 프롬프트를 즉시 평가합니다.

이 프로젝트는 주어진 사용 사례에 대한 최상의 모델, 프롬프트 또는 추론 매개 변수를 선택하는 프로세스를 자동화하여 조합을 반복하고 결과를 시각적으로 검사 할 수 있습니다.

Ollama가 localhost 또는 원격 서버에 설치되어 엔드 포인트를 제공한다고 가정합니다.

다음은 3 가지 모델에서 테스트 된 간단한 프롬프트에 대한 실험은 다음과 같습니다.

(이 도구의 도움을받는 평가 프로세스를 자세히 살펴 보려면 https://dezoito.github.io/2023/12/27/rust-ollama-grid-search.html을 확인하십시오).

목차

• 설치
• 특징
• 그리드 검색 개념
• A/B 테스트
• 프롬프트 아카이브
• 실험 로그
• 미래의 기능
• 기여
• 개발
• 인용
• 감사의 말

설치

프로젝트 또는 사이드 바에서 릴리스 페이지를 확인하십시오.

특징

• 로컬 또는 원격 Ollama 서버에서 모델을 자동으로 가져옵니다.
• 추론을 생성하기 위해 여러 가지 다른 모델, 프롬프트 및 매개 변수를 반복합니다.
• A/B는 여러 모델에서 동시에 다른 프롬프트를 테스트합니다.
• 각 파라미터 조합에 대해 여러 반복을 허용합니다.
• 제한된 동시성 또는 동기 추론 호출을 허용합니다 (스팸 서버를 방지하기 위해).
• 선택적으로 추론 매개 변수 및 응답 메타 데이터 (추론 시간, 토큰 및 토큰/s)를 출력합니다.
• 개별 추론 호출의 리치;
• 모델 선택은 이름으로 필터링 할 수 있습니다.
• JSON 형식으로 다운로드 할 수있는 실험 목록;
• 실험은 읽기 쉬운 뷰로 검사 될 수 있습니다.
• 과거 실험, 과거에 사용 된 매개 변수를 복제하거나 수정하는 과거의 실험을 다시 실행합니다.
• 구성 가능한 추론 시간 초과;
• 사용자 정의 기본 매개 변수 및 시스템 프롬프트는 설정에서 정의 할 수 있습니다.
• 예제가있는 완전히 기능적인 프롬프트 데이터베이스;
• 프롬프트는 입력에서 "/"를 입력하여 "자동 완성"을 선택할 수 있습니다.

그리드 검색 (또는 비슷한 것 ...)

기술적으로 "그리드 검색"이라는 용어는 모델 성능을 최적화하기 위해 일련의 다양한 모델 하이퍼 파람을 반복하는 것을 말하지만 이는 일반적으로 batch_size , learning_rate 또는 number_of_epochs 와 같은 매개 변수를 의미합니다.

그러나 여기의 개념은 비슷합니다.

선택한 모델, 프롬프트 및 일부 매개 변수 조합을 정의 할 수 있습니다.

프롬프트는 각 매개 변수 값 에 대해 선택된 모델 각각에 대해 일련의 응답을 생성합니다.

A/B 테스트

마찬가지로, 다른 모델을 선택하여 A/B 테스트를 수행하고 동일한 프롬프트/매개 변수 조합에 대한 결과를 비교하거나 유사한 구성에서 다른 프롬프트를 테스트 할 수 있습니다.

동일한 모델에 대한 다른 프롬프트의 결과 비교

프롬프트 아카이브

당신은 당신의 프롬프트를 저장하고 관리 할 수 ​​있습니다 (우리는 프롬프트를 개방형 webui와 호환 할 수 있도록하고 싶습니다).

"/"(Open WebUI에서도 영감을 얻음)를 입력하여 자율적으로 알려진 프롬프트를 제공 할 수 있습니다.

실험 로그

실험을 나열, 검사 또는 다운로드 할 수 있습니다.

미래의 기능

• 성적 등급 및 학년 별 필터링
• 프롬프트 목록 및 실험 파일 가져 오기, 내보내기 및 공유.

기여

• 명백한 버그와 철자 실수는 계속해서 PR을 제출하십시오.

• 새로운 기능을 제안하거나 기존 기능을 변경하거나 더 복잡한 것을 제안하려면 PR에서 작업을 수행하기 전에 토론 문제를 열어주십시오.

개발

1. 녹이 설치되어 있는지 확인하십시오.

2. 저장소 (또는 포크) 복제

git clone https://github.com/dezoito/ollama-grid-search.git
cd ollama-grid-search

3. 프론트 엔드 종속성을 설치하십시오.

    cd < project root >
   # I'm using bun to manage dependencies,
   # but feel free to use yarn or npm
   bun install

4. rust-analyzer 코드를 확인할 때 Clippy 실행하도록 구성되어 있는지 확인하십시오.

   대 코드를 실행중인 경우 settings.json 에 추가하여 json 파일

   {
      ...
      "rust-analyzer.check.command" : " clippy " ,
   }

   (또는 더 나은 방법은 코드와 함께 제공된 설정 파일 만 사용하십시오)

5. 개발 모드에서 앱을 실행하십시오

    cd < project root > /
   bun tauri dev

6. 시간이 걸릴 수 있기 때문에 커피 한 잔을 마시십시오.

인용

다음 작품과 논문은이 저장소를 인용했습니다.

Inouye, D & Lindo, L, & Lee, R & Allen, E; 컴퓨터 과학 및 엔지니어링 선임 논문 : Lora Hyperparameters Santa Clara University, 2024 https://scholarcommons.scu.edu/cgi/viewcontent.cgi?article=1271&context=cseng_senior

감사합니다!

@fabianlars, @peperroni21 및 @tomreidnz에게 큰 감사를드립니다.