llm workbench

이 아이디어의 v2는 https://neosheets.com (https://github.com/suhjohn/neoisheets)을 참조하십시오.

LLM 워크 벤치

https://www.llmwb.com/

LLM의 과급 워크 벤치. 자리 표시자를 대체하기위한 신속한 인수 데이터 세트가있는 다른 모델 및 제공 업체의 프롬프트 템플릿을 테스트합니다.

문제

나는 지금 세 가지 다른 AI 챗봇을 만들었습니다. 그 과정에서 나는이 응용 프로그램에서 지원하는 기능의 서브 세트를 엄청나게 구축해야했다. 또한 다양한 인수에 대한 프롬프트를 테스트하여 프롬프트가 어떻게 작동하는지 확인할 수없는 코드 플랫폼을 갖고 싶었습니다.

나는 개인적으로 매력적인 자동 프롬프트 작가 라이브러리를 찾지 못합니다. 다양한 매개 변수에서 충분한 분위기를 얻고 싶습니다.

또한 개인적으로 추상화 라이브러리를 사용하지 않으며 유용한 라이브러리를 찾지 못합니다. 그러나, 원시 조정 테스트 프롬프트를 원하는 사람들에게는 툴링이 거의 없었습니다.

나는 Anthropic의 최근 워크 벤치 플랫폼에서 영감을 얻어 Openai의 놀이터에서 좋은 스텝 업처럼 보였습니다.

응용 프로그램은 이러한 특정 사용자 문제를 해결합니다.

• args: Record<string, string> 프롬프트 매개 변수로 가져 오는 특정 LLM 프롬프트의 경우 다른 모델 매개 변수를 테스트 할 수 있기를 원합니다.
• 특정 LLM Propmt의 경우 다른 프롬프트 매개 변수 세트, 행복한 경우 또는 어떻게 든 실패한 경우를 테스트하고 싶습니다.
• 특정 프롬프트 매개 변수 세트의 경우 출력에 대한 분위기를 확인하기 위해 다른 LLM 프롬프트를 테스트하고 싶습니다.
• (제공자는 특히 오픈 소스 모델에 대해 기본 매개 변수가 다르고있는 것 같습니다) 다른 제공자가 동작을 이해할 수 있도록 동일한 프롬프트 + 모델을 테스트하고 싶습니다.
• 제공 한 특정 매개 변수 세트에 대한 여러 실행의 기록을보고 싶습니다.

특징

1. "템플릿"을 만듭니다 : mustache.js를 사용하여 변수를 표시하기 위해 {{ }} 사용하는 메시지 / 원시 프롬프트.
2. "데이터 세트"만들기 : 템플릿을 테스트하려는 변수 목록을 만듭니다.
3. 모든 매개 변수 지원 : UI뿐만 아니라 다른 API에 사용 가능한 모든 매개 변수를 입력 할 수 있습니다. 반 전문적 놀이터 도구가 도구 나 logit_bias와 같은 매개 변수를 지원하지 않는다는 것을 알았습니다. 이 프로젝트는 제공자가 추가 할 때 새로운 매개 변수를 쉽게 확장 할 수 있도록 구축되었습니다.
4. 생태계의 모든 의미있는 공급자 지원 :

• Openai
• 인류
• 쌍둥이 자리
• 함께
• AWS 기반암
• 하늘빛
• 모든 규모
• 그로크
• 오픈 루터
• 사용자 정의 API

TODO

1. JSON과 같은 신속한 인수의 수동 입력
2. CSV 가져 오기
3. 버전 제어 프롬프트 및 데이터 세트
4. 맞춤형 제공 업체 및 사용자 정의 모델
5. 멀티 모달 입력 + 매개 변수
6. 가시 열을 토글 + 컴파일 된 입력을 표시합니다
7. 기본 프롬프트 + 공유 데이터

보안

웹 사이트에 추가하는 템플릿 / 데이터 세트 / API 키는 브라우저에 로컬로만 저장됩니다.

현지에서 실행

LLM Workbench는 현재 다음으로 다음.js 앱입니다. 원사가 있다고 가정하면 다음과 같이 실행할 수 있습니다.

 yarn
yarn dev