llm workbench

อ้างถึง https://neosheets.com (https://github.com/suhjohn/neosheets) สำหรับ V2 ของแนวคิดนี้

LLM Workbench

https://www.llmwb.com/

Supercharged Workbench สำหรับ LLMS ทดสอบเทมเพลตพรอมต์จากโมเดลและผู้ให้บริการที่แตกต่างกันด้วยชุดข้อมูลของอาร์กิวเมนต์ที่รวดเร็วเพื่อแทนที่ตัวยึดตำแหน่ง

ปัญหา

ตอนนี้ฉันได้สร้าง AI chatbots ที่แตกต่างกันสามแบบ ในกระบวนการนี้ฉันต้องสร้างชุดย่อยของคุณสมบัติที่รองรับโดยแอปพลิเคชันนี้ ฉันยังต้องการที่จะมีแพลตฟอร์มที่ไม่มีรหัสเพื่อทดสอบพรอมต์สำหรับอาร์กิวเมนต์ต่าง ๆ เพื่อดูว่าพรอมต์ทำงานอย่างไร

โดยส่วนตัวแล้วฉันไม่พบไลบรารีนักเขียนพรอมต์อัตโนมัติที่น่าสนใจ-ฉันต้องการตรวจสอบความรู้สึกที่ดีพอในพารามิเตอร์ที่หลากหลาย

ฉันยังไม่ได้ใช้ห้องสมุดที่เป็นนามธรรมและไม่พบว่ามีประโยชน์ อย่างไรก็ตามมีเครื่องมือเล็ก ๆ น้อย ๆ สำหรับผู้ที่ต้องการทดสอบการทดสอบสุนัขดิบ

ฉันได้รับแรงบันดาลใจจากแพลตฟอร์ม Workbench ล่าสุดของมานุษยวิทยาดูเหมือนจะเป็นก้าวที่ดีจากสนามเด็กเล่นของ Openai

แอปพลิเคชันแก้ปัญหาผู้ใช้เฉพาะเหล่านี้:

• สำหรับพรอมต์ LLM เฉพาะที่ใช้ args: Record<string, string> เป็นพารามิเตอร์พรอมต์ฉันต้องการทดสอบพารามิเตอร์โมเดลที่แตกต่างกัน
• สำหรับ LLM Propmt ที่เฉพาะเจาะจงฉันต้องการทดสอบชุดพารามิเตอร์ที่หลากหลายอาจมีความสุขกรณีหรือกรณีที่ฉันเห็นล้มเหลวอย่างใด
• สำหรับชุดของพารามิเตอร์พรอมต์ที่เฉพาะเจาะจงฉันต้องการทดสอบการแจ้งเตือน LLM ที่แตกต่างกันเพื่อทำการตรวจสอบความรู้สึกบนเอาต์พุตของพวกเขา
• (ผู้ให้บริการดูเหมือนจะมีพารามิเตอร์เริ่มต้นที่แตกต่างกันโดยเฉพาะอย่างยิ่งสำหรับโมเดลโอเพ่นซอร์ส) ฉันต้องการทดสอบโมเดล Prompt + เดียวกันสำหรับผู้ให้บริการที่แตกต่างกันเพื่อทำความเข้าใจพฤติกรรมของพวกเขา
• ฉันต้องการดูประวัติของการรันหลายครั้งสำหรับชุดพารามิเตอร์เฉพาะที่ฉันได้ให้ไว้

คุณสมบัติ

1. สร้าง "เทมเพลต": ข้อความ / พรอมต์ดิบที่ใช้ {{ }} สำหรับการแสดงตัวแปรโดยใช้ Mustache.js
2. สร้าง "ชุดข้อมูล": สร้างรายการตัวแปรที่คุณต้องการทดสอบเทมเพลตบน
3. รองรับพารามิเตอร์ทั้งหมด: สามารถป้อนพารามิเตอร์ทั้งหมดที่มีอยู่สำหรับ API ที่แตกต่างกันรวมถึง UI ฉันพบว่าเครื่องมือสนามเด็กเล่นกึ่งมืออาชีพจำนวนมากไม่รองรับพารามิเตอร์เช่นเครื่องมือหรือ logit_bias โครงการถูกสร้างขึ้นเพื่อให้สามารถขยายพารามิเตอร์ใหม่ได้อย่างง่ายดายเมื่อมีการเพิ่มโดยผู้ให้บริการ
4. สนับสนุนผู้ให้บริการที่มีความหมายทั้งหมดในระบบนิเวศ:

• Openai
• มานุษยวิทยา
• ราศีเมถุน
• ด้วยกัน
• Aws Bedrock
• สีฟ้า
• ทุกอย่าง
• การทำ
• OpenRouter
• API ที่ผู้ใช้กำหนด

สิ่งที่ต้องทำ

1. อินพุตด้วยตนเองของอาร์กิวเมนต์ที่รวดเร็วเป็น JSON
2. นำเข้า CSV
3. การควบคุมเวอร์ชันและชุดข้อมูล
4. ผู้ให้บริการที่กำหนดเองและโมเดลที่กำหนดเอง
5. พารามิเตอร์อินพุตแบบหลายโมดอล + พารามิเตอร์
6. สลับคอลัมน์ที่มองเห็นได้ + แสดงอินพุตที่รวบรวม
7. ข้อมูลแจ้งเริ่มต้น + ข้อมูลแชร์

ความปลอดภัย

เทมเพลต / ชุดข้อมูล / คีย์ API ที่คุณเพิ่มในเว็บไซต์จะถูกเก็บไว้เฉพาะในเบราว์เซอร์ของคุณ

ทำงานในพื้นที่

LLM Workbench ณ ตอนนี้เป็นเพียงแอปถัดไป JS สมมติว่าคุณมีเส้นด้ายคุณสามารถทำงานได้ด้วยสิ่งต่อไปนี้:

 yarn
yarn dev