prompts royale

Informe Royale

La ingeniería rápida es un proceso extremadamente iterativo. Incluso cuando logramos establecernos en un aviso, es muy difícil probarlo contra casos de prueba y otras posibles indicaciones para asegurarnos de dar las mejores instrucciones al modelo.

Preguntismo Royale es una aplicación que le permite crear fácilmente muchos candidatos rápidos, escribir los suyos y hacerlos luchar hasta que surja un claro ganador. Hace que el proceso de iterar en un aviso se sienta mucho más fácil y confiable.

Da una descripción de lo que desea lograr, le da algunos escenarios y resultados esperados, y luego simplemente se siente y vea luchar por el #1.

Solics.royale.mp4

Que puede hacer

• Generación automática de pedido: permite la creación de candidatos rápidos a partir de los escenarios de descripción y casos de prueba del usuario. El usuario también puede ingresar el suyo.
• Generación de casos de prueba automáticos: ¡permite crear automáticamente casos de prueba de la descripción para que los jugos fluyan!
• Calificación de emparejamiento de Monte Carlo + ELO: utiliza el método de Monte Carlo para el emparejamiento para garantizar que obtenga tanta información con la menor cantidad de batallas y la calificación ELO para clasificar adecuadamente a los candidatos en función de sus victorias y con quién ganan
• Todo es personalizable: la página de configuración le permite jugar con cada parámetro de la aplicación
• Local y seguro : todo se almacena localmente y las solicitudes están hechas desde su navegador a la API LLMS.

Uso

Puede usarlo en PromptSroyale.com, o puede clonar el repositorio y ejecutarlo localmente.

Requisitos:

• Nodo V16+

Clon el repositorio:

git clone [email protected]:meistrari/prompts-royale.git

Instale las dependencias. Estamos usando BUN para administrar dependencias, es increíble.

bun i

Ejecute el servidor:

bun run dev

Ejemplo

Aquí hay un ejemplo de cómo se vería un caso de uso:

Descripción

 Write a prompt that creates a headline for a website.

Ejemplo 1

Guión

Sitio web de un concesionario de automóviles

Salida esperada

Encuentra el auto de tus sueños al mejor precio

Ejemplo 2

Guión

Sitio web de un SaaS para análisis de datos

Salida esperada

Sus datos, sus ideas, a su manera

Ejemplo 3

Guión

Sitio web para un zoológico

Salida esperada

Animales del mundo, en un solo lugar

Con la información de la tarea a realizar y los casos de prueba, el usuario puede generar candidatos rápidos , que los toman en cuenta y emiten n candidatos que serán clasificados por el sistema a través de un sistema de combate.

El usuario también puede escribir los candidatos inmediatos si tienen una idea específica de lo que quiere. Si tiene algo específico en mente, escribir sus indicaciones siempre es la mejor opción para adaptarse a lo que pretende.

Haga clic para ver un ejemplo de las indicaciones generadas

Provocar

Diseñe un titular convincente para una categoría distinta de sitio web. Comprenda la misión del sitio web, su audiencia prevista y las soluciones que proporciona. El titular debe atraer la atención, ser pertinente y destilar el concepto central del sitio web en una declaración sucinta. Aproveche su competencia lingüística, tácticas promocionales y conocimiento específico de dominio para crear un titular atractivo ".

Aviso B

Su directiva es formular un titular atractivo para un tipo específico de sitio web. Preste atención a los objetivos del sitio web, su demografía específica y los servicios que ofrece. El titular debe ser cautivador, pertinente y capaz de resumir la propuesta principal del sitio web en una breve línea. Utilice su comprensión del idioma, estrategias de publicidad e información específica de la industria para crear un titular convincente.

Cómo funciona

Cada aviso se representa como una distribución normal con una media inicial $ mu $ de $ 1000 $ y una desviación estándar $ sigma $ de $ 350 $ . Esta distribución representa el puntaje ELO del aviso.

Luego repitimos el siguiente ciclo:

Usamos una muestra de Monte Carlo para hacer duelos donde cada una de las 2 indicaciones seleccionadas luchan entre sí. Las posibilidades de ser dibujadas para el duelo son proporcionales a la posibilidad de que ese aviso sea el mejor, o en términos más matemáticos, utilizamos la distribución ponderada de su densidad de probabilidad para definir la probabilidad de que esa curva tenga la media más alta dentro del grupo .

En cada duelo, ambas indicaciones responden cada uno de los casos de prueba y un aviso separado evalúa qué respuesta fue la mejor. Los puntajes ELO de las indicaciones se actualizan de acuerdo con las siguientes fórmulas:

$$ mu_ {a} '= mu_ {a} + frac {k} {n} cdot (score - esperado _score (a, b)) $$

$$ mu_ {b} '= mu_ {b} + frac {k} {n} cdot (1 - puntaje - esperado _score (b, a)) $$

$$ sigma_ {a} '= sigma_ {a} cdot lr $$

$$ sigma_ {b} '= sigma_ {b} cdot lr $$

Dónde:

• $ LR $ es la tasa de aprendizaje. Cuanto menor sea la tasa de aprendizaje, más rápido es el "aprendizaje". Al disminuir la desviación estándar, hace que los resultados sean más significativos. Esto significa que el sistema convergerá más rápido con un ganador, pero también significa que es menos probable que encuentre el mejor resultado. Recomendamos $ 0.96 $ .

• $ K $ es el número de puntos que cada batalla tiene en juego.

• $ N $ es el número de casos de prueba

• $ dfrac {k} {n} $ es la cantidad de puntos que cada ronda tiene en juego

  • Si dos indicaciones con el mismo $ mu $ La batalla y una pronta gana todas las rondas que ganará $ dfrac {k} {2} $ puntos y el otro perderán $ dfrac {k} {2} $ agujas.

• $ puntaje $ es $ 1 $ si $ A $ victorias y $ 0 $ si $ B $ victorias,

• $ esperado _score (a, b) $ es la posibilidad esperada de $ A $ ganador versus $ B $ dadas sus distribuciones normales. Esto se calcula mediante la siguiente fórmula: $$ esperado _score (a, b) = frac {1} {1 + 10^{ frac { mu_ {b} - mu_ {a}} {400}}} $$

La razón por la que actualizamos el $ sigma $ De cada aviso es que tenemos más certeza en la distribución después de cada partido, por lo que debería tener una desviación estándar más pequeña.

Créditos

Nos inspiramos fuertemente https://github.com/mshumer/gpt-prompt-ingineer, ¡gracias por su trabajo!