prompts royale

Promova Royale

A engenharia rápida é um processo extremamente iterativo. Mesmo quando conseguimos nos acalmar, é tão difícil testá -lo contra casos de teste e outros prompts possíveis para garantir que estamos dando as melhores instruções ao modelo.

O Prompts Royale é um aplicativo que permite criar muitos candidatos imediatos, escrever seus próprios e fazê -los lutar até que um vencedor claro surja. Isso torna o processo de iterar em um rápido parecer muito mais fácil e confiável.

Você dá uma descrição do que deseja realizar, dá alguns cenários e saídas esperadas e, em seguida, se sente e vê -los lutar pelo número 1.

Prompts.royale.mp4

O que isso pode fazer

• Geração de prompt automático: permite a criação de candidatos imediatos nos cenários de descrição e caso de teste do usuário. O usuário também pode inserir o seu próprio.
• Geração automática de casos de teste: permite criar automaticamente casos de teste a partir da descrição para que os sucos fluam!
• Classificação de Matchmaking + ELO de Monte Carlo: ele usa o método Monte Carlo para Matchmaking para garantir que você obtenha o máximo de informações com a menor quantidade de batalhas e a classificação ELO para classificar adequadamente os candidatos com base em suas vitórias e em quem eles ganham contra
• Tudo é personalizável: a página de configurações permite que você mexa com todos os parâmetros do aplicativo
• Local e seguro : tudo é armazenado localmente e as solicitações são feitas do seu navegador para a API LLMS.

Uso

Você pode usá -lo no Promptsroyale.com, ou pode clonar o repositório e executá -lo localmente.

Requisitos:

• Nó v16+

Clone o repositório:

git clone [email protected]:meistrari/prompts-royale.git

Instalar as dependências. Estamos usando BUN para gerenciar dependências, é incrível.

bun i

Execute o servidor:

bun run dev

Exemplo

Aqui está um exemplo de como seria um caso de uso:

Descrição

 Write a prompt that creates a headline for a website.

Exemplo 1

Cenário

Site de uma concessionária de carros

Saída esperada

Encontre o carro dos seus sonhos pelo melhor preço

Exemplo 2

Cenário

Site de um SaaS para análise de dados

Saída esperada

Seus dados, suas idéias, seu jeito

Exemplo 3

Cenário

Site para um zoológico

Saída esperada

Animais do mundo, em um só lugar

Com as informações da tarefa a ser realizada e os casos de teste, o usuário pode gerar candidatos rápidos , que os levam em consideração e saídas n candidatos que serão classificados pelo sistema por meio de um sistema de combate.

O usuário também pode escrever os próprios candidatos, se eles tiverem uma idéia específica do que desejam. Se você tem algo específico em mente, escrever seus avisos é sempre a melhor opção para se encaixar no que você pretende.

Clique para ver um exemplo dos prompts gerados

Promot a

Projete uma manchete atraente para uma categoria distinta de site. Entenda a missão do site, seu público -alvo e as soluções que ele fornece. A manchete deve atrair atenção, ser pertinente e destilar o conceito central do site em uma declaração sucinta. Aproveite sua proficiência linguística, táticas promocionais e conhecimento específico do domínio para criar uma manchete atraente ".

Prompt b

Sua diretiva é formular uma manchete atraente para um tipo específico de site. Preste atenção aos objetivos do site, sua demografia direcionada e os serviços que ele oferece. A manchete deve ser cativante, pertinente e capaz de resumir a proposta principal do site em uma breve linha. Use sua compreensão do idioma, estratégias de publicidade e informações específicas do setor para criar uma manchete atraente.

Como funciona

Cada prompt é representado como uma distribuição normal com uma média inicial $ mu $ de $ 1000 $ e um desvio padrão $ sigma $ de $ 350 $ . Esta distribuição representa a pontuação Elo do prompt.

Em seguida, repetimos o seguinte ciclo:

Utilizamos um amostrador de Monte Carlo para fazer duelos onde cada um dos dois avisos selecionados se combinam. As chances de serem desenhadas para o duelo são proporcionais à chance de que esse aviso seja o melhor, ou em termos mais matemáticos, usamos a distribuição ponderada de sua densidade de probabilidade para definir a probabilidade de que essa curva tenha a mais alta média verdadeira dentro do grupo .

Em cada duelo, ambos os avisos respondem a cada um dos casos de teste e um aviso separado avalia qual resposta foi a melhor. As pontuações Elo dos prompts são atualizados de acordo com as seguintes fórmulas:

$$ mu_ {a} '= mu_ {a} + frac {k} {n} cdot (pontuação - esperado _score (a, b)) $$

$$ mu_ {b} '= mu_ {b} + frac {k} {n} cdot (1 - pontuação - esperado _score (b, a)) $$

$$ sigma_ {a} '= sigma_ {a} cdot lr $$

$$ sigma_ {b} '= sigma_ {b} cdot lr $$

Onde:

• $ Lr $ é a taxa de aprendizado. Quanto menor a taxa de aprendizado, mais rápido o "aprendizado". Ao diminuir o desvio padrão, você torna os resultados mais significativos. Isso significa que o sistema convergirá mais rápido para um vencedor, mas também significa que será menos provável que encontre o melhor resultado. Recomendamos $ 0,96 $ .

• $ K $ é o número de pontos que cada batalha tem em jogo.

• $ N $ é o número de casos de teste

• $ dfrac {k} {n} $ é a quantidade de pontos que cada rodada tem em jogo

  • Se dois prompts com o mesmo $ mu $ batalha e um rápido vence todas as rodadas que ganharão $ dfrac {k} {2} $ Pontos e o outro vai perder $ dfrac {k} {2} $ pontos.

• $ pontuação $ é $ 1 $ se $ A $ vence e $ 0 $ se $ B $ vence,

• $ esperado _score (a, b) $ é a chance esperada de $ A $ Ganhando versus $ B $ dadas suas distribuições normais. Isso é calculado pela seguinte fórmula: $$ esperado _score (a, b) = frac {1} {1 + 10^{ frac { mu_ {b} - mu_ {a}} {400}}} $$

A razão pela qual atualizamos o $ sigma $ de cada prompt é que temos mais certeza da distribuição após cada partida, portanto, deve ter um desvio padrão menor.

Créditos

Fomos fortemente inspirados em https://github.com/mshumer/gpt-prompt-engineer, obrigado pelo seu trabalho!