prompts royale

Invite Royale

L'ingénierie rapide est un processus extrêmement itératif. Même lorsque nous parvenons à nous installer sur une invite, il est si difficile de le tester contre les cas de test et d'autres invites possibles pour nous assurer que nous donnons les meilleures instructions au modèle.

Invite Royale est une application qui vous permet de créer très facilement de nombreux candidats rapides, d'écrire vos propres et de les faire combattre jusqu'à ce qu'un gagnant clair émerge. Cela rend le processus d'itération sur une sensation rapide beaucoup plus facile et fiable.

Vous donnez une description de ce que vous voulez accomplir, donnez-lui quelques scénarios et des sorties attendues, puis asseyez-les et regardez-les se battre pour # 1.

invite.royale.mp4

Ce qu'il peut faire

• GÉNÉRATION AUTOMATIQUE AUTOMATIQUE: Permet la création de candidats rapides à partir des scénarios de description et de test de l'utilisateur. L'utilisateur peut également saisir le sien.
• Génération automatique des cas de test: permet de créer automatiquement des cas de test à partir de la description pour faire circuler les jus!
• Matchmaking + ELO de Monte Carlo: il utilise la méthode de Monte Carlo pour le matchmaking afin de vous assurer d'obtenir autant d'informations avec le moins de batailles, et la notation ELO pour classer correctement les candidats en fonction de leurs victoires et de qui ils gagnent contre
• Tout est personnalisable: la page Paramètres vous permet de bricoler avec chaque paramètre de l'application
• Local et sécurisé : tout est stocké localement et les demandes sont faites de votre navigateur à l'API LLMS.

Usage

Vous pouvez l'utiliser sur invitsroyale.com, ou vous pouvez cloner le référentiel et l'exécuter localement.

Exigences:

• Nœud v16 +

Clone le référentiel:

git clone [email protected]:meistrari/prompts-royale.git

Installer les dépendances. Nous utilisons BUN pour gérer les dépendances, c'est génial.

bun i

Exécutez le serveur:

bun run dev

Exemple

Voici un exemple de ce à quoi ressemblerait un cas d'utilisation:

Description

 Write a prompt that creates a headline for a website.

Exemple 1

Scénario

Site Web d'un concessionnaire automobile

Sortie attendue

Trouvez la voiture de vos rêves au meilleur prix

Exemple 2

Scénario

Site Web d'un SaaS pour l'analyse des données

Sortie attendue

Vos données, vos idées, votre chemin

Exemple 3

Scénario

Site Web pour un zoo

Sortie attendue

Animaux du monde, en un seul endroit

Avec les informations de la tâche à accomplir et les cas de test, l'utilisateur peut ensuite générer des candidats rapides , qui en prennent en compte et publie n candidats qui seront classés par le système via un système de combat.

L'utilisateur peut également écrire les candidats rapides lui-même s'il a une idée spécifique de ce qu'il veut. Si vous avez quelque chose de spécifique à l'esprit, l'écriture de vos invites est toujours la meilleure option pour adapter ce que vous avez l'intention.

Cliquez pour voir un exemple des invites générées

Prompt à un

Concevez un titre convaincant pour une catégorie distincte de site Web. Comprenez la mission du site Web, son public prévu et les solutions qu'il fournit. Le titre doit attirer l'attention, être pertinent et distiller le concept principal du site Web dans une déclaration succincte. Tirez parti de votre maîtrise linguistique, de vos tactiques promotionnelles et de vos connaissances spécifiques au domaine pour créer un titre attrayant. "

Prompt b

Votre directive consiste à formuler un titre attrayant pour un type de site Web spécifique. Faites attention aux objectifs du site Web, à sa démographie ciblée et aux services qu'il offre. Le titre doit être captivant, pertinent et capable de résumer la proposition principale du site Web en brève ligne. Utilisez votre compréhension linguistique, vos stratégies publicitaires et vos informations spécifiques à l'industrie pour créer un titre convaincant.

Comment ça marche

Chaque invite est représentée comme une distribution normale avec une moyenne initiale $ mu $ de 1000 $ et un écart-type $ Sigma $ de 350 $ . Cette distribution représente le score ELO de l'invite.

Nous répétons ensuite le cycle suivant:

Nous utilisons un échantillonneur Monte Carlo pour faire des duels où chacun des 2 invites sélectionnées se battait mutuellement. Les chances d'être tirées pour le duel sont proportionnelles à la possibilité que cette invite soit la meilleure, ou en termes plus mathématiques, nous utilisons la distribution pondérée de leur densité de probabilité pour définir la probabilité que cette courbe ait le plus grand moyen vrai au sein du groupe du groupe .

Dans chaque duel, les deux invites répondent à chacun des cas de test et une invite distincte évalue la réponse la meilleure. Les scores ELO des invites sont ensuite mis à jour en fonction des formules suivantes:

$$ mu_ {a} '= mu_ {a} + frac {k} {n} cdot (score - attendu _score (a, b)) $$

$$ mu_ {b} '= mu_ {b} + frac {k} {n} cdot (1 - score - attendu _score (b, a)) $

$$ Sigma_ {a} '= Sigma_ {a} cdot lr $$

$$ Sigma_ {b} '= Sigma_ {b} cdot lr $$

Où:

• $ Lr $ est le taux d'apprentissage. Plus le taux d'apprentissage est bas, plus "l'apprentissage" est rapide. En diminuant l'écart type, vous rendez les résultats plus significatifs. Cela signifie que le système convergera plus rapidement vers un gagnant, mais cela signifie également qu'il sera moins susceptible de trouver le meilleur résultat. Nous recommandons 0,96 $ .

• $ K $ est le nombre de points que chaque bataille a en jeu.

• $ N $ est le nombre de cas de test

• $ dfrac {k} {n} $ est le nombre de points chaque tour en jeu

  • Si deux invite avec le même $ mu $ Bataille et une invite gagne tous les tours qu'il gagnera $ dfrac {k} {2} $ points et l'autre perdra $ dfrac {k} {2} $ points.

• $ score $ est 1 $ si $ A $ gagne et 0 $ si $ B $ gagne,

• $ attendu _score (a, b) $ est la chance attendue de $ A $ gagner contre $ B $ Compte tenu de leurs distributions normales. Ceci est calculé par la formule suivante: $$ attendu _score (a, b) = frac {1} {1 + 10 ^ { frac { mu_ {b} - mu_ {a}} {400}}} $$

La raison pour laquelle nous mettons à jour le $ Sigma $ De chaque invite est que nous avons plus de certitude sur la distribution après chaque correspondance, il devrait donc avoir un écart-type plus petit.

Crédits

Nous avons été fortement inspirés par https://github.com/mshumer/gpt-prompt-ngineer, merci pour votre travail!