及时工程是一个极其迭代的过程。即使我们设法在提示下安定下来,也很难根据测试案例和其他可能的提示来确保我们为模型提供最佳说明。
提示Royale是一个应用程序,可让您真正轻松创建许多及时的候选人,写自己的候选人,并使其战斗,直到出现明显的赢家为止。它使及时迭代的过程感觉更容易和可靠。
您将描述您想完成的工作,给它一些场景和预期的输出,然后坐下来观看他们争夺#1的战斗。
您可以在提示中使用它,也可以克隆存储库并在本地运行。
要求:
克隆存储库:
git clone [email protected]:meistrari/prompts-royale.git安装依赖项。我们正在使用BUN来管理依赖关系,这太棒了。
bun i运行服务器:
bun run dev这是用例的示例:
Write a prompt that creates a headline for a website.
设想
汽车经销店的网站
预期输出
以最优惠的价格找到梦想中的汽车
设想
SaaS的网站用于数据分析
预期输出
您的数据,您的见解,您的方式
设想
动物园的网站
预期输出
世界动物,在一个地方
借助要完成的任务的信息和测试用例,用户可以生成及时的候选人,这些候选者会考虑到这些候选者,并输出n个候选者,这些候选者将通过系统通过战斗系统对系统进行排名。
如果用户对自己想要的内容有特定的想法,也可以自己编写提示候选人。如果您有特定的想法,那么编写提示始终是适合您打算的最佳选择。
提示a
为网站的不同类别设计引人注目的标题。了解网站的使命,预定的受众及其提供的解决方案。标题应引起关注,是相关的,并将网站的核心概念提炼成简洁的陈述。利用您的语言水平,促销策略和特定领域的知识来创造诱人的标题。”
提示b
您的指示是为特定类型的网站制定有吸引力的标题。请注意网站的目标,其针对性的人口统计以及其提供的服务。标题应该引人入胜,具有隐密性,并能够简短地总结该网站的主要主张。使用您的语言理解,广告策略和特定于行业的见解来创建引人注目的标题。
每个提示表示为正态分布,最初平均值
然后,我们重复以下周期:
我们使用蒙特卡洛采样器来制作两种选定的提示相互战斗的决斗。为决斗吸引的机会与该提示是最好的机会或更数学术语的机会成正比,我们使用其概率密度的加权分布来定义该曲线在组中具有最高真实均值的可能性。
在每个对决中,两个提示都回答每个测试用例,并单独的提示评估哪个答案是最好的。然后根据以下公式更新提示的ELO分数:
在哪里:
我们更新的原因
我们受到https://github.com/mshumer/gpt-prompt-wenderer的启发,感谢您的工作!