prompt serve

Prompt Serve

armazenar e servir os avisos do modelo de idioma

Visão geral

prompt-serve ajuda a gerenciar todos os seus avisos de Modelo de Linguagem Grande (LLM) e configurações/metadados associados de maneira direta e controlada por versão.

Este projeto fornece um esquema YAML para armazenar prompts de maneira estruturada e um pequeno servidor de API que lida com interações com um repositório Git, para que você possa tratar os avisos mais como o código reutilizável.

• Libere a postagem do blog

Destaques

• Esquema YAML para prompts e metadados associados
• Associar solicitações para representar correntes
• Crie "pacotes" de múltiplas instruções ou correntes para representar categorias de tarefas ou fluxos de trabalho
• Armazene qualquer tipo de texto ou modelo rápido
• Store LLM Provedor, Modelo e Configurações
• Utilitário de linha de comando para tarefas comuns
  • Inicializando o novo repositório Git
  • criando arquivos de prompt
  • Visualizando estatísticas de repositório
  • Converter prompts em modelos de prompt de Langchain
• Utilitário de linha de comando para validar o prompt ou diretório único contra o esquema
• Versão controlada via git
• Servidor da API para fazer upload ou recuperar os prompts (prova de conceito / trabalho em andamento)

Esquema? ️

Os avisos seguem o esquema fornecido em schema.yml.

Confira o repositório de prompts para vê -lo em ação.

 title : prompt-title-or-name
uuid : prompt-uuid
description : prompt-description
category : prompt-category
provider : model-provider
model : model-name
model_settings :
  temperature : 0.8
  top_k : 40
  top_p : 0.9
prompt : prompt-text
input_variables :
  - var1
  - var2
references :
  - https://example.com
  - https://example.com
associations :
  - prompt_uuid
  - prompt_uuid
packs :
  - pack-uuid
  - pack-uuid
tags :
  - tag
  - tag 

Validação ✅

Você pode usar o utilitário validate.py para verificar os avisos do esquema e ter UUIDs exclusivos.

Ao especificar o argumento --create , um novo UUID será fornecido se um determinado prompt não for exclusivo para o seu conjunto digitalizado. Você também pode reunir estatísticas sobre os tipos de instruções em sua coleção passando --gen-stats (consulte a próxima seção, por exemplo, saída de estatísticas).

 usage: validate.py [-h] [-s SCHEMA] [-f FILE] [-d DIRECTORY] [-c] [-g]

Validate YAML files against the prompt-serve schema.

options:
  -h, --help            show this help message and exit
  -s SCHEMA, --schema SCHEMA
                        schema file to validate against
  -f FILE, --file FILE  single file to validate
  -d DIRECTORY, --directory DIRECTORY
                        directory to validate
  -c, --create          create new uuids if validation fails
  -g, --gen-stats       generate statistics from directory

Exemplo de saída

UTILIDADE DE ESTATÍSTICAS

A ferramenta de controle de conteúdo pode ser usada para digitalizar um diretório de repositório de pront-serve e exibir estatísticas sobre todos os avisos da coleção, incluindo informações sobre a categoria, provedor, modelo e tags.

As estatísticas também podem ser opcionalmente coletadas ao executar o validate.py.

Exemplo de saída

Use em Langchain ⛓️

Os arquivos de serviço de prompt podem ser facilmente convertidos em modelos de prompt de Langchain.

A ferramenta de controle de conteúdo pode converter arquivos de serviço prompt individual em formato Langchain.

Exemplo de saída

Python

 import yaml
from langhain import PromptTemplate

def convert ( path_to_ps_prompt ):    
    with open ( path_to_ps_prompt , 'r' ) as fp :
        data = yaml . safe_load ( fp )
        prompt = data [ 'prompt' ]
            
        if 'input_vars' in data . keys ():
            input_vars = data [ 'input_vars' ]
            langchain_template = PromptTemplate ( template = prompt , input_variables = input_vars )
        else :
            langchain_template = PromptTemplate ( template = prompt , input_variables = [])
  
        return langchain_template 

Utilitário de criação imediata ✍️

A ferramenta de controle de conteúdo pode ser usada para criar interativamente um prompt com o esquema de serviço rápido.

? Isso é apenas uma prova de conceito e tem alguns bugs conhecidos. Você seria melhor servido criando isso por conta própria por enquanto.

• Entrada multi-linha para o campo "Prompt" não tratado corretamente
• Nenhum padrão é definido para campos opcionais

 $ python create.py -n summary.yml
creating prompt file summary.yml ...
title (str): Summarize blog posts
description (str): Summarize a blog post with key takeaways
category (str): summarization
provider (str) : openai
model (str) : gpt-3.5-turbo
temperature (float) : 0.8
top_k (int) : 
top_p (float) : 0.9
max_tokens (int) : 512
stream (bool) : false
presence_penalty (float) : 
frequency_penalty (float) : 
prompt (str): Summarize the blog post provided below with 3-5 key takeaways as bullet points: {blog_content}
references (seq) : https://github.com/deadbits/prompt-serve
associations (seq) : 
packs (seq) : 
tags (seq) : 
 successfully wrote file summary.yml