chat_prompt_templates
1.0.0
Coleção de modelos de prompt básico para vários chat llms | Coleção de modelos de prompt de chat llm
Motivação : O modelo de prompt básico afetará significativamente a eficácia da instrução a seguir. Modelos de diferentes arquiteturas podem usar diferentes modelos de prompt durante o treinamento. No entanto, atualmente, esses modelos podem ser desafiadores para localizar; Às vezes, eles são incorporados em códigos de exemplo, ocultos em problemas do GitHub ou ocasionalmente encontrados em blogs oficiais ...
Motivação : O modelo de prompt básico afetará significativamente o efeito da instrução a seguir. Modelos de diferentes arquiteturas podem usar modelos de dica diferentes ao treinar. No entanto, esses modelos geralmente são difíceis de encontrar no momento; Às vezes, eles estão incorporados no código de amostra, às vezes ocultos nos problemas do GitHub, e às vezes encontrados ocasionalmente em blogs oficiais ...
Observação
O idioma de marcação de bate -papo é o mainstream, por exemplo. Transformers de Huggingface, Tiktoken de Openai.
O idioma de marcação de bate -papo é um formato convencional, como Transformers do Huggingface, o Tiktoken do Openai.
(Ordem alfabética por arquitetura)
(Classificado pela Ordem do Dicionário de Nomes de Esquema)
template = """<reserved_195>{query}<reserved_196>""" template = """<|system|>
You are ChatGLM3, a large language model trained by Zhipu.AI. Follow the user's instructions carefully. Respond using markdown.
<|user|>
{query}
<|assistant|>
""" template = """<bos><start_of_turn>user
{query}<end_of_turn>
<start_of_turn>model""" template = """<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
{query}<|im_end|>
<|im_start|>assistant
""" template = """<s>[INST] <<SYS>>
You are a helpful, respectful and honest assistant.
<</SYS>> {query} [/INST] Sure, I'd be happy to help. Here is the answer:"""Sure, I'd be happy to help. Here is the answer: evita saídas de modelo detalhadas. template = """Instruct: {query} n Output:"""
# or template = """Alice: {query}nBob:""" template = """<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
{query}<|im_end|>
<|im_start|>assistant
"""<|im_end|> ou <|endoftext|> , você pode remover textos após eles ou usar parâmetros stop como: # Using vLLM interface
payload = json . dumps ({
"prompt" : query ,
"n" : 1 ,
"stop" : [ "<|endoftext|>" , "<|im_end|>" ],
}) template = """<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant""" template = """<|begin_of_text|><|start_header_id|>system<|end_header_id|>
You are a helpful AI assistant.<|eot_id|><|start_header_id|>user<|end_header_id|>
{query}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
""" template = 
