chat_prompt_templates
1.0.0
Colección de plantillas de inmediato básicas para varios LLM de chat | Colección de plantillas de inmediato de Chat LLM
Motivación : la plantilla de aviso básica afectará significativamente la efectividad de la instrucción siguiente. Los modelos de diferentes arquitecturas pueden usar diferentes plantillas de inmediato durante el entrenamiento. Sin embargo, en la actualidad, estas plantillas pueden ser difíciles de localizar; A veces están integrados en códigos de ejemplo, escondidos dentro de los problemas de Github, u ocasionalmente se encuentran en blogs oficiales ...
Motivación : la plantilla de aviso básica afectará significativamente el efecto de la instrucción siguiente. Los modelos de diferentes arquitecturas pueden usar diferentes plantillas de pista cuando se entrenan. Sin embargo, estas plantillas a menudo son difíciles de encontrar en este momento; A veces están integrados en el código de muestra, a veces ocultos en temas de Github, y a veces ocasionalmente se encuentran en blogs oficiales ...
Nota
El lenguaje de marcado de chat es la corriente principal, por ejemplo. Transformers de Huggingface, Tiktoken de OpenAi.
El lenguaje de marcado de chat es un formato convencional como los Transformers de Huggingface, Tiktoken de Openai.
(Orden alfabética por arquitectura)
(Ordenado por el Diccionario Orden de nombres de esquema)
template = """<reserved_195>{query}<reserved_196>""" template = """<|system|>
You are ChatGLM3, a large language model trained by Zhipu.AI. Follow the user's instructions carefully. Respond using markdown.
<|user|>
{query}
<|assistant|>
""" template = """<bos><start_of_turn>user
{query}<end_of_turn>
<start_of_turn>model""" template = """<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
{query}<|im_end|>
<|im_start|>assistant
""" template = """<s>[INST] <<SYS>>
You are a helpful, respectful and honest assistant.
<</SYS>> {query} [/INST] Sure, I'd be happy to help. Here is the answer:"""Sure, I'd be happy to help. Here is the answer: evita las salidas del modelo detallado. template = """Instruct: {query} n Output:"""
# or template = """Alice: {query}nBob:""" template = """<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
{query}<|im_end|>
<|im_start|>assistant
"""<|im_end|> o <|endoftext|> , puede eliminar los textos después de ellos o usar el parámetro stop como: # Using vLLM interface
payload = json . dumps ({
"prompt" : query ,
"n" : 1 ,
"stop" : [ "<|endoftext|>" , "<|im_end|>" ],
}) template = """<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant""" template = """<|begin_of_text|><|start_header_id|>system<|end_header_id|>
You are a helpful AI assistant.<|eot_id|><|start_header_id|>user<|end_header_id|>
{query}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
""" template = 
