chat_prompt_templates
1.0.0
Sammlung grundlegender Eingabeaufforderung Vorlagen für verschiedene Chat -LLMs | Chat LLMs grundlegende Eingabeaufforderung Vorlagensammlung
Motivation : Die grundlegende Eingabeaufenthaltsvorlage wirkt sich erheblich auf die Wirksamkeit des folgenden Unterrichts aus. Modelle verschiedener Architekturen können während des Trainings unterschiedliche Schablonen verwenden. Gegenwärtig können diese Vorlagen jedoch schwierig zu lokalisieren; Manchmal sind sie in Beispielcodes eingebettet, in Github -Problemen versteckt oder gelegentlich in offiziellen Blogs gefunden ...
Motivation : Die grundlegende Eingabeaufenthaltsvorlage wirkt sich erheblich auf die Auswirkung der folgenden Anweisung aus. Modelle verschiedener Architekturen können beim Training unterschiedliche Hinweisvorlagen verwenden. Diese Vorlagen sind jedoch im Moment oft schwer zu finden; Manchmal sind sie in Beispielcode eingebettet, manchmal in Github -Problemen versteckt und manchmal gelegentlich in offiziellen Blogs gefunden ...
Notiz
Die Chat -Markup -Sprache ist der Mainstream, z. Die Transformers von Suggingface, Openai's Tiktoken.
Die Chat -Markup -Sprache ist ein Mainstream -Format wie die Transformers von Huggingface und Openai's Tiktoken.
(Alphabetische Ordnung nach Architektur)
(Sortiert nach Dictionary Order of Schema -Namen)
template = """<reserved_195>{query}<reserved_196>""" template = """<|system|>
You are ChatGLM3, a large language model trained by Zhipu.AI. Follow the user's instructions carefully. Respond using markdown.
<|user|>
{query}
<|assistant|>
""" template = """<bos><start_of_turn>user
{query}<end_of_turn>
<start_of_turn>model""" template = """<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
{query}<|im_end|>
<|im_start|>assistant
""" template = """<s>[INST] <<SYS>>
You are a helpful, respectful and honest assistant.
<</SYS>> {query} [/INST] Sure, I'd be happy to help. Here is the answer:"""Sure, I'd be happy to help. Here is the answer: Vermeiden Sie ausführliche Modellausgänge. template = """Instruct: {query} n Output:"""
# or template = """Alice: {query}nBob:""" template = """<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
{query}<|im_end|>
<|im_start|>assistant
"""stop spezielle Token wie <|im_end|> oder <|endoftext|> aus. # Using vLLM interface
payload = json . dumps ({
"prompt" : query ,
"n" : 1 ,
"stop" : [ "<|endoftext|>" , "<|im_end|>" ],
}) template = """<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant""" template = """<|begin_of_text|><|start_header_id|>system<|end_header_id|>
You are a helpful AI assistant.<|eot_id|><|start_header_id|>user<|end_header_id|>
{query}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
""" template = 
