chat_prompt_templates
1.0.0
Коллекция основных шаблонов быстрого приглашения для различных чатов LLMS | Коллекция базовых оперативных шаблонов чата LLM
Мотивация : Основной шаблон быстрого приглашения значительно повлияет на эффективность следующей инструкции. Модели разных архитектур могут использовать разные шаблоны быстрого приглашения во время обучения. Однако в настоящее время эти шаблоны могут быть сложными для местонахождения; Иногда они встроены в примеры кодов, скрытые в проблемах GitHub или иногда встречаются в официальных блогах ...
Мотивация : Основной шаблон быстрого приглашения значительно повлияет на эффект следующей инструкции. Модели разных архитектур могут использовать разные шаблоны подсказки при обучении. Однако эти шаблоны часто трудно найти в данный момент; Иногда они встроены в пример кода, иногда скрытые в проблемах GitHub, а иногда иногда встречаются в официальных блогах ...
Примечание
Язык разметки чата является основным потоком, например. Трансформеры Huggingface, Tiktoken Openai.
Язык разметки чата - это основной формат, такой как трансформаторы Huggingface, Tiktoken's Openai.
(Алфавитный порядок по архитектуре)
(Сортируется по словам имена схемы)
template = """<reserved_195>{query}<reserved_196>""" template = """<|system|>
You are ChatGLM3, a large language model trained by Zhipu.AI. Follow the user's instructions carefully. Respond using markdown.
<|user|>
{query}
<|assistant|>
""" template = """<bos><start_of_turn>user
{query}<end_of_turn>
<start_of_turn>model""" template = """<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
{query}<|im_end|>
<|im_start|>assistant
""" template = """<s>[INST] <<SYS>>
You are a helpful, respectful and honest assistant.
<</SYS>> {query} [/INST] Sure, I'd be happy to help. Here is the answer:"""Sure, I'd be happy to help. Here is the answer: избегает многословных выходов модели. template = """Instruct: {query} n Output:"""
# or template = """Alice: {query}nBob:""" template = """<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
{query}<|im_end|>
<|im_start|>assistant
"""<|im_end|> или <|endoftext|> , вы можете удалить тексты после них или использовать параметр stop , например: # Using vLLM interface
payload = json . dumps ({
"prompt" : query ,
"n" : 1 ,
"stop" : [ "<|endoftext|>" , "<|im_end|>" ],
}) template = """<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant""" template = """<|begin_of_text|><|start_header_id|>system<|end_header_id|>
You are a helpful AI assistant.<|eot_id|><|start_header_id|>user<|end_header_id|>
{query}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
""" template = 
