Recurrent LLM
1.0.0
Реализация бумаги с открытым исходным кодом:
Recurrentgpt: интерактивное генерация (произвольно) длинного текста .
[Paper] [arxiv] [huggingface] [Offical]
Контекст трансформатора с фиксированным размером делает модели GPT неспособными генерировать произвольно длинный текст. В этой статье мы вводим RecurrentGPT, языковую симулякрум механизма рецидивов в RNN. RecurrentGPT построен на большой языковой модели (LLM), такой как CHATGPT, и использует естественный язык для моделирования длинного кратковременного механизма памяти в LSTM. В каждом временном разделе RecurrentGPT генерирует абзац текста и обновляет его языковую память, основанную на языке, хранящуюся на жестком диске и подсказке соответственно. Этот механизм рецидивов позволяет RecurrentGPT генерировать тексты произвольной длины без забывания. Поскольку человеческие пользователи могут легко наблюдать и редактировать воспоминания о естественном языке, RecurrentGPT интерпретируется и позволяет интерактивному генерации длинного текста. RecurrentGPT-это начальный шаг в направлении компьютерного писателя следующего поколения за пределами локальных предложений по редактированию. В дополнение к созданию контента, сгенерированного AI (AIGC), мы также демонстрируем возможность использования RecurrentGPT в качестве интерактивной художественной литературы, которая напрямую взаимодействует с потребителями. Мы называем это использованием генеративных моделей с помощью «AI как содержимое» (AIAC), которое, как мы считаем, является следующей формой обычного AIGC. Мы также демонстрируем возможность использования RecurrentGPT для создания персонализированной интерактивной художественной литературы, которая напрямую взаимодействует с читателями, а не взаимодействует с авторами. В более широком смысле, RecurrentGPT демонстрирует полезность заимствования идей из популярных модельных дизайнов в когнитивной науке и глубокого обучения для побуждения LLMS.
Трансформатор 的固定尺寸上下文使得 gpt 模型无法生成任意长的文本。在本文中 我们介绍了 recurrentgpt ， 一个基于语言的模拟 rnns 中的递归机制。recurrentgpt 建立在大型语言模型 (llm) 之上 ， 如 Chatgpt ， 并使用自然语言来模拟 lstm 中的长短时记忆机制。在每个时间段 ， recurrentgpt 生成一段文字 ， 并更新其基于语言的长短时记忆 ， 分别存储在硬盘和提示器上。这种递归机制使 Recurrentgpt 能够生成任意长度的文本而不被遗忘。由于人类用户可以很容易地观察和编辑自然语言记忆 因此 因此 recurrentgpt 是可解释的 ， 并能互动地生成长文本。recurrentgpt 是朝着超越本地编辑建议的下一代计算机辅助写作系统迈出的第一步。除了制作人工智能生成的内容 （aigc) ， 我们还展示了使用 recurrentgpt 作为直接与消费者互动的互动小说的可能性。我们称这种生成模型的使用为«AI как содержимое» (AIAC) ， 我们认为这是传统 aigc 的下一个形式。我们进一步展示了使用 recurrentgpt 创造个性化互动小说的可能性 这种小说直接与读者互动 ， 而不是与作者互动。更广泛地说 ， recurrentgpt 证明了从认知科学和深度学习中流行的模型设计中借用思想来提示 llm 的效用。 的效用。
pip install transformers@git+https://github.com/huggingface/transformers.git
pip install peft@git+https://github.com/huggingface/peft.git
pip install accelerate@git+https://github.com/huggingface/accelerate.git
pip install bitsandbytes==0.39.0
pip install -U flagai
pip install bminf
[global_config.py]
lang_opt = "zh" # zh or en. make English or Chinese Novel
llm_model_opt = "openai" # default is openai, it also can be other open-source LLMs as below
Сначала вы должны применить ключ OpenAI API. затем
export OPENAI_API_KEY = "your key"
Скачать модель Vicuna. и настройка его в моделях/vicuna_bin.py
tokenizer = AutoTokenizer . from_pretrained ( model_name_or_path , trust_remote_code = True )
model_config = AutoConfig . from_pretrained ( model_name_or_path , trust_remote_code = True )
model = AutoModel . from_pretrained ( model_name_or_path , config = model_config , trust_remote_code = True ) tokenizer = AutoTokenizer . from_pretrained ( "baichuan-inc/baichuan-7B" , trust_remote_code = True )
model = AutoModelForCausalLM . from_pretrained ( "baichuan-inc/baichuan-7B" , device_map = "auto" , trust_remote_code = True ) loader = AutoLoader (
"lm" ,
model_dir = state_dict ,
model_name = model_name ,
use_cache = True ,
fp16 = True )
model = loader . get_model ()
tokenizer = loader . get_tokenizer ()
model . eval ()Если хотите использовать BMINF, добавьте код, как ниже:
with torch . cuda . device ( 0 ):
model = bminf . wrapper ( model , quantization = False , memory_limit = 2 << 30 ) python gradio_server.py
Если этот проект поможет вам сократить время для развития, вы можете дать мне чашку кофе :)
Алипай (支付宝)
WeChatpay (微信)
MIT © Kun
