Recurrent LLM
1.0.0
تطبيق LLM مفتوح المصدر للورقة:
متكرر: توليد تفاعلي من نص طويل (تعسفي) .
[ورقة] [Arxiv] [Huggingface] [Offical]
يجعل سياق المحول المحول بالحجم الثابت من نماذج GPT غير قادرة على توليد نص طويل تعسفي. في هذه الورقة ، نقدم متكررة ، محاكاة قائمة على اللغة لآلية التكرار في RNNs. تم بناء RecurrentGPT على نموذج لغة كبير (LLM) مثل ChatGPT ويستخدم اللغة الطبيعية لمحاكاة آلية الذاكرة طويلة المدى الطويلة في LSTM. في كل Timestep ، تقوم RecurrentGPT بإنشاء فقرة من النص وتحديث ذاكرة مصطلحها الطويلة القائمة على اللغة المخزنة على محرك الأقراص الثابتة والمطالبة ، على التوالي. تمكن آلية التكرار هذه المتكررة من إنشاء نصوص ذات طول تعسفي دون نسيان. نظرًا لأن المستخدمين البشريين يمكنهم بسهولة مراقبة ذكريات اللغة الطبيعية وتحريرها بسهولة ، فإن متكرر قابلة للتفسير ويمكّن توليد تفاعلي من النص الطويل. RECURRENTGPT هي خطوة أولية نحو أنظمة الكتابة بمساعدة الكمبيوتر من الجيل التالي تتجاوز اقتراحات التحرير المحلي. بالإضافة إلى إنتاج المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعى (AIGC) ، فإننا نوضح أيضًا إمكانية استخدام متكررة كخيال تفاعلي يتفاعل مباشرة مع المستهلكين. نحن نسمي هذا الاستخدام للنماذج التوليدية من قبل "الذكاء الاصطناعي كمحتويات" (AIAC) ، والتي نعتقد أنها الشكل التالي من AIGC التقليدية. نوضح كذلك إمكانية استخدام متكررة لإنشاء خيال تفاعلي مخصص يتفاعل مباشرة مع القراء بدلاً من التفاعل مع الكتاب. على نطاق أوسع ، يوضح RecurrentGPT فائدة أفكار الاقتراض من التصميمات النموذجية الشعبية في العلوم المعرفية والتعلم العميق لطرح LLMs.
المحول 的固定尺寸上下文使得 gpt 模型无法生成任意长的文本。在本文中 ， 我们介绍了 متكرر ， 一个基于语言的模拟 rnns制使 متكرر 能够生成任意长度的文本而不被遗忘。由于人类用户可以很容易地观察和编辑自然语言记忆 ， 因此 متكرر 是可解释的 并能互动地生成长文本。 并能互动地生成长文本。recurrentgpt 是朝着超越本地编辑建议的下一代计算机辅助写作系统迈出的第一步。除了制作人工智能生成的内容 （aigc） ， 我们还展示了使用 recurrentgpt 作为直接与消费者互动的互动小说的可能性。我们称这种生成模型的使用为"AI كمحتويات" （AIAC） ， 我们认为这是传统 AIGC 的下一个形式。我们进一步展示了使用 متكررة 创造个性化互动小说的可能性 ， ， 而不是与作者互动。更广泛地说 ， ， متكررة 证明了从认知科学和深度学习中流行的模型设计中借用思想来提示 llm 的效用。
pip install transformers@git+https://github.com/huggingface/transformers.git
pip install peft@git+https://github.com/huggingface/peft.git
pip install accelerate@git+https://github.com/huggingface/accelerate.git
pip install bitsandbytes==0.39.0
pip install -U flagai
pip install bminf
[global_config.py]
lang_opt = "zh" # zh or en. make English or Chinese Novel
llm_model_opt = "openai" # default is openai, it also can be other open-source LLMs as below
يجب عليك تطبيق مفتاح Openai API أولاً. ثم
export OPENAI_API_KEY = "your key"
تنزيل نموذج Vicuna. وتكوينه في النماذج/vicuna_bin.py
tokenizer = AutoTokenizer . from_pretrained ( model_name_or_path , trust_remote_code = True )
model_config = AutoConfig . from_pretrained ( model_name_or_path , trust_remote_code = True )
model = AutoModel . from_pretrained ( model_name_or_path , config = model_config , trust_remote_code = True ) tokenizer = AutoTokenizer . from_pretrained ( "baichuan-inc/baichuan-7B" , trust_remote_code = True )
model = AutoModelForCausalLM . from_pretrained ( "baichuan-inc/baichuan-7B" , device_map = "auto" , trust_remote_code = True ) loader = AutoLoader (
"lm" ,
model_dir = state_dict ,
model_name = model_name ,
use_cache = True ,
fp16 = True )
model = loader . get_model ()
tokenizer = loader . get_tokenizer ()
model . eval ()إذا أردت استخدام BMINF ، فأضف رمزًا أدناه:
with torch . cuda . device ( 0 ):
model = bminf . wrapper ( model , quantization = False , memory_limit = 2 << 30 ) python gradio_server.py
إذا كان هذا المشروع يساعدك على تقليل الوقت للتطوير ، فيمكنك أن تعطيني فنجانًا من القهوة :)
alipay (支付宝)
WeChatpay (微信)
MIT © KUN
