Recurrent LLM
1.0.0
การใช้งาน LLM โอเพนซอร์ส:
RecurrentGPT: การสร้างข้อความยาว (โดยพลการ)
[กระดาษ] [arxiv] [HuggingFace] [เป็นไปได้]
บริบทขนาดคงที่ของหม้อแปลงทำให้โมเดล GPT ไม่สามารถสร้างข้อความที่ยาวโดยพลการ ในบทความนี้เราแนะนำ RecurrentGpt ซึ่งเป็น simulacrum ที่ใช้ภาษาของกลไกการเกิดซ้ำใน RNNs RecurrentGpt ถูกสร้างขึ้นบนรูปแบบภาษาขนาดใหญ่ (LLM) เช่น chatgpt และใช้ภาษาธรรมชาติเพื่อจำลองกลไกหน่วยความจำระยะสั้นระยะยาวใน LSTM ในแต่ละช่วงเวลาการเกิดซ้ำจะสร้างย่อหน้าของข้อความและอัปเดตหน่วยความจำระยะยาวตามภาษาที่เก็บไว้ในฮาร์ดไดรฟ์และพรอมต์ตามลำดับ กลไกการเกิดซ้ำนี้ช่วยให้ RecurrentGPT สามารถสร้างข้อความที่มีความยาวโดยพลการโดยไม่ลืม เนื่องจากผู้ใช้มนุษย์สามารถสังเกตและแก้ไขความทรงจำทางภาษาธรรมชาติได้อย่างง่ายดายซ้ำอีกครั้งจึงสามารถตีความได้และช่วยให้การสร้างข้อความยาวแบบโต้ตอบ RecurrentGPT เป็นขั้นตอนแรกสู่ระบบการเขียนคอมพิวเตอร์ช่วยในรุ่นต่อไปนอกเหนือจากคำแนะนำการแก้ไขท้องถิ่น นอกเหนือจากการผลิตเนื้อหา AI-Generated (AIGC) แล้วเรายังแสดงให้เห็นถึงความเป็นไปได้ที่จะใช้ RecurrentGPT เป็นนิยายอินเทอร์แอคทีฟที่โต้ตอบกับผู้บริโภคโดยตรง เราเรียกว่าการใช้แบบจำลองการกำเนิดนี้โดย `` ai เป็นสารบัญ '' (AIAC) ซึ่งเราเชื่อว่าเป็นรูปแบบต่อไปของ AIGC ทั่วไป เราแสดงให้เห็นถึงความเป็นไปได้ของการใช้ RecurrentGPT เพื่อสร้างนิยายอินเทอร์แอคทีฟที่เป็นส่วนตัวซึ่งโต้ตอบโดยตรงกับผู้อ่านแทนที่จะโต้ตอบกับนักเขียน ในวงกว้างมากขึ้น RecurrentGPT แสดงให้เห็นถึงประโยชน์ของแนวคิดการกู้ยืมจากการออกแบบรูปแบบยอดนิยมในวิทยาศาสตร์การเรียนรู้และการเรียนรู้อย่างลึกซึ้งเพื่อกระตุ้น LLMS
หม้อแปลง的固定尺寸上下文使得 GPT 模型无法生成任意长的文本。在本文中， 我们介绍了我们介绍了我们介绍了我们介绍了，， 一个基于语言的模拟 rnns 中的递归机制。recurrentGpt 建立在大型语言模型（ llm） 之上，， 如如如如如如如如如如，， 并更新其基于语言的长短时记忆并更新其基于语言的长短时记忆并更新其基于语言的长短时记忆，，，，，，，，，，，，，，，，，， 并更新其基于语言的长短时记忆制使การเกิดซ้ำ能够生成任意长度的文本而不被遗忘。由于人类用户可以很容易地观察和编辑自然语言记忆， 因此因此因此因此因此因此因此因此因此因此因此因此因此因此是可解释的，， 并能互动地生成长文本。并能互动地生成长文本。并能互动地生成长文本。recurrentgpt 是朝着超越本地编辑建议的下一代计算机辅助写作系统迈出的第一步。除了制作人工智能生成的内容（ AIGC）， 我们还展示了使用我们还展示了使用 RecurrentGpt 作为直接与消费者互动的互动小说的可能性。我们称这种生成模型的使用为"AI เป็นสารบัญ" （AIAC）， 我们认为这是传统 AIGC 的下一个形式。我们进一步展示了使用 RecurrentGpt 创造个性化互动小说的可能性， 这种小说直接与读者互动， 而不是与作者互动。更广泛地说，，，，，，，，，，，，，，，，，，，，，，，，
pip install transformers@git+https://github.com/huggingface/transformers.git
pip install peft@git+https://github.com/huggingface/peft.git
pip install accelerate@git+https://github.com/huggingface/accelerate.git
pip install bitsandbytes==0.39.0
pip install -U flagai
pip install bminf
[global_config.py]
lang_opt = "zh" # zh or en. make English or Chinese Novel
llm_model_opt = "openai" # default is openai, it also can be other open-source LLMs as below
คุณควรใช้คีย์ OpenAI API ก่อน แล้ว
export OPENAI_API_KEY = "your key"
ดาวน์โหลดรุ่น Vicuna และกำหนดค่าในรุ่น/vicuna_bin.py
tokenizer = AutoTokenizer . from_pretrained ( model_name_or_path , trust_remote_code = True )
model_config = AutoConfig . from_pretrained ( model_name_or_path , trust_remote_code = True )
model = AutoModel . from_pretrained ( model_name_or_path , config = model_config , trust_remote_code = True ) tokenizer = AutoTokenizer . from_pretrained ( "baichuan-inc/baichuan-7B" , trust_remote_code = True )
model = AutoModelForCausalLM . from_pretrained ( "baichuan-inc/baichuan-7B" , device_map = "auto" , trust_remote_code = True ) loader = AutoLoader (
"lm" ,
model_dir = state_dict ,
model_name = model_name ,
use_cache = True ,
fp16 = True )
model = loader . get_model ()
tokenizer = loader . get_tokenizer ()
model . eval ()หากต้องการใช้ BMINF จากนั้นเพิ่มรหัสตามด้านล่าง:
with torch . cuda . device ( 0 ):
model = bminf . wrapper ( model , quantization = False , memory_limit = 2 << 30 ) python gradio_server.py
หากโครงการนี้ช่วยคุณลดเวลาในการพัฒนาคุณสามารถให้กาแฟฉันสักถ้วย :)
Alipay (支付宝)
Wechatpay (微信)
mit © kun
