xgen

Xgen

Offizielle Forschungsveröffentlichung für die Familie der XGen -Modelle ( 7B ) von Salesforce AI Research:

Titel : Langsequenzmodellierung mit XGen: A 7B LLM, das auf 8K -Eingangssequenzlänge trainiert wurde

Authors : Erik Nijkamp*, Tian Xie*, Hiroaki Hayashi*, Bo Pang*, Congying Xia*, Chen Xing, Jesse Vig, Semih Yavuz, Philippe Laban, Ben Krause, Senthil Purushwalkam, Tong Niu, Wojciech Kryscinski, Lidiya Murakhovs'ka, Prafulla Kumar Choubey, Alex Fabbri, Ye Liu, Rui Meng, Lifu Tu, Meghana Bhat, Chien-Sheng Wu, Silvio Savarese, Yingbo Zhou, Shafiq Rayhan Joty, Caiming Xiong.

(* zeigt einen gleichen Beitrag an)

Korrespondenz zu: Shafiq Rayhan Joty, Caiming Xiong

Modelle

Modellkarten werden im Huggingface -Hub veröffentlicht:

• Xgen-7b-4K-Base mit Unterstützung für 4K-Sequenzlänge.
• Xgen-7b-8K-Base mit Unterstützung für 8K-Sequenzlänge.
• XGEN-7B-8K-INST mit dem Anweisungsfinetuning (nur für Forschungszwecke).

Die Tokenisierung verwendet das OpenAI Tiktoken -Paket, das über pip installiert werden kann:

pip install tiktoken

Die Modelle können wie folgt als automatisch-egressive Sampler verwendet werden:

 import torch
from transformers import AutoTokenizer , AutoModelForCausalLM

tokenizer = AutoTokenizer . from_pretrained ( "Salesforce/xgen-7b-8k-base" , trust_remote_code = True )
model = AutoModelForCausalLM . from_pretrained ( "Salesforce/xgen-7b-8k-base" , torch_dtype = torch . bfloat16 )
inputs = tokenizer ( "The world is" , return_tensors = "pt" )
sample = model . generate ( ** inputs , max_length = 128 )
print ( tokenizer . decode ( sample [ 0 ]))

Zitat

 @misc { XGen ,
  title = { Long Sequence Modeling with XGen: A 7B LLM Trained on 8K Input Sequence Length } ,
  author = { Erik Nijkamp, Tian Xie, Hiroaki Hayashi, Bo Pang, Congying Xia, Chen Xing, Jesse Vig, Semih Yavuz, Philippe Laban, Ben Krause, Senthil Purushwalkam, Tong Niu, Wojciech Kryscinski, Lidiya Murakhovs'ka, Prafulla Kumar Choubey, Alex Fabbri, Ye Liu, Rui Meng, Lifu Tu, Meghana Bhat, Chien-Sheng Wu, Silvio Savarese, Yingbo Zhou, Shafiq Rayhan Joty, Caiming Xiong } ,
  howpublished = { ArXiv } ,
  year = { 2023 } ,
  url = { https://arxiv.org/abs/2309.03450 }
}