xgen

Xgen

Comunicado oficial de investigación para la familia de los modelos XGEN ( 7B ) por Salesforce AI Research:

Título : Modelado de secuencia larga con XGen: A 7B LLM entrenado en una longitud de secuencia de entrada de 8K

Authors : Erik Nijkamp*, Tian Xie*, Hiroaki Hayashi*, Bo Pang*, Congying Xia*, Chen Xing, Jesse Vig, Semih Yavuz, Philippe Laban, Ben Krause, Senthil Purushwalkam, Tong Niu, Wojciech Kryscinski, Lidiya Murakhovs'ka, Prafulla Kumar Choubey, Alex Fabbri, Ye Liu, Rui Meng, Lifu Tu, Meghana Bhat, Chien-Sheng Wu, Silvio Savarese, Yingbo Zhou, Shafiq Rayhan Joty, Caiming Xiong.

(* indica una contribución igual)

Correspondencia a: Shafiq Rayhan Joty, Caiming Xiong

Modelos

Las tarjetas modelo se publican en el centro de Huggingface:

• Base XGen-7B-4K con soporte para la longitud de secuencia 4K.
• XGEN-7B-8K-BASE con soporte para la longitud de la secuencia de 8K.
• XGen-7B-8K-Inst con instrucción Finetuning (solo para fines de investigación).

La tokenización utiliza el paquete Operai Tiktoken, que se puede instalar a través de pip :

pip install tiktoken

Los modelos se pueden usar como muestreadores auto-regresivos de la siguiente manera:

 import torch
from transformers import AutoTokenizer , AutoModelForCausalLM

tokenizer = AutoTokenizer . from_pretrained ( "Salesforce/xgen-7b-8k-base" , trust_remote_code = True )
model = AutoModelForCausalLM . from_pretrained ( "Salesforce/xgen-7b-8k-base" , torch_dtype = torch . bfloat16 )
inputs = tokenizer ( "The world is" , return_tensors = "pt" )
sample = model . generate ( ** inputs , max_length = 128 )
print ( tokenizer . decode ( sample [ 0 ]))

Citación

 @misc { XGen ,
  title = { Long Sequence Modeling with XGen: A 7B LLM Trained on 8K Input Sequence Length } ,
  author = { Erik Nijkamp, Tian Xie, Hiroaki Hayashi, Bo Pang, Congying Xia, Chen Xing, Jesse Vig, Semih Yavuz, Philippe Laban, Ben Krause, Senthil Purushwalkam, Tong Niu, Wojciech Kryscinski, Lidiya Murakhovs'ka, Prafulla Kumar Choubey, Alex Fabbri, Ye Liu, Rui Meng, Lifu Tu, Meghana Bhat, Chien-Sheng Wu, Silvio Savarese, Yingbo Zhou, Shafiq Rayhan Joty, Caiming Xiong } ,
  howpublished = { ArXiv } ,
  year = { 2023 } ,
  url = { https://arxiv.org/abs/2309.03450 }
}