xgen

Xgen

Déclaration de recherche officielle pour la famille des modèles XGEN ( 7B ) par Salesforce AI Research:

Titre : Modélisation de séquence longue avec xgen: un 7b LLM formé sur la longueur de séquence d'entrée 8K

Auteurs : Erik Nijkamp *, Tian Xie *, Hiroaki Hayashi *, Bo Pang *, Congying Xia *, Chen Xing, Jesse Vig, Semih Yavuz, Philippe Laban, Ben Krause, Senthil Purushwalkam, Tong Niu, Wojciech Kryscinsi Choubey, Alex Fabbri, Ye Liu, Rui Meng, Lifu Tu, Meghana Bhat, Chien-Sheng Wu, Silvio Savarese, Yingbo Zhou, Shafiq Rayhan Joty, Caiming Xiong.

(* indique une contribution égale)

Correspondance avec: Shafiq Rayhan Joty, Caiming Xiong

Modèles

Les cartes modèles sont publiées sur le Huggingface Hub:

• XGEN-7B-4K-base avec support pour la longueur de séquence 4K.
• XGEN-7B-8K-base avec support pour la longueur de séquence 8K.
• XGEN-7B-8K-INST AVEC LE FINETUNAGE D'INSTRUCTION (À des fins de recherche uniquement).

La tokenisation utilise le package Openai TikToken, qui peut être installé via pip :

pip install tiktoken

Les modèles peuvent être utilisés comme échantillonneurs auto-régressifs comme suit:

 import torch
from transformers import AutoTokenizer , AutoModelForCausalLM

tokenizer = AutoTokenizer . from_pretrained ( "Salesforce/xgen-7b-8k-base" , trust_remote_code = True )
model = AutoModelForCausalLM . from_pretrained ( "Salesforce/xgen-7b-8k-base" , torch_dtype = torch . bfloat16 )
inputs = tokenizer ( "The world is" , return_tensors = "pt" )
sample = model . generate ( ** inputs , max_length = 128 )
print ( tokenizer . decode ( sample [ 0 ]))

Citation

 @misc { XGen ,
  title = { Long Sequence Modeling with XGen: A 7B LLM Trained on 8K Input Sequence Length } ,
  author = { Erik Nijkamp, Tian Xie, Hiroaki Hayashi, Bo Pang, Congying Xia, Chen Xing, Jesse Vig, Semih Yavuz, Philippe Laban, Ben Krause, Senthil Purushwalkam, Tong Niu, Wojciech Kryscinski, Lidiya Murakhovs'ka, Prafulla Kumar Choubey, Alex Fabbri, Ye Liu, Rui Meng, Lifu Tu, Meghana Bhat, Chien-Sheng Wu, Silvio Savarese, Yingbo Zhou, Shafiq Rayhan Joty, Caiming Xiong } ,
  howpublished = { ArXiv } ,
  year = { 2023 } ,
  url = { https://arxiv.org/abs/2309.03450 }
}