xgen

xgen

Salesforce AI ResearchによるXgenモデル（ 7B ）のファミリーのための公式の研究リリース：

タイトル：XGENを使用した長いシーケンスモデリング：8K入力シーケンス長でトレーニングされた7B LLM

著者：Erik Nijkamp*、Tian Xie*、Hiroaki Hayashi*、Bo Pang*、Compingy Xia*、Chen Xing、Jesse Vig、Semih Yavuz、Philippe Laban、Ben Krause、Senthil Purushwalkam、Tong Niu、Wojciech Krichinski、lidiya murhakhaka Choubey、Alex Fabbri、Ye Liu、Rui Meng、Lifu Tu、Meghana Bhat、Chien-Sheng Wu、Silvio Savarese、Yingbo Zhou、Shafiq Rayhan Joty、Caiming Xiong。

（*等しい貢献を示します）

対応：Shafiq Rayhan Joty、Caiming Xiong

モデル

モデルカードは、Huggingface Hubで公開されています。

• 4Kシーケンス長をサポートしたXGEN-7B-4Kベース。
• XGEN-7B-8Kベース8Kシーケンス長のサポート。
• XGEN-7B-8K INST with Instruction-Finetuning（研究目的のみ）。

トークン化は、 pipを介してインストールできるOpenai Tiktokenパッケージを使用しています。

pip install tiktoken

モデルは、次のように自動回帰サンプラーとして使用できます。

 import torch
from transformers import AutoTokenizer , AutoModelForCausalLM

tokenizer = AutoTokenizer . from_pretrained ( "Salesforce/xgen-7b-8k-base" , trust_remote_code = True )
model = AutoModelForCausalLM . from_pretrained ( "Salesforce/xgen-7b-8k-base" , torch_dtype = torch . bfloat16 )
inputs = tokenizer ( "The world is" , return_tensors = "pt" )
sample = model . generate ( ** inputs , max_length = 128 )
print ( tokenizer . decode ( sample [ 0 ]))

引用

 @misc { XGen ,
  title = { Long Sequence Modeling with XGen: A 7B LLM Trained on 8K Input Sequence Length } ,
  author = { Erik Nijkamp, Tian Xie, Hiroaki Hayashi, Bo Pang, Congying Xia, Chen Xing, Jesse Vig, Semih Yavuz, Philippe Laban, Ben Krause, Senthil Purushwalkam, Tong Niu, Wojciech Kryscinski, Lidiya Murakhovs'ka, Prafulla Kumar Choubey, Alex Fabbri, Ye Liu, Rui Meng, Lifu Tu, Meghana Bhat, Chien-Sheng Wu, Silvio Savarese, Yingbo Zhou, Shafiq Rayhan Joty, Caiming Xiong } ,
  howpublished = { ArXiv } ,
  year = { 2023 } ,
  url = { https://arxiv.org/abs/2309.03450 }
}