transformers embedder
3.0.11
طبقة محول مستوى الكلمات على أساس pytorch و؟ محولات.
قم بتثبيت المكتبة من PYPI:
pip install transformers-embedderأو من كوندا:
conda install -c riccorl transformers-embedderإنه يوفر طبقة Pytorch و Tokenizer يدعم كل نموذج تقريبًا من مكتبة Huggingface؟ Transformers. هنا مثال سريع:
import transformers_embedder as tre
tokenizer = tre . Tokenizer ( "bert-base-cased" )
model = tre . TransformersEmbedder (
"bert-base-cased" , subword_pooling_strategy = "sparse" , layer_pooling_strategy = "mean"
)
example = "This is a sample sentence"
inputs = tokenizer ( example , return_tensors = True ) {
'input_ids': tensor([[ 101, 1188, 1110, 170, 6876, 5650, 102]]),
'attention_mask': tensor([[1, 1, 1, 1, 1, 1, 1]]),
'token_type_ids': tensor([[0, 0, 0, 0, 0, 0, 0]])
'scatter_offsets': tensor([[0, 1, 2, 3, 4, 5, 6]]),
'sparse_offsets': {
'sparse_indices': tensor(
[
[0, 0, 0, 0, 0, 0, 0],
[0, 1, 2, 3, 4, 5, 6],
[0, 1, 2, 3, 4, 5, 6]
]
),
'sparse_values': tensor([1., 1., 1., 1., 1., 1., 1.]),
'sparse_size': torch.Size([1, 7, 7])
},
'sentence_length': 7 # with special tokens included
}
outputs = model ( ** inputs ) # outputs.word_embeddings.shape[1:-1] # remove [CLS] and [SEP]
torch.Size([1, 5, 768])
# len(example)
5
أحد أزعج استخدام النماذج القائمة على المحولات هو أنه ليس من التافهة حساب تضمينات الكلمات من التضمينات الفرعية التي تخرجها. مع API هذا ، من السهل استخدام المحولات للحصول على تضمينات على مستوى الكلمات من كل نموذج محول الذي يدعمه من الناحية النظرية.
توفر فئة TransformersEmbedder 3 طرق للحصول على التضمينات:
subword_pooling_strategy="sparse" : يحسب متوسط تضمينات المداخن الفرعية لكل كلمة (أي يتم تجميع التضمينات من المداخن الفرعية معًا) باستخدام مضاعفة المصفوفة المفرطة. هذه الاستراتيجية هي الافتراضي.subword_pooling_strategy="scatter" : يحسب متوسط التضمينات من المداخن الفرعية لكل كلمة باستخدام عملية متناثرة. إنه ليس حتميًا ، لكنه يعمل مع تصدير ONNX.subword_pooling_strategy="none" : إرجاع الإخراج الخام لنموذج المحول دون تجميع الفرع.هنا جدول ميزة صغير:
| التجميع | حتمية | onnx | |
|---|---|---|---|
| متناثر | ✅ | ✅ | |
| مبعثر | ✅ | ✅ | |
| لا أحد | ✅ | ✅ |
هناك أيضًا أنواع متعددة من المخرجات التي يمكنك الحصول عليها باستخدام معلمة layer_pooling_strategy :
layer_pooling_strategy="last" : إرجاع الحالة الخفية الأخيرة لنموذج المحولlayer_pooling_strategy="concat" : إرجاع تسلسل output_layers المحدد منlayer_pooling_strategy="sum" : إرجاع مجموع output_layers المحدد في نموذج المحولlayer_pooling_strategy="mean" : إرجاع متوسط output_layers المحدد في نموذج المحولlayer_pooling_strategy="scalar_mix" : إرجاع إخراج طبقة خليط العددية المعلمة من output_layers المحدد من طراز المحول إذا كنت تريد أيضًا جميع المخرجات من نموذج HuggingFace ، فيمكنك تعيين return_all=True للحصول عليها.
class TransformersEmbedder ( torch . nn . Module ):
def __init__ (
self ,
model : Union [ str , tr . PreTrainedModel ],
subword_pooling_strategy : str = "sparse" ,
layer_pooling_strategy : str = "last" ,
output_layers : Tuple [ int ] = ( - 4 , - 3 , - 2 , - 1 ),
fine_tune : bool = True ,
return_all : bool = True ,
) توفر فئة Tokenizer طريقة tokenize للمعالجة المسبقة للطبقة TransformersEmbedder . يمكنك تمرير الجمل الخام والجمل المسبقة والجمل في دفعة. وسوف يعالجهم مسبقًا لإرجاع قاموس مع مدخلات النموذج. عن طريق تمرير return_tensors=True ، سيعيد المدخلات كـ torch.Tensor .
افتراضيًا ، إذا قمت بتمرير نص (أو دفعة) كسلاسل ، فإنه يستخدم رمز Huggingface لتثبيتها.
text = "This is a sample sentence"
tokenizer ( text )
text = [ "This is a sample sentence" , "This is another sample sentence" ]
tokenizer ( text ) يمكنك تمرير جملة مسبقة (أو مجموعة من الجمل) عن طريق الإعداد is_split_into_words=True
text = [ "This" , "is" , "a" , "sample" , "sentence" ]
tokenizer ( text , is_split_into_words = True )
text = [
[ "This" , "is" , "a" , "sample" , "sentence" , "1" ],
[ "This" , "is" , "sample" , "sentence" , "2" ],
]
tokenizer ( text , is_split_into_words = True )أولاً ، قم بتهيئة الرمز المميز
import transformers_embedder as tre
tokenizer = tre . Tokenizer ( "bert-base-cased" ) text = "This is a sample sentence"
tokenizer ( text ) {
{
'input_ids': [[101, 1188, 1110, 170, 6876, 5650, 102]],
'token_type_ids': [[0, 0, 0, 0, 0, 0, 0]],
'attention_mask': [[1, 1, 1, 1, 1, 1, 1]],
'scatter_offsets': [[0, 1, 2, 3, 4, 5, 6]],
'sparse_offsets': {
'sparse_indices': tensor(
[
[0, 0, 0, 0, 0, 0, 0],
[0, 1, 2, 3, 4, 5, 6],
[0, 1, 2, 3, 4, 5, 6]
]
),
'sparse_values': tensor([1., 1., 1., 1., 1., 1., 1.]),
'sparse_size': torch.Size([1, 7, 7])
},
'sentence_lengths': [7],
}
text = "This is a sample sentence A"
text_pair = "This is a sample sentence B"
tokenizer ( text , text_pair ) {
'input_ids': [[101, 1188, 1110, 170, 6876, 5650, 138, 102, 1188, 1110, 170, 6876, 5650, 139, 102]],
'token_type_ids': [[0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1]],
'attention_mask': [[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]],
'scatter_offsets': [[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14]],
'sparse_offsets': {
'sparse_indices': tensor(
[
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14],
[ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14]
]
),
'sparse_values': tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.]),
'sparse_size': torch.Size([1, 15, 15])
},
'sentence_lengths': [15],
}
padding=True و return_tensors=True ، يقوم Tokenizer بإرجاع النص جاهزًا للنموذج batch = [
[ "This" , "is" , "a" , "sample" , "sentence" , "1" ],
[ "This" , "is" , "sample" , "sentence" , "2" ],
[ "This" , "is" , "a" , "sample" , "sentence" , "3" ],
# ...
[ "This" , "is" , "a" , "sample" , "sentence" , "n" , "for" , "batch" ],
]
tokenizer ( batch , padding = True , return_tensors = True )
batch_pair = [
[ "This" , "is" , "a" , "sample" , "sentence" , "pair" , "1" ],
[ "This" , "is" , "sample" , "sentence" , "pair" , "2" ],
[ "This" , "is" , "a" , "sample" , "sentence" , "pair" , "3" ],
# ...
[ "This" , "is" , "a" , "sample" , "sentence" , "pair" , "n" , "for" , "batch" ],
]
tokenizer ( batch , batch_pair , padding = True , return_tensors = True ) من الممكن إضافة حقول مخصصة إلى إدخال النموذج وإخبار tokenizer كيفية وضعها باستخدام add_padding_ops . ابدأ بتهيئة الرمز المميز باسم النموذج:
import transformers_embedder as tre
tokenizer = tre . Tokenizer ( "bert-base-cased" )ثم أضف الحقول المخصصة إليها:
custom_fields = {
"custom_filed_1" : [
[ 0 , 0 , 0 , 0 , 1 , 0 , 0 ],
[ 0 , 0 , 0 , 0 , 1 , 0 , 0 , 0 , 0 , 1 , 0 ]
]
} الآن يمكننا إضافة منطق الحشو لحقلنا المخصص custom_filed_1 . add_padding_ops طريقة تأخذ في الإدخال
key : اسم الحقل في إدخال الرمز المميزvalue : قيمة للاستخدام في الحشوlength : الطول إلى وسادة. يمكن أن تكون subword int أو اثنين من قيمة السلسلة ، والتي يكون فيها العنصر مبطنًا لتتناسب مع طول الكلمات الفرعية ، word التي يكون فيها العنصر مبطنًا بالنسبة لطول الدفعة بعد دمج الكلمات الفرعية. tokenizer . add_padding_ops ( "custom_filed_1" , 0 , "word" )أخيرًا ، يمكننا تمييز المدخلات مع الحقل المخصص:
text = [
"This is a sample sentence" ,
"This is another example sentence just make it longer, with a comma too!"
]
tokenizer ( text , padding = True , return_tensors = True , additional_inputs = custom_fields )المدخلات جاهزة للنموذج ، بما في ذلك المرفق المخصص.
>>> inputs
{
'input_ids': tensor(
[
[ 101, 1188, 1110, 170, 6876, 5650, 102, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 101, 1188, 1110, 1330, 1859, 5650, 1198, 1294, 1122, 2039, 117, 1114, 170, 3254, 1918, 1315, 106, 102]
]
),
'token_type_ids': tensor(
[
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
]
),
'attention_mask': tensor(
[
[1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
]
),
'scatter_offsets': tensor(
[
[ 0, 1, 2, 3, 4, 5, 6, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1],
[ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 13, 14, 15, 16]
]
),
'sparse_offsets': {
'sparse_indices': tensor(
[
[ 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
[ 0, 1, 2, 3, 4, 5, 6, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 13, 14, 15, 16],
[ 0, 1, 2, 3, 4, 5, 6, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17]
]
),
'sparse_values': tensor(
[1.0000, 1.0000, 1.0000, 1.0000, 1.0000, 1.0000, 1.0000, 1.0000, 1.0000,
1.0000, 1.0000, 1.0000, 1.0000, 1.0000, 1.0000, 1.0000, 1.0000, 1.0000,
1.0000, 1.0000, 0.5000, 0.5000, 1.0000, 1.0000, 1.0000]
),
'sparse_size': torch.Size([2, 17, 18])
}
'sentence_lengths': [7, 17],
}
يتم أخذ بعض التعليمات البرمجية في فئة TransformersEmbedder من مكتبة Scatter Pytorch. النماذج المسبقة ونواة الرمز المميز من؟ محولات.
