FinBERT
1.0.0
***** 2 يونيو ، 2022: نماذج Finbert التي تم ضبطها أكثر متوفرة *****
تفضل بزيارة Finbert.ai لمزيد من التفاصيل حول التطوير الأخير لـ Finbert.
لقد صقلنا نموذج Finbert PretRained على العديد من مهام NLP المالية ، وكلها تتفوق على نماذج التعلم الآلي التقليدي ، ونماذج التعلم العميق ، ونماذج BERT التي تم ضبطها. يتم استضافة جميع نماذج Finbert التي تم ضبطها بشكل عام في Huggingface؟ على وجه التحديد ، لدينا ما يلي:
في هذا جيثب ريبو ،
خلفية :
FinBERT هو نموذج Bert تم تدريبه مسبقًا على نص الاتصال المالي. والغرض من ذلك هو تعزيز الأبحاث والممارسة NLP Finaincal. يتم تدريبه على مجموعة الاتصالات الثلاثة التالية. حجم الشركات الكلية هو 4.9B الرموز.
ينتج عن FinBERT أداءً أحدث في مختلف مهمة NLP المالية ، بما في ذلك تحليل المشاعر ، وتصنيف ESG ، وتصنيف بيان التطلعية (FLS). مع إصدار FinBERT ، نأمل أن يتمكن الممارسون والباحثون من الاستفادة FinBERT لمجموعة واسعة من التطبيقات التي يتجاوز فيها هدف التنبؤ المشاعر ، مثل النتائج المالية بما في ذلك عائدات الأسهم ، وتوطيد الأسهم ، والاحتيال على الشركات ، وما إلى ذلك.
***** 30 يوليو 2021: انتقل إلى Huggingface؟ *****
تم تحميل نموذج FinBERT الذي تم ضبطه لتصنيف المشاعر المالية ودمجه مع مكتبة transformers في Huggingface. تم ضبط هذا النموذج بشكل جيد على 10000 جمل مكونة يدويًا (إيجابية ، سلبية ، محايدة) من تقارير المحللين. يحقق هذا النموذج أداءً فائقًا على مهمة ANLAYSIS النغمة المالية. إذا كنت مهتمًا ببساطة باستخدام FinBERT لتحليل النغمة المالية ، فحاول تجربة.
from transformers import BertTokenizer , BertForSequenceClassification
import numpy as np
finbert = BertForSequenceClassification . from_pretrained ( 'yiyanghkust/finbert-tone' , num_labels = 3 )
tokenizer = BertTokenizer . from_pretrained ( 'yiyanghkust/finbert-tone' )
sentences = [ "there is a shortage of capital, and we need extra financing" ,
"growth is strong and we have plenty of liquidity" ,
"there are doubts about our finances" ,
"profits are flat" ]
inputs = tokenizer ( sentences , return_tensors = "pt" , padding = True )
outputs = finbert ( ** inputs ) [ 0 ]
labels = { 0 : 'neutral' , 1 : 'positive' , 2 : 'negative' }
for idx , sent in enumerate ( sentences ) :
print ( sent , '----' , labels [ np . argmax ( outputs . detach ( ) . numpy ( ) [ idx ] ) ] )
'' '
there is a shortage of capital , and we need extra financing -- -- negative
growth is strong and we have plenty of liquidity -- -- positive
there are doubts about our finances -- -- negative
profits are flat -- -- neutral
'' '
***** 16 يونيو 2020: تم إصدار نموذج Finbert ***** *****
نحن نقدم أربعة إصدارات من أوزان Finbert المدربة مسبقًا.
FinVocab هي مفردات وورد جديدة على شركة Finanical Corpora باستخدام مكتبة SentencePiece. نحن ننتج نسخًا مملوءة وغير مقروءة من FinVocab ، بأحجام 28،573 و 30،873 رمزًا على التوالي. هذا يشبه إلى حد كبير أحجام رمزية 28،996 و 30،522 من Bert الأصلي Bert و BaseVocab غير القائمة.
@misc{yang2020finbert,
title={FinBERT: A Pretrained Language Model for Financial Communications},
author={Yi Yang and Mark Christopher Siy UY and Allen Huang},
year={2020},
eprint={2006.08097},
archivePrefix={arXiv},
}
يرجى نشر مشكلة github أو الاتصال [email protected] إذا كان لديك أي أسئلة.
