FinTwitBERT下载FinTwitBERT源代码下载

FinTwitBERT

Ai源码

1.0.0

下载

财务推文的专业语言模型

Fintwitbert徽标

Fintwitbert是一种经过专门培训的语言模型，可以在Twitter上理解和分析财务对话。它旨在了解人们在网上谈论金融的独特方式，使其成为对通过推文表达的财务趋势和情感感兴趣的任何人的宝贵工具。

介绍

了解金融市场可能具有挑战性，尤其是在分析社交媒体上的大量意见和讨论时。 Fintwitbert在这里可以理解Twitter上的财务对话。这是一种专门的工具，可以解释财务推文中使用的独特语言和缩写，从而帮助用户深入了解市场趋势和情感。

该模型的开发是为了填补传统语言处理工具的空白，这通常与财务推文中的速记和行话斗争。无论您是金融专业人员，市场爱好者，还是对社交媒体上的财务趋势感到好奇的人，Fintwitbert都提供了一种易于使用的解决方案，以导航和理解这些讨论。

数据集

预培训数据集

Fintwitbert利用一套多样化的财务推文进行预培训，包括Taborda等人的股票市场推文数据，具有超过940k的推文，以及我们的数据集，财务推文以及下面提供的详细统计数据。

登录数据集

对于填充，我们使用几个数据集，每个数据集都在财务环境中提供各种情感。在HuggingFace上可以找到真实世界中标记的数据集的集合。最重要的是，我们还创建了一个包含143万推文和相应情感标签的合成数据集。您可以在这里找到该数据集。

模型详细信息

Fintwitbert基于Finbert，添加了用户提及（ @USER ）和URL（ [URL] ）的口罩。该模型已预先训练10个时期，重点是最大程度地减少损失并提早停止以防止过度拟合。

在Huggingface上访问Fintwitbert的预训练模型和令牌。对于微调版本，请访问Huggingface上的Fintwitbert-Sentiment。

安装

 # Clone this repository
git clone https://github.com/TimKoornstra/FinTwitBERT
# Install required packages
pip install -r requirements.txt

用法

我们提供两种型号：Fintwitbert和Fintwitbert-Sentiment。第一个是掩盖语言建模（MLM）的预训练模型和代币器，可以对其他任务（例如情感分析）进行填充。这就是第二个模型的意义，它在情感分析中进行了微调，并将推文标记为三类：看跌，中性和看涨。

预训练模型

 from transformers import pipeline

pipe = pipeline (
    "fill-mask" ,
    model = "StephanAkkerman/FinTwitBERT" ,
)
print ( pipe ( "Bitcoin is a [MASK] coin." ))

微调模型

 from transformers import pipeline

pipe = pipeline (
    "sentiment-analysis" ,
    model = "StephanAkkerman/FinTwitBERT-sentiment" ,
)

print ( pipe ( "Nice 9% pre market move for $para, pump my calls Uncle Buffett ?" ))

权重和偏见（wandb）用法

如果您想亲自训练此模型并将指标报告给重量和偏见（wandb.ai）。您可以通过添加带有以下内容的wandb.env文件来做到这一点： WANDB_API_KEY=your_wandb_api_key 。

引用

如果您在研究中使用fintwitbert或fintwitbert-sentiment，请按照以下方式引用我们，并指出两位作者都对这项工作做出了同样的贡献：

 @misc { FinTwitBERT ,
  author = { Stephan Akkerman, Tim Koornstra } ,
  title = { FinTwitBERT: A Specialized Language Model for Financial Tweets } ,
  year = { 2024 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  howpublished = { url{https://github.com/TimKoornstra/FinTwitBERT} }
}

 @misc { FinTwitBERT-sentiment ,
  author = { Stephan Akkerman, Tim Koornstra } ,
  title = { FinTwitBERT-sentiment: A Sentiment Classifier for Financial Tweets } ,
  year = { 2024 } ,
  publisher = { Hugging Face } ,
  howpublished = { url{https://huggingface.co/StephanAkkerman/FinTwitBERT-sentiment} }
}