FinTwitBERT下載FinTwitBERT源代碼下載

FinTwitBERT

Ai源碼

1.0.0

下載

財務推文的專業語言模型

Fintwitbert徽標

Fintwitbert是一種經過專門培訓的語言模型，可以在Twitter上理解和分析財務對話。它旨在了解人們在網上談論金融的獨特方式，使其成為對通過推文表達的財務趨勢和情感感興趣的任何人的寶貴工具。

介紹

了解金融市場可能具有挑戰性，尤其是在分析社交媒體上的大量意見和討論時。 Fintwitbert在這裡可以理解Twitter上的財務對話。這是一種專門的工具，可以解釋財務推文中使用的獨特語言和縮寫，從而幫助用戶深入了解市場趨勢和情感。

該模型的開發是為了填補傳統語言處理工具的空白，這通常與財務推文中的速記和行話鬥爭。無論您是金融專業人員，市場愛好者，還是對社交媒體上的財務趨勢感到好奇的人，Fintwitbert都提供了一種易於使用的解決方案，以導航和理解這些討論。

數據集

預培訓數據集

Fintwitbert利用一套多樣化的財務推文進行預培訓，包括Taborda等人的股票市場推文數據，具有超過940k的推文，以及我們的數據集，財務推文以及下面提供的詳細統計數據。

登錄數據集

對於填充，我們使用幾個數據集，每個數據集都在財務環境中提供各種情感。在HuggingFace上可以找到真實世界中標記的數據集的集合。最重要的是，我們還創建了一個包含143萬推文和相應情感標籤的合成數據集。您可以在這裡找到該數據集。

模型詳細信息

Fintwitbert基於Finbert，添加了用戶提及（ @USER ）和URL（ [URL] ）的口罩。該模型已預先訓練10個時期，重點是最大程度地減少損失並提早停止以防止過度擬合。

在Huggingface上訪問Fintwitbert的預訓練模型和令牌。對於微調版本，請訪問Huggingface上的Fintwitbert-Sentiment。

安裝

 # Clone this repository
git clone https://github.com/TimKoornstra/FinTwitBERT
# Install required packages
pip install -r requirements.txt

用法

我們提供兩種型號：Fintwitbert和Fintwitbert-Sentiment。第一個是掩蓋語言建模（MLM）的預訓練模型和代幣器，可以對其他任務（例如情感分析）進行填充。這就是第二個模型的意義，它在情感分析中進行了微調，並將推文標記為三類：看跌，中性和看漲。

預訓練模型

 from transformers import pipeline

pipe = pipeline (
    "fill-mask" ,
    model = "StephanAkkerman/FinTwitBERT" ,
)
print ( pipe ( "Bitcoin is a [MASK] coin." ))

微調模型

 from transformers import pipeline

pipe = pipeline (
    "sentiment-analysis" ,
    model = "StephanAkkerman/FinTwitBERT-sentiment" ,
)

print ( pipe ( "Nice 9% pre market move for $para, pump my calls Uncle Buffett ?" ))

權重和偏見（wandb）用法

如果您想親自訓練此模型並將指標報告給重量和偏見（wandb.ai）。您可以通過添加帶有以下內容的wandb.env文件來做到這一點： WANDB_API_KEY=your_wandb_api_key 。

引用

如果您在研究中使用fintwitbert或fintwitbert-sentiment，請按照以下方式引用我們，並指出兩位作者都對這項工作做出了同樣的貢獻：

 @misc { FinTwitBERT ,
  author = { Stephan Akkerman, Tim Koornstra } ,
  title = { FinTwitBERT: A Specialized Language Model for Financial Tweets } ,
  year = { 2024 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  howpublished = { url{https://github.com/TimKoornstra/FinTwitBERT} }
}

 @misc { FinTwitBERT-sentiment ,
  author = { Stephan Akkerman, Tim Koornstra } ,
  title = { FinTwitBERT-sentiment: A Sentiment Classifier for Financial Tweets } ,
  year = { 2024 } ,
  publisher = { Hugging Face } ,
  howpublished = { url{https://huggingface.co/StephanAkkerman/FinTwitBERT-sentiment} }
}