FinTwitBERTダウンロードFinTwitBERTソースコードダウンロード

FinTwitBERT

AI ソースコード

1.0.0

ダウンロード

財務ツイートの専門言語モデル

fintwitbertロゴ

Fintwitbertは、Twitterでの経済的会話を理解し分析するために特別に訓練された言語モデルです。それは、人々がオンラインで金融について話すユニークな方法を手に入れるように設計されており、ツイートを通して表明された金融の傾向や感情に興味がある人にとって貴重なツールになります。

導入

特にソーシャルメディアでの膨大な量の意見や議論を分析する場合、金融市場を理解することは困難です。 Fintwitbertは、Twitterで金銭的な会話を理解するためにここにいます。これは、財務ツイートで使用される独自の言語と略語を解釈する特殊なツールであり、ユーザーが市場動向と感情に関する洞察を得るのに役立ちます。

このモデルは、従来の言語処理ツールのギャップを埋めるために開発されました。これは、財政的なツイートで見つかった速記や専門用語に苦労することがよくあります。あなたが金融の専門家であれ、市場愛好家であろうと、ソーシャルメディアの金融動向に興味がある人であろうと、Fintwitbertはこれらの議論をナビゲートして理解するための使いやすいソリューションを提供します。

データセット

トレーニング前のデータセット

Fintwitbertは、Taborda et al。の株式市場のツイートデータを940k以上のツイートでツイートするなど、トレーニング前の多様な財務ツイートを利用しています。

Finetuningデータセット

Finetuningには、いくつかのデータセットを使用します。各データセットは、金融コンテキストでさまざまな感情を提供します。現実世界のラベル付きデータセットのコレクションは、Huggingfaceにあります。それに加えて、1.43mのツイートと対応するセンチメントラベルを含む合成データセットも作成しました。ここでそのデータセットを見つけることができます。

モデルの詳細

fintwitbertは、ユーザーの言及（ @USER ）とURL（ [URL] ）に追加されたマスクを備えたFinbertに基づいています。このモデルは、損失を最小限に抑え、過剰適合を防ぐために早期停止を適用することに焦点を当てた10エポックの事前に訓練されています。

HuggingfaceのFintwitbertで、事前に訓練されたモデルとトークネイザーにアクセスします。微調整されたバージョンについては、huggingfaceのfintwitbert-sentimentをご覧ください。

インストール

 # Clone this repository
git clone https://github.com/TimKoornstra/FinTwitBERT
# Install required packages
pip install -r requirements.txt

使用法

FintwitbertとFintwitbert-Sentimentの2つのモデルを提供しています。 1つ目は、センチメント分析などの他のタスクに微調整できるマスク言語モデリング（MLM）用の事前に訓練されたモデルとトークンザーです。これは2番目のモデルの目的であり、センチメント分析で微調整されており、ラベルは、弱気、中立、強気の3つのカテゴリにつぶやきます。

事前に訓練されたモデル

 from transformers import pipeline

pipe = pipeline (
    "fill-mask" ,
    model = "StephanAkkerman/FinTwitBERT" ,
)
print ( pipe ( "Bitcoin is a [MASK] coin." ))

微調整されたモデル

 from transformers import pipeline

pipe = pipeline (
    "sentiment-analysis" ,
    model = "StephanAkkerman/FinTwitBERT-sentiment" ,
)

print ( pipe ( "Nice 9% pre market move for $para, pump my calls Uncle Buffett ?" ))

重みとバイアス（WANDB）の使用

このモデルを自分でトレーニングし、メトリックを重みとバイアスに報告したい場合（wandb.ai）。次のコンテンツでwandb.envファイルを追加して、 WANDB_API_KEY=your_wandb_api_keyを追加して、これを行うことができます。

引用

あなたがあなたの研究でfintwitbertまたはfintwitbert-entintimentを使用している場合、私たちを次のように引用してください。

 @misc { FinTwitBERT ,
  author = { Stephan Akkerman, Tim Koornstra } ,
  title = { FinTwitBERT: A Specialized Language Model for Financial Tweets } ,
  year = { 2024 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  howpublished = { url{https://github.com/TimKoornstra/FinTwitBERT} }
}

 @misc { FinTwitBERT-sentiment ,
  author = { Stephan Akkerman, Tim Koornstra } ,
  title = { FinTwitBERT-sentiment: A Sentiment Classifier for Financial Tweets } ,
  year = { 2024 } ,
  publisher = { Hugging Face } ,
  howpublished = { url{https://huggingface.co/StephanAkkerman/FinTwitBERT-sentiment} }
}