FinTwitBERT 다운로드 FinTwitBERT 소스 코드 다운로드

FinTwitBERT

AI 소스 코드

1.0.0

다운로드

재무 트윗을위한 특수 언어 모델

Fintwitbert 로고

Fintwitbert는 트위터에서 재무 대화를 이해하고 분석하도록 특별히 훈련 된 언어 모델입니다. 사람들이 온라인 금융에 대해 이야기하는 독특한 방법을 선택하여 트윗을 통해 표현 된 재정 동향과 감정에 관심이있는 사람에게 귀중한 도구입니다.

소개

소셜 미디어에 대한 방대한 양의 의견과 토론을 분석 할 때 금융 시장을 이해하는 것은 어려울 수 있습니다. Fintwitbert는 트위터에서 재정적 대화를 이해하기 위해 왔습니다. 재무 트윗에 사용되는 고유 한 언어와 약어를 해석하여 사용자가 시장 동향과 감정에 대한 통찰력을 얻는 데 도움이되는 특수 도구입니다.

이 모델은 전통적인 언어 처리 도구의 격차를 메우기 위해 개발되었으며, 종종 재무 트윗에서 발견 된 속기와 전문 용어로 어려움을 겪고 있습니다. Fintwitbert는 금융 전문가이든 시장 애호가이든, 소셜 미디어의 재무 동향에 대해 궁금한 사람이든, 이러한 토론을 탐색하고 이해하기위한 사용하기 쉬운 솔루션을 제공합니다.

데이터 세트

사전 훈련 데이터 세트

Fintwitbert는 Taborda et al.의 주식 시장 트윗을 940k가 넘는 트윗과 함께 데이터 세트, 재무 트윗을 포함하여 미리 훈련에 대한 다양한 재무 트윗 세트를 사용합니다.

미세 조정 데이터 세트

미세 조정을 위해, 우리는 여러 데이터 세트를 사용합니다. 각 데이터 세트는 각각 재무 상황에서 다양한 감정을 제공합니다. HuggingFace에서는 실제 데이터 세트 모음을 찾을 수 있습니다. 또한 1.43m 트윗과 해당 감정 레이블이 포함 된 합성 데이터 세트도 만들었습니다. 여기에서 해당 데이터 세트를 찾을 수 있습니다.

모델 세부 사항

Fintwitbert는 사용자 언급 ( @USER ) 및 URL ( [URL] ) 용 마스크가 추가 된 Finbert를 기반으로합니다. 이 모델은 손실을 최소화하고 초과 적합성을 방지하기 위해 조기 중지를 적용하는 데 중점을 둔 10 개의 에포크에 대해 미리 훈련됩니다.

Huggingface의 Fintwitbert에서 미리 훈련 된 모델 및 토큰 화기에 액세스하십시오. 미세 조정 된 버전은 Huggingface의 Fintwitbert-Sentiment를 방문하십시오.

설치

 # Clone this repository
git clone https://github.com/TimKoornstra/FinTwitBERT
# Install required packages
pip install -r requirements.txt

용법

우리는 Fintwitbert와 Fintwitbert-Sentiment의 두 가지 모델을 제공합니다. 첫 번째는 미리 훈련 된 모델 및 마스크 언어 모델링 (MLM)을위한 토큰 화기로서 감정 분석과 같은 다른 작업을 위해 양조 할 수 있습니다. 이것이 두 번째 모델의 것입니다. 감정 분석에 미세 조정되고 레이블 트윗은 세 가지 범주의 세 가지 범주로 트윗됩니다.

미리 훈련 된 모델

 from transformers import pipeline

pipe = pipeline (
    "fill-mask" ,
    model = "StephanAkkerman/FinTwitBERT" ,
)
print ( pipe ( "Bitcoin is a [MASK] coin." ))

미세 조정 모델

 from transformers import pipeline

pipe = pipeline (
    "sentiment-analysis" ,
    model = "StephanAkkerman/FinTwitBERT-sentiment" ,
)

print ( pipe ( "Nice 9% pre market move for $para, pump my calls Uncle Buffett ?" ))

가중치 및 바이어스 (WANDB) 사용

이 모델을 직접 훈련시키고 메트릭을 가중치와 편견에보고하려면 (wandb.ai). 다음 내용이 포함 된 wandb.env 파일을 추가하여 그렇게 할 수 있습니다 : WANDB_API_KEY=your_wandb_api_key .

소환

귀하의 연구에서 Fintwitbert 또는 Fintwitbert-Sentiment를 사용하는 경우 다음과 같이 우리를 인용하십시오.

 @misc { FinTwitBERT ,
  author = { Stephan Akkerman, Tim Koornstra } ,
  title = { FinTwitBERT: A Specialized Language Model for Financial Tweets } ,
  year = { 2024 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  howpublished = { url{https://github.com/TimKoornstra/FinTwitBERT} }
}

 @misc { FinTwitBERT-sentiment ,
  author = { Stephan Akkerman, Tim Koornstra } ,
  title = { FinTwitBERT-sentiment: A Sentiment Classifier for Financial Tweets } ,
  year = { 2024 } ,
  publisher = { Hugging Face } ,
  howpublished = { url{https://huggingface.co/StephanAkkerman/FinTwitBERT-sentiment} }
}