PoliBERTweet

? Polibertweet: Sprachmodelle für politische Tweets

Transformator-basierte Sprachmodelle, die auf eine große Menge an politischbezogenen Twitter-Daten (83 m Tweets) vorgebracht wurden. Dieses Repo ist die offizielle Ressource des folgenden Papiers.

• Polibertweet: Ein vorgebildetes Sprachmodell zur Analyse politischer Inhalte auf Twitter, LREC 2022.

Datensätze

Die Datensätze für die in unserem Artikel vorgestellten Bewertungsaufgaben sind nachstehend verfügbar.

• Poli-Test & Nonpoli-Test-[Download]
• STICE -Datensätze - [Download] [Papier] [GitHub]

Vorausgebildete Modelle

Alle Modelle werden auf mein Umarmungsfeld hochgeladen? Sie können also Modell mit nur drei Codezeilen laden !!!

• Polibertweet (83 m Tweets) - Fühlen Sie sich frei, dies auf jede nachgeschaltete Aufgabe zu stimmen
• Polibertweet-Small (5m Tweets)

Verwendung

Wir haben in pytorch v1.10.2 und transformers v4.18.0 getestet.

• Um unsere Modelle für eine bestimmte Aufgabe (z. B. Erkennung von Haltung) zu optimieren
• Weitere Nutzungsdetails finden Sie in den oben genannten spezifischen Modellseiten. Im Folgenden finden Sie ein Beispiel für den Anwendungsfall.

1. Laden Sie das Modell und den Tokenizer

 from transformers import AutoModel , AutoTokenizer , pipeline
import torch

# Choose GPU if available
device = torch . device ( "cuda" if torch . cuda . is_available () else "cpu" )

# Select mode path here
pretrained_LM_path = "kornosk/polibertweet-mlm"

# Load model
tokenizer = AutoTokenizer . from_pretrained ( pretrained_LM_path )
model = AutoModel . from_pretrained ( pretrained_LM_path )

2. Vorhersage das maskierte Wort

 # Fill mask
example = "Trump is the <mask> of USA"
fill_mask = pipeline ( 'fill-mask' , model = pretrained_LM_path , tokenizer = tokenizer )

outputs = fill_mask ( example )
print ( outputs )

3. Siehe Einbettungen

 # See embeddings
inputs = tokenizer ( example , return_tensors = "pt" )
outputs = model ( ** inputs )
print ( outputs )

# OR you can use this model to train on your downstream task!
# please consider citing our paper if you feel this is useful :)

4. Fein-Tunei auf eine nachgeschaltete Aufgabe wie die Haltungserkennung

Siehe Details im Suggingface -Dokument.

✏️ Zitat

Wenn Sie der Meinung sind, dass unser Papier und unsere Ressourcen nützlich sind, sollten Sie unsere Arbeit zitieren!

 @inproceedings { kawintiranon2022polibertweet ,
  title     = { {P}oli{BERT}weet: A Pre-trained Language Model for Analyzing Political Content on {T}witter } ,
  author    = { Kawintiranon, Kornraphop and Singh, Lisa } ,
  booktitle = { Proceedings of the Language Resources and Evaluation Conference (LREC) } ,
  year      = { 2022 } ,
  pages     = { 7360--7367 } ,
  publisher = { European Language Resources Association } ,
  url       = { https://aclanthology.org/2022.lrec-1.801 }
}

? Throubleshoots

Erstellen Sie hier ein Problem, wenn Sie Probleme beim Laden von Modellen oder Datensätzen haben.