Arabic BERT Download - Arabic BERT Quellcode Download

Arabic BERT

AI-Quellcode

1.0.0

Herunterladen

Arabisch-Bert

Vorbereitete Bert -Sprachmodelle für Arabisch

Wenn Sie eines dieser Modelle in Ihrer Arbeit verwenden, zitieren Sie dieses Papier bitte:

 @inproceedings{safaya-etal-2020-kuisail,
    title = "{KUISAIL} at {S}em{E}val-2020 Task 12: {BERT}-{CNN} for Offensive Speech Identification in Social Media",
    author = "Safaya, Ali  and
      Abdullatif, Moutasem  and
      Yuret, Deniz",
    booktitle = "Proceedings of the Fourteenth Workshop on Semantic Evaluation",
    month = dec,
    year = "2020",
    address = "Barcelona (online)",
    publisher = "International Committee for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
    pages = "2054--2059",
}

Daten vorab

Die Modelle wurden auf ~ 8,2 Milliarden Wörtern vorgebracht:

Arabische Version von Oscar (nicht zusammengestellte Version des Korpus) - gefiltert aus dem gemeinsamen Kriechen
Jüngste Müllkippe arabischer Wikipedia

und andere arabische Ressourcen, die bis zu ~ 95 GB Text summieren.

Anmerkungen zu Schulungsdaten:

Unsere endgültige Version von Corpus enthält einige nicht-arabische Wörter, die wir nicht aus Sätzen entfernen, da dies einige Aufgaben wie NER betreffen würde.
Obwohl nichtarabische Zeichen als Vorverarbeitungsschritt abgesenkt wurden, gibt es keine arabischen Merkmale im oberen oder unteren Fall, aber es gibt keine Gehäuse- und ungezogene Version des Modells.
Der Corpus und der Vokabular sind nicht auf modernes Standard -Arabisch beschränkt, sondern auch einige dialektische Arabisch.

Details vorab

Diese Modelle wurden mit dem Github-Repository von Google Bert auf einem einzelnen TPU V3-8 ausgebildet, das kostenlos aus TFRC bereitgestellt wurde.
Unser Vorbereitungsverfahren folgt den Schulungseinstellungen von Bert mit einigen Änderungen: Ausgebildet für 4M -Trainingsschritte mit Batchsize von 128 anstelle von 1 m mit Batchsize von 256.

Modelle

	Bert-Mini	Bert-Medium	Bert-Base	Bert-Large
Versteckte Schichten	4	8	12	24
Aufmerksamkeitsköpfe	4	8	12	16
Versteckte Größe	256	512	768	1024
Parameter	11m	42 m	110 m	340 m

Ergebnisse

Sentiment Analysis-Ergebnisse (F1-Score)

Datensatz	Details	ML-Bert	Hulmona	Arabisch-Bert-Basis
Arsenlev	5 Klassen, Levantine Dialekt	0,510	0,511	0,552
Astd	4 Klassen, MSA und ägyptische Dialekte	0,670	0,677	0,714

Hinweis: Weitere Ergebnisse bei anderen nachgeschalteten NLP -Aufgaben werden in Kürze hinzugefügt. Wenn Sie diese Modelle verwenden, würde ich mich über Ihr Feedback freuen.

Wie man benutzt

Sie können diese Modelle verwenden, indem Sie torch oder tensorflow und Hugging -Face transformers installieren. Und Sie können es direkt verwenden, indem Sie es so initialisieren:

 from transformers import AutoTokenizer , AutoModel

# Mini:   asafaya/bert-mini-arabic
# Medium: asafaya/bert-medium-arabic
# Base:   asafaya/bert-base-arabic
# Large:  asafaya/bert-large-arabic

tokenizer = AutoTokenizer . from_pretrained ( "asafaya/bert-base-arabic" )
model = AutoModel . from_pretrained ( "asafaya/bert-base-arabic" )