Arabic BERTダウンロード - Arabic BERTソースコードのダウンロード

Arabic BERT

AI ソースコード

1.0.0

ダウンロード

アラビア語

アラビア語の前提条件のバート言語モデル

これらのモデルのいずれかを作業で使用している場合は、このペーパーを引用してください。

 @inproceedings{safaya-etal-2020-kuisail,
    title = "{KUISAIL} at {S}em{E}val-2020 Task 12: {BERT}-{CNN} for Offensive Speech Identification in Social Media",
    author = "Safaya, Ali  and
      Abdullatif, Moutasem  and
      Yuret, Deniz",
    booktitle = "Proceedings of the Fourteenth Workshop on Semantic Evaluation",
    month = dec,
    year = "2020",
    address = "Barcelona (online)",
    publisher = "International Committee for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
    pages = "2054--2059",
}

事前削除データ

モデルは約82億語で前提とされていました。

オスカーのアラビア語バージョン（コーパスのシャッフルバージョン） - 一般的なクロールからフィルタリング
アラビア語のウィキペディアの最近のダンプ

最大95GBのテキストを合計する他のアラビア語のリソース。

トレーニングデータに関するメモ：

コーパスの最終バージョンには、いくつかの非アラビア語の単語インラインが含まれていますが、それはNERのようなタスクに影響を与えるため、文から削除しませんでした。
アラビア語以外のキャラクターは前処理ステップとして下げられましたが、アラビア語のキャラクターには上部または小文字がないため、モデルにはケース型のバージョンではないバージョンはありません。
コーパスと語彙セットは、現代の標準的なアラビア語に限定されておらず、弁証法的なアラビア語も含まれています。

事前補償の詳細

これらのモデルは、TFRCから無料で提供される単一のTPU V3-8でGoogle BertのGitHubリポジトリを使用してトレーニングされました。
当社の事前除去手順は、いくつかの変更を伴うBERTのトレーニング設定に続きます。256のバッチサイズで1Mではなく、128のバッチサイズで4Mトレーニングステップでトレーニングされます。

モデル

	バートミニ	バートメディアム	バートベース	バート・ラージ
隠されたレイヤー	4	8	12	24
注意ヘッド	4	8	12	16
隠されたサイズ	256	512	768	1024
パラメーター	11m	42m	110m	340m

結果

感情分析結果（F1スコア）

データセット	詳細	ml-bert	Hulmona	アラビア語の基地
arsenlev	5つのクラス、レバンティン方言	0.510	0.511	0.552
ASTD	4つのクラス、MSAおよびエジプトの方言	0.670	0.677	0.714

注：他のダウンストリームNLPタスクのその他の結果はまもなく追加されます。これらのモデルを使用する場合は、フィードバックに感謝します。

使い方

これらのモデルを使用して、 torchまたはtensorflowおよびHuggingfaceライブラリtransformersをインストールできます。そして、このように初期化することで直接使用できます。

 from transformers import AutoTokenizer , AutoModel

# Mini:   asafaya/bert-mini-arabic
# Medium: asafaya/bert-medium-arabic
# Base:   asafaya/bert-base-arabic
# Large:  asafaya/bert-large-arabic

tokenizer = AutoTokenizer . from_pretrained ( "asafaya/bert-base-arabic" )
model = AutoModel . from_pretrained ( "asafaya/bert-base-arabic" )