Arabic BERT

Арабский берт

Предварительно проведенные языковые модели для арабского языка

Если вы используете какие -либо из этих моделей в своей работе, пожалуйста, укажите эту статью:

 @inproceedings{safaya-etal-2020-kuisail,
    title = "{KUISAIL} at {S}em{E}val-2020 Task 12: {BERT}-{CNN} for Offensive Speech Identification in Social Media",
    author = "Safaya, Ali  and
      Abdullatif, Moutasem  and
      Yuret, Deniz",
    booktitle = "Proceedings of the Fourteenth Workshop on Semantic Evaluation",
    month = dec,
    year = "2020",
    address = "Barcelona (online)",
    publisher = "International Committee for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
    pages = "2054--2059",
}

Предварительные данные

Модели были предварительно подготовлены на ~ 8,2 миллиарда слова:

• Арабская версия Оскара (неразборчивая версия корпуса) - отфильтрованная из Common Crawl
• Недавняя свалку арабской Википедии

и другие арабские ресурсы, которые суммируют до ~ 95 ГБ текста.

Примечания по данным обучения:

• Наша окончательная версия корпуса содержит некоторые неарамные слова, которые мы не удаляли из предложений, поскольку это повлияет на некоторые задачи, такие как NER.
• Хотя неарабские символы были понижены в качестве шага предварительной обработки, поскольку арабские символы не имеют верхнего или нижнего регистра, не существует обсадной и неработающей версии модели.
• Корпус и словарный набор не ограничены современным стандартным арабским языком, они также содержат некоторый диалектический арабский язык.

Предварительные детали

• Эти модели были обучены с использованием репозитория Google Bert Github на одном TPU V3-8, предоставленном бесплатно от TFRC.
• Наша процедура предварительной подготовки следует за учебными настройками BERT с некоторыми изменениями: обученные для 4 -метровых тренировочных этапов с пакетом 128 вместо 1 м с пакетом 256.

Модели

	Берт-Мини	Берт-Мидий	Берт-баз	Берт-широкий
Скрытые слои	4	8	12	24
Внимание головы	4	8	12	16
Скрытый размер	256	512	768	1024
Параметры	11m	42 м	110 м	340 м

Результаты

Результаты анализа настроений (F1-показатель)

Набор данных	Подробности	ML-Bert	Халмона	Арабская база
Арсенлев	5 классов, левантиновый диалект	0,510	0,511	0,552
ASTD	4 класса, MSA и египетские диалекты	0,670	0,677	0,714

Примечание. В ближайшее время будут добавлены дополнительные результаты по другим задачам NLP. Если вы используете эти модели, я был бы признателен за ваши отзывы.

Как использовать

Вы можете использовать эти модели, установив torch или tensorflow и Trangingface Library transformers . И вы можете использовать его напрямую, инициализируя его так:

 from transformers import AutoTokenizer , AutoModel

# Mini:   asafaya/bert-mini-arabic
# Medium: asafaya/bert-medium-arabic
# Base:   asafaya/bert-base-arabic
# Large:  asafaya/bert-large-arabic

tokenizer = AutoTokenizer . from_pretrained ( "asafaya/bert-base-arabic" )
model = AutoModel . from_pretrained ( "asafaya/bert-base-arabic" )

Подтверждение

Спасибо Google за предоставление бесплатного TPU для процесса обучения и за Huggingface для размещения этих моделей на своих серверах?