Arabic BERT 다운로드 - Arabic BERT 소스 코드 다운로드

Arabic BERT

AI 소스 코드

1.0.0

다운로드

아랍어 베르트

아랍어에 대한 사전 예방 된 버트 언어 모델

작업에 이러한 모델을 사용하는 경우이 백서를 인용하십시오.

 @inproceedings{safaya-etal-2020-kuisail,
    title = "{KUISAIL} at {S}em{E}val-2020 Task 12: {BERT}-{CNN} for Offensive Speech Identification in Social Media",
    author = "Safaya, Ali  and
      Abdullatif, Moutasem  and
      Yuret, Deniz",
    booktitle = "Proceedings of the Fourteenth Workshop on Semantic Evaluation",
    month = dec,
    year = "2020",
    address = "Barcelona (online)",
    publisher = "International Committee for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
    pages = "2054--2059",
}

사전 배치 데이터

모델은 ~ 82 억 개의 단어로 사전에 사전에 사전했습니다.

아랍어 버전의 Oscar (코퍼스의 슈퍼 버전) - Common Crawl에서 필터링
아랍어 위키 백과의 최근 덤프

그리고 최대 ~ 95GB의 텍스트를 요약하는 다른 아랍어 자원.

교육 데이터에 대한 메모 :

Corpus의 최종 버전에는 아랍어가 아닌 단어 인라인이 포함되어 있으며, 이는 NER과 같은 일부 작업에 영향을 미치기 때문에 문장에서 제거하지 않았습니다.
아라비아 캐릭터는 전처리 단계로 낮추지 만 아랍어에는 상류 또는 소문자가 없기 때문에 모델의 케이스 및 미지급 버전이 없습니다.
코퍼스와 어휘 세트는 현대 표준 아랍어로 제한되지 않으며 변증법 아랍어도 포함되어 있습니다.

사전 조정 세부 사항

이 모델은 TFRC에서 무료로 제공되는 단일 TPU v3-8에서 Google Bert의 GitHub 저장소를 사용하여 교육을 받았습니다.
우리의 사전 계약 절차는 몇 가지 변화가있는 Bert의 훈련 설정을 따릅니다. 배치 크기가 256 인 1m 대신 배치 크기가 128 인 4m 훈련 단계를 위해 훈련되었습니다.

모델

	버트 미니	베르트-메디움	버트베이스	베르트 라지
숨겨진 층	4	8	12	24
주의 머리	4	8	12	16
숨겨진 크기	256	512	768	1024
매개 변수	11m	42m	110m	340m

결과

감정 분석 결과 (F1- 점수)

데이터 세트	세부	ML-Bert	훌모나	아랍어 베르트베이스
Arsenlev	5 개의 수업, 레반틴 방언	0.510	0.511	0.552
ASTD	4 개의 수업, MSA 및 이집트 방언	0.670	0.677	0.714

참고 : 다른 다운 스트림 NLP 작업에 대한 더 많은 결과가 곧 추가 될 예정입니다. 이 모델을 사용하는 경우 피드백에 감사드립니다.

사용 방법

torch 또는 tensorflow 및 포옹 페이스 라이브러리 transformers 설치 하여이 모델을 사용할 수 있습니다. 다음과 같이 초기화하여 직접 사용할 수 있습니다.

 from transformers import AutoTokenizer , AutoModel

# Mini:   asafaya/bert-mini-arabic
# Medium: asafaya/bert-medium-arabic
# Base:   asafaya/bert-base-arabic
# Large:  asafaya/bert-large-arabic

tokenizer = AutoTokenizer . from_pretrained ( "asafaya/bert-base-arabic" )
model = AutoModel . from_pretrained ( "asafaya/bert-base-arabic" )