BERTweet

สารบัญ

1. การแนะนำ
2. ผลลัพธ์หลัก
3. ใช้ bertweet กับ transformers
   • รุ่นที่ผ่านการฝึกอบรมมาก่อน
   • ตัวอย่างการใช้งาน
   • ทำให้ทวีตอินพุตดิบปกติ
4. ใช้ bertweet กับ fairseq

Bertweet: รูปแบบภาษาที่ผ่านการฝึกอบรมมาล่วงหน้าสำหรับทวีตภาษาอังกฤษ

Bertweet เป็นรูปแบบภาษาขนาดใหญ่สาธารณะครั้งแรกที่ได้รับการฝึกอบรมล่วงหน้าสำหรับทวีตภาษาอังกฤษ Bertweet ได้รับการฝึกฝนตามขั้นตอนการฝึกอบรมล่วงหน้าของ Roberta คลังข้อมูลที่ใช้ในการฝึกอบรม bertweet ก่อนหน้าประกอบด้วยทวีตภาษาอังกฤษ 850m (โทเค็นคำ 16B ~ 80GB) ที่มีทวีต 845m สตรีมจาก 01/2012 ถึง 08/2019 และทวีต 5M ที่เกี่ยวข้องกับการระบาด ของ COVID-19 สถาปัตยกรรมทั่วไปและผลการทดลองของ Bertweet สามารถพบได้ในบทความของเรา:

 @inproceedings{bertweet,
title     = {{BERTweet: A pre-trained language model for English Tweets}},
author    = {Dat Quoc Nguyen and Thanh Vu and Anh Tuan Nguyen},
booktitle = {Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations},
pages     = {9--14},
year      = {2020}
}

โปรดอ้างอิง กระดาษของเราเมื่อใช้ Bertweet เพื่อช่วยสร้างผลลัพธ์ที่เผยแพร่หรือรวมอยู่ในซอฟต์แวร์อื่น ๆ

ผลลัพธ์หลัก

ใช้ bertweet กับ transformers

การติดตั้ง

• ติดตั้ง transformers ด้วย PIP: pip install transformers หรือติดตั้ง transformers จากแหล่งที่มา
  โปรดทราบว่าเรารวม tokenizer ช้าสำหรับ bertweet เข้ากับสาขา transformers หลัก กระบวนการของการผสาน tokenizer ที่รวดเร็วสำหรับ bertweet อยู่ในการสนทนาดังที่ได้กล่าวไว้ในคำขอดึงนี้ หากผู้ใช้ต้องการใช้ Tokenizer FAST ผู้ใช้อาจติดตั้ง transformers ดังนี้:

 git clone --single-branch --branch fast_tokenizers_BARTpho_PhoBERT_BERTweet https://github.com/datquocnguyen/transformers.git
cd transformers
pip3 install -e .

• ติดตั้ง tokenizers ด้วย pip: pip3 install tokenizers

รุ่นที่ผ่านการฝึกอบรมมาก่อน

แบบอย่าง	#params	โค้ง.	ความยาวสูงสุด	ข้อมูลการฝึกอบรมล่วงหน้า
vinai/bertweet-base	135m	ฐาน	128	ทวีตภาษาอังกฤษ 850m (cased)
vinai/bertweet-covid19-base-cased	135m	ฐาน	128	23M Covid-19 Tweets ภาษาอังกฤษ (cased)
vinai/bertweet-covid19-base-uncased	135m	ฐาน	128	23M COVID-19 ภาษาอังกฤษทวีต (uncased)
vinai/bertweet-large	355m	ใหญ่	512	ทวีตภาษาอังกฤษ 873m (cased)

• 09/2020: สองรุ่นที่ผ่านการฝึกอบรมมาก่อน vinai/bertweet-covid19-base-cased และ vinai/bertweet-covid19-base-uncased นั้นเกิดจากการฝึกอบรมก่อนการฝึกอบรมก่อนหน้า vinai/bertweet-base บนคลังข้อมูลของ 23M Covid-19 Tweets
• 08/2021: ปล่อย vinai/bertweet-large

ตัวอย่างการใช้งาน

 import torch
from transformers import AutoModel , AutoTokenizer 

bertweet = AutoModel . from_pretrained ( "vinai/bertweet-large" )

tokenizer = AutoTokenizer . from_pretrained ( "vinai/bertweet-large" )

# INPUT TWEET IS ALREADY NORMALIZED!
line = "DHEC confirms HTTPURL via @USER :crying_face:"

input_ids = torch . tensor ([ tokenizer . encode ( line )])

with torch . no_grad ():
    features = bertweet ( input_ids )  # Models outputs are now tuples
    
## With TensorFlow 2.0+:
# from transformers import TFAutoModel
# bertweet = TFAutoModel.from_pretrained("vinai/bertweet-large")

ทำให้ทวีตอินพุตดิบปกติ

ก่อนที่จะใช้ BPE กับคลังข้อมูลก่อนการฝึกอบรมของทวีตภาษาอังกฤษเราได้รับทวีตเหล่านี้โดยใช้ TweetTokenizer จากชุดเครื่องมือ NLTK และใช้แพ็คเกจ emoji เพื่อแปลไอคอนอารมณ์เป็นสตริงข้อความ นอกจากนี้เรายังทำให้ทวีตปกติโดยการแปลงผู้ใช้ที่กล่าวถึงและลิงก์เว็บ/URL เป็นโทเค็นพิเศษ @USER และ HTTPURL ตามลำดับ ดังนั้นจึงขอแนะนำให้ใช้ขั้นตอนการประมวลผลล่วงหน้าแบบเดียวกันสำหรับแอปพลิเคชันดาวน์สตรีมที่ใช้ Bertweet WRT ทวีตอินพุตดิบ

ด้วยทวีตอินพุตดิบเพื่อให้ได้เอาต์พุตก่อนการประมวลผลแบบเดียวกันผู้ใช้สามารถใช้โมดูล TweetNormalizer ของเรา

• การติดตั้ง: pip3 install nltk emoji==0.6.0
• รุ่น emoji ต้องเป็น 0.5.4 หรือ 0.6.0 เวอร์ชัน emoji รุ่นใหม่ได้รับการปรับปรุงเป็นแผนภูมิอิโมจิรุ่นใหม่กว่าดังนั้นจึงไม่สอดคล้องกับรุ่นที่ใช้สำหรับการประมวลผลก่อนการฝึกทวีตของเราก่อนการฝึกอบรมของเรา

 import torch
from transformers import AutoTokenizer
from TweetNormalizer import normalizeTweet

tokenizer = AutoTokenizer . from_pretrained ( "vinai/bertweet-large" )

line = normalizeTweet ( "DHEC confirms https://postandcourier.com/health/covid19/sc-has-first-two-presumptive-cases-of-coronavirus-dhec-confirms/article_bddfe4ae-5fd3-11ea-9ce4-5f495366cee6.html?utm_medium=social&utm_source=twitter&utm_campaign=user-share… via @postandcourier ?" )

input_ids = torch . tensor ([ tokenizer . encode ( line )])

ใช้ bertweet กับ fairseq

โปรดดูรายละเอียดที่นี่!

ใบอนุญาต

 MIT License

Copyright (c) 2020-2021 VinAI

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.