Unduh nlpcda - Unduh Kode Sumber nlpcda

NLP Chinese Data Augmentasi Alat Peningkatan Data China Satu Klik

Gunakan: pip install nlpcda

Open Source tidak mudah, selamat datang di Star?

PYPI: https: //pypi.org/project/nlpcda/

memperkenalkan

Alat Peningkatan Data Cina Satu-Klik, mendukung:

1. Penggantian entitas acak
2. Sinonim
3. Sinonim dan Substitusi
4. Penghapusan kata acak (detail internal: fragmen waktu dan tanggal digital, konten tidak akan dihapus)
5. Peningkatan Data BIO Kelas
6. Ganti karakter yang berdekatan secara acak: Penelitian menunjukkan bahwa urutan karakter Cina tidak selalu mempengaruhi pemahaman membaca teks .
7. Substitusi setara Cina (1 1 ①, 2 2 ②)
8. Peningkatan Implementasi Pertukaran Terjemahan
9. Gunakan simbert untuk menghasilkan kalimat yang serupa

经过细节特殊处理，比如不改变年月日数字，尽量保证不改变原文语义。即使改变也能被猜出来、能被猜出来、能被踩出来、能被菜粗来、被菜粗、能菜粗来

WIP

Proses pencucian teks berbasis bicara (mirip dengan terjemahan).文本ke语音> Pengenalan语音Kembali ke文本: Hasilkan Pidato pada Teks Berdasarkan FastSpeech2, dan Teks Pengenalan Suara Berdasarkan WAV2VEC2

contoh:
Input: Kantor Berita Xinhua Berita Beijing> fastspeech2 > x.wav
x.wav> wav2vec2 > output: xinhua mengatur berita beijing

Alat konversi digital (untuk konversi teks, sintesis pengucapan Cina membutuhkan Cina murni)

Hari ini adalah berita 29 Agustus> Hari ini adalah berita 29 Agustus
Saya memiliki 1234 apel> Saya memiliki 1234 apel

makna

Menghasilkan sejumlah teks corpus pelatihan yang ditentukan tanpa mengubah semantik asli
Ini memiliki efek yang baik pada kinerja generalisasi, memerangi serangan, dan mengganggu fluktuasi model NLP.
Kompetisi referensi (saya menggunakan strategi ini + taruhan dasar untuk mendapatkan: 50 +-/1000): https://www.biendata.net/competition/2019diac/
Berdasarkan NLPCDA, saya CCKS 2020: Pencarian Entitas Produk Skala Besar Berdasarkan Judul Won ke-9, bernama nlpcda

️ Jika Anda hanya mencetak skor akurasi Anda, Anda umumnya tidak akan mendapatkan peningkatan skor dengan paket ini.

API

1. Penggantian entitas acak (setara)

parameter:

Base_file: Gunakan entitas built-in (perusahaan) secara default. Ganti entitas perusahaan
Ini adalah jalur file teks, kontennya sebagai berikut:
Entitas 1
Entitas 2
...
Entitas n
create_num = 3: Mengembalikan hingga 3 teks yang disempurnakan
change_rate = 0.3: Tingkat Perubahan Teks
Benih: Benih acak

 from nlpcda import Randomword

test_str = '''这是个实体：58同城；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气很好，不差；这个nlpcad包，用于方便一键数据增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗攻击'''

smw = Randomword ( create_num = 3 , change_rate = 0.3 )
rs1 = smw . replace ( test_str )

print ( '随机实体替换>>>>>>' )
for s in rs1 :
    print ( s )
'''
随机实体替换>>>>>>
这是个实体：58同城；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气很好，不差；这个nlpcad包，用于方便一键数据增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗攻击
这是个实体：长兴国际；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气很好，不差；这个nlpcad包，用于方便一键数据增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗攻击
这是个实体：浙江世宝；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气很好，不差；这个nlpcad包，用于方便一键数据增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗攻击
'''

2. Penggantian sinonim acak

parameter:

base_file: Secara default, gunakan sinonim bawaan. Anda dapat mengatur/menentukan sinonim yang lebih kaya sendiri:
Ini adalah jalur file teks, kontennya adalah sebagai berikut (dipisahkan oleh spasi):
AA01A0 manusia semuanya manusia
ID2 Sinonim B1 Sinonim B2 ... Sinonim BK
...
IDN Sinonim N1 Sinonim N2
create_num = 3: Mengembalikan hingga 3 teks yang disempurnakan
change_rate = 0.3: Tingkat Perubahan Teks
Benih: Benih acak

 from nlpcda import Similarword

test_str = '''这是个实体：58同城；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气很好，不差；这个nlpcad包，用于方便一键数据增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗攻击'''

smw = Similarword ( create_num = 3 , change_rate = 0.3 )
rs1 = smw . replace ( test_str )

print ( '随机同义词替换>>>>>>' )
for s in rs1 :
    print ( s )

'''
随机同义词替换>>>>>>
这是个实体：58同城；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气很好，不差；这个nlpcad包，用于方便一键数据增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗攻击
这是个实体：58同城；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气很好，不差；这个nlpcad包，用于方便一键数量增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗攻击
这是个实体：58同城；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气很好，不差；斯nlpcad包，用于方便一键数据增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗攻击
'''

3. Substitusi sinonim acak

parameter:

base_file: Secara default, gunakan tabel homofon [sinonim]. Anda dapat mengatur/menentukan tabel homofon identik yang lebih kaya sendiri:
Ini adalah jalur file teks, kontennya adalah sebagai berikut (terpisah):
de del Dede De technet till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till till
...
Pinyin n word n1 word n2
create_num = 3: Mengembalikan hingga 3 teks yang disempurnakan
change_rate = 0.3: Tingkat Perubahan Teks
Benih: Benih acak

 from nlpcda import Homophone

test_str = '''这是个实体：58同城；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气很好，不差；这个nlpcad包，用于方便一键数据增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗攻击'''

smw = Homophone ( create_num = 3 , change_rate = 0.3 )
rs1 = smw . replace ( test_str )

print ( '随机近义字替换>>>>>>' )
for s in rs1 :
    print ( s )

'''
随机近义字替换>>>>>>
这是个实体：58同城；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气很好，不差；这个nlpcad包，用于方便一键数据增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗攻击
这是个实体：58同城；今填是2020年3月8日11:40，天气晴朗，天气很不错，空气痕好，不差；这个nlpcad包，用于方便一键数据增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗攻击
鷓是个实体：58同乘；今天是2020年3月8日11:40，天迄晴朗，天气很不错，空气很儫，不差；这个nlpcad包，用于方便一键数据增强，犐有效增牆NLP模型的橎化性能、减少波动、抵抗对抗攻击
'''

4. Penghapusan kata acak

parameter:

create_num = 3: Mengembalikan hingga 3 teks yang disempurnakan
change_rate = 0.3: Tingkat Perubahan Teks
Benih: Benih acak

 from nlpcda import RandomDeleteChar

test_str = '''这是个实体：58同城；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气很好，不差；这个nlpcad包，用于方便一键数据增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗攻击'''

smw = RandomDeleteChar ( create_num = 3 , change_rate = 0.3 )
rs1 = smw . replace ( test_str )

print ( '随机字删除>>>>>>' )
for s in rs1 :
    print ( s )

'''
随机字删除>>>>>>
这是个实体：58同城；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气很好，不差；这个nlpcad包，用于方便一键数据增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗攻击
这是个实体：58同城；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气，不差；这个nlpcad包用于方便一键数据增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗
个实体：58同城；今天是2020年3月8日11:40，天气晴朗，天气很不错空气很好，不差；这个nlpcad包，用于方便一键数据增强，可有效增强NLP模型泛化性能、减少波动、抵抗对抗
'''

5. Peningkatan Data Entitas yang Dinamai

Masukkan direktori data NER yang ditandai, jalur file yang ditandai yang perlu ditingkatkan, dan jumlah yang ditingkatkan, dan Anda dapat meningkatkannya dengan satu klik.

Parameter kelas NER:

ner_dir_name = 'ner_data': Masukkan data NER di direktori ner_data (banyak .txt di dalamnya)
Direktori yang disediakan oleh NER_DIR_NAME adalah berbagai file data beranotasi, dan konten file dipisahkan dalam format bio NER standar:

Tag 1 t
North t B-Loc
Beijing t i-loc
Hari ini t o
Hari o
Sangat o
Hot o
. ke

abaikan_tag_list = ['o']: tidak perlu khawatir tentang tag O dalam data
data_augument_tag_list = ['p', 'loc']: Hanya meningkatkan entitas t tag P dan loc
augment_size = 3: Setiap data berlabel, hingga jumlah peningkatan baru
seed = 0: biji acak/ dapat dibayangi

Parameter fungsi panggilan augment ()

File_name: 1 jalur untuk menandai file pelatihan, seperti 0.txt
ner.augment (file_name = '0.txt')

contoh:

 from nlpcda import Ner

ner = Ner ( ner_dir_name = 'ner_data' ,
        ignore_tag_list = [ 'O' ],
        data_augument_tag_list = [ 'P' , 'LOC' , 'ORG' ],
        augument_size = 3 , seed = 0 )
data_sentence_arrs , data_label_arrs = ner . augment ( file_name = '0.txt' )
# 3条增强后的句子、标签 数据，len(data_sentence_arrs)==3
# 你可以写文件输出函数，用于写出，作为后续训练等
print ( data_sentence_arrs , data_label_arrs )

6. Ganti kata yang berdekatan secara acak

char_gram = 3: Sebuah kata hanya dipertukarkan dengan 3 kata yang berdekatan
Detail internal: Saat menemukan angka, simbol, dll., Mereka tidak akan ditukar.

 from nlpcda import CharPositionExchange

ts = '''这是个实体：58同城；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气很好，不差；这个nlpcad包，用于方便一键数据增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗攻击'''
smw = CharPositionExchange ( create_num = 3 , change_rate = 0.3 , char_gram = 3 , seed = 1 )
rs = smw . replace ( ts )
for s in rs :
    print ( s )

'''
这是个实体：58同城；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气很好，不差；这个nlpcad包，用于方便一键数据增强，可有效增强NLP模型的泛化性能、减少波动、抵抗对抗攻击
这实个是体：58城同；今天是2020年3月8日11:40，天气晴朗，天气很不错，空气很好，差不；这个nlpcad包，便用一数方增键强据于，增有效可强NLP模型性泛化的能、动少减波、抵对攻抗抗击
这是个体实：58城同；今是天2020年3月8日11:40，朗气晴天，天气很错不，空好很气，不差；个这nlpcad包，方便键一据增用数于强，可有效强增NLP模型的性化泛能、动减波少、抗抗击抵对攻
'''

7. Penggantian kata yang setara

parameter:

base_file: Secara default, gunakan tabel kata numerik bawaan [setara]. Anda dapat mengatur/menentukan tabel setara yang lebih kaya sendiri (atau menggunakan fungsi: add_equivalent_list):
Ini adalah jalur file teks, kontennya adalah sebagai berikut (( t) terpisah):
0 nol
1 satu ①
...
9 sembilan sembilan ⑨
create_num = 3: Mengembalikan hingga 3 teks yang disempurnakan
change_rate = 0.3: Tingkat Perubahan Teks
Benih: Benih acak

 from nlpcda import EquivalentChar

test_str = '''今天是2020年3月8日11:40，天气晴朗，天气很不错。'''

s = EquivalentChar ( create_num = 3 , change_rate = 0.3 )
# 添加等价字
s . add_equivalent_list ([ '看' , '瞅' ])
res = s . replace ( test_str )
print ( '等价字替换>>>>>>' )
for s in res :
    print ( s )

'''
等价字替换>>>>>>
今天是2020年3月8日11:40，天气晴朗，天气很不错。
今天是二〇2〇年3月八日1①:4〇，天气晴朗，天气很不错。
今天是二0贰零年3月捌日11:40，天气晴朗，天气很不错
'''

Tambahkan kamus khusus

Digunakan sebelum digunakan, tambahkan efek kata participle

 from nlpcda import Randomword
from nlpcda import Similarword
from nlpcda import Homophone
from nlpcda import RandomDeleteChar
from nlpcda import Ner
from nlpcda import CharPositionExchange

Randomword . add_word ( '小明' )
Randomword . add_words ([ '小明' , '小白' , '天地良心' ])
# Similarword，Homophone，RandomDeleteChar 同上

8. Peningkatan Implementasi Pertukaran Terjemahan

1. Catatan yang ditingkatkan dari implementasi pertukaran terjemahan bahasa Cina-Inggris Baidu:

Terapkan untuk appid Anda, Secretkey: http://api.fanyi.baidu.com/api/trans

 from nlpcda import baidu_translate

zh = '天气晴朗，天气很不错，空气很好'
# 申请你的 appid、secretKey
# 两遍洗数据法（回来的中文一般和原来不一样，要是一样，就不要了，靠运气？）
en_s = baidu_translate ( content = zh , appid = 'xxx' , secretKey = 'xxx' , t_from = 'zh' , t_to = 'en' )
zh_s = baidu_translate ( content = en_s , appid = 'xxx' , secretKey = 'xxx' , t_from = 'en' , t_to = 'zh' )
print ( zh_s )

2. Peningkatan Implementasi Pertukaran Terjemahan Google

Paket PIP: Py-googletrans

API Terjemahan Google GRATIS, membutuhkan pemblokiran dinding dan tidak stabil

https://py-googletrans.readthedocs.io/en/latest

Pip Instal Googletrans

 from googletrans import Translator
def googletrans ( content = '一个免费的谷歌翻译API' , t_from = 'zh-cn' , t_to = 'en' ):
    translator = Translator ()
    s = translator . translate ( text = content , dest = t_to , src = t_from )
    return s . text

9.Simbert

Sumber: https://github.com/zhuiyitechnology/pretrain-podels

Referensi: https://github.com/zhuiyitechnology/simbert

Unduh model apa pun di dalamnya, mendekompresnya ke posisi apa pun dan menetapkannya ke variabel model_path :

nama	Ukuran data pelatihan	Ukuran kosa kata	Ukuran model	Alamat unduhan
Simbert Tiny	22 juta kelompok hukuman serupa	13685	26MB	Baidu Netdisk (1TP7)
Simbert Small	22 juta kelompok hukuman serupa	13685	49MB	Baidu Netdisk (NU67)
BASE SIMBERT	22 juta kelompok hukuman serupa	13685	344MB	Baidu Netdisk (6xHQ)

parameter:

config: model_path (lokasi model yang diunduh di atas), perangkat (cpu/cuda ...), panjang maksimum, biji acak
Dikirim: kalimat yang perlu ditingkatkan
create_num: Jumlah kalimat yang dibangun

Referensi Lingkungan (Instalasi Manual):


keras==2.3.1
bert4keras==0.7.7
# tensorflow==1.13.1
tensorflow-gpu==1.13.1

 from nlpcda import Simbert
config = {
        'model_path' : '/xxxx/chinese_simbert_L-12_H-768_A-12' ,
        'CUDA_VISIBLE_DEVICES' : '0,1' ,
        'max_len' : 32 ,
        'seed' : 1
}
simbert = Simbert ( config = config )
sent = '把我的一个亿存银行安全吗'
synonyms = simbert . replace ( sent = sent , create_num = 5 )
print ( synonyms )
'''
[('我的一个亿，存银行，安全吗', 0.9871675372123718), 
('把一个亿存到银行里安全吗', 0.9352194666862488), 
('一个亿存银行安全吗', 0.9330801367759705), 
('一个亿的存款存银行安全吗', 0.92387855052948),
 ('我的一千万存到银行安不安全', 0.9014463424682617)]
'''