bert_seq2seq

bert_seq2seq

กรอบเล็ก ๆ ที่มีน้ำหนักเบายินดีต้อนรับสู่ดาวถ้าคุณชอบ ~ ขอบคุณ หากคุณพบปัญหาใด ๆ คุณสามารถถามปัญหาและคุณจะต้องตอบกลับ

ปัจจุบันการฝึกอบรมแบบกระจายรุ่นนี้ได้ รับการปรับแต่งใหม่ คุณสามารถฝึกอบรม Multi-GPU ได้โดยตรงโดย ไม่ต้องมีคำสั่งเพิ่มเติมหรือรหัสเพิ่มเติม ! ยินดีต้อนรับสู่ https://github.com/920232796/bert_seq2seq_ddp สำหรับข้อมูลเพิ่มเติม

ยินดีต้อนรับสู่เข้าร่วมกลุ่มสื่อสาร ~ คุณสามารถถามคำถามให้คำแนะนำและสื่อสารกับกลุ่ม QQ ซึ่งกันและกัน: 975907202

เฟรมเวิร์กนี้สามารถทำงาน NLP ต่าง ๆ ได้และรุ่นที่รองรับคือ:

1. เบิร์ต
2. โรเบอร์ต้า
3. Roberta-large
4. GPT2
5. T5
6. Huawei Nezha รุ่น
7. Bart-Chinese

งานที่ได้รับการสนับสนุนคือ:

1. ตัวอย่างเช่น Seq2seq, การเขียนบทกวี, คู่, ชื่ออัตโนมัติ, บทคัดย่ออัตโนมัติ ฯลฯ
2. CLS_CLASSIFIER จัดประเภทโดยการแยกเวกเตอร์ CLS ที่จุดเริ่มต้นของประโยคเช่นการวิเคราะห์ความเชื่อมั่นการจำแนกข้อความการจับคู่ความหมาย ฯลฯ
3. Sequence_labeling การติดฉลากลำดับเช่นการจดจำเอนทิตีการตั้งชื่อคำอธิบายประกอบส่วนหนึ่งของคำพูดภาษาจีน ฯลฯ ฯลฯ
4. SEQUENCE_LABELING_CRF เพิ่มงานการติดฉลากลำดับการสูญเสีย CRF เพื่อให้ได้ผลดีกว่า
5. Relation_extract Relation Extraction เช่นงานสกัดสามครั้ง (ตัวอย่างของ Mr. Su Jianlin ไม่เหมือนกันอย่างแน่นอน)
6. โมเดลซิมเบิร์ตซิมเบิร์ตสร้างประโยคที่คล้ายกันและทำการตัดสินความคล้ายคลึงกันสำหรับประโยคที่คล้ายกัน
7. Multi_label_Cls การจำแนกประเภทหลายฉลาก

การโหลดโมเดลที่แตกต่างกันทำได้โดยการตั้งค่าพารามิเตอร์ "model_name" และงานที่แตกต่างกันทำได้โดยการตั้งค่าพารามิเตอร์ "model_class" สำหรับรายละเอียดคุณสามารถดูตัวอย่างต่าง ๆ ในตัวอย่าง

สรุปที่อยู่ดาวน์โหลดของรุ่นที่ผ่านการฝึกอบรมมาก่อน:

1. ต้องดาวน์โหลดไฟล์โมเดลโมเดล Roberta และพจนานุกรมที่นี่ที่ https://drive.google.com/file/d/1ineyfhcbjweusilnw_2k6smwxkm4glb_/view สำหรับรายละเอียดคุณสามารถอ้างถึงพื้นที่เก็บข้อมูล GitHub นี้ ~ https://github.com/ymcui/chinese-bert-wwm และโมเดล Roberta-Large สามารถดาวน์โหลดได้
2. Bert Model (ไม่รองรับขนาดใหญ่ในปัจจุบัน), ดาวน์โหลด Bert Pre-Training Weight "Bert-base-chinese": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-pytorch_model.bin" "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt"
3. รุ่น Nezha, ตำแหน่งน้ำหนักพจนานุกรม (ปัจจุบันรองรับฐานเท่านั้น): Nezha-Base Model ดาวน์โหลด: ลิงค์: https://pan.baidu.com/s/1z0sjbisskzags0lt9hfyzq รหัสการสกัด: 4Awe
4. รุ่น GPT2 คุณสามารถดูไฟล์ GPT_TEST ในไฟล์ทดสอบสำหรับการทดสอบการเขียนข้อความ ที่อยู่ดาวน์โหลดของ GPT2 ภาษาจีนทั่วไปและพจนานุกรม: https://pan.baidu.com/s/1vtyc8fjumlqrre5p0jrelw รหัสผ่าน: F5UN
5. โมเดลภาษาอังกฤษ GPT2 ใช้โดยเฉพาะเพื่ออ้างถึงรุ่นที่ผ่านการฝึกอบรมมาก่อน https://huggingface.co/pranavpsv/gpt2-genre-story-generator สำหรับรหัสการฝึกอบรมที่เฉพาะเจาะจงคุณสามารถเห็น gpt2_english_story_train.py ในตัวอย่าง
6. รองรับรุ่น T5 ทั้งในภาษาอังกฤษและภาษาจีนและใช้แพ็คเกจ Transformers โดยตรงเพื่อโหลด สำหรับรายละเอียดคุณสามารถดูตัวอย่างที่เกี่ยวข้องในโฟลเดอร์ตัวอย่าง พารามิเตอร์การฝึกอบรมล่วงหน้าดาวน์โหลด: https://github.com/renmada/t5-pegasus-pytorch
7. โมเดลซิมเบิร์ตรองรับการสร้างประโยคที่คล้ายกันและโมเดลที่ผ่านการฝึกอบรมมาก่อนสามารถใช้กับ Bert, Roberta และ Nezha
8. Bart ภาษาจีนรุ่นดาวน์โหลดที่อยู่: https://huggingface.co/fnlp/bart-base-chinese

รหัสบางส่วนมีการอ้างอิง https://github.com/huggingface/transformers/ และ https://github.com/bojone/Bert4Keras ขอบคุณมาก! - -

ภาพหน้าจอของผลกระทบของตัวอย่างเล็ก ๆ น้อย ๆ

รุ่น GPT2

เข้า:

อากาศดีวันนี้

เอาท์พุท:

ฉันไปที่นั่นเพื่อดูหนังกับลูกของฉันมันดีจริงๆ! สภาพแวดล้อมไม่มีอะไรจะพูด ภาพยนตร์ยอดเยี่ยมมากและเอฟเฟกต์เสียงดีมาก ฉันไม่รู้ว่าร้านนี้ยังเปิดอยู่หรือไม่ ฉันหวังว่าคุณจะสามารถตรวจสอบได้บ่อยครั้งหากคุณมีเวลา

เขียนบทกวี

bert+crf ner

เข้า: เอาท์พุท:

การจำแนกข้อความสรุปข่าว (14 หมวดหมู่)

เอาท์พุท:

คนเนอร์แพทย์

เข้า:

ปฏิกิริยาระหว่างยาอาจเกิดขึ้นหากใช้พร้อมกับยาอื่น ๆ โปรดปรึกษาแพทย์หรือเภสัชกรของคุณสำหรับรายละเอียด ใช้น้ำเดือดครั้งละ 14 กรัมวันละ 3 ครั้ง บำรุงเลือดควบคุมการมีประจำเดือนและบรรเทาอาการปวด มันถูกใช้สำหรับการไหลของประจำเดือนต่ำ, อาการปวดท้องมีประจำเดือนผิด, กลุ่ม Jianmin Yekai Medicine (Suizhou) Co. , Ltd. 1. หลีกเลี่ยงการกินอาหารดิบและเย็น 2. คนที่มีโรคอื่น ๆ ควรใช้ภายใต้การแนะนำของแพทย์ 3. หากคุณมีประจำเดือนปกติคุณควรไปโรงพยาบาลเพื่อรับการรักษาหลังจากมีการมีประจำเดือนลดลงอย่างฉับพลันหรือมีประจำเดือนที่ผิด 4. สำหรับการรักษาโรคประจำเดือนขอแนะนำให้ใช้ยา 3 ถึง 5 วันก่อนมีประจำเดือนและใช้เวลาหนึ่งสัปดาห์ หากมีข้อกำหนดด้านความอุดมสมบูรณ์คุณควรใช้ภายใต้การแนะนำของแพทย์ 5. ผู้ที่ไม่บรรเทาอาการประจำวันหลังจากทานยาหรือผู้ที่มีอาการประจำเดือนรุนแรงควรไปโรงพยาบาลเพื่อวินิจฉัยและรักษา 6. หากอาการไม่บรรเทาหลังจากทานยาเป็นเวลา 2 สัปดาห์คุณควรไปโรงพยาบาลเพื่อรับการรักษา 7. เป็นสิ่งต้องห้ามสำหรับผู้ที่แพ้ผลิตภัณฑ์นี้และใช้ด้วยความระมัดระวังหากคุณแพ้ร่างกาย 8. ห้ามใช้เมื่อคุณลักษณะของการเปลี่ยนแปลงผลิตภัณฑ์นี้ 9. โปรดวางผลิตภัณฑ์นี้ในสถานที่ที่เด็กไม่สามารถเข้าถึงได้ 10. หากคุณใช้ยาอื่น ๆ โปรดปรึกษาแพทย์หรือเภสัชกรของคุณก่อนที่จะใช้ผลิตภัณฑ์นี้ ผลิตภัณฑ์นี้เป็นยาเสพติดที่เคาน์เตอร์สำหรับการมีประจำเดือนที่ผิดปกติทางนรีเวช บำรุงเลือดควบคุมการมีประจำเดือนและบรรเทาอาการปวด มันใช้สำหรับอาการปวดท้องในช่วงมีประจำเดือน บำรุงเลือดควบคุมการมีประจำเดือนและบรรเทาอาการปวด มันถูกใช้สำหรับการไหลของประจำเดือนต่ำ, อาการปวดท้องมีประจำเดือนผิด, 14G*5 ถุงยาเสพติด over-the-counter (Class B), ไดเรกทอรีประกันสุขภาพแห่งชาติ (Class B) ต้องห้ามสำหรับสตรีมีครรภ์ ผู้ป่วยโรคเบาหวานไม่ได้รับอนุญาตให้รับ

เอาท์พุท:

คู่

การจับคู่ความหมาย

คำกริยา

ติดตั้ง

1. ติดตั้ง Framework pip install bert-seq2seq
2. ติดตั้ง pytorch
3. การติดตั้ง TQDM สามารถใช้เพื่อแสดงความคืบหน้าแถบ pip install tqdm
4. เตรียมข้อมูลของคุณเองเพียงแค่แก้ไขฟังก์ชั่น read_data ในรหัสตัวอย่างสร้างอินพุตและเอาต์พุตแล้วเริ่มการฝึกอบรม
5. ไปที่โฟลเดอร์ตัวอย่างและเรียกใช้ไฟล์ *_train.py ที่สอดคล้องกัน สำหรับงานที่แตกต่างกันเรียกใช้ไฟล์รถไฟที่แตกต่างกัน คุณต้องปรับเปลี่ยนโครงสร้างของข้อมูลอินพุตและเอาต์พุตจากนั้นทำการฝึกอบรม สำหรับรายละเอียดคุณสามารถดูตัวอย่างต่าง ๆ ในตัวอย่าง ~

คำอธิบายฟังก์ชั่นบางอย่าง

def load_bert (word2ix, model_name = "Roberta", model_class = "seq2seq")

การโหลดโมเดล Bert พารามิเตอร์ model_name ระบุว่า Bert ใช้ Bert ที่สนับสนุน Bert, Roberta และ Nezha; model_class ระบุว่างานใดที่จะใช้ Bert ในการทำ SEQ2SEQ หมายถึงงานสร้าง CLS แสดงถึงงานการจำแนกประเภทข้อความ ...

model.load_pretrain_params (pretrain_model_path)

การโหลดพารามิเตอร์ของโมเดล Bert โปรดทราบว่ามันเป็นเพียงการโหลดพารามิเตอร์ตัวเข้ารหัสนั่นคือพารามิเตอร์ของรุ่นที่ผ่านการฝึกอบรมมาก่อนที่ดาวน์โหลดจากอินเทอร์เน็ต ตัวอย่างเช่นโมเดล SEQ2SEQ รวมถึงพารามิเตอร์ของรุ่น BERT + เลเยอร์การเชื่อมต่อแบบเต็มและฟังก์ชั่นนี้จะโหลดส่วนแรกของพารามิเตอร์เท่านั้น

def model.load_all_params (ล่าสุด _model_path)

โหลดพารามิเตอร์โมเดลทั้งหมด หลังจากที่คุณได้รับการฝึกฝนมาระยะหนึ่งแล้วและบันทึกโมเดลคุณสามารถโหลดผลการฝึกอบรมแบบจำลองล่าสุดผ่านฟังก์ชั่นนี้ฝึกอบรมหรือทดสอบต่อไป

หากคุณต้องการอ่านบทความต่าง ๆ คุณสามารถไปที่เว็บไซต์ของฉัน ~ http://www.blog.zhxing.online/#/ ค้นหาบทกวีคู่หูหรือการจำแนกข้อความนามธรรมเพื่อค้นหาบทความที่เกี่ยวข้อง ขอบคุณสำหรับการสนับสนุน

อัปเดตระเบียน

2021.11.12: รหัสที่ดีที่สุดรองรับโมเดล Roberta-Large

2021.10.12: วิธีการถอดรหัสของ NER ได้รับการปรับให้เหมาะสม มีข้อบกพร่องในวิธีการถอดรหัสแบบหยาบก่อนหน้านี้

2021.08.18: มีการปรับรหัสจำนวนมาก รหัสเฟรมเวิร์กในปัจจุบันดูชัดเจนขึ้นและมีการลบรหัสซ้ำซ้อนจำนวนมาก

2021.08.17: รองรับรุ่น Nezha ของ Huawei มันง่ายมาก เพียงเปลี่ยนพารามิเตอร์ model_name ยินดีต้อนรับสู่การทดสอบเอฟเฟกต์

2021.08.15: เพิ่มตัวอย่างของการแบ่งส่วนคำและเพิ่มรหัสการแข่งขันลงในโทเคนิเซอร์

2021.07.29: การเพิ่มประสิทธิภาพรหัสบางอย่างนั้นกระชับมากขึ้น

2021.07.20: โมเดลซิมเบิร์ตถูกทำซ้ำและสามารถดำเนินการประโยคที่คล้ายกันได้ แต่เนื่องจากข้อมูลจำนวนเล็กน้อยจึงยังคงต้องทดสอบ

2021.03.19: รองรับการขยายโมเดลและไม่เพียง แต่ใช้โมเดลที่มาพร้อมกับเฟรมเวิร์ก แต่ยังสามารถโหลดโมเดลบนใบหน้ากอดโดยตรงสำหรับการฝึกอบรมและการทำนาย

2021.03.12: เพิ่มตัวอย่างของการฝึกอบรมจีน GPT2, การตีความความฝันของโจวกง

2021.03.11: เพิ่มตัวอย่าง GPT2 คุณสามารถเขียนบทความต่อไป

2021.03.11: มีการเพิ่มวิธีการถอดรหัสแบบสุ่มและรุ่นที่มีความหลากหลายมากขึ้น

2021.03.08: การค้นหาลำแสงส่งคืนผลลัพธ์ n โดยใช้หนึ่งแบบสุ่มเป็นเอาต์พุต

2021.02.25: เพิ่มตัวอย่างของการจับคู่ความหมาย

2021.02.06: วิธีการตั้งค่าอุปกรณ์ได้รับการปรับแล้วและตอนนี้สะดวกกว่า

2021.1.27: โครงสร้างรหัสของเฟรมเวิร์กได้รับการปรับและมีการเปลี่ยนแปลงมากมาย หากมีข้อผิดพลาดโปรดออกไปข้างนอก

2021.1.21: เพิ่มตัวอย่างใหม่การจำแนกประเภทการแยกความสัมพันธ์ของตัวละคร

2020.12.02: มีการปรับรหัสบางอย่างและเพิ่มไฟล์ทดสอบหลายไฟล์ซึ่งสามารถโหลดโมเดลที่ผ่านการฝึกอบรมได้อย่างง่ายดายและทดสอบงานที่เกี่ยวข้อง

2020.11.20: เพิ่มตัวอย่างการสกัดสามครั้ง F1 สามารถเข้าถึง 0.7 เพิ่มรหัสทดสอบสำหรับการจำแนกข้อความสรุปข่าว

2020.11.04: ตัวอย่างของการใช้งาน Bet-CRF เพื่อทำภารกิจ ner ธรรมดาเอฟเฟกต์เป็นสิ่งที่ดี

2020.10.24: มีการปรับรหัสจำนวนมากและมีการเพิ่มตัวอย่างสรุปโดยอัตโนมัติของชุดข้อมูล Thucnews ตอนนี้การฝึกอบรมควรมีประสิทธิภาพมาก ในอดีตพารามิเตอร์ก่อนการฝึกอบรมอาจไม่ถูกโหลดและผลกระทบอาจแย่มาก

2020.10.23: โครงสร้างรหัสบางอย่างได้รับการปรับแล้วตัวแปรบางตัวในแต่ละตัวอย่างได้ถูกเขียนเป็นตัวแปรทั่วโลกและรหัสการค้นหาลำแสงได้รับการเปลี่ยนแปลงซึ่งได้รับการปรับปรุงมากขึ้น อย่างไรก็ตามบทกวีในการเขียนบทกวีไม่ได้รับการสนับสนุนในขณะนี้ ทำขึ้นในภายหลัง

2020.09.29: ตัวอย่างการฝึกอบรมใหม่ของการแข่งขันทางการแพทย์ Tianchi (Medical Ner_train.py) ถูกเพิ่มเข้ามา สำหรับรายละเอียดโปรดดูอินเทอร์เฟซการแข่งขัน: https://tianchi.aliyun.com/competition/entrance/531824/information

2020.08.16: เพิ่มตัวอย่างของการฝึกอบรมร่วมของบทกวีบทกวี (บทกวี couplets_train.py) คุณสามารถเขียนบทกวีและเนื้อเพลงและคู่ในเวลาเดียวกัน; นอกจากนี้ยังมีการเพิ่มรหัสทดสอบใหม่สำหรับบทกวีและคุณสามารถทดสอบได้หลังจากได้รับการฝึกอบรมแบบจำลองแล้ว

2020.08.08: มีเนื้อหาจำนวนมากในการอัปเดตนี้ 1. เพิ่มตัวอย่างของการสรุปอัตโนมัติ (auto_title.py) 2. เพิ่มรหัสสำหรับรายการคำศัพท์ที่ง่ายขึ้น คำ 3W ดั้งเดิมลดลงเหลือมากกว่า 1W (เพราะบางคำจะไม่ปรากฏ) 3. แก้ไขรหัสการค้นหาลำแสงบางอย่างและเอฟเฟกต์ก็ดีกว่า 4. ไม่สามารถใช้ NER เนื้อละเอียดได้ตลอดเวลาและข้อมูลเป็นปัญหาเล็กน้อยดังนั้นใส่ไว้ในโฟลเดอร์ทดสอบชั่วคราว หากคุณพบข้อมูลที่ถูกต้องคุณสามารถใช้ 5. เพิ่มโฟลเดอร์ทดสอบใหม่ แบบจำลองที่ผ่านการฝึกอบรมสามารถทดสอบได้เพื่อดูผล

2020.06.22: เสริมบทความโดยบรรทัดฐานเลเยอร์แบบมีเงื่อนไข มีการอธิบายรหัสบางส่วน http://www.blog.zhxing.online/#/readblog?blogid=347

2020.06.21: มีการปรับปรุงรหัสจำนวนมากและตัวอย่างของการสกัดสามครั้งได้รับการทำซ้ำ (triple extraction_train.py) ~

2020.06.02: ฉันยุ่งอยู่กับการสำเร็จการศึกษาเมื่อเร็ว ๆ นี้และยังมีการแข่งขัน ฉันจะไม่อัปเดตในขณะนี้และฉันจะอัปเดตต่อไปในอนาคต

2020.04.18: หลังจากการฝึกอบรมโมเดล BERT+CRF อัตราการเรียนรู้ของเลเยอร์ CRF ดูเหมือนจะไม่สูงพอและจำเป็นต้องปรับปรุง (อัตราการเรียนรู้เลเยอร์ CRF สามารถตั้งค่าแยกกันได้โดยทั่วไปตั้งค่าเป็น 0.01)

2020.04.13: เพิ่มงาน NER + การสูญเสียเลเยอร์ CRF, วิ่งผ่านตัวอย่างการฝึกอบรม แต่ยังไม่ได้เพิ่มอัลกอริทึม Viterbi

2020.04.11: วางแผนที่จะเพิ่มเลเยอร์ CRF ให้กับงาน NER

2020.04.07: เพิ่มตัวอย่างของ NER

2020.04.07: อัปเดต PYPI และเพิ่มโมเดลสำหรับงานคำอธิบายประกอบลำดับเช่น NER

2020.04.04: รหัสด้านบน PYPI ได้รับการอัปเดตแล้ว ปัจจุบันเวอร์ชันล่าสุดคือ 0.0.6 โปรดใช้เวอร์ชันล่าสุดจะมีข้อบกพร่องน้อยลง

2020.04.04: แก้ไขข้อบกพร่องบางอย่างและเพิ่มตัวอย่างของการจำแนกข้อความชื่อข่าว

2020.04.02: ระดับของการลงโทษสำหรับคำและบทกวีซ้ำ ๆ ในการค้นหาคานสำหรับการเขียนบทกวีอาจจะดีกว่า

2020.04.02: เพิ่มงานการตีความความฝันของโจวกง

2020.04.02: เพิ่มงานของคู่รัก

2020.04.01: เพิ่มงานสำหรับการเขียนบทกวี

2020.04.01: refactored รหัสและใช้เวลาน้อยลงในการเริ่มการฝึกอบรมงานใหม่

python setup.py sdist twin upload dist/bert_seq2seq-2.3.5.tar.gz