gpt2 text generation

GPT2-text-text

การปรับแต่งและการสร้างข้อความอย่างละเอียดโดยใช้ GPT-2 ของ OpenAI บนชุดข้อมูลบล็อกจาก https://trustmeyourealive.wordpress.com/

content-extraction : การแยกข้อมูลบล็อกโดยใช้ WordPress API

dataset : รถไฟการตรวจสอบความถูกต้องชุดข้อมูลทดสอบจากเนื้อหาที่แยกออกมา

prepare_data.ipynb : เตรียมข้อมูลเป็นรถไฟที่ถูกต้องไฟล์ทดสอบ

text_generation.ipyb : ปรับแต่ง GPT-2 ในชุดรถไฟที่เตรียมไว้และการสร้างข้อความ

รายละเอียดชุดข้อมูล:

โทเค็นทั้งหมด: 246446 (76 บทความ)
คำศัพท์: 50260
ชุดฝึกอบรม (โดยบรรทัด): 2752

ไฟล์รหัสใน transformers ที่ต้องเปลี่ยนหลังจากการโคลนนิ่ง: run_generation.py และ run_language_modeling.py (คำแนะนำใน text_generation.ipynb)

ลำดับที่สร้างขึ้น

ตรงไปตรงมาฉันอยู่ในความหวาดกลัว/ตกใจ - ลำดับเหล่านี้ฟังดูเหมือนฉันอย่างแท้จริงและฉันค่อนข้างโล่งใจ GPT -3 ยังไม่ได้รับแหล่งที่มา (ยัง):

1. มันเป็นช่วงเวลาที่ทำให้คุณมีความวิตกกังวลมากที่สุด
2. ยังมีอีกหลายวันจนกระทั่งสิ้นสุดภาคการศึกษาของเรา - เป็นวันเสาร์
3. แต่พี่ชายของฉันและฉันรู้จักกันเราก็รู้ว่าเขามักจะสวมเสื้อยืดสีเขียวและกางเกงยีนส์สีเทาพร้อมถุงเท้าสีเขียว-ไอชที่ครอบคลุมครึ่งนิ้วใต้ต้นขาซ้ายของเขา
4. ฉันอยากเป็นส่วนหนึ่งของสังคมหรือเป็นส่วนหนึ่งของผู้คนเสมอ
5. ใช้เวลาน้อยกว่า 5 นาทีเป็นเวลาหนึ่งชั่วโมง (และบางครั้งก็นานกว่าถ้าคุณออกจากบ้าน)