gpt2 text generation

GPT2-text-generation

Tuning dan generasi teks menggunakan GPT-2 OpenAI pada set data blog dari https://trustmeyoureAlive.wordpress.com/.

content-extraction : Mengekstraksi Data Blog Menggunakan API WordPress

dataset : kereta api, validasi, dataset uji dari konten yang diekstraksi

prepare_data.ipynb : Persiapkan data ke dalam kereta, valid, file uji

text_generation.ipyb : fine-tune gpt-2 pada set kereta yang disiapkan dan pembuatan teks

Detail dataset:

Total Token: 246446 (76 Artikel)
Kosakata: 50260
Set Pelatihan (dengan baris): 2752

File kode dalam transformers yang perlu diganti setelah kloning: run_generation.py dan run_language_modeling.py (instruksi di text_generation.ipynb)

Urutan yang dihasilkan

Terus terang, saya kagum/kaget - urutan ini benar -benar terdengar seperti saya, dan saya cukup lega GPT -3 belum bersumber terbuka (belum):

1. Ini adalah momen yang membuat Anda paling kecemasan.
2. Masih ada hari tersisa sampai akhir semester kami - ini hari Sabtu.
3. Tapi saudara laki-laki saya dan saya saling kenal, kami juga tahu dia selalu mengenakan t-shirt hijau dan jeans abu-abu dengan kaus kaki hijau-ish yang menutupi setengah inci di bawah paha kirinya.
4. Saya selalu ingin menjadi bagian dari masyarakat, atau bagian dari orang.
5. Butuh waktu kurang dari 5 menit selama satu jam (dan kadang -kadang bahkan lebih lama jika Anda meninggalkan rumah).