gpt 2 Pytorch
1.0.0
Model bahasa yang lebih baik dan implikasinya
Model kami, yang disebut GPT-2 (penerus GPT), dilatih hanya untuk memprediksi kata berikutnya dalam 40GB teks internet. Karena kekhawatiran kami tentang aplikasi teknologi yang berbahaya, kami tidak merilis model yang terlatih. Sebagai percobaan dalam pengungkapan yang bertanggung jawab, kami sebaliknya merilis model yang jauh lebih kecil bagi para peneliti untuk bereksperimen, serta makalah teknis. dari blog openai
Repositori ini adalah implementasi sederhana GPT-2 tentang generator teks di pytorch dengan kode kompres
Repertoar asli adalah OpenAI/GPT-2. Anda juga dapat membaca kertas tentang GPT-2, "Model bahasa adalah pelajar multitask yang tidak diawasi". Untuk memahami konsep yang lebih detail, saya merekomendasikan makalah tentang model transformator.
Implementasi yang baik GPT-2 di Pytorch yang saya sebutkan, HuggingFace/Pytorch-Pretrained-Bert, Anda dapat melihat implementasi lebih detail dalam repositori Huggingface.
Makalah Transformer (Diri Sendiri): Perhatian adalah yang Anda butuhkan (2017)
Makalah OpenAi-GPT Pertama: Meningkatkan Pemahaman Bahasa oleh Pra-Pelatihan Generatif (2018)
Lihat Blog Openai Tentang GPT-2 dan Kertas
$ git clone https://github.com/graykode/gpt-2-Pytorch && cd gpt-2-Pytorch
# download huggingface's pytorch model
$ curl --output gpt2-pytorch_model.bin https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-pytorch_model.bin
# setup requirements, if using mac os, then run additional setup as descibed below
$ pip install -r requirements.txt$ python main.py --text " It was a bright cold day in April, and the clocks were striking thirteen. Winston Smith, his chin nuzzled into his breast in an effort to escape the vile wind, slipped quickly through the glass doors of Victory Mansions, though not quickly enough to prevent a swirl of gritty dust from entering along with him. "--text : Kalimat untuk memulai.--quiet : tidak mencetak semua hal asing seperti "================"--nsamples : Jumlah sampel sampel dalam batch saat penggunaan fungsi multinomial--unconditional : jika benar, generasi tanpa syarat.--batch_size : Jumlah ukuran batch--length : panjang kalimat (<jumlah konteks)--temperature : Suhu termodinamika dalam distribusi (default 0.7)--top_k : Mengembalikan elemen terbesar K atas dari tensor input yang diberikan sepanjang dimensi yang diberikan. (default 40) Lihat opsi detail lebih lanjut tentang temperature dan top_k di sini
$ python3 -m venv venv
$ source venv/bin/activate
$ pip install torch tqdm
$ brew install libomp
$ export LC_ALL=en_US.UTF-8
$ export LANG=en_US.UTF-8
$ pip install -r requirements.txtJeff Wu (@wuthefwasthat), Thomas Wolf (@thomwolf) karena mengizinkan kode rujukan.
