gpt 2 Pytorch
1.0.0
نماذج لغة أفضل وآثارها
تم تدريب نموذجنا ، المسمى GPT-2 (خليفة لـ GPT) ، ببساطة للتنبؤ بالكلمة التالية في 40 جيجابايت من نص الإنترنت. نظرًا لمخاوفنا بشأن التطبيقات الضارة للتكنولوجيا ، فإننا لا نطلق النموذج المدربين. كتجربة في الكشف المسؤول ، نقوم بدلاً من ذلك بإطلاق نموذج أصغر بكثير للباحثين للتجربة ، وكذلك ورقة فنية. من مدونة Openai
هذا المستودع هو التنفيذ البسيط GPT-2 حول مولد النص في Pytorch مع رمز الضغط
المرجع الأصلي هو Openai/GPT-2. كما يمكنك قراءة الورق حول GPT-2 ، "نماذج اللغة هي متعلمين غير خاضعين للإشراف على المهام المتعددة". لفهم المزيد من مفهوم التفاصيل ، أوصي أوراق حول نموذج المحول.
التنفيذ الجيد GPT-2 في Pytorch الذي أشرت إليه ، Huggingface/Pytorch-bert-bert-bert ، يمكنك رؤية المزيد من تطبيق التفاصيل في مستودع Luggingface.
ورقة المحول (الاهتمام الذاتي): الاهتمام هو كل ما تحتاجه (2017)
أول ورقة Openai-GPT: تحسين فهم اللغة من خلال التدريب قبل التدريب (2018)
انظر مدونة Openai حول GPT-2 والورق
$ git clone https://github.com/graykode/gpt-2-Pytorch && cd gpt-2-Pytorch
# download huggingface's pytorch model
$ curl --output gpt2-pytorch_model.bin https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-pytorch_model.bin
# setup requirements, if using mac os, then run additional setup as descibed below
$ pip install -r requirements.txt$ python main.py --text " It was a bright cold day in April, and the clocks were striking thirteen. Winston Smith, his chin nuzzled into his breast in an effort to escape the vile wind, slipped quickly through the glass doors of Victory Mansions, though not quickly enough to prevent a swirl of gritty dust from entering along with him. "--text : الجملة لتبدأ.--quiet : لا تطبع جميع الأشياء الغريبة مثل "================="--nsamples : عدد العينات التي تم أخذ عينات منها في دفعة عند استخدام الوظيفة متعددة الحدود--unconditional : إذا كان جيلًا حقيقيًا غير مشروط.--batch_size : عدد حجم الدُفعة--length : طول الجملة (<عدد السياق)--temperature : درجة الحرارة الديناميكية الحرارية في التوزيع (default 0.7)--top_k : إرجاع أكبر عناصر K أكبر من موتر الإدخال المعطى على طول بعد معين. (default 40) شاهد المزيد من خيار التفاصيل حول temperature و top_k هنا
$ python3 -m venv venv
$ source venv/bin/activate
$ pip install torch tqdm
$ brew install libomp
$ export LC_ALL=en_US.UTF-8
$ export LANG=en_US.UTF-8
$ pip install -r requirements.txtJeff Wu (wuthefwashat) ، توماس وولف (@thomwolf) للسماح بالرمز الإحالة.
