gpt 2 Pytorch ดาวน์โหลด - gpt 2 Pytorch Source Source Download

gpt 2 Pytorch

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

gpt2-pytorch พร้อมตัวสร้างข้อความ

แบบจำลองภาษาที่ดีกว่าและความหมายของพวกเขา

แบบจำลองของเราที่เรียกว่า GPT-2 (ผู้สืบทอดต่อ GPT) ได้รับการฝึกฝนเพียงเพื่อทำนายคำต่อไปในข้อความอินเทอร์เน็ต 40GB เนื่องจากความกังวลของเราเกี่ยวกับการใช้งานที่เป็นอันตรายของเทคโนโลยีเราจึงไม่ได้ปล่อยโมเดลที่ผ่านการฝึกอบรม ในการทดลองในการเปิดเผยอย่างรับผิดชอบเราจะปล่อยแบบจำลองที่เล็กกว่ามากสำหรับนักวิจัยในการทดลองเช่นเดียวกับเอกสารทางเทคนิค จากบล็อก Openai

ที่เก็บนี้เป็นการนำไปใช้อย่างง่าย GPT-2 เกี่ยวกับ ตัวสร้างข้อความ ใน pytorch ด้วย รหัสบีบอัด

เพลงดั้งเดิมคือ OpenAI/GPT-2 นอกจากนี้คุณสามารถอ่านกระดาษเกี่ยวกับ GPT-2 "โมเดลภาษาเป็นผู้เรียนมัลติทาสก์ที่ไม่ได้รับการดูแล" เพื่อทำความเข้าใจแนวคิดรายละเอียดเพิ่มเติมฉันขอแนะนำเอกสารเกี่ยวกับโมเดลหม้อแปลง
การใช้งานที่ดี GPT-2 ใน Pytorch ซึ่งฉันอ้างถึง, HuggingFace/Pytorch-Pretrained-Bert คุณสามารถเห็นการใช้งานรายละเอียดเพิ่มเติมในที่เก็บ HuggingFace
Transformer (ความตั้งใจด้วยตนเอง): ความสนใจคือสิ่งที่คุณต้องการ (2017)
กระดาษ OpenAI-GPT ครั้งแรก: ปรับปรุงความเข้าใจภาษาโดยการฝึกอบรมก่อนการกำเนิด (2018)
ดูบล็อก OpenAI เกี่ยวกับ GPT-2 และกระดาษ

เริ่มต้นอย่างรวดเร็ว

ดาวน์โหลด GPT2 รุ่นที่ผ่านการฝึกอบรมล่วงหน้าใน Pytorch ซึ่ง HuggingFace/Pytorch-Pretrained-Bert ทำไปแล้ว! (ขอบคุณสำหรับการแบ่งปัน! มันช่วยให้ปัญหาของฉันถ่ายโอนไฟล์ TensorFlow (CKPT) ไปยังรุ่น Pytorch!)

$ git clone https://github.com/graykode/gpt-2-Pytorch && cd gpt-2-Pytorch
# download huggingface's pytorch model 
$ curl --output gpt2-pytorch_model.bin https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-pytorch_model.bin
# setup requirements, if using mac os, then run additional setup as descibed below
$ pip install -r requirements.txt

ตอนนี้คุณสามารถวิ่งแบบนี้ได้

ข้อความจาก Book 1984, George Orwell

$ python main.py --text " It was a bright cold day in April, and the clocks were striking thirteen. Winston Smith, his chin nuzzled into his breast in an effort to escape the vile wind, slipped quickly through the glass doors of Victory Mansions, though not quickly enough to prevent a swirl of gritty dust from entering along with him. "

นอกจากนี้คุณสามารถเริ่มต้นได้อย่างรวดเร็วใน Google Colab

ตัวเลือก

--text : ประโยคที่จะเริ่มต้นด้วย
--quiet : ไม่พิมพ์สิ่งที่ไม่เกี่ยวข้องทั้งหมดเช่น "================="
--nsamples : จำนวนตัวอย่างตัวอย่างเป็นชุดเมื่อใช้ฟังก์ชั่นมัลติโนมิล
--unconditional : ถ้าเป็นรุ่นที่ไม่มีเงื่อนไข
--batch_size : จำนวนแบทช์ขนาด
--length : ความยาวประโยค (<จำนวนบริบท)
--temperature : อุณหภูมิอุณหพลศาสตร์ในการกระจาย (default 0.7)
--top_k : ส่งคืนองค์ประกอบที่ใหญ่ที่สุด k สูงสุดของเทนเซอร์อินพุตที่กำหนดตามมิติที่กำหนด (default 40)

ดูตัวเลือกรายละเอียดเพิ่มเติมเกี่ยวกับ temperature และ top_k ที่นี่

การพึ่งพาอาศัยกัน

Pytorch 0.41+
Regex 2017.4.5

การตั้งค่า Mac OS

$ python3 -m venv venv
$ source venv/bin/activate
$ pip install torch tqdm
$ brew install libomp
$ export LC_ALL=en_US.UTF-8
$ export LANG=en_US.UTF-8
$ pip install -r requirements.txt