unit scaling demo

การสาธิตการปรับขนาดหน่วย

รหัสสำหรับกระดาษ: การปรับขนาดหน่วย: การฝึกอบรมนอกกรอบความแม่นยำต่ำ

เราต้องการน้ำหนักการเปิดใช้งานและการไล่ระดับสีทั้งหมดที่จะเป็นหน่วยความแปรปรวนในการเริ่มต้น เพื่อให้บรรลุเป้าหมายนี้เราจะแนะนำปัจจัยการปรับขนาดแยกต่างหากสำหรับการเปิดใช้งานในการส่งต่อและสำหรับการไล่ระดับสีในผ่านไปข้างหลัง

พื้นที่เก็บข้อมูลนี้มีรหัสการทดลองของเราสำหรับการทดลองเกี่ยวกับการสร้างแบบจำลองภาษาระดับอักขระและสมุดบันทึกตัวอย่าง

ภาพรวม:

• เทคนิค - การปรับขนาดหน่วย
• งาน - การสร้างแบบจำลองภาษาตัวละคร
• ชุดข้อมูล - Wikitext -103 (RAW)
• Framework - TF2/Keras, Poplar SDK
• การบันทึก - Wandb

โครงสร้าง:

• run_experiment.py - จุดกำหนดค่าและจุดเข้าสำหรับการทดลองเดียว
• run_sweep.py - การกวาดตรรกะและการกำหนดค่า
• แพ็คเกจ SCMM/ - Core Python และการใช้งานพื้นฐาน
  • การใช้งาน SCMM/ USCALE/ - หน่วยปรับสเกล
  • SCMM/ PEDAL/ - อะแดปเตอร์เฉพาะแพลตฟอร์ม
• DEV - สคริปต์การเปิดใช้งานการพัฒนา (การทดสอบผ้าสำลี ฯลฯ )
• DataSet.ipynb - สคริปต์ที่ใช้ในการสร้างคำศัพท์จาก Wikitext -103 (RAW)
• Pytorch-Notebook/Unit-scaling-notebook.ipynb

ดูเพิ่มเติม:

• Pytorch-Notebook/Unit-scaling-notebook.ipynb-Demo แบบสแตนด์อโลน pytorch
• สาขา: 2023-01- กระดาษ-วัสดุสนับสนุนเพิ่มเติมสำหรับกระดาษ

การใช้งาน

รหัสนี้ได้รับการทดสอบใน Poplar SDK 3.1.0+1205

python3 -m venv .venv
# Append to .venv/bin/activate:
# source PATH/TO/POPLAR_SDK/enable
source .venv/bin/activate
pip install wheel
pip install $POPLAR_SDK_ENABLED /../tensorflow-2.6.3+gc3.1.0+246224+2b7af067dae+amd_znver1-cp38-cp38-linux_x86_64.whl
pip install $POPLAR_SDK_ENABLED /../keras-2.6.0+gc3.1.0+246230+88e2debf-py2.py3-none-any.whl
pip install -r requirements.txt

python run_experiment.py

เพื่อทำซ้ำ

การทดสอบผลการทดสอบของเราอธิบายโดย run_sweep.py โดยค่าเริ่มต้นสิ่งนี้จะถือว่าข้อมูลอยู่ภายใต้/บ้าน/การวิจัย Datasets/wikitext103_raw ( train.txt , valid.txt , test.txt ) และผู้ใช้จะลงชื่อเข้าใช้ Wandb

python run_sweep.py

ข้อมูลอ้างอิงและใบอนุญาต

ลิขสิทธิ์ (c) 2023 Graphcore Ltd. ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT

รหัสที่รวมอยู่ภายใต้ใบอนุญาต MIT (ดูใบอนุญาต)

การพึ่งพาของเราคือ:

ส่วนประกอบ	เกี่ยวกับ	ใบอนุญาต
แอร์บ	Library ไคลเอนต์น้ำหนักและอคติ (เว็บไซต์) สำหรับการเข้าสู่ระบบเสริมไปยังเซิร์ฟเวอร์ Wandb	มิกซ์

นอกจากนี้เรายังใช้การพึ่งพา Python เพิ่มเติมสำหรับการพัฒนา/การทดสอบ (ดูข้อกำหนด-tev.txt)

ชุดข้อมูล Wikitext-103 ได้รับอนุญาตภายใต้ใบอนุญาตครีเอทีฟคอมมอนส์