หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

สนามกีฬาระยะยาว (LRA: Elra เด่นชัด)

สนามกีฬาระยะยาวเป็นความพยายามในการประเมินอย่างเป็นระบบของแบบจำลองหม้อแปลงที่มีประสิทธิภาพ โครงการมีจุดมุ่งหมายเพื่อสร้างงานมาตรฐาน/DTASETS โดยใช้ซึ่งเราสามารถประเมินโมเดลที่ใช้หม้อแปลงได้อย่างเป็นระบบโดยการประเมินพลังการวางนัยทั่วไปประสิทธิภาพการคำนวณการพิมพ์เท้าหน่วยความจำ ฯลฯ

สนามกีฬาระยะยาวยังใช้รุ่นที่แตกต่างกันของรุ่นหม้อแปลงใน JAX โดยใช้ผ้าลินิน

การเปิดตัวครั้งแรกครั้งแรกนี้รวมถึงเกณฑ์มาตรฐานสำหรับกระดาษ "สนามกีฬาระยะยาว: มาตรฐานสำหรับหม้อแปลงที่มีประสิทธิภาพ

ขณะนี้เราได้เปิดตัวรหัสที่จำเป็นทั้งหมดเพื่อเริ่มต้นและเรียกใช้เกณฑ์มาตรฐานของเราเกี่ยวกับหม้อแปลงวานิลลา

v2 release

อัปเดต เราได้เปิดตัวโมเดล Xformer ที่ใช้ในการทดลองของเรา

เรากำลังดำเนินการอัปเดตครั้งที่ 2 ซึ่งจะปล่อยโมเดลและพื้นฐานสำหรับชุดมาตรฐานนี้มากขึ้น คอยติดตาม

โปรดดูตัวอย่างเพิ่มเติมเกี่ยวกับวิธีการเริ่มต้น

การทดลองของเรา

ผลลัพธ์กระดานผู้นำในปัจจุบันของผลลัพธ์ XFORMER ทั้งหมดในผลลัพธ์มาตรฐานของเรา (ณ วันที่ 8 พฤศจิกายน 2563)

แบบอย่าง รายชื่อ ข้อความ การเรียกคืน ภาพ เส้นทาง Path-X AVG
Att ท้องถิ่น 15.82 52.98 53.39 41.46 66.63 ล้มเหลว 46.06
ทรานส์เชิงเส้น 16.13 65.90 53.09 42.34 75.30 ล้มเหลว 50.55
ผู้ปฏิรูป 37.27 56.10 53.40 38.07 68.50 ล้มเหลว 50.67
ทรานส์กระจัดกระจาย 17.07 63.58 59.59 44.24 71.71 ล้มเหลว 51.24
Sinkhorn Trans 33.67 61.20 53.83 41.23 67.45 ล้มเหลว 51.29
ผู้ให้บริการ 35.70 53.94 52.27 38.56 76.34 ล้มเหลว 51.36
นักแสดง 18.01 65.40 53.82 42.77 77.05 ล้มเหลว 51.41
ซินธิไซเซอร์ 36.99 61.68 54.67 41.61 69.45 ล้มเหลว 52.88
ผู้ที่มีความยาว 35.63 62.85 56.89 42.22 69.71 ล้มเหลว 53.46
หม้อแปลงไฟฟ้า 36.37 64.27 57.46 42.44 71.40 ล้มเหลว 54.39
นกใหญ่ 36.05 64.02 59.29 40.83 74.87 ล้มเหลว 55.01

รายการภายนอกสาธารณะ

เราแสดงรายการเอกสารและการส่งอื่น ๆ ที่ใช้เกณฑ์มาตรฐาน LRA ของเรา

แบบอย่าง รายชื่อ ข้อความ การเรียกคืน ภาพ เส้นทาง Path-X AVG
igloo 39.23 82 75.5 47.0 67.50 นา 62.25
TLB 37.05 81.88 76.91 57.51 79.06 ล้มเหลว 66.48

การส่ง Igloo (โดย vsevolod sourkov) - https://github.com/redna11/lra-igloo
TLB (คอขวดแฝงชั่วคราว) - transformer_tlb

การอ้างอิง

หากคุณพบว่างานมีประโยชน์โปรดอ้างอิงกระดาษของเราที่: 

 @inproceedings{
tay2021long,
title={Long Range Arena : A Benchmark for Efficient Transformers },
author={Yi Tay and Mostafa Dehghani and Samira Abnar and Yikang Shen and Dara Bahri and Philip Pham and Jinfeng Rao and Liu Yang and Sebastian Ruder and Donald Metzler},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=qVyeW-grC2k}
}

** หมายเหตุ: โปรดอ้างอิงแหล่งข้อมูลดั้งเดิมของชุดข้อมูลเหล่านี้ด้วย! -

การเพิ่มผลลัพธ์ให้กับกระดานผู้นำ

โปรดส่งลิงค์ของกระดาษ (arxiv หรือเผยแพร่) ไปยัง Yi Tay หรือ Mostafa Dehghani (อีเมลในกระดาษ) เพื่อรวมผลลัพธ์ใหม่ของคุณไว้ในกระดานผู้นำ เช่นเดียวกับข้างต้นเราจะเพิ่มผลลัพธ์ในส่วนการส่งภายนอกของลีดเดอร์บอร์ด นี่คือเพื่อที่เราจะไม่สนับสนุนการปีนเขาบนกระดานผู้นำ แต่ค่อนข้างมีความหมายเคียงข้างกัน

หมายเหตุเกี่ยวกับการประเมินผลและการเปรียบเทียบ

การเปรียบเทียบที่มีความหมาย

เราตั้งใจให้เกณฑ์มาตรฐานของคุณทำหน้าที่เป็นเครื่องมือและชุดสำหรับการตรวจสอบพฤติกรรมของโมเดล เช่นนี้หากคุณกำลังตั้งค่าการตั้งค่าใหม่และคุณได้ปรับ HPARAMS ให้พิจารณาเรียกใช้รุ่นอื่น ๆ ทั้งหมด

การตั้งค่าแอปเปิ้ลแอปเปิ้ล

การตั้งค่านี้มีไว้สำหรับผู้ที่ต้องการเปรียบเทียบกับผลลัพธ์ที่เผยแพร่ของเรา โดยตรง

การตั้งค่า HyperParameter เริ่มต้น (แต่ละเกณฑ์มาตรฐานควรมีไฟล์กำหนดค่าตอนนี้) คุณไม่ได้รับอนุญาตให้เปลี่ยนพารามิเตอร์ hyperparameters เช่นขนาดการฝังขนาดที่ซ่อนอยู่จำนวนเลเยอร์ของรุ่นใหม่

รุ่นใหม่ควรอยู่ภายในที่ดีที่สุด 10% ในแง่ของพารามิเตอร์เมื่อเทียบกับรุ่นหม้อแปลงพื้นฐานในไฟล์ config ที่ให้ไว้

การตั้งค่าฟรีสำหรับทุกคน

คุณได้รับอนุญาตให้เรียกใช้ขนาดรุ่นใด ๆ และเปลี่ยนพารามิเตอร์ไฮเปอร์พารามิเตอร์ใด ๆ อย่างไรก็ตามในที่สุดคุณจะไม่ได้รับอนุญาตให้รายงานผลลัพธ์จากลีดเดอร์บอร์ด ของเรา เพราะพวกเขาไม่สามารถเทียบเคียงได้อีกต่อไป คุณสามารถเลือกที่จะเรียกใช้รุ่นใหม่จากไลบรารีของเราในการตั้งค่าที่เทียบเคียงได้

การเพิ่มเกณฑ์มาตรฐานหรือโมเดลลงในห้องชุดนี้

หากคุณพัฒนาหรือได้รับประโยชน์จาก Xformer Baselines มากมายโปรดแจ้งให้เราทราบหากคุณสนใจที่จะสร้างมาตรฐานใหม่ เรายินดีต้อนรับการมีส่วนร่วมสำหรับรุ่นใหม่หรือรุ่นเก่าที่ไม่ได้ครอบคลุมในห้องสวีทที่มีอยู่

ถ้าฉันพบการกำหนดค่าที่ดีกว่าสำหรับโมเดลที่มีอยู่

ในบทความนี้เราไม่ได้จัดลำดับความสำคัญของการกวาด HParam หากคุณพบปัญหาที่เกี่ยวข้องกับการใช้งานหรือ HPARAM ที่ดีกว่าที่อนุญาตให้โมเดลสามารถทำได้ดีกว่าในงานบางอย่างให้ส่ง PR (หรือไฟล์กำหนดค่าใหม่) และเราจะเรียกใช้โมเดลอีกครั้งภายในและรายงานผลลัพธ์ใหม่สำหรับโมเดลที่มีอยู่

ฉันมี xyzformer ใหม่เราจะเพิ่มสิ่งนี้ลงในเกณฑ์มาตรฐานได้อย่างไร

ผลลัพธ์อย่างเป็นทางการมี ไว้ สำหรับรหัสที่ได้รับการตรวจสอบและทำงานใน codebase ของเรา เรารายงานการส่งภายนอกทั้งหมดเป็น ภายนอก ส่ง PR ส่งอีเมลแสดงวิธีเรียกใช้โมเดลของคุณใน codebase ของเราและเราจะอัปเดตผลลัพธ์ตามนั้น (หมายเหตุเนื่องจากข้อ จำกัด แบนด์วิดท์กระบวนการนี้จะใช้เวลานานมาก)

ตัวอย่างการใช้งาน

ในการรันงานให้เรียกใช้ไฟล์ train.py ในไดเรกทอรีงานที่เกี่ยวข้อง (โปรดดูวิธีการรับข้อมูลสำหรับงานบางอย่างหากมี) 

 PYTHONPATH="$(pwd)":"$PYTHON_PATH" python lra_benchmarks/listops/train.py 
      --config=lra_benchmarks/listops/configs/transformer_base.py 
      --model_dir=/tmp/listops 
      --task_name=basic 
      --data_dir=$HOME/lra_data/listops/

การตั้งค่าชุดข้อมูล

ส่วนนี้อธิบายวิธีการรับชุดข้อมูลและเรียกใช้งานใน LRA

ในการดาวน์โหลดชุดข้อมูลโปรดดาวน์โหลดจาก gs://long-range-arena/lra_release หากการอนุญาตล้มเหลวคุณสามารถดาวน์โหลดไฟล์ gziped ทั้งหมดได้ที่ https://storage.googleapis.com/long-range-arena/lra_release.gz

รายชื่อ

งานนี้สามารถพบได้ที่ /listops ชุดข้อมูลที่ใช้ในการทดลองของเราสามารถพบได้ที่ Buckets Google Cloud เหล่านี้และอยู่ในรูปแบบ TSV

หากคุณต้องการไปที่ความยาวลำดับที่ยาวกว่า/สั้นกว่าเรายังสนับสนุนการสร้างการแยกของคุณเองเรียกใช้ความคิดเห็นต่อไปนี้: 

 PYTHONPATH="$(pwd)":"$PYTHON_PATH" python lra_benchmarks/data/listops.py -- 
  --output_dir=$HOME/lra_data/listops/

การจำแนกข้อความ

งานนี้สามารถพบได้ที่ /text_classification ไม่จำเป็นต้องมีการดำเนินการเนื่องจากงานนี้พบในชุดข้อมูล TensorFlow แล้ว รหัสควรทำงานตามที่เป็นอยู่

การดึงเอกสาร

โปรดดาวน์โหลดชุดข้อมูลที่ (http://aan.how/download/) โปรดดาวน์โหลดการแยกรถไฟ/ทดสอบ/พัฒนาจาก Bucket Google Cloud ของเรา น่าเสียดายที่เราไม่สามารถแจกจ่ายชุดข้อมูลนี้อีกครั้งและปล่อย IDS ในรูป label paper1_id paper2_id เท่านั้น คุณสามารถดาวน์โหลดข้อมูลจากแหล่งกำเนิดดั้งเดิมและแยกข้อมูลข้อความ

การจำแนกรูปภาพระดับพิกเซล

งานนี้สามารถพบได้ที่ /image ไม่จำเป็นต้องมีการดำเนินการเนื่องจากงานนี้พบในชุดข้อมูล TensorFlow แล้ว มันควรทำงานนอกกรอบ

ผู้เบิกทาง

โปรดดูไดเรกทอรี ./data โดยที่ตัวสร้าง TFDS สำหรับชุดข้อมูล PathFinder สามารถพบได้ เราสร้างชุดข้อมูลที่แตกต่างกันสำหรับงาน Pathfinder โดยมีระดับความยากต่างกันโดยใช้สคริปต์ที่ให้ไว้ที่นี่ คุณสามารถค้นหาข้อมูลเกี่ยวกับพารามิเตอร์ที่ใช้สำหรับ generatinng ข้อมูลในรหัส Builder TFDS ใน ./data/pathfinder PathFinder เรากำลังเตรียมข้อมูลที่แน่นอนสำหรับการเปิดตัวในขณะนี้

คำเตือน

นี่ไม่ใช่ผลิตภัณฑ์ของ Google อย่างเป็นทางการ

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด