หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

หม้อแปลงมีผลบังคับใช้สำหรับการพยากรณ์อนุกรมเวลาหรือไม่? (Aaai 2023)

repo นี้เป็นการดำเนินการ Pytorch อย่างเป็นทางการของ LTSF-Linear: "Transformers มีประสิทธิภาพสำหรับการพยากรณ์อนุกรมเวลาหรือไม่"

การอัปเดต

  • [2024/01/28] แบบจำลองของเรารวมอยู่ใน NeuralForecast ขอขอบคุณเป็นพิเศษสำหรับผู้สนับสนุน @cchallu!

  • [2022/11/23] ได้รับการยอมรับจาก AAAI 2023 ด้วยการยอมรับอย่างแรงสามครั้ง! นอกจากนี้เรายังเปิด ตัวเกณฑ์มาตรฐานสำหรับการพยากรณ์อนุกรมเวลาระยะยาว สำหรับการวิจัยเพิ่มเติม

  • [2022/08/25] เราอัปเดตบทความของเราด้วยการวิเคราะห์ที่ครอบคลุมว่าทำไม LTSF-transformers ที่มีอยู่จึงทำงานได้ไม่ดีกับปัญหา LTSF!

  • [2022/08/25] นอกจาก DLINEAR เรารู้สึกตื่นเต้นที่จะเพิ่มโมเดลเชิงเส้นสองแบบลงในกระดาษและ repo นี้ ตอนนี้เรามีครอบครัว LTSF-Linear!

    • เชิงเส้น: เพียงหนึ่งชั้นเชิงเส้น
    • DLINEAR: การสลายตัวเชิงเส้นเพื่อจัดการข้อมูลที่มีแนวโน้มและรูปแบบตามฤดูกาล
    • NLINEAR: เส้นตรงปกติเพื่อจัดการกับการเปลี่ยนชุดการทดสอบการทดสอบรถไฟ ดูส่วน 'LTSF-Linear' สำหรับรายละเอียดเพิ่มเติม

  • [2022/08/25] เราอัปเดตสคริปต์ของ LTSF-Linear

    • Linear, NLinear และ DLinear ใช้สคริปต์เดียวกัน
    • ผลลัพธ์บางอย่างของ DLinear นั้นแตกต่างกันเล็กน้อยในขณะนี้

คุณสมบัติ

  • เพิ่มเกณฑ์มาตรฐานสำหรับการพยากรณ์อนุกรมเวลาระยะยาว
  • สนับสนุนทั้งการพยากรณ์อนุกรมเวลาระยะยาวแบบ univariate และหลายตัวแปร
  • รองรับการสร้างภาพข้อมูลของน้ำหนัก
  • รองรับสคริปต์เกี่ยวกับขนาดหน้าต่างลุคแบ็คที่แตกต่างกัน

นอกจาก LTSF-Linear แล้วเรายังมีหม้อแปลงการพยากรณ์ที่สำคัญห้าประการเพื่อดำเนินการอีกครั้งผลลัพธ์ในกระดาษ

  • Transformer (Neuips 2017)
  • ผู้แจ้ง (AAAI 2021 กระดาษที่ดีที่สุด)
  • Autoformer (NEUIPS 2021)
  • Pyraformer (ICLR 2022 ORAL)
  • FedFormer (ICML 2022)

คำอธิบายโดยละเอียด

เราให้ไฟล์สคริปต์การทดลองทั้งหมดใน ./scripts :

ไฟล์ การตีความ
ความยาว งานพยากรณ์อนุกรมเวลาระยะยาว
exp-lookbackwindow ศึกษาผลกระทบของขนาดหน้าต่างมองกลับที่แตกต่างกัน
Exp-Embedding ศึกษาผลกระทบของกลยุทธ์การฝังที่แตกต่างกัน

รหัสนี้สร้างขึ้นบนฐานรหัสของ Autoformer เราขอขอบคุณ GitHub Repos ต่อไปนี้มากสำหรับฐานรหัสหรือชุดข้อมูลที่มีค่าของพวกเขา:

การใช้งานของ Autoformer, Informer และ Transformer มาจาก https://github.com/thuml/autoformer

การใช้งานของ fedformer นั้นมาจาก https://github.com/maziqing/fedformer

การดำเนินการของ pyraformer นั้นมาจาก https://github.com/alipay/pyraformer

LTSF-linear

ครอบครัว LTSF-Linear

ภาพ LTSF-Linear เป็นชุดของแบบจำลองเชิงเส้น

  • Linear: มันเป็นเพียงแบบจำลองเชิงเส้นเดียว แต่มันมีประสิทธิภาพสูงกว่าหม้อแปลง
  • NLINEAR: เพื่อเพิ่มประสิทธิภาพของเส้นตรงเมื่อมีการเปลี่ยนแปลงการกระจายในชุดข้อมูล NLINEAR จะลบอินพุตแรกด้วยค่าสุดท้ายของลำดับ จากนั้นอินพุตจะผ่านเลเยอร์เชิงเส้นและส่วนที่ถูกลบออกจะถูกเพิ่มกลับก่อนที่จะทำการคาดการณ์ขั้นสุดท้าย การลบและการเพิ่มใน nlinear เป็นการทำให้เป็นมาตรฐานอย่างง่ายสำหรับลำดับอินพุต
  • DLINEAR: เป็นการรวมกันของรูปแบบการสลายตัวที่ใช้ใน Autoformer และ Fedformer กับชั้นเชิงเส้น ก่อนอื่นมันจะสลายตัวข้อมูลดิบเป็นองค์ประกอบแนวโน้มโดยเคอร์เนลเฉลี่ยเคลื่อนที่และส่วนประกอบที่เหลือ (ตามฤดูกาล) จากนั้นเลเยอร์เชิงเส้นหนึ่งชั้นสองชั้นจะถูกนำไปใช้กับแต่ละองค์ประกอบและเราสรุปคุณสมบัติทั้งสองเพื่อรับการทำนายขั้นสุดท้าย โดยการจัดการแนวโน้มอย่างชัดเจน DLinear ช่วยเพิ่มประสิทธิภาพของวานิลลาเชิงเส้นเมื่อมีแนวโน้มที่ชัดเจนในข้อมูล

แม้ว่า LTSF-Linear นั้นง่าย แต่ก็มีลักษณะที่น่าสนใจบางอย่าง:

  • ความยาวเส้นทางการสำรวจเส้นทาง O (1) ความยาวของเส้นทางการสำรวจความยาว: ยิ่งเส้นทางที่สั้นลงการพึ่งพาจะถูกจับได้ดีขึ้นทำให้ LTSF-Linear สามารถจับภาพความสัมพันธ์ทางโลกระยะสั้นและระยะยาวได้
  • ประสิทธิภาพสูง: เนื่องจากแต่ละสาขามีเลเยอร์เชิงเส้นเพียงหนึ่งชั้นจึงมีค่าใช้จ่ายหน่วยความจำที่ต่ำกว่ามากและพารามิเตอร์น้อยลงและมีความเร็วการอนุมานเร็วกว่าหม้อแปลงที่มีอยู่
  • ความสามารถในการตีความ: หลังจากการฝึกอบรมเราสามารถมองเห็นน้ำหนักเพื่อให้ได้ข้อมูลเชิงลึกเกี่ยวกับค่าที่คาดการณ์ไว้
  • ใช้งานง่าย: LTSF-Linear สามารถหาได้ง่ายโดยไม่ต้องปรับค่าพารามิเตอร์ไฮเปอร์แบบจำลอง

เปรียบเทียบกับหม้อแปลง

การพยากรณ์ univariate:ภาพ การพยากรณ์หลายตัวแปร:ภาพ LTSF-Linear มีประสิทธิภาพสูงกว่าวิธีการที่ใช้หม้อแปลงทั้งหมดโดยระยะขอบขนาดใหญ่

ประสิทธิภาพ

ภาพ การเปรียบเทียบประสิทธิภาพของวิธีการกับขนาดหน้าต่างมองกลับ 96 และขั้นตอนการพยากรณ์ 720 เกี่ยวกับไฟฟ้า MACs คือจำนวนการดำเนินการสะสมคูณ เราใช้ DLinear สำหรับการเปรียบเทียบเนื่องจากมีค่าใช้จ่ายสองเท่าใน LTSF-Linear เวลาอนุมานเฉลี่ย 5 วิ่ง

เริ่มต้น

ข้อกำหนดด้านสิ่งแวดล้อม

ก่อนอื่นโปรดตรวจสอบให้แน่ใจว่าคุณได้ติดตั้ง conda จากนั้นสภาพแวดล้อมของเราสามารถติดตั้งได้โดย: 

 conda create -n LTSF_Linear python=3.6.9
conda activate LTSF_Linear
pip install -r requirements.txt

การเตรียมข้อมูล

คุณสามารถรับมาตรฐานทั้งเก้าจาก Google Drive ที่ให้ไว้ใน Autoformer ชุดข้อมูลทั้งหมดมีการประมวลผลล่วงหน้าและสามารถใช้งานได้ง่าย 

 mkdir dataset

กรุณาใส่ไว้ในไดเรกทอรี ./dataset

ตัวอย่างการฝึกอบรม

  • ใน scripts/ เราให้การใช้งานแบบจำลอง DLINEAR/Autoformer/Informer/Transformer
  • ใน FEDformer/scripts/ เราให้การใช้งาน FedFormer
  • ใน Pyraformer/scripts/ เราให้บริการ Pyraformer

ตัวอย่างเช่น:

ในการฝึกอบรม LTSF-Linear บน ชุดข้อมูลอัตราแลกเปลี่ยน คุณสามารถใช้ scripts/EXP-LongForecasting/Linear/exchange_rate.sh : 

 sh scripts/EXP-LongForecasting/Linear/exchange_rate.sh

มันจะเริ่มฝึก DLINEAR โดยค่าเริ่มต้นผลลัพธ์จะแสดงใน logs/LongForecasting คุณสามารถระบุชื่อของโมเดลในสคริปต์ (เชิงเส้น, dLinear, nlinear)

สคริปต์ทั้งหมดเกี่ยวกับการใช้ LTSF-linear ในงานการพยากรณ์ระยะยาวอยู่ใน scripts/EXP-LongForecasting/Linear/ คุณสามารถเรียกใช้พวกเขาในลักษณะเดียวกัน หน้าต่างการมองกลับแบบเริ่มต้นในสคริปต์คือ 336 โดยทั่วไปแล้ว LTSF-Linear จะได้ผลลัพธ์ที่ดีกว่าด้วยหน้าต่างมองย้อนกลับที่ยาวขึ้นเช่นเดียวกับ dicussed ในกระดาษ

สคริปต์เกี่ยวกับขนาดหน้าต่างที่มองย้อนกลับและการพยากรณ์ระยะยาวของ fedformer และ pyraformer อยู่ใน FEDformer/scripts และ Pyraformer/scripts ตามลำดับ ในการเรียกใช้พวกเขาคุณต้องใช้ cd FEDformer หรือ cd Pyraformer ก่อน จากนั้นคุณสามารถใช้ SH เพื่อเรียกใช้ในลักษณะเดียวกัน บันทึกจะถูกเก็บไว้ใน logs/

การทดลองแต่ละครั้งใน scripts/EXP-LongForecasting/Linear/ ใช้เวลา 5 นาที-20 นาที สำหรับสคริปต์หม้อแปลงอื่น ๆ เนื่องจากเราทำการทดลองที่เกี่ยวข้องทั้งหมดในไฟล์สคริปต์เดียวการเรียกใช้โดยตรงจะใช้เวลา 8 ชั่วโมงต่อวัน คุณสามารถเก็บการทดลองที่คุณสนใจและแสดงความคิดเห็นกับผู้อื่น

การสร้างภาพข้อมูลน้ำหนัก

ดังที่แสดงในกระดาษของเราน้ำหนักของ LTSF-Linear สามารถเปิดเผยลักษณะบางอย่างของข้อมูลเช่นระยะเวลา ตัวอย่างเช่นเราให้การแสดงน้ำหนักของ dLinear ใน weight_plot.py ในการเรียกใช้การสร้างภาพคุณจะต้องป้อนเส้นทางโมเดล (model_name) ของ dLinear (ไดเรกทอรีโมเดลใน ./checkpoint CheckPoint โดยค่าเริ่มต้น) เพื่อให้ได้รูปแบบที่ราบรื่นและชัดเจนคุณสามารถใช้การเริ่มต้นที่เราให้ไว้ในไฟล์ของโมเดลเชิงเส้น

ภาพ

การอ้าง

หากคุณพบว่าที่เก็บนี้มีประโยชน์สำหรับงานของคุณโปรดพิจารณาอ้างดังนี้: 

 @inproceedings { Zeng2022AreTE ,
  title = { Are Transformers Effective for Time Series Forecasting? } ,
  author = { Ailing Zeng and Muxi Chen and Lei Zhang and Qiang Xu } ,
  journal = { Proceedings of the AAAI Conference on Artificial Intelligence } ,
  year = { 2023 }
}

โปรดจำไว้ว่าให้อ้างอิงชุดข้อมูลทั้งหมดและวิธีการเปรียบเทียบหากคุณใช้ในการทดลองของคุณ

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด