LTSF Linear

هل المحولات فعالة للتنبؤ السلاسل الزمنية؟ (AAAI 2023)

هذا الريبو هو تنفيذ Pytorch الرسمي لـ LTSF-Linar: "هل المحولات فعالة للتنبؤ بسلسلة زمنية؟".

التحديثات

• [2024/01/28] تم تضمين نموذجنا في NeuralForecast. شكر خاص للمساهم cchallu!

• [2022/11/23] قبلت AAAI 2023 مع ثلاثة قبول قوي! نطلق أيضًا معيارًا للتنبؤ بسلسلة زمنية طويلة الأجل لمزيد من البحث.

• [2022/08/25] نقوم بتحديث ورقتنا من خلال تحليلات شاملة حول سبب عدم عمل المحولات LTSF الحالية بشكل جيد في مشكلة LTSF!

• [2022/08/25] إلى جانب Dlinear ، نحن متحمسون لإضافة نموذجين خطيين إلى الورقة وهذا الريبو. الآن لدينا عائلة LTSF-Linar!

  • خطي: طبقة خطية واحدة فقط.
  • Dlinear: تحلل خطي للتعامل مع البيانات مع أنماط الاتجاه والموسمية.
  • nlinerear: خطي تطبيع للتعامل مع نوبات توزيع اختبار الاختبار. انظر القسم "LTSF-Linar" لمزيد من التفاصيل.

• [2022/08/25] نقوم بتحديث بعض البرامج النصية من LTSF-Linar.

  • استخدم البرامج النصية الخطي ، غير الخطي ، و dlinear نفس البرامج النصية.
  • بعض نتائج Dlinear مختلفة قليلاً الآن.

سمات

• أضف معيارًا للتنبؤ بسلسلة زمنية طويلة الأجل.
• دعم كل من التنبؤ بسلسلة زمنية طويلة الأجل متغير ومتعدد المتغيرات.
• دعم تصور الأوزان.
• دعم البرامج النصية على حجم نافذة نظرة مختلفة.

إلى جانب LTSF-Linar ، فإننا نقدم خمسة محولات تنبؤ مهمة لإعادة تنفيذ النتائج في الورقة.

• Transformer (Neuips 2017)
• مخبر (AAAI 2021 أفضل ورقة)
• مؤلف تلقائي (Neuips 2021)
• Pyraformer (ICLR 2022 عن طريق الفم)
• FedFormer (ICML 2022)

وصف مفصل

نحن نقدم جميع ملفات البرنامج النصي للتجربة في ./scripts :

الملفات	تفسير
فترة طويلة	مهمة التنبؤ بسلسلة زمنية طويلة الأجل
exp-slowbackwindow	ادرس تأثير أحجام النوافذ المختلفة
expedding	دراسة آثار استراتيجيات التضمين المختلفة

هذا الرمز مبني ببساطة على قاعدة رمز التورم التلقائي. نحن نقدر GitHub Repos التالية كثيرًا لقاعدة الكود أو مجموعات البيانات القيمة:

إن تنفيذ المؤسسة التلقائية والمخبر والمحول من https://github.com/thuml/autoformer

تنفيذ FedFormer من https://github.com/maziqing/fedformer

تنفيذ pyraformer هو من https://github.com/alipay/pyraformer

LTSF-Linar

عائلة LTSF-Linar

LTSF-Linar هي مجموعة من النماذج الخطية.

• خطي: إنه مجرد نموذج خطي من طبقة واحدة ، لكنه يتفوق على المحولات.
• Nlinear: لزيادة أداء الخطي عندما يكون هناك تحول توزيع في مجموعة البيانات ، يقوم Nlinear أولاً بطرح الإدخال بالقيمة الأخيرة من التسلسل. بعد ذلك ، يمر المدخلات من خلال طبقة خطية ، ويتم إضافة الجزء الذي تم طرحه مرة أخرى قبل إجراء التنبؤ النهائي. الطرح والإضافة في nlinerear هما تطبيع بسيط لتسلسل الإدخال.
• Dlinear: إنه مزيج من مخطط التحلل المستخدم في التورم التلقائي و FedFormer مع طبقات خطية. يقوم أولاً بتحلل إدخال البيانات الخام في مكون الاتجاه بواسطة kernel المتوسط المتحرك ومكون ما تبقى (موسمي). بعد ذلك ، يتم تطبيق طبقتين خطية من طبقة واحدة على كل مكون ونلخص الميزتين للحصول على التنبؤ النهائي. من خلال التعامل مع الاتجاه الصريح ، يعزز Dlinear أداء خطي الفانيليا عندما يكون هناك اتجاه واضح في البيانات.

على الرغم من أن LTSF-Linar بسيط ، إلا أنه يحتوي على بعض الخصائص المقنعة:

• A O (1) الحد الأقصى لطول مسار اجتياز الإشارة: كلما كان المسار أقصر ، كلما تم التقاط التبعيات بشكل أفضل ، مما يجعل LTSF-Linar قادرًا على التقاط علاقات زمنية قصيرة المدى وطويلة المدى.
• عالية الكفاءة: نظرًا لأن كل فرع لديه طبقة خطية واحدة فقط ، فإنه يكلف ذاكرة أقل بكثير وعدد أقل من المعلمات ولديه سرعة استنتاج أسرع من المحولات الموجودة.
• التفسير: بعد التدريب ، يمكننا تصور الأوزان للحصول على بعض الأفكار حول القيم المتوقعة.
• سهلة الاستخدام: يمكن الحصول على LTSF-Linar بسهولة دون ضبط المعلمات المفرطة النموذجية.

مقارنة مع المحولات

التنبؤ أحادي المتغير: التنبؤ متعدد المتغيرات: يتفوق LTSF-Linar على جميع الأساليب القائمة على المحولات بهامش كبير.

كفاءة

مقارنة كفاءة الطريقة مع حجم نافذة النظر 96 وخطوات التنبؤ 720 على الكهرباء. Macs هي عدد العمليات المضاعفة. نستخدم Dlinear للمقارنة نظرًا لأنه يتمتع بتكلفة مزدوجة في LTSF-Linar. متوسط وقت الاستنتاج 5 أشواط.

ابدء

متطلبات البيئة

أولاً ، يرجى التأكد من تثبيت كوندا. ثم ، يمكن تثبيت بيئتنا بواسطة:

 conda create -n LTSF_Linear python=3.6.9
conda activate LTSF_Linear
pip install -r requirements.txt

إعداد البيانات

يمكنك الحصول على جميع المعايير التسعة من Google Drive المتوفرة في المؤسسة التلقائية. جميع مجموعات البيانات مملوءة مسبقًا ويمكن استخدامها بسهولة.

 mkdir dataset

يرجى وضعهم في دليل ./dataset

مثال التدريب

• في scripts/ ، نقدم تنفيذ النموذج Dlinear/AutoFormer/Informer/Offer
• في FEDformer/scripts/ ، نقدم تطبيق FedFormer
• في Pyraformer/scripts/ ، نقدم تنفيذ pyraformer

على سبيل المثال:

لتدريب LTSF-Linar على مجموعة بيانات معدل التبادل ، يمكنك استخدام scripts/EXP-LongForecasting/Linear/exchange_rate.sh :

 sh scripts/EXP-LongForecasting/Linear/exchange_rate.sh

سيبدأ تدريب Dlinear بشكل افتراضي ، سيتم عرض النتائج في logs/LongForecasting . يمكنك تحديد اسم النموذج في البرنامج النصي. (خطي ، dlinear ، nlinerear)

جميع البرامج النصية حول استخدام LTSF-Linar على مهمة التنبؤ الطويلة في scripts/EXP-LongForecasting/Linear/ ، يمكنك تشغيلها بطريقة مماثلة. تبلغ نافذة البحث الافتراضية في البرامج النصية 336 ، وتحقيق LTSF-Linar بشكل عام نتائج أفضل مع نافذة ذات مظهر أطول كما هو مبلل في الورقة.

البرامج النصية حول حجم نافذة النظر والتنبؤ الطويل لـ FedFormer و Pyraformer موجودة في FEDformer/scripts و Pyraformer/scripts ، على التوالي. لتشغيلها ، تحتاج إلى أول cd FEDformer أو cd Pyraformer . بعد ذلك ، يمكنك استخدام SH لتشغيلها بطريقة مماثلة. سيتم تخزين السجلات في logs/ .

كل تجربة في scripts/EXP-LongForecasting/Linear/ تأخذ 5 دقائق 20 دقيقة. بالنسبة إلى البرامج النصية الأخرى للمحولات ، نظرًا لأننا نضع جميع التجارب ذات الصلة في ملف نص واحد ، فإن تشغيلها مباشرة سيستغرق 8 ساعات في اليوم. يمكنك الاحتفاظ بالتجارب التي تهتم بها والتعليق على الآخرين.

أوزان التصور

كما هو موضح في ورقتنا ، يمكن أن تكشف أوزان LTSF-Linar عن بعض خصائص البيانات ، أي الدورية. على سبيل المثال ، نحن نقدم تصور الوزن لـ Dlinear في weight_plot.py . لتشغيل التصور ، تحتاج إلى إدخال مسار النموذج (model_name) من Dlinear (دليل النموذج في ./checkpoint افتراضيًا). للحصول على أنماط سلسة وواضحة ، يمكنك استخدام التهيئة التي قدمناها في ملف النماذج الخطية.

نقلا عن

إذا وجدت هذا المستودع مفيدًا لعملك ، فيرجى التفكير في الإشارة إلى ذلك على النحو التالي:

 @inproceedings { Zeng2022AreTE ,
  title = { Are Transformers Effective for Time Series Forecasting? } ,
  author = { Ailing Zeng and Muxi Chen and Lei Zhang and Qiang Xu } ,
  journal = { Proceedings of the AAAI Conference on Artificial Intelligence } ,
  year = { 2023 }
}

يرجى تذكر الاستشهاد بجميع مجموعات البيانات ومقارنة الأساليب إذا كنت تستخدمها في تجاربك.