LTSF Linear Download - LTSF Linear Quellcode Download

LTSF Linear

Python

1.0.0

Herunterladen

Sind Transformatoren für die Zeitreihenprognose wirksam? (AAAI 2023)

Dieses Repo ist die offizielle Pytorch-Implementierung von LTSF-linear: "Sind Transformatoren für die Zeitreihenprognose wirksam?".

Aktualisierungen

[2024/01/28] Unser Modell wurde in NeuralForecast aufgenommen. Besonderer Dank geht an den Mitarbeiter @cchallu!
[2022/11/23] mit drei starken Akzeptieren an AAAI 2023 akzeptiert! Wir veröffentlichen auch einen Benchmark für die langfristige Zeitreihenprognose für weitere Forschung.
[2022/08/25] Wir aktualisieren unser Papier mit umfassenden Analysen darüber, warum vorhandene LTSF-Transformer nicht gut für das LTSF-Problem funktionieren!
[2022/08/25] Neben Dlinear freuen wir uns, dem Papier und diesem Repo zwei lineare Modelle hinzuzufügen. Jetzt haben wir eine LTSF-lineare Familie!
- Linear: Nur eine lineare Schicht.
- Dlinear: Zersetzung linear, um Daten mit Trend- und Saisonalitätsmustern zu verarbeiten.
- NLINEAR: Ein normalisierter Linear, um sich mit den Verteilungsverschiebungen für Zugtests zu befassen. Weitere Informationen finden Sie unter Abschnitt 'LTSF-Linear'.
[2022/08/25] Wir aktualisieren einige Skripte von LTSF-linear.
- Linear, nline und dlinear verwenden dieselben Skripte.
- Einige Ergebnisse von Dlinear unterscheiden sich jetzt geringfügig.

Merkmale

Fügen Sie einen Benchmark für die langfristige Zeitreihenprognose hinzu.
Unterstützen Sie sowohl eine univariate als auch multivariate langfristige Zeitreihenprognose.
Unterstützung der Visualisierung von Gewichten.
Unterstützen Sie Skripte für verschiedene Fenstergröße für Look-Back-Fenster.

Neben LTSF-linear stellen wir fünf signifikante Prognosetransformatoren zur Verfügung, um die Ergebnisse in der Arbeit neu zu implementieren.

Detaillierte Beschreibung

Wir stellen alle Experiment -Skriptdateien in ./scripts an:

Dateien	Interpretation
Explogforecasting	Langzeit-Zeitreihenprognoseaufgabe
Exp-LookbackWindow	Untersuchen Sie die Auswirkungen verschiedener Look-Back-Fenstergrößen
Exp-Embedding	Untersuchen Sie die Auswirkungen verschiedener Einbettungsstrategien

Dieser Code ist einfach auf der Codebasis von AutoFormer aufgebaut. Wir schätzen die folgenden Github -Repos sehr für ihre wertvolle Codebasis oder ihre Datensätze:

Die Implementierung von AutoFormer, Informant und Transformator stammt von https://github.com/thuml/autoformer

Die Implementierung von Fedformer stammt von https://github.com/maziqing/fedformer

Die Implementierung von Pyraformer stammt von https://github.com/alipay/pyraformer

LTSF-linear

LTSF-Linare Familie

Bild LTSF-Line ist ein Satz linearer Modelle.

Linear: Es ist nur ein lineares einschichtiges Modell, aber es übertrifft Transformatoren.
NLINEAR: Um die Leistung von Linear zu steigern, wenn im Datensatz eine Verteilungsverschiebung vorliegt , subtrahiert Nlinear zuerst die Eingabe nach dem letzten Wert der Sequenz. Anschließend geht der Eingang durch eine lineare Schicht, und der subtrahierte Teil wird vor der endgültigen Vorhersage zurückgegeben. Die Subtraktion und Addition in nlinear sind eine einfache Normalisierung für die Eingangssequenz.
Dlinear: Es handelt sich um eine Kombination aus einem Zersetzungsschema, das in AutoFormer und Fedformer mit linearen Schichten verwendet wird. Es zersetzt zunächst eine Rohdateneingabe in eine Trendkomponente durch einen gleitenden durchschnittlichen Kernel und eine restliche (saisonale) Komponente. Anschließend werden zwei lineare einschichtige Schichten auf jede Komponente angewendet, und wir fassen die beiden Funktionen zusammen, um die endgültige Vorhersage zu erhalten. Durch den expliziten Umgang mit Trend erhöht Dlinear die Leistung eines Vanille -Linears, wenn die Daten ein klarer Trend aufweisen.

Obwohl LTSF-linear einfach ist, hat es einige überzeugende Eigenschaften:

Ein o (1) maximaler Signal-Durchlaufweglänge: Je kürzer der Pfad ist, desto besser werden die Abhängigkeiten erfasst, wodurch LTSF-linear in der Lage ist, sowohl kurzfristige als auch langfristige zeitliche Beziehungen aufzunehmen.
Hocheffizienz: Da jeder Zweig nur eine lineare Schicht hat, kostet er viel niedrigerer Speicher und weniger Parameter und eine schnellere Inferenzgeschwindigkeit als vorhandene Transformatoren.
Interpretierbarkeit: Nach dem Training können wir Gewichte visualisieren, um einige Einblicke in die vorhergesagten Werte zu erhalten.
Einfach zu bedienende: LTSF-Line kann leicht erhalten werden, ohne dass Hyper-Parameter-Modell-Hyper-Parameter abgestimmt werden.

Vergleich mit Transformatoren

Univariate Prognose: Bild Multivariate Prognose: Bild LTSF-Line übertrifft alle Transformator-basierten Methoden mit großem Rand.

Effizienz

Bild Vergleich der Methodeneffizienz mit Look-Back-Fenstergröße 96 und Prognoseschritte 720 mit Strom. MACs sind die Anzahl der multiplizierten Operationen. Wir verwenden Dlinear zum Vergleich, da es die doppelten Kosten in LTSF-Line hat. Die Inferenzzeit durchschnittlich 5 Läufe.

Erste Schritte

Umgebungsanforderungen

Bitte stellen Sie zunächst sicher, dass Sie Conda installiert haben. Dann kann unsere Umgebung von: installiert werden von:

 conda create -n LTSF_Linear python=3.6.9
conda activate LTSF_Linear
pip install -r requirements.txt

Datenvorbereitung

Sie können alle neun Benchmarks von Google Drive in AutoFormer erhalten. Alle Datensätze sind gut vorverarbeitet und können leicht verwendet werden.

 mkdir dataset

Bitte setzen Sie sie in das Verzeichnis ./dataset

Trainingsbeispiel

In scripts/ bieten wir die Modellimplementierung dlinear/AutoFormer/Informant/Transformator
In FEDformer/scripts/ bieten wir die Fedformer -Implementierung an
In Pyraformer/scripts/ bieten wir die Pyraformer -Implementierung an

Zum Beispiel:

Um den LTSF-linear im Exchange-Rate-Datensatz zu trainieren, können Sie die scripts/EXP-LongForecasting/Linear/exchange_rate.sh verwenden:

 sh scripts/EXP-LongForecasting/Linear/exchange_rate.sh

Es wird standardmäßig Dlinear trainieren. Die Ergebnisse werden in logs/LongForecasting angezeigt. Sie können den Namen des Modells im Skript angeben. (Linear, dlinear, nlinear)

Alle Skripte über die Verwendung von LTSF-linear bei Long Prognosen-Aufgabe sind in scripts/EXP-LongForecasting/Linear/ Sie können sie auf ähnliche Weise ausführen. Das Standard-Look-Back-Fenster in Skripten beträgt 336, LTSF-linear erzielt im Allgemeinen bessere Ergebnisse mit längerem Look-Back-Fenster, wie im Papier dikussiert.

Skripte über die Größe des Look-Back-Fensters und die lange Vorhersage von Fedformer und Pyraformer sind in FEDformer/scripts bzw. Pyraformer/scripts . Um sie auszuführen, müssen Sie den ersten cd FEDformer oder cd Pyraformer . Dann können Sie SH verwenden, um sie auf ähnliche Weise auszuführen. Protokolle werden in logs/ gespeichert.

Jedes Experiment in scripts/EXP-LongForecasting/Linear/ dauert 5 min-20 min. Für andere Transformator -Skripte dauert es 8 Stunden pro Tag, da wir alle verwandten Experimente in eine Skriptdatei einfügen. Sie können die Experimente, an denen Sie interessiert sind, behalten und die anderen kommentieren.

Gewichtsvisualisierung

Wie in unserem Artikel gezeigt, können die Gewichte von LTSF-linear einige Merkmale der Daten ergeben, dh die Periodizität. Als Beispiel liefern wir die Gewichtsvisualisierung von Dlinear in weight_plot.py . Um die Visualisierung auszuführen, müssen Sie den Modellpfad (model_name) von Dlinear (das Modellverzeichnis in ./checkpoint standardmäßig) eingeben. Um reibungslose und klare Muster zu erhalten, können Sie die Initialisierung verwenden, die wir in der Datei linearer Modelle bereitgestellt haben.

Bild

Zitieren

Wenn Sie dieses Repository für Ihre Arbeit nützlich finden, sollten Sie sich wie folgt wie folgt angeben:

 @inproceedings { Zeng2022AreTE ,
  title = { Are Transformers Effective for Time Series Forecasting? } ,
  author = { Ailing Zeng and Muxi Chen and Lei Zhang and Qiang Xu } ,
  journal = { Proceedings of the AAAI Conference on Artificial Intelligence } ,
  year = { 2023 }
}