Descarga LTSF Linear - Descargar el código fuente LTSF Linear

LTSF Linear

Pitón

1.0.0

Descargar

¿Son efectivos los transformadores para el pronóstico de series de tiempo? (AAAI 2023)

Este repositorio es la implementación oficial de Pytorch de LTSF-LINEAR: "¿Son efectivos los transformadores para el pronóstico de series de tiempo?".

Actualizaciones

[2024/01/28] Nuestro modelo se ha incluido en NeuralForecast. ¡Un agradecimiento especial al colaborador @cchallu!
[2022/11/23] ¡Aceptado para AAAI 2023 con tres aceptaciones fuertes! También lanzamos un punto de referencia para el pronóstico de series de tiempo a largo plazo para futuras investigaciones.
[2022/08/25] ¡Actualizamos nuestro documento con análisis exhaustivos sobre por qué los transformadores LTSF existentes no funcionan bien en el problema LTSF!
[2022/08/25] Además de Dlinear, estamos emocionados de agregar dos modelos lineales al papel y este repositorio. ¡Ahora tenemos una familia LTSF-Linear!
- Lineal: solo una capa lineal.
- Dlinear: descomposición lineal para manejar datos con tendencia y patrones de estacionalidad.
- Nlinear: un lineal normalizado para lidiar con los cambios de distribución del conjunto de pruebas de tren. Consulte la sección 'LTSF-LINEAR' para obtener más detalles.
[2022/08/25] Actualizamos algunos scripts de LTSF-LINEAR.
- Lineal, Nlinear y Dlinear usan los mismos scripts.
- Algunos resultados de Dlinear son ligeramente diferentes ahora.

Características

Agregue un punto de referencia para el pronóstico de series de tiempo a largo plazo.
Apoya el pronóstico de series de tiempo a largo plazo univariadas y multivariadas a largo plazo.
Apoye la visualización de pesos.
Admite scripts en diferentes tamaños de ventana de retroceso.

Además de LTSF-Linear, proporcionamos cinco transformadores de pronóstico significativos para volver a implementar los resultados en el documento.

Descripción detallada

Proporcionamos todos los archivos de script de experimentos en ./scripts :

Archivos	Interpretación
Exp-Longforecasting	Tarea de pronóstico de series de tiempo a largo plazo
Exp-SeevbackWindow	Estudiar el impacto de los diferentes tamaños de ventana de retroceso
EXP-Embeding	Estudiar los efectos de diferentes estrategias de incrustación

Este código simplemente se basa en la base de código de autoformador. Apreciamos mucho los siguientes reposadores de GitHub por su valiosa base de código o conjuntos de datos:

La implementación de AutoFormer, Informer y Transformer es de https://github.com/thuml/autoformer

La implementación de FedFormer es de https://github.com/maziqing/fedformer

La implementación de PyraFormer es de https://github.com/alipay/pyraformer

LTSF-lineal

LTSF-LINEAR FAMILY

imagen LTSF-LINEAR es un conjunto de modelos lineales.

Lineal: es solo un modelo lineal de una capa, pero supera a los transformadores.
Nlinear: para aumentar el rendimiento de Lineal cuando hay un cambio de distribución en el conjunto de datos , Nlinear primero resta la entrada por el último valor de la secuencia. Luego, la entrada pasa por una capa lineal, y la parte restada se agrega de regreso antes de hacer la predicción final. La resta y la adición en Nlinear son una normalización simple para la secuencia de entrada.
Dlinear: es una combinación de un esquema de descomposición utilizado en autoformador y Fedformer con capas lineales. Primero descompone una entrada de datos sin procesar en un componente de tendencia por un núcleo de promedio móvil y un componente restante (estacional). Luego, se aplican dos capas lineales de una capa a cada componente y resumimos las dos características para obtener la predicción final. Al manejar explícitamente la tendencia, Dlinear mejora el rendimiento de una vainilla lineal cuando hay una tendencia clara en los datos.

Aunque LTSF-Lineal es simple, tiene algunas características convincentes:

Una longitud de la ruta de recorrido de señal máxima O (1): cuanto más corta sea la ruta, mejor se capturan las dependencias, lo que hace que LTSF-lineal sea capaz de capturar relaciones temporales de corto alcance y de largo alcance.
Alta eficiencia: como cada rama tiene solo una capa lineal, cuesta memoria mucho más baja y menos parámetros y tiene una velocidad de inferencia más rápida que los transformadores existentes.
Interpretabilidad: después del entrenamiento, podemos visualizar pesos para tener algunas ideas sobre los valores predichos.
Fácil de usar: LTSF-LINEAR se puede obtener fácilmente sin ajustar hiperparametros modelo.

Comparación con Transformers

Pronóstico univariado: imagen Pronóstico multivariado: imagen LTSF-lineal supera todos los métodos basados en transformadores por un gran margen.

Eficiencia

imagen Comparación de la eficiencia del método con el tamaño de la ventana de respaldo 96 y los pasos de pronóstico 720 en la electricidad. Las MAC son el número de operaciones de acumulación multiplicada. Usamos dlinear para comparación ya que tiene el doble costo en LTSF-LINEAR. El tiempo de inferencia promedia 5 carreras.

Empezando

Requisitos ambientales

Primero, asegúrese de haber instalado Condo. Entonces, nuestro entorno se puede instalar por:

 conda create -n LTSF_Linear python=3.6.9
conda activate LTSF_Linear
pip install -r requirements.txt

Preparación de datos

Puede obtener los nueve puntos de referencia de Google Drive proporcionados en Autoformer. Todos los conjuntos de datos están bien preprocesados y se pueden usar fácilmente.

 mkdir dataset

Póngalos en el directorio ./dataset

Ejemplo de entrenamiento

En scripts/ , proporcionamos la implementación del modelo dlinear/autoformer/informador/transformer
En FEDformer/scripts/ , proporcionamos la implementación de FedFormer
En Pyraformer/scripts/ , proporcionamos la implementación de PyraFormer

Por ejemplo:

Para entrenar el LTSF-Linear en el conjunto de datos de tasa de intercambio , puede usar el script scripts/EXP-LongForecasting/Linear/exchange_rate.sh :

 sh scripts/EXP-LongForecasting/Linear/exchange_rate.sh

Comenzará a entrenar dlinear de forma predeterminada, los resultados se mostrarán en logs/LongForecasting . Puede especificar el nombre del modelo en el script. (Lineal, dlinear, nlinear)

Todos los scripts sobre el uso de LTSF-LINEAR en tarea de pronóstico larga están en scripts/EXP-LongForecasting/Linear/ , puede ejecutarlos de manera similar. La ventana de respaldo predeterminada en los scripts es 336, LTSF-LINEAR generalmente logra mejores resultados con una ventana de retroceso más larga como se dice en el papel.

Los scripts sobre el tamaño de la ventana de retroceso y el pronóstico largo de FedFormer y Pyraformer están en FEDformer/scripts y Pyraformer/scripts , respectivamente. Para ejecutarlos, debe primero cd FEDformer o cd Pyraformer . Luego, puede usar SH para ejecutarlos de manera similar. Los registros se almacenarán en logs/ .

Cada experimento en scripts/EXP-LongForecasting/Linear/ toma 5 minutos-20 minutos. Para otros scripts de transformadores, dado que colocamos todos los experimentos relacionados en un archivo de script, ejecutarlos directamente tomará 8 horas por día. Puede mantener los experimentos que le interesan y comentar sobre los demás.

Visualización de pesas

Como se muestra en nuestro documento, los pesos de LTSF-lineal pueden revelar algunas características de los datos, es decir, la periodicidad. Como ejemplo, proporcionamos la visualización de peso de dlinear en weight_plot.py . Para ejecutar la visualización, debe ingresar la ruta del modelo (model_name) de dlinear (el directorio de modelos en ./checkpoint de forma predeterminada). Para obtener patrones suaves y claros, puede usar la inicialización que proporcionamos en el archivo de modelos lineales.

imagen

Citando

Si encuentra que este repositorio es útil para su trabajo, considere citarlo de la siguiente manera:

 @inproceedings { Zeng2022AreTE ,
  title = { Are Transformers Effective for Time Series Forecasting? } ,
  author = { Ailing Zeng and Muxi Chen and Lei Zhang and Qiang Xu } ,
  journal = { Proceedings of the AAAI Conference on Artificial Intelligence } ,
  year = { 2023 }
}