LTSF Linear - LTSF Linear Source Code Download

LTSF Linear

Pitão

1.0.0

Baixar

Os transformadores são eficazes para a previsão de séries temporais? (AAAI 2023)

Este repo é a implementação oficial do Pytorch do LTSF: "Os Transformers são eficazes para a previsão de séries temporais?".

Atualizações

[2024/01/28] Nosso modelo foi incluído no Neuralforecast. Agradecimentos especiais ao colaborador @cchallu!
[2022/11/23] Aceito para AAAI 2023 com três aceitação forte! Também lançamos uma referência para previsão de séries temporais de longo prazo para mais pesquisas.
[2022/08/25] Atualizamos nosso artigo com análises abrangentes sobre por que os LTSF-Transformadores existentes não funcionam bem no problema da LTSF!
[2022/08/25] Além do Dlinear, estamos empolgados em adicionar dois modelos lineares ao papel e a este repositório. Agora temos uma família LTSF linear!
- Linear: apenas uma camada linear.
- Dlinear: Decomposição linear para lidar com dados com padrões de tendência e sazonalidade.
- NLINEAR: Um linear normalizado para lidar com os turnos de distribuição de conjunto de testes. Consulte a seção 'LTSF-linear' para obter mais detalhes.
[2022/08/25] Atualizamos alguns scripts de LTSF-linear.
- Linear, Nlinear e Dlinear usam os mesmos scripts.
- Alguns resultados do Dlinear são um pouco diferentes agora.

Características

Adicione uma referência para a previsão de séries temporais de longo prazo.
Apoie a previsão de séries temporais univariadas e multivariadas de longo prazo.
Suporte a visualização de pesos.
Suporta scripts em tamanho de janela de aparência diferente.

Além do LTSF linear, fornecemos cinco transformadores de previsão significativos para reimplementar os resultados no artigo.

Descrição detalhada

Fornecemos todos os arquivos de script experimentais em ./scripts :

Arquivos	Interpretação
Exp-Longforecasting	Tarefa de previsão de séries temporais de longo prazo
EXP-LOLLOKBABLEWindow	Estude o impacto de diferentes tamanhos de janela de aparência
EXP-JABEDDIMENTO	Estude os efeitos de diferentes estratégias de incorporação

Este código é simplesmente construído na base de código do auto -former. Agradecemos muito os seguintes repositórios do GitHub por sua valiosa base de código ou conjuntos de dados:

A implementação de autoformador, informante e transformador é de https://github.com/thuml/autoformer

A implementação do Fedformer é de https://github.com/maziqing/fedformer

A implementação do pyraformer é de https://github.com/alipay/pyraformer

LTSF-linear

Família LTSF-Linear

imagem LTSF-Linear é um conjunto de modelos lineares.

Linear: é apenas um modelo linear de uma camada, mas supera os transformadores.
NLINEAR: Para aumentar o desempenho do linear quando há uma mudança de distribuição no conjunto de dados , a Nlinear primeiro subtraia a entrada pelo último valor da sequência. Em seguida, a entrada passa por uma camada linear e a parte subtraída é adicionada de volta antes de fazer a previsão final. A subtração e a adição no nlinear são uma normalização simples para a sequência de entrada.
Dlinear: É uma combinação de um esquema de decomposição usado no Autoformer e Fedformer com camadas lineares. Primeiro, ele decompõe uma entrada de dados brutos em um componente de tendência por um kernel de média móvel e um componente restante (sazonal). Em seguida, duas camadas lineares de uma camada são aplicadas a cada componente e somamos os dois recursos para obter a previsão final. Ao lidar explicitamente com a tendência, o Dlinear aprimora o desempenho de uma baunilha linear quando há uma tendência clara nos dados.

Embora o LTSF-linear seja simples, ele tem algumas características atraentes:

Um comprimento do caminho de travessia máximo de sinal O (1): quanto menor o caminho, melhor as dependências serão capturadas, tornando as relações temporais lineares de LTSF capaz de capturar relações temporais de curto e longo alcance.
Alta eficiência: como cada ramificação possui apenas uma camada linear, custa muito mais baixa memória e menos parâmetros e tem uma velocidade de inferência mais rápida do que os transformadores existentes.
Interpretabilidade: Após o treinamento, podemos visualizar pesos para ter algumas idéias sobre os valores previstos.
Fácil de usar: LTSF-linear pode ser obtido facilmente sem ajustar os hiper-parâmetros do modelo.

Comparação com transformadores

Previsão univariada: imagem Previsão multivariada: imagem O LTSF linear supera todos os métodos baseados em transformadores por uma grande margem.

Eficiência

imagem Comparação da eficiência do método com o tamanho da janela de aparência 96 e as etapas de previsão 720 sobre eletricidade. Os MACs são o número de operações multiplinárias acumuladas. Usamos o Dlinear para comparação, pois ele tem o duplo custo no LTSF-linear. O tempo de inferência média de 5 corridas.

Começando

Requisitos ambientais

Primeiro, verifique se você instalou o CONDA. Então, nosso ambiente pode ser instalado por:

 conda create -n LTSF_Linear python=3.6.9
conda activate LTSF_Linear
pip install -r requirements.txt

Preparação de dados

Você pode obter todos os nove benchmarks do Google Drive fornecidos no Autoformer. Todos os conjuntos de dados são bem pré-processados e podem ser usados facilmente.

 mkdir dataset

Por favor, coloque -os no diretório ./dataset

Exemplo de treinamento

Em scripts/ , fornecemos a implementação do modelo Dlinear/AutoFormer/Informer/Transformer
No FEDformer/scripts/ , fornecemos a implementação do Fedformer
No Pyraformer/scripts/ , fornecemos a implementação do pyraformer

Por exemplo:

Para treinar o LTSF-linear no conjunto de dados de taxa de câmbio , você pode usar os scripts/EXP-LongForecasting/Linear/exchange_rate.sh :

 sh scripts/EXP-LongForecasting/Linear/exchange_rate.sh

Começará a treinar o Dlinear por padrão, os resultados serão mostrados no logs/LongForecasting . Você pode especificar o nome do modelo no script. (Linear, Dlinear, Nlinear)

Todos os scripts sobre o uso do LTSF linear na tarefa de previsão longa está em scripts/EXP-LongForecasting/Linear/ , você pode executá-los de maneira semelhante. A janela de aparência padrão nos scripts é 336, o LTSF-linear geralmente atinge melhores resultados com a janela mais longa, como selida no papel.

Os scripts sobre o tamanho da janela Look-Back e a longa previsão de Fedformer e Pyraformer estão no FEDformer/scripts e Pyraformer/scripts , respectivamente. Para executá -los, você precisa primeiro cd FEDformer ou cd Pyraformer . Em seguida, você pode usar o SH para executá -los de maneira semelhante. Os logs serão armazenados em logs/ .

Cada experimento em scripts/EXP-LongForecasting/Linear/ leva 5 minutos-20min. Para outros scripts do transformador, uma vez que colocamos todas as experiências relacionadas em um arquivo de script, executá -los diretamente levará 8 horas por dia. Você pode manter os experimentos em que está interessado e comentar sobre os outros.

Visualização de pesos

Como mostrado em nosso artigo, os pesos do LTSF-linear podem revelar algumas características dos dados, ou seja, a periodicidade. Como exemplo, fornecemos a visualização de peso do dlinear em weight_plot.py . Para executar a visualização, você precisa inserir o caminho do modelo (Model_Name) do DLINEAR (o diretório do modelo em ./checkpoint por padrão). Para obter padrões suaves e claros, você pode usar a inicialização que fornecemos no arquivo de modelos lineares.

imagem

Citando

Se você achar esse repositório útil para o seu trabalho, considere citá -lo da seguinte forma:

 @inproceedings { Zeng2022AreTE ,
  title = { Are Transformers Effective for Time Series Forecasting? } ,
  author = { Ailing Zeng and Muxi Chen and Lei Zhang and Qiang Xu } ,
  journal = { Proceedings of the AAAI Conference on Artificial Intelligence } ,
  year = { 2023 }
}