PyPOTS
v0.8.1 ?
Une boîte à outils Python pour l'apprentissage automatique sur des séries chronologiques partiellement observées
⦿ Motivation : pour toutes sortes de raisons telles que l'échec des capteurs de collecte, l'erreur de communication et le dysfonctionnement inattendu, les valeurs manquantes sont courantes à voir dans les séries chronologiques à partir de l'environnement réel. Cela fait des séries chronologiques partiellement observées (POTS) un problème omniprésent dans la modélisation du monde ouvert et empêche l'analyse avancée des données. Bien que ce problème soit important, le domaine de l'apprentissage automatique sur les pots n'a toujours pas de boîte à outils dédiée. Pypots est créé pour remplir ce blanc.
⦿ Mission : Pypots (prononcé "tarte") est né pour devenir une boîte à outils pratique qui va rendre l'apprentissage automatique sur les pots plutôt que fastidieux, pour aider les ingénieurs et les chercheurs à se concentrer davantage sur les problèmes de base entre leurs mains plutôt que sur la façon de gérer les parties manquantes de leurs données. Les Pypots continueront d'intégrer les algorithmes d'apprentissage automatique classiques et les derniers algorithmes d'apprentissage de pointe pour des séries chronologiques multivariées partiellement observées. À coup sûr, en plus de divers algorithmes, les Pypots auront des API unifiées avec une documentation détaillée et des exemples interactifs à travers les algorithmes en tant que tutoriels.
? Veuillez jouer ce dépôt pour aider les autres à remarquer les Pypots si vous pensez qu'il s'agit d'une boîte à outils utile. Veuillez citer des Pypots dans vos publications si cela aide à vos recherches. Cela signifie vraiment beaucoup pour nos recherches open source. Merci!
Le reste de ce fichier ReadMe est organisé comme suit: ❖ Algorithmes disponibles , ❖ Ecosystème des Pypots , ❖ Installation , ❖ Utilisation , ❖ Citant pypots , ❖ Contribution , ❖ Communauté .
Les Pypots prennent en charge l'imputation, la classification, le clustering, les prévisions et les tâches de détection d'anomalies sur des séries chronologiques multivariées partiellement observées avec des valeurs manquantes. Le tableau ci-dessous montre la disponibilité de chaque algorithme (trié par année) dans des pypots pour différentes tâches. Le symbole ✅ indique que l'algorithme est disponible pour la tâche correspondante (notez que les modèles seront mis à jour en continu à l'avenir pour gérer les tâches qui ne sont pas actuellement prises en charge. Restez à l'écoute❗️).
? Depuis V0.2 , tous les modèles de réseaux neuronaux dans les Pypots ont un support d'hyperparamètre-optimisation. Cette fonctionnalité est implémentée avec le cadre Microsoft NNI. Vous voudrez peut-être vous référer à notre relevé d'imputation de séries chronologiques Repo Awesome_imputation pour voir comment configurer et régler les hyperparamètres.
Notez que tous les modèles avec qui le nom ?? Dans le tableau (par exemple, transformateur, iTransformateur, informateur, etc.) ne sont pas initialement proposés comme algorithmes pour les données POSS dans leurs articles, et ils ne peuvent pas accepter directement les séries chronologiques avec des valeurs manquantes comme entrée, sans parler de l'imputation. Pour les rendre applicables aux données POTS, nous appliquons spécifiquement la stratégie d'intégration et l'approche de formation (ORT + MIT) comme nous l'avons fait dans le papier SAITS 1 .
Les types de tâches sont abrégés comme suit: IMPU : Imputation; FORE : prévision; CLAS : classification; CLUS : clustering; ANOD : détection d'anomalies. Les références et les liens du papier sont tous répertoriés au bas de ce fichier.
| Taper | Algo | Impu | Avant | Clas | Coussin | Anode | Année - lieu |
|---|---|---|---|---|---|---|---|
| LLM | Série temporelle.ai 2 | ✅ | ✅ | ✅ | ✅ | ✅ | Later in 2024 |
| Neural neural | Tefn? ? 3 | ✅ | 2024 - arXiv | ||||
| Neural neural | Convient? ? 4 | ✅ | 2024 - ICLR | ||||
| Neural neural | Timemixer 5 | ✅ | 2024 - ICLR | ||||
| Neural neural | itransformateur? ? 6 | ✅ | 2024 - ICLR | ||||
| Neural neural | ModernTcn 7 | ✅ | 2024 - ICLR | ||||
| Neural neural | ImputeFormer? ? 8 | ✅ | 2024 - KDD | ||||
| Neural neural | Saits 1 | ✅ | 2023 - ESWA | ||||
| Neural neural | Frères? ? 9 | ✅ | 2023 - NeurIPS | ||||
| Neural neural | Koopa? ? 10 | ✅ | 2023 - NeurIPS | ||||
| Neural neural | CrossFormer? ? 11 | ✅ | 2023 - ICLR | ||||
| Neural neural | TimesNet 12 | ✅ | 2023 - ICLR | ||||
| Neural neural | Patchtst? ? 13 | ✅ | 2023 - ICLR | ||||
| Neural neural | Etsformmer? ? 14 | ✅ | 2023 - ICLR | ||||
| Neural neural | Micn? ? 15 | ✅ | 2023 - ICLR | ||||
| Neural neural | Dlinear? ? 16 | ✅ | 2023 - AAAI | ||||
| Neural neural | Marée? 17 | ✅ | 2023 - TMLR | ||||
| Neural neural | CSAI 18 | ✅ | ✅ | 2023 - arXiv | |||
| Neural neural | Segrnn? ? 19 | ✅ | 2023 - arXiv | ||||
| Neural neural | SCINET? ? 20 | ✅ | 2022 - NeurIPS | ||||
| Neural neural | Tr.? 21 | ✅ | 2022 - NeurIPS | ||||
| Neural neural | Film? 22 | ✅ | 2022 - NeurIPS | ||||
| Neural neural | Revivin_scinet? ? 23 | ✅ | 2022 - ICLR | ||||
| Neural neural | Pyraformer? ? 24 | ✅ | 2022 - ICLR | ||||
| Neural neural | Pain de pluie 25 | ✅ | 2022 - ICLR | ||||
| Neural neural | Fedformer? ? 26 | ✅ | 2022 - ICML | ||||
| Neural neural | Autoformer? ? 27 | ✅ | 2021 - NeurIPS | ||||
| Neural neural | CSDI 28 | ✅ | ✅ | 2021 - NeurIPS | |||
| Neural neural | Informateur? 29 | ✅ | 2021 - AAAI | ||||
| Neural neural | US-Gan 30 | ✅ | 2021 - AAAI | ||||
| Neural neural | CRLI 31 | ✅ | 2021 - AAAI | ||||
| Probabiliste | Bttf 32 | ✅ | 2021 - TPAMI | ||||
| Neural neural | Stemgnn? ? 33 | ✅ | 2020 - NeurIPS | ||||
| Neural neural | Réformateur? 34 | ✅ | 2020 - ICLR | ||||
| Neural neural | GP-VAE 35 | ✅ | 2020 - AISTATS | ||||
| Neural neural | VADER 36 | ✅ | 2019 - GigaSci. | ||||
| Neural neural | M-RNN 37 | ✅ | 2019 - TBME | ||||
| Neural neural | Britanniques 38 | ✅ | ✅ | 2018 - NeurIPS | |||
| Neural neural | Gru-D 39 | ✅ | ✅ | 2018 - Sci. Rep. | |||
| Neural neural | Tcn? ? 40 | ✅ | 2018 - arXiv | ||||
| Neural neural | Transformateur? 41 | ✅ | 2017 - NeurIPS | ||||
| Naïf | Lerp 42 | ✅ | |||||
| Naïf | Locf / nocb | ✅ | |||||
| Naïf | Signifier | ✅ | |||||
| Naïf | Médian | ✅ |
? Contribuez maintenant votre modèle pour augmenter votre impact sur la recherche! Les téléchargements Pypots augmentent rapidement ( 300k + au total et 1k + par jour sur PYPI jusqu'à présent ), et votre travail sera largement utilisé et cité par la communauté. Reportez-vous au guide de contribution pour voir comment inclure votre modèle dans les pypots.
Chez Pypots, les choses sont liées au café, que nous connaissons. Oui, c'est un univers de café! Comme vous pouvez le voir, il y a une cafetière dans le logo Pypots. Et quoi d'autre? Veuillez lire la suite ;-)
? Les ensembles de données sur les séries chronologiques sont pris en tant que grains de café chez Pypots, et les ensembles de données POTS sont des grains de café incomplets avec des pièces manquantes qui ont leur propre signification. Pour rendre divers ensembles de données de séries chronologiques publiques facilement disponibles pour les utilisateurs, les beans de données de séries chronologiques (TSDB) sont créés pour rendre les ensembles de données de séries chronologiques de chargement super faciles! Visitez TSDB dès maintenant pour en savoir plus sur cet outil pratique?, Et il prend maintenant en charge un total de 172 ensembles de données open source!
Pour simuler les grains de données du monde réel avec la manque de manque, le Pygrinder de la bibliothèque écosystémique, une boîte à outils aidant à moudre vos grains de café en incomplètes, est créé. Les modèles manquants se répartissent en trois catégories selon la théorie 43 de Robin: MCAR (manquant complètement au hasard), Mar (manquant au hasard) et MNAR (manquant non au hasard). PyGrinder les soutient toutes et les fonctionnalités supplémentaires liées à la manque de manque. Avec PyGrinder, vous pouvez introduire des valeurs manquantes synthétiques dans vos ensembles de données avec une seule ligne de code.
? Pour évaluer équitablement les performances des algorithmes de Pypots, les bancs de banc de benchmarking sont créés, qui fournit des pipelines de procédure de données standard et unifiés pour préparer des ensembles de données pour mesurer les performances de différents algorithmes de pots sur diverses tâches.
Maintenant, les grains, le broyeur et le pot sont prêts, veuillez prendre un siège sur le banc et réfléchissons à la façon de nous préparer une tasse de café. Les tutoriels sont nécessaires! Compte tenu de la charge de travail future, les didacticiels Pypots sont publiés dans un seul dépôt et vous pouvez les trouver dans Brewpots. Jetez un œil à cela maintenant et apprenez à préparer vos ensembles de données POTS!
☕️ Bienvenue dans l'univers des Pypots. Profitez-en et amusez-vous!
Vous pouvez vous référer à l'instruction d'installation dans la documentation Pypots pour une ligne directrice avec plus de détails.
Pypots est disponible sur PYPI et Anaconda. Vous pouvez installer des pypots comme ci-dessous ainsi que TSDB, PyGrinder, Benchpots et AI4TS:
# via pip
pip install pypots # the first time installation
pip install pypots --upgrade # update pypots to the latest version
# install from the latest source code with the latest features but may be not officially released yet
pip install https://github.com/WenjieDu/PyPOTS/archive/main.zip
# via conda
conda install conda-forge::pypots # the first time installation
conda update conda-forge::pypots # update pypots to the latest version Outre Brewpots, vous pouvez également trouver un cahier de tutoriel simple et rapide sur Google Colab. Si vous avez d'autres questions, veuillez vous référer à Pypots Documentation Docs.pypots.com. Vous pouvez également soulever un problème ou demander dans notre communauté.
Nous vous présentons un exemple d'utilisation d'imputation de valeurs manquantes dans les séries chronologiques avec des Pypots ci-dessous, vous pouvez cliquer dessus pour afficher.
# Data preprocessing. Tedious, but PyPOTS can help.
import numpy as np
from sklearn . preprocessing import StandardScaler
from pygrinder import mcar
from pypots . data import load_specific_dataset
data = load_specific_dataset ( 'physionet_2012' ) # PyPOTS will automatically download and extract it.
X = data [ 'X' ]
num_samples = len ( X [ 'RecordID' ]. unique ())
X = X . drop ([ 'RecordID' , 'Time' ], axis = 1 )
X = StandardScaler (). fit_transform ( X . to_numpy ())
X = X . reshape ( num_samples , 48 , - 1 )
X_ori = X # keep X_ori for validation
X = mcar ( X , 0.1 ) # randomly hold out 10% observed values as ground truth
dataset = { "X" : X } # X for model input
print ( X . shape ) # (11988, 48, 37), 11988 samples and each sample has 48 time steps, 37 features
# Model training. This is PyPOTS showtime.
from pypots . imputation import SAITS
from pypots . utils . metrics import calc_mae
saits = SAITS ( n_steps = 48 , n_features = 37 , n_layers = 2 , d_model = 256 , n_heads = 4 , d_k = 64 , d_v = 64 , d_ffn = 128 , dropout = 0.1 , epochs = 10 )
# Here I use the whole dataset as the training set because ground truth is not visible to the model, you can also split it into train/val/test sets
saits . fit ( dataset ) # train the model on the dataset
imputation = saits . impute ( dataset ) # impute the originally-missing values and artificially-missing values
indicating_mask = np . isnan ( X ) ^ np . isnan ( X_ori ) # indicating mask for imputation error calculation
mae = calc_mae ( imputation , np . nan_to_num ( X_ori ), indicating_mask ) # calculate mean absolute error on the ground truth (artificially-missing values)
saits . save ( "save_it_here/saits_physionet2012.pypots" ) # save the model for future use
saits . load ( "save_it_here/saits_physionet2012.pypots" ) # reload the serialized model file for following imputation or training Conseil
[Mises à jour en juin 2024] ? Le premier papier de référence TSI-Bench: Benchmarking Series Imputation est désormais disponible. Le code est open source dans le Repo Awesome_imputation. Avec près de 35 000 expériences, nous fournissons une étude complexe d'analyse comparative sur 28 méthodes d'imputation, 3 modèles manquants (points, séquences, blocs), divers taux manquants et 8 ensembles de données du monde réel.
[Mises à jour en février 2024] ? Notre document d'enquête Deep Learning pour l'imputation multivariée des séries chronologiques: une enquête a été publiée sur ArXIV. Nous passons en revue de manière approfondie la littérature des méthodes d'imputation d'apprentissage en profondeur de pointe pour eux, nous leur fournissons une taxonomie et discutons des défis et des orientations futures dans ce domaine.
Le document introduisant des Pypots est disponible sur Arxiv, et une courte version de celui-ci est acceptée par le 9th SIGKDD International Workshop on Mining and Learning from Hime Series (Milets'23)). De plus , les Pypots ont été inclus comme projet écosystème de Pytorch. Nous recherchons pour le publier dans des lieux académiques prestigieux, par exemple JMLR (Track for Machine Learning Open Source Software). Si vous utilisez des Pypots dans votre travail, veuillez le citer comme ci-dessous et? Mettez en vedette ce référentiel pour faire remarquer aux autres cette bibliothèque. ?
Il existe des projets de recherche scientifiques utilisant des pypots et référençant dans leurs articles. Voici une liste incomplète d'entre eux.
@article { du2023pypots ,
title = { {PyPOTS: a Python toolbox for data mining on Partially-Observed Time Series} } ,
author = { Wenjie Du } ,
journal = { arXiv preprint arXiv:2305.18811 } ,
year = { 2023 } ,
}ou
Wenjie Du. Pypots: une boîte à outils Python pour l'exploration de données sur des séries chronologiques partiellement observées. Arxiv, ABS / 2305.18811, 2023.
Vous êtes les bienvenus pour contribuer à ce projet passionnant!
En engageant votre code, vous
template dans chaque package de tâches (par exemple Pypots / Imputation / modèle) pour démarrer rapidement;Vous pouvez également contribuer à Pypots en regardant simplement? Ce référentiel pour aider plus de gens à le remarquer. Votre star est votre reconnaissance aux Pypots, et c'est important!
? Consultez une liste complète des affiliations de nos utilisateurs sur le site Web de Pypots ici!
Nous nous soucions des commentaires de nos utilisateurs, nous construisons donc la communauté des Pypots sur
Si vous avez des suggestions ou si vous souhaitez contribuer des idées ou partager des articles liés aux séries chronologiques, rejoignez-nous et dites. La communauté des Pypots est ouverte, transparente et sûrement amicale. Travaillons ensemble pour construire et améliorer les Pypots!
Du, W., Cote, D. et Liu, Y. (2023). Saits: Imputation basée sur l'auto-attention pour les séries chronologiques. Systèmes experts avec des applications . ↩ ↩ 2
Project Gungnir, The World 1st LLM pour la modélisation multitâche des séries chronologiques, vous rencontrera bientôt. Valeurs manquantes et longueurs de variables dans vos ensembles de données? Difficile d'effectuer un apprentissage multitâche avec vos séries chronologiques? Plus de problèmes ne sont plus. Nous ouvrirons la demande de test bêta publique récemment ;-) Suivez-nous et resterons à l'écoute! Séries chronologiques.ai ↩
Zhan, T., He, Y., Deng, Y., Li, Z., Du, W., et Wen, Q. (2024). Time Evidence Fusion Network: Vue multi-source dans les prévisions de séries chronologiques à long terme. Arxiv 2024 . ↩
Xu, Z., Zeng, A. et Xu, Q. (2024). Fits: Modélisation des séries chronologiques avec des paramètres 10k. ICLR 2024 . ↩
Wang, S., Wu, H., Shi, X., Hu, T., Luo, H., Ma, L., ... & Zhou, J. (2024). Timemixer: mélange multi-échelle décomposable pour les prévisions de séries chronologiques. ICLR 2024 . ↩
Liu, Y., Hu, T., Zhang, H., Wu, H., Wang, S., Ma, L., et Long, M. (2024). ITRANSORESSE: Les transformateurs inversés sont efficaces pour les prévisions de séries chronologiques. ICLR 2024 . ↩
Luo, D. et Wang X. (2024). ModernTCN: une structure de convolution pure moderne pour l'analyse générale des séries chronologiques. ICLR 2024 . ↩
Nie, T., Qin, G., Mei, Y., et Sun, J. (2024). Imputoformer: Transformers induits par une faible rangs pour l'imputation spatio-temporelle généralisable. KDD 2024 . ↩
Yi, K., Zhang, Q., fan, W., Wang, S., Wang, P., He, H., An, N., Lian, D., Cao, L., & Niu, Z. (2023). Les MLP du domaine de fréquence sont des apprenants plus efficaces dans les prévisions de séries chronologiques. Neirips 2023 . ↩
Liu, Y., Li, C., Wang, J., et Long, M. (2023). Koopa: Apprendre la dynamique des séries chronologiques non stationnaires avec les prédicteurs Koopman. Neirips 2023 . ↩
Zhang, Y., et Yan, J. (2023). CROSSFORMATEUR: Transformateur utilisant la dépendance croisée de dimension pour les prévisions de séries chronologiques multivariées. ICLR 2023 . ↩
Wu, H., Hu, T., Liu, Y., Zhou, H., Wang, J., et Long, M. (2023). TimesNet: modélisation temporelle de variation 2D pour l'analyse des séries chronologiques générales. ICLR 2023 ↩
Nie, Y., Nguyen, NH, Sinthong, P. et Kalagnanam, J. (2023). Une série chronologique vaut 64 mots: prévision à long terme avec Transformers. ICLR 2023 ↩
Woo, G., Liu, C., Sahoo, D., Kumar, A., et Hoi, S. (2023). ETSORMER: Transformers de lissage exponentiel pour les prévisions de séries chronologiques. ICLR 2023 ↩
Wang, H., Peng, J., Huang, F., Wang, J., Chen, J., et Xiao, Y. (2023). MICN: Modélisation de contexte locale et mondiale à grande échelle pour les prévisions de séries à long terme. ICLR 2023 . ↩
Zeng, A., Chen, M., Zhang, L. et Xu, Q. (2023). Les transformateurs sont-ils efficaces pour les prévisions de séries chronologiques ?. AAAI 2023 ↩
Das, A., Kong, W., Leach, A., Mathur, S., Sen, R., & Yu, R. (2023). Prévision à long terme avec Tide: Encodeur dense de la série chronologique. TMLR 2023 . ↩
Qian, L., Ibrahim, Z., Ellis, HL, Zhang, A., Zhang, Y., Wang, T., et Dobson, R. (2023). Connaissance Imputation conditionnelle améliorée pour les séries chronologiques des soins de santé. Arxiv 2023 . ↩
Lin, S., Lin, W., Wu, W., Zhao, F., Mo, R. et Zhang, H. (2023). Segrnn: Réseau neuronal récurrent des segments pour les prévisions de séries chronologiques à long terme. Arxiv 2023 . ↩
Liu, M., Zeng, A., Chen, M., Xu, Z., Lai, Q., Ma, L., et Xu, Q. (2022). SCINET: Modélisation et prévision des séries chronologiques avec une convolution et une interaction de l'échantillon. Neirips 2022 . ↩
Liu, Y., Wu, H., Wang, J., et Long, M. (2022). Transformers non stationnaires: Exploration de la stationnarité dans les prévisions de séries chronologiques. Neirips 2022 . ↩
Zhou, T., Ma, Z., Wen, Q., Sun, L., Yao, T., Yin, W., et Jin, R. (2022). Film: Modèle de mémoire Legendre amélioré de la fréquence pour les prévisions de séries chronologiques à long terme. Neirips 2022 . ↩
Kim, T., Kim, J., Tae, Y., Park, C., Choi, JH et Choo, J. (2022). Normalisation des instances réversibles pour les prévisions de séries chronologiques précises contre le changement de distribution. ICLR 2022 . ↩
Liu, S., Yu, H., Liao, C., Li, J., Lin, W., Liu, Ax et Dustdar, S. (2022). PyraFormer: attention pyramidale à faible complexité pour la modélisation et les prévisions de séries chronologiques à longue portée. ICLR 2022 . ↩
Zhang, X., Zeman, M., Tsiligkaridis, T., et Zitnik, M. (2022). Réseau guidé graphique pour des séries chronologiques multivariées échantillonnées irrégulièrement. ICLR 2022 . ↩
Zhou, T., MA, Z., Wen, Q., Wang, X., Sun, L., et Jin, R. (2022). FedFormer: Transformateur décomposé amélioré en fréquence pour les prévisions de séries à long terme. ICML 2022 . ↩
Wu, H., Xu, J., Wang, J., et Long, M. (2021). Autoformer: transformateurs de décomposition avec corrélation automatique pour les prévisions à long terme des séries. Neirips 2021 . ↩
Tashiro, Y., Song, J., Song, Y., et Ermon, S. (2021). CSDI: Modèles de diffusion basés sur les scores conditionnels pour l'imputation probabiliste des séries chronologiques. Neirips 2021 . ↩
Zhou, H., Zhang, S., Peng, J., Zhang, S., Li, J., Xiong, H., et Zhang, W. (2021). Informateur: au-delà du transformateur efficace pour les prévisions de séquences longues longues. AAAI 2021 . ↩
Miao, X., Wu, Y., Wang, J., Gao, Y., Mao, X., et Yin, J. (2021). Apprentissage semi-supervisé génératif pour l'imputation multivariée des séries chronologiques. AAAI 2021 . ↩
Ma, Q., Chen, C., Li, S., et Cottrell, GW (2021). Représentations d'apprentissage pour le regroupement des séries chronologiques incomplètes. AAAI 2021 . ↩
Chen, X., et Sun, L. (2021). Factorisation temporelle bayésienne pour la prédiction multidimensionnelle des séries chronologiques. Transactions IEEE sur l'analyse des modèles et l'intelligence machine . ↩
Cao, D., Wang, Y., Duan, J., Zhang, C., Zhu, X., Huang, C., Tong, Y., Xu, B., Bai, J., Tong, J., et Zhang, Q. (2020). Réseau neuronal de graphe temporal spectral pour les prévisions multivariées de séries chronologiques. Neirips 2020 . ↩
Kitaev, N., Kaiser, ł., Et Levskaya, A. (2020). Réformateur: le transformateur efficace. ICLR 2020 . ↩
Fortuin, V., Baranchuk, D., Raetsch, G. & Mandt, S. (2020). GP-VAE: Imputation de la série chronologique probabiliste profonde. Aistats 2020 . ↩
Jong, JD, Emon, MA, Wu, P., Karki, R., Sood, M., Godard, P., Ahmad, A., Vrooman, Ha, Hofmann-Apitius, M., et Fröhlich, H. (2019). Apprentissage en profondeur pour le regroupement des trajectoires multivariées des patients cliniques avec des valeurs manquantes. Gigascience . ↩
Yoon, J., Zame, WR et Van der Schaar, M. (2019). Estimation des données manquantes dans les flux de données temporels à l'aide de réseaux de neurones récurrents multidirectionnels. Transactions IEEE sur l'ingénierie biomédicale . ↩
Cao, W., Wang, D., Li, J., Zhou, H., Li, L., et Li, Y. (2018). Britanniques: Imputation récurrente bidirectionnelle pour les séries chronologiques. Neirips 2018 . ↩
Che, Z., Purushotham, S., Cho, K., Sontag, DA et Liu, Y. (2018). Réseaux de neurones récurrents pour les séries chronologiques multivariées avec des valeurs manquantes. Rapports scientifiques . ↩
Bai, S., Kolter, JZ et Koltun, V. (2018). Une évaluation empirique des réseaux génériques convolutionnels et récurrents pour la modélisation des séquences. Arxiv 2018 . ↩
Vaswani, A., Shazeer, NM, Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, Kaiser, L., et Polosukhin, I. (2017). L'attention est tout ce dont vous avez besoin. Neirips 2017 . ↩
Wikipedia: interpolation linéaire ↩
Rubin, DB (1976). Inférence et données manquantes. Biometrika . ↩
