awesome sentence embedding

impressionnante

Une liste organisée de modèles d'incorporation de phrases et de mots pré-entraînés

Table des matières

• À propos de ce repo
• Cadre général
• Incorporation de mots
• Manipulation de l'OOV
• Incorporation de mots contextualisés
• Méthodes de mise en commun
• Encodeurs
• Évaluation
• Mission
• Cartographie vectorielle
• Articles

À propos de ce repo

• Eh bien, il y a des listes impressionnantes pour les incorporations de mots et les incorporations de phrases, mais toutes sont obsolètes et surtout incomplètes
• Ce repo sera également incomplet, mais je ferai de mon mieux pour trouver et inclure tous les papiers avec des modèles pré-entraînés
• Ce n'est pas une liste géniale typique car elle a des tables mais je suppose que c'est OK et bien mieux qu'une simple liste
• Si vous trouvez des erreurs ou trouvez un autre papier ou quoi que ce soit, veuillez envoyer une demande de traction et m'aider à maintenir cette liste à jour
• apprécier!

Cadre général

• Presque toutes les incorporations de phrases fonctionnent comme ceci:
• Compte tenu d'une sorte d'incorporation de mots et d'un encodeur facultatif (par exemple un LSTM), ils obtiennent les intérêts des mots contextualisés.
• Ensuite, ils définissent une sorte de mise en commun (cela peut être aussi simple que la dernière mise en commun).
• Sur la base de cela, ils l'utilisent directement pour la tâche de classification supervisée (comme infersmente) ou génèrent la séquence cible (comme le saut-pensée).
• Ainsi, en général, nous avons de nombreuses intérêts de phrases dont vous n'avez jamais entendu parler, vous pouvez simplement faire du pool en avant sur n'importe quel mot incorporant et c'est une phrase qui incorpore!

Incorporation de mots

• Remarque: ne vous inquiétez pas de la langue du code, vous pouvez presque toujours (à l'exception des modèles de sous-mots) utilisez simplement la table d'intégration pré-entraînée dans le cadre de votre choix et ignorez le code de formation

date	papier	décompte des citations	code de formation	modèles pré-entraînés
-	Véducteurs Web: une boîte à outils pour créer des interfaces Web pour les modèles vectoriels sémantiques	N / A	-	Rusvectōrēs
2013/01	Estimation efficace des représentations de mots dans l'espace vectoriel	999+	C	Word2vec
2014/12	Représentations des mots via une intégration gaussienne	221	Cython	-
2014 / ??	Un modèle probabiliste pour apprendre les intégres de mots multi-prototypes	127	Dmtk	-
2014 / ??	Les incorporations de mots basés sur la dépendance	719	C ++	word2vecf
2014 / ??	Gant: vecteurs mondiaux pour la représentation des mots	999+	C	Gant
2015/06	Représentations vectorielles sur les mots sur-complets clairsemés	129	C ++	-
2015/06	De la base de données de paraphrase au modèle de paraphrase de composition et de retour	3	Theano	Paragramme
2015/06	Représentations vectorielles de mot non distributionnelles	68	Python	WordSeat
2015 / ??	Apprentissage conjoint des incorporations de caractère et de mots	195	C	-
2015 / ??	Sensembled: Apprentissage des incorporations de sens pour la similitude des mots et relationnelles	249	-	Enner
2015 / ??	Les incorporations de mots topiques	292	Cython
2016/02	Pivotant: améliorer les intégres en remarquant ce qui manque	61	TF	-
2016/03	Coundre des vecteurs de mots aux contraintes linguistiques	232	Python	contre-ajustement (cassé)
2016/05	Mélange des modèles de sujet Dirichlet et des incorporations de mots pour faire de LDA2VEC	91	Chaîne-chaîne	-
2016/06	Siamois CBOW: Optimisation des incorporations de mots pour les représentations de phrases	166	Theano	Cbow siamois
2016/06	Factorisation matricielle à l'aide d'échantillonnage de fenêtres et d'échantillonnage négatif pour les représentations de mots améliorées	58	Aller	lexvec
2016/07	Enrichir les vecteurs de mots avec des informations sous-mots	999+	C ++	texte rapide
2016/08	Priors morphologiques pour les incorporations de mots neuronaux probabilistes	34	Theano	-
2016/11	Un modèle conjoint à plusieurs tâches: cultiver un réseau de neurones pour plusieurs tâches NLP	359	C ++	charngram2vec
2016/12	ConceptNet 5.5: un graphique multilingue ouvert des connaissances générales	604	Python	Barre
2016 / ??	Apprentissage des méta-emballages de mots	58	-	Meta-Emb (cassé)
2017/02	Vectors de mot bilingue hors ligne, transformations orthogonales et le softmax inversé	336	Python	-
2017/04	Distributions de mots multimodales	57	TF	word2 gm
2017/05	Poincaré Imageddings for Learning Hiérarchical Representations	413	Pytorch	-
2017/06	Encodeurs de contexte comme une extension simple mais puissante de Word2Vec	13	Python	-
2017/06	Spécialisation sémantique des espaces vectoriels de mot distributionnels utilisant des contraintes monolingues et interdicules	99	TF	Attirer l'attraction
2017/08	Apprendre des représentations de mots chinois à partir de glyphes de personnages	44	C	-
2017/08	Donner un sens aux intérêts des mots	92	Python	sens de sens
2017/09	Hash intègre pour des représentations de mots efficaces	25	Kéras	-
2017/10	BPEMB: intégres de sous-mots pré-formés sans tokenisation dans 275 langues	91	Gensim	Bpemb
2017/11	Spine: incorporations neuronales interprétables clairsemées	48	Pytorch	COLONNE VERTÉBRALE
2017 / ??	Aravec: un ensemble de modèles d'incorporation de mots arabes à utiliser dans l'arabe NLP	161	Gensim	Aravec
2017 / ??	NGRAM2VEC: Apprentissage des représentations de mots améliorées à partir de statistiques de co-occurrence NGRAM	25	C	-
2017 / ??	Dict2vec: apprentissage des incorporations de mots utilisant des dictionnaires lexicaux	49	C ++	Dict2vec
2017 / ??	Des incorporations conjointes de mots chinois, de caractères et de composants de sous-chargement à grain fin	63	C	-
2018/04	Compromis de représentation pour les incorporations hyperboliques	120	Pytorch	H-MDS
2018/04	Méta-emballages dynamiques pour améliorer les représentations de phrases	60	Pytorch	DME / CDME
2018/05	Raisonnement analogique sur les relations morphologiques et sémantiques chinoises	128	-	Vecteurs chinois
2018/06	FastText probabiliste pour les intégres de mots multi-sens	39	C ++	FastText probabiliste
2018/09	Incorporer des informations syntaxiques et sémantiques dans les intégres de mots à l'aide de réseaux de convolutionne de graphiques	3	TF	Syngcn
2018/09	FRAGE: représentation des mots en fréquence	64	Pytorch	-
2018/12	Wikipedia2Vec: Un outil optimisé pour l'apprentissage des mots et des entités de Wikipedia	17	Cython	Wikipedia2vec
2018 / ??	Skip-Gram directionnel: distinguant explicitement le contexte gauche et droit pour les incorporations de mots	106	-	Chinois
2018 / ??	CW2VEC: Apprendre des incorporations de mots chinois avec des informations N-gram	45	C ++	-
2019/02	VCWE: intégres de mots améliorés par le personnage visuel	5	Pytorch	VCWE
2019/05	Apprentissage des intégres interdiustes de Twitter via une supervision lointaine	2	Texte	-
2019/08	Une approche neuronale non surveillée non surveillée de l'apprentissage de la représentation des mots et du contexte	5	TF	-
2019/08	Vico: Word Embeddings à partir de cooccurrences visuelles	7	Pytorch	Vico
2019/11	Entrée de texte sphérique	25	C	-
2019 / ??	Les intérêts des mots non surveillés capturent les connaissances latentes de la littérature scientifique des matériaux	150	Gensim	-

Manipulation de l'OOV

• Déposez les mots oov!
• Un vecteur OOV (vecteur unk)
• Utilisez des modèles de sous-mots (NGRAM, BPE, CHAR)
• Alacarte: à la carte intégration: induction bon marché mais efficace de vecteurs de fonctions sémantiques
• Mimick: imitation des incorporations de mots en utilisant des RNN sous-mots
• Compacteronstruction: Reconstruction compacte basée sur des mots sous-mots des incorporations de mots

Incorporation de mots contextualisés

• Remarque: tous les modèles non officiels peuvent charger les modèles officiels pré-entraînés

date	papier	décompte des citations	code	modèles pré-entraînés
-	Les modèles de langage sont des apprenants multitâches non sortis	N / A	TF Pytorch, tf2.0 Kéras	GPT-2 (117m, 124m, 345m, 355m, 774m, 1558m)
2017/08	Appris en traduction: vecteurs de mots contextualisés	524	Pytorch Kéras	Crique
2018/01	Modèle de langage universel ajusté pour la classification du texte	167	Pytorch	Ulmfit (anglais, zoo)
2018/02	Représentations de mots contextualisés profonds	999+	Pytorch TF	Elmo (ALLENNLP, TF-HUB)
2018/04	Représentation contextualisée efficace: élagage du modèle linguistique pour l'étiquetage des séquences	26	Pytorch	Ld-net
2018/07	Vers un meilleur analyse UD: intégration des mots contextualisés profonds, ensemble et concaténation de la banque d'arbres	120	Pytorch	Elmo
2018/08	Connexion de sortie directe pour un modèle de langage de haut rang	24	Pytorch	Doc
2018/10	Bert: pré-formation des transformateurs bidirectionnels profonds pour la compréhension du langage	999+	TF Kéras Pytorch, tf2.0 Mxnet Palette TF Kéras	Bert (Bert, Ernie, Kobert)
2018 / ??	Incorporations de chaînes contextuelles pour marquage de séquence	486	Pytorch	Flair
2018 / ??	Améliorer la compréhension des langues par une pré-formation générative	999+	TF Kéras Pytorch, tf2.0	Gp
2019/01	Réseaux de neurones profonds multi-tâches pour la compréhension du langage naturel	364	Pytorch	MT-DNN
2019/01	Biobert: Modèle de représentation de la langue biomédicale pré-formée pour l'exploration de texte biomédicale	634	TF	Biobert
2019/01	Modèle de langue inter-greatrice pré-formation	639	Pytorch Pytorch, tf2.0	Xlm
2019/01	Transformateur-XL: modèles de langage attentif au-delà d'un contexte de longueur fixe	754	TF Pytorch Pytorch, tf2.0	Transformateur-xl
2019/02	Apprentissage de représentation contextuelle efficace sans couche Softmax	2	Pytorch	-
2019/03	Scibert: des intérêts contextualisés pré-entraînés pour le texte scientifique	124	Pytorch, tf	Scibert
2019/04	Embeddings cliniques de Bert accessibles au public	229	Texte	Clinicalbert
2019/04	Clinicalbert: Modélisation des notes cliniques et prédire la réadmission de l'hôpital	84	Pytorch	Clinicalbert
2019/05	Ernie: Représentation linguistique améliorée avec des entités informatives	210	Pytorch	Ernie
2019/05	Pré-formation du modèle de langue unifiée pour la compréhension et la génération du langage naturel	278	Pytorch	UNILMV1 (UNILM1-Cased, UNILM1-base-base)
2019/05	HIBERT: Pré-formation du niveau de document des transformateurs bidirectionnels hiérarchiques pour le résumé des documents	81		-
2019/06	Pré-formation avec masquage de mot entier pour chinois bert	98	Pytorch, tf	Bert-wwm
2019/06	XLNET: pré-entraînement autorégressif généralisé pour la compréhension du langage	999+	TF Pytorch, tf2.0	Xlnet
2019/07	Ernie 2.0: un cadre continu de pré-formation pour la compréhension du langage	107	Palette	Ernie 2.0
2019/07	Spanbert: Amélioration de la pré-formation en représentant et en prédisant les portées	282	Pytorch	Spanbert
2019/07	Roberta: une approche de pré-formation Bert optimisée à optimisation	999+	Pytorch Pytorch, tf2.0	Roberta
2019/09	Sous-mots elmo	1	Pytorch	-
2019/09	Connaissances des représentations de mots contextuels améliorés	115		-
2019/09	Tinybert: Distillant Bert pour la compréhension du langage naturel	129		-
2019/09	Megatron-LM: Formation de plusieurs milliards de modèles de langage de paramètres utilisant le parallélisme du modèle	136	Pytorch	Megatron-LM (Bert-345m, GPT-2-345M)
2019/09	Multifit: modèle fin de langue multilingue efficace	29	Pytorch	-
2019/09	Compression du modèle de langage extrême avec des sous-mots optimaux et des projections partagées	32		-
2019/09	Mule: Langage universel multimodal intégrant	5		-
2019/09	Unicoder: un codeur de langage universel par pré-formation avec plusieurs tâches inter-lingues	51		-
2019/09	K-Bert: Permettre une représentation du langage avec un graphique de connaissances	59		-
2019/09	Uniter: Apprendre des représentations de texte d'image universel	60		-
2019/09	Albert: A Lite Bert pour l'apprentissage auto-supervisé des représentations linguistiques	803	TF	-
2019/10	BART: Pré-formation de séquence à séquence à la séquence pour la génération, la traduction et la compréhension du langage naturel	349	Pytorch	Bart (bart.base, bart.large, bart.large.mnli, bart.large.cnn, bart.large.xsum)
2019/10	Distilbert, une version distillée de Bert: plus petit, plus rapide, moins cher et plus léger	481	Pytorch, tf2.0	Distilbert
2019/10	Exploration des limites de l'apprentissage du transfert avec un transformateur de texte à texte unifié	696	TF	T5
2019/11	Camembert: un savoureux modèle de langue française	102	-	Camembert
2019/11	Zen: Encodeur de texte chinois pré-formation amélioré par les représentations N-gram	15	Pytorch	-
2019/11	Représentation inter-linguale non supervisée Apprentissage à grande échelle	319	Pytorch	Xlm-r (xlm-roberta) (xlmr.large, xlmr.base)
2020/01	Prophète: prédire le futur n-gram pour la pré-formation de séquence à séquence	35	Pytorch	Prophetnet (Prophetnet-Large-16 Go, Prophetnet-Large-160 Go)
2020/02	Codebert: un modèle pré-formé pour la programmation et les langages naturels	25	Pytorch	Codebert
2020/02	UNILMV2: Modèles de langue pseudo-masqués pour le modèle de langue unifiée pré-formation	33	Pytorch	-
2020/03	Electra: Encodeurs de texte pré-formation comme discriminateurs plutôt que générateurs	203	TF	Electra (Electra-Small, Electra-Base, Electra-Garn)
2020/04	MPNET: pré-formation masquée et permutée pour la compréhension du langage	5	Pytorch	MPNET
2020/05	Parsbert: Modèle basé sur les transformateurs pour la compréhension du langage persan	1	Pytorch	Parsbert
2020/05	Les modèles de langue sont des apprenants à quelques tirs	382	-	-
2020/07	INFOXLM: un cadre théorique de l'information pour le modèle de langue inter-greffe avant la formation	12	Pytorch	-

Méthodes de mise en commun

• {Enfin, méchant, max} -pooling
• Envoi de jeton spécial (comme le transformateur de Bert et Openai)
• SIF: une base de référence simple mais difficile à rythmer pour les intérêts des phrases
• TF-IDF: Représentations de phrases non supervisées comme série d'informations sur les mots: Revisiter TF - IDF
• Norme P: intégration du mot à puissance concaténée comme représentations de phrases inter-lingues universelles
• DISC: Une vue de détection comprimée des incorporations de texte non supervisées, du sac de n-grammes et des LSTM
• Gemme: phrase de formation zéro intégration par base orthogonale
• SWEM: La ligne de base a besoin de plus d'amour: sur des modèles basés sur des mots simples et des mécanismes de mise en commun associés
• VLAWE: Vector of Locally-Acgregated Word Embeddings (VLAWE): une nouvelle représentation au niveau du document
• Efficace de phrase intégrée en utilisant une transformée de cosinus discrète
• FSE: Add-on Gensim pour les incorporations de phrases rapides. Prend en charge la moyenne, Max, SIF, USIF
• Incorporation de phrases efficace via une analyse du sous-espace sémantique

Encodeurs

date	papier	décompte des citations	code	Model_name
-	Adaptation incrémentielle du domaine pour la traduction des machines neuronales dans des paramètres à faible ressource	N / A	Python	Arasif
2014/05	Représentations distribuées des phrases et des documents	999+	Pytorch Python	Doc2vec
2014/11	Unification des intérêts visuels-sémantiques avec des modèles de langage neuronal multimodal	849	Theano Pytorch	Vse
2015/06	Aligner des livres et des films: Vers des explications visuelles de type histoire en regardant des films et en lisant des livres	795	Theano TF Pytorche, torche	Saut
2015/11	Ordre des embouchés d'images et de langues	354	Theano	ordonnance de commande
2015/11	Vers les intérêts universels des phrases paraphrastiques	411	Theano	Paragramphrase
2015 / ??	Des intégres de mots pour documenter les distances	999+	C, Python	Distance du mot de moteur
2016/02	Apprentissage des représentations distribuées des phrases à partir de données non marquées	363	Python	Rapide
2016/07	Charagram: intégrer des mots et des phrases via le caractère n-grams	144	Theano	Charagramme
2016/11	Apprendre des représentations de phrases génériques à l'aide de réseaux de neurones convolutionnels	76	Theano	Convaincant
2017/03	Apprentissage non supervisé des intérêts des phrases à l'aide de fonctionnalités de composition N-gram	319	C ++	Sent2vec
2017/04	Apprendre à générer des critiques et à découvrir le sentiment	293	TF Pytorch Pytorch	Neurone de sentiment
2017/05	Revisiter les réseaux récurrents pour les intérêts des phrases paraphrastiques	60	Theano	Gras
2017/05	Apprentissage supervisé des représentations de phrases universelles à partir des données d'inférence du langage naturel	999+	Pytorch	Infesents
2017/07	VSE ++: Amélioration des intérêts visuels-sémantiques avec des négatifs durs	132	Pytorch	Vse ++
2017/08	Utiliser des millions d'émoji pour apprendre des représentations de tout domaine pour détecter le sentiment, l'émotion et le sarcasme	357	Kéras Pytorch	Deepmoji
2017/09	Starpace: Incorporez toutes les choses!	129	C ++	Vedette d'ardoi d'art
2017/10	Dissidence: apprentissage des représentations de phrases à partir de relations de discours explicites	47	Pytorch	Contestation
2017/11	Pousser les limites des intérêts paraphrastiques des phrases avec des millions de traductions machine	128	Theano	para-nmt
2017/11	Texte d'image convolutionnel à double chemin intégré avec perte d'instance	44	Matlab	Image-Text-Embedding
2018/03	Un cadre efficace pour l'apprentissage des représentations de phrases	183	TF	Considérable
2018/03	Encodeur de phrases universel	564	Truffle	UTILISER
2018/04	Impliquant textuel orienté vers la tâche à l'extrémité via des explorations profondes des interactions intersententes	14	Theano	Déiste
2018/04	Apprentissage des représentations de phrases distribuées par objectif général via l'apprentissage multi-tâches à grande échelle	198	Pytorch	Gensen
2018/06	Intégrer du texte dans des espaces hyperboliques	50	TF	Hypertexte
2018/07	Représentation Apprentissage avec codage prédictif contrasté	736	Kéras	CPC
2018/08	Distance du contexte et barycenters: transport optimal de contextes pour les représentations de la construction	8	Python	CMD
2018/09	Apprendre des représentations de phrases universelles avec un autoencodeur d'attention de la moyenne	14	TF	Maxaae moyen
2018/10	Apprentissage des représentations de phrases cross-lingues via un modèle à double enregistreur multi-tâches	35	Truffle	Use-xling
2018/10	Amélioration des représentations de phrases avec maximisation consensuelle	4	-	Multi-vues
2018/10	BioSentvec: Création d'incorporation de phrases pour les textes biomédicaux	70	Python	Biosentvec
2018/11	Incorporation de Word Mover: de Word2Vec pour documenter l'intégration	47	C, Python	Wordmoversemeddings
2018/11	Une approche hiérarchique multi-tâches pour l'apprentissage des intégres à partir de tâches sémantiques	76	Pytorch	Hmtl
2018/12	Des incorporations de phrases massivement multilingues pour un transfert croisé à tirs zéro et au-delà	238	Pytorch	LASER
2018 / ??	Réseau neuronal convolutionnel pour les intérêts des phrases universelles	6	Theano	CSE
2019/01	Aucune formation requise: explorer des encodeurs aléatoires pour la classification des phrases	54	Pytorch	randsent
2019/02	CBOW n'est pas tout ce dont vous avez besoin: combiner CBOW avec le modèle d'espace de matrice de composition	4	Pytorch	Cmow
2019/07	Gloss: optimisation latente générative des représentations de phrases	1	-	BRILLANT
2019/07	Encodeur de phrases universelles multilingues	52	Truffle	Multilingueuse
2019/08	Phrase-bert: phrase incorpores utilisant siamois bert-networks	261	Pytorch	Phrase
2020/02	SBERT-WK: Une méthode d'incorporation de phrase en disséquant des modèles de mots basés sur Bert	11	Pytorch	Sbert-wk
2020/06	Declutr: apprentissage contrastif profond pour les représentations textuelles non supervisées	4	Pytorch	Décliver
2020/07	Language-agnostique Bert phrase incorporer	5	Truffle	Labourant
2020/11	Sur les intérêts de phrase à partir de modèles de langue pré-formés	0	TF	Flow de Bert

Évaluation

• DECANLP: The Natural Language Decathlon: Multitask Learning comme question répondant
• Senseval: Senseval: une boîte à outils d'évaluation pour les représentations de phrases universelles
• Glue: Glue: une référence multi-tâches et une plate-forme d'analyse pour la compréhension du langage naturel
• Explorer les propriétés sémantiques des intérêts des phrases
• Analyse à grains fins des intérêts des phrases à l'aide de tâches de prédiction auxiliaires
• Benchmarks intégrés des mots: comment évaluer les incorporations de mots? Sur l'importance de l'efficacité des données et des tâches supervisées simples
• MLDOC: Un corpus pour la classification des documents multilingues en huit langues
• Lexnet: L'huile d'olive est faite d'olives, l'huile de bébé est faite pour les bébés: interprétation des composés noms à l'aide de paraphrases dans un modèle neuronal
• Wordvectors.net: Évaluation de la communauté et échange de vecteurs de mots sur wordvectors.org
• Jiant: À la recherche d'amis d'Elmo: pré-entraînement au niveau de la phrase au-delà de la modélisation de la langue
• Jiant: Qu'apprenez-vous du contexte? Sonder la structure de la phrase dans les représentations de mots contextualisés
• Évaluation des incorporations de phrases dans les tâches de sondage en aval et linguistique
• QVEC: Évaluation des représentations des vecteurs de mots par alignement sous-espace
• Analyse grammaticale des encodeurs de phrases pré-entraînés avec des jugements d'acceptabilité
• Equate: un cadre d'évaluation de référence pour le raisonnement quantitatif dans l'inférence du langage naturel
• Évaluation des modèles d'intégration des mots: méthodes et résultats expérimentaux
• Comment évaluer (correctement) les intérêts des mots inter-linguaux: sur des lignes de base fortes, des analyses comparatives et certaines idées fausses
• Connaissances linguistiques et transférabilité des représentations contextuelles: analyse contextuelle-REPR
• Lininspector: Tâches de sondage multilingue pour les représentations de mots
• Pièges dans l'évaluation des intérêts des phrases
• Sonder des représentations de phrases multilingues avec X-Probe: XProbe

Mission

• Mot d'intégration de la dimensionnalité Sélection: sur la dimensionnalité de l'intégration des mots
• Demi-taille: réduction de dimensionnalité simple et efficace pour les incorporations de mots
• Magnitude: Magnitude: un ensemble de services d'intégration de vecteur universel rapide et efficace
• Pour régler ou ne pas régler? Adapter des représentations pré-étirées à diverses tâches
• Ne vous contentez pas de la moyenne, optez pour les ensembles Max: Fuzzy et les vecteurs de mots en aval Max: Fuzzymax
• L'élève est devenue le maître: des mots basés sur le modèle d'enseignant-étudent d'intégration de la distillation avec l'apprentissage de l'ensemble: embeddingDistillation
• Améliorer la similitude de la distribution avec les leçons tirées des intégres de mots: hyperwords
• Mal orthographiant les incorporations de mots inconscients: moe
• Sélection de dimension d'entraînement unique pour intégrer les mots avec PCA
• Compression des intérêts des mots via l'apprentissage du code de composition profonde: neuralcompressor
• UER: Une boîte à outils open source pour les modèles de pré-formation: Uer-Py
• Situation de phrases intégrées avec un chevauchement voisin le plus proche
• Allemand Bert

Cartographie vectorielle

• Projection de vecteurs de mots inter-greatoires à l'aide de CCA: amélioration des représentations de mots d'espace vectoriel utilisant une corrélation multilingue
• VECMAP: Une méthode d'auto-apprentissage robuste pour les mappages croisés entièrement non supervisés des intérêts des mots
• Muse: traduction machine non supervisée utilisant uniquement les corpus monolingues
• CrosslingUalelmo: Alignement croisé des incorporations contextuelles de mot contextuelles, avec des applications à l'analyse de dépendance zéro-shot

Articles

• Comparaison des méthodes de similitude des phrases
• Le meilleur actuel des incorporations de mots universelles et des intérêts de phrases
• Sur les représentations des phrases, Pt. 1: Que pouvez-vous intégrer à un seul article de blog # $!% @ * &%?
• Texte et phrase sans apprentissage en profondeur, partie 1
• Texte et phrase sans apprentissage en profondeur, partie 2
• Un aperçu des méthodes d'intégration des phrases
• Word Embeddings en 2017: tendances et orientations futures
• Une procédure pas à pas de l'apprentissage infersent - supervisé des intérêts des phrases
• Une enquête sur les modèles d'incorporation de mots interlingues
• Présentation de la classification du texte de pointe avec des modèles de langage universel
• Documer des techniques d'intégration