awesome sentence embedding

Increíble sentencia incrustante

Una lista curada de oraciones previas al estado de entrenamiento y modelos de incrustación de palabras

Tabla de contenido

• Sobre este repositorio
• Marco general
• Incrustaciones de palabras
• Manejo de OOV
• INCURSIONES DE LA PALABRAS CONTEXTUALIZADAS
• Métodos de agrupación
• Codificadores
• Evaluación
• Maga
• Mapeo vectorial
• Artículos

Sobre este repositorio

• Bueno, hay algunas listas increíbles para incrustaciones de palabras e incrustaciones de oraciones, pero todos están desactualizados y, lo que es más importante, incompletos
• Este repositorio también estará incompleto, pero haré todo lo posible para encontrar e incluir todos los documentos con modelos previos a
• Esta no es una lista increíble típica porque tiene tablas, pero supongo que está bien y mucho mejor que solo una gran lista
• Si encuentra algún error o encuentra otro artículo o algo, envíe una solicitud de extracción y ayúdame a mantener esta lista actualizada
• ¡disfrutar!

Marco general

• Casi todas las incrustaciones de oraciones funcionan así:
• Dado algún tipo de incrustaciones de palabras y un codificador opcional (por ejemplo, un LSTM) obtienen las incrustaciones de palabras contextualizadas.
• Luego definen algún tipo de agrupación (puede ser tan simple como la última agrupación).
• Según eso, lo usan directamente para la tarea de clasificación supervisada (como Infersent) o generan la secuencia objetivo (como el pensamiento de omisión).
• Entonces, en general, tenemos muchos incrustaciones de oraciones de los que nunca has oído hablar, ¡simplemente puedes hacer una medición media sobre cualquier palabra incrustación y es una frase incrustada!

Incrustaciones de palabras

• Nota: No se preocupe por el lenguaje del código, casi siempre puede (excepto los modelos de subvenciones) solo usar la tabla de incrustación previa a la aparición en el marco de su elección e ignorar el código de capacitación

fecha	papel	recuento de citas	código de entrenamiento	modelos previos a la aparición
-	WebVectores: un conjunto de herramientas para construir interfaces web para modelos semánticos vectoriales	N / A	-	Rusvectōrēs
2013/01	Estimación eficiente de representaciones de palabras en el espacio vectorial	999+	do	Word2vec
2014/12	Representaciones de palabras a través de la incrustación gaussiana	221	Cython	-
2014/??	Un modelo probabilístico para aprender incrustaciones de palabras multiprototipo	127	Dmtk	-
2014/??	Incruscaciones de palabras basadas en dependencias	719	C ++	word2vecf
2014/??	Glove: vectores globales para la representación de palabras	999+	do	Guante
2015/06	Representaciones de vectores de palabras sobrespletas	129	C ++	-
2015/06	Desde la base de datos de paráfrasis hasta el modelo de paráfrasis compositivo y la espalda	3	Eano	Pargrama
2015/06	Representaciones de vectores de palabras no distributivas	68	Pitón	Prolongada
2015/??	Aprendizaje conjunto de carácter e incrustaciones de palabras	195	do	-
2015/??	Sensembed: Learning Sense Incrusties para palabras y similitud relacional	249	-	Sensible
2015/??	Incrustaciones de palabras tópicas	292	Cython
2016/02	Giro: mejorar los incrustaciones al notar lo que falta	61	TF	-
2016/03	Vectores de palabras de contratación a las restricciones lingüísticas	232	Pitón	Contra-ajuste (roto)
2016/05	Mezclar modelos de temas de Dirichlet e incrustaciones de palabras para hacer LDA2VEC	91	Encadenador	-
2016/06	Siamese CBOW: Optimización de incrustaciones de palabras para representaciones de oraciones	166	Eano	Cbow siamés
2016/06	Factorización de matriz utilizando el muestreo de ventanas y el muestreo negativo para mejorar las representaciones de palabras	58	Ir	lexvec
2016/07	Enriquecer los vectores de palabras con información sobre la subvención	999+	C ++	contenedor
2016/08	Priors morfológicos para incrustaciones de palabras neuronales probabilísticas	34	Eano	-
2016/11	Un modelo conjunto de muchas tareas: cultivar una red neuronal para múltiples tareas de PNL	359	C ++	charngram2vec
2016/12	ConceptNet 5.5: un gráfico multilingüe abierto de conocimiento general	604	Pitón	Número numérico
2016/??	Aprender palabra meta-embedes	58	-	Meta meta (roto)
2017/02	Vectores de palabras bilingües fuera de línea, transformaciones ortogonales y el softmax invertido	336	Pitón	-
2017/04	Distribuciones de palabras multimodales	57	TF	word2gm
2017/05	Poincaré incrustaciones para el aprendizaje de representaciones jerárquicas	413	Pytorch	-
2017/06	Contexto codificadores como una extensión simple pero poderosa de word2vec	13	Pitón	-
2017/06	Especialización semántica de espacios de vectores de palabras de distribución utilizando restricciones monolingües e interlingües	99	TF	Atraer
2017/08	Aprender representaciones de palabras chinas de glifos de personajes	44	do	-
2017/08	Dando sentido a las incrustaciones de palabras	92	Pitón	Sensegram
2017/09	Incrustos hash para representaciones eficientes de palabras	25	Keras	-
2017/10	BPEMB: incrustaciones de subvención pre-entrenadas sin tokenización en 275 idiomas	91	Gensim	Bpember
2017/11	Columna vertebral: insertos neuronales interpretables escasos	48	Pytorch	COLUMNA VERTEBRAL
2017/??	Aravec: un conjunto de modelos de incrustación de palabras en árabe para su uso en NLP árabe	161	Gensim	Arvecec
2017/??	NGRAM2VEC: Aprendizaje de representaciones de palabras mejoradas de las estadísticas de co-ocurrencia de NGRAM	25	do	-
2017/??	Dict2vec: incrustaciones de palabras de aprendizaje usando diccionarios léxicos	49	C ++	Dict2vec
2017/??	Embedidas conjuntas de palabras chinas, caracteres y componentes de subcaractereo de grano fino	63	do	-
2018/04	Compensaciones de representación para integridades hiperbólicas	120	Pytorch	H-MDS
2018/04	Dynamic Meta-Embeddings para mejores representaciones de oraciones	60	Pytorch	DME/CDME
2018/05	Razonamiento analógico sobre las relaciones morfológicas y semánticas chinas	128	-	Vagerales chinos
2018/06	FastText probabilístico para incrustaciones de palabras de sentido múltiple	39	C ++	FastText probabilístico
2018/09	Incorporación de información sintáctica y semántica en incrustaciones de palabras utilizando redes convolucionales gráficas	3	TF	Syngcn
2018/09	Frage: representación de palabras agnósticas de frecuencia	64	Pytorch	-
2018/12	Wikipedia2Vec: una herramienta optimizada para el aprendizaje de las palabras y entidades de Wikipedia	17	Cython	Wikipedia2vec
2018/??	Gramo de omisión direccional: distinguir explícitamente contexto izquierdo y derecho para incrustaciones de palabras	106	-	Chino
2018/??	CW2VEC: Aprender incrustaciones de palabras chinas con información de accidente cerebrovascular	45	C ++	-
2019/02	VCWE: incrustaciones de palabras visuales mejoradas con carácter	5	Pytorch	VCWE
2019/05	Aprender incrustaciones interlingües de Twitter a través de una supervisión distante	2	Texto	-
2019/08	Un enfoque neuronal sin supervisión de carácter para el aprendizaje de la representación de palabras y el contexto	5	TF	-
2019/08	Vico: incrustaciones de palabras de co-ocurrencias visuales	7	Pytorch	Vico
2019/11	Incrustación de texto esférico	25	do	-
2019/??	Las incrustaciones de palabras no supervisadas capturan el conocimiento latente de la literatura de ciencias de los materiales	150	Gensim	-

Manejo de OOV

• ¡Deja las palabras de OOV!
• Un vector OOV (unk vector)
• Utilice modelos de subvenciones (NGRAM, BPE, CHAR)
• ALACARTE: A la carta incrustación: inducción barata pero efectiva de vectores de características semánticas
• Mimick: imitando incrustaciones de palabras usando RNN de subvención
• CompacReconstruction: Reconstrucción compacta basada en subvenciones de incrustaciones de palabras

INCURSIONES DE LA PALABRAS CONTEXTUALIZADAS

• NOTA: Todos los modelos no oficiales pueden cargar los modelos oficiales previos a

fecha	papel	recuento de citas	código	modelos previos a la aparición
-	Los modelos de idiomas son alumnos multitarea no supervisados	N / A	TF Pytorch, TF2.0 Keras	GPT-2 (117m, 124m, 345m, 355m, 774m, 1558m)
2017/08	Aprendido en la traducción: vectores de palabras contextualizados	524	Pytorch Keras	Ensenada
2018/01	Modelo de lenguaje universal ajustado para la clasificación de texto	167	Pytorch	Ulmfit (inglés, zoológico)
2018/02	Representaciones de palabras contextualizadas profundas	999+	Pytorch TF	Elmo (Allennlp, TF-HUB)
2018/04	Representación contextualizada eficiente: poda del modelo de lenguaje para el etiquetado de secuencia	26	Pytorch	Ld-net
2018/07	Hacia un mejor análisis de UD: incrustaciones de palabras contextualizadas profundas, conjunto y concatenación de Bank	120	Pytorch	Elmo
2018/08	Conexión de salida directa para un modelo de idioma de alto rank	24	Pytorch	DOC
2018/10	BERT: pretruamiento de transformadores bidireccionales profundos para la comprensión del lenguaje	999+	TF Keras Pytorch, TF2.0 Mxnet Palo de pala TF Keras	Bert (Bert, Ernie, Kobert)
2018/??	Incremedidos de cadena contextual para el etiquetado de secuencia	486	Pytorch	Instinto
2018/??	Mejora de la comprensión del lenguaje mediante un pre-entrenamiento generativo	999+	TF Keras Pytorch, TF2.0	GPT
2019/01	Redes neuronales profundas de varias tareas para la comprensión del lenguaje natural	364	Pytorch	Mt-dnn
2019/01	Biobert: modelo de representación de lenguaje biomédico previamente entrenado para minería de texto biomédico	634	TF	Biobert
2019/01	Modelo de lenguaje interlingüal preventivo	639	Pytorch Pytorch, TF2.0	Xlm
2019/01	Transformer-XL: modelos de lenguaje atento más allá de un contexto de longitud fija	754	TF Pytorch Pytorch, TF2.0	Transformador-xl
2019/02	Aprendizaje de representación contextual eficiente sin capa Softmax	2	Pytorch	-
2019/03	Scibert: incrustaciones contextualizadas previas a la aparición para el texto científico	124	Pytorch, TF	Escibrí
2019/04	Incruscadores clínicos de Bert disponibles públicamente	229	Texto	clínico
2019/04	Clinicalbert: modelado de notas clínicas y predecir el reingreso del hospital	84	Pytorch	Clínico
2019/05	Ernie: representación del lenguaje mejorado con entidades informativas	210	Pytorch	Ernie
2019/05	Modelo de lenguaje unificado pretruante para la comprensión del lenguaje natural y la generación	278	Pytorch	UNILMV1 (cubierto de largo unilm1,-base unilm1)
2019/05	Hibert: Nivel de documento previa a la capacitación de transformadores berárquicos bidireccionales para la resumen de documentos	81		-
2019/06	Pre-entrenamiento con enmascaramiento de palabras enteras para Bert chino	98	Pytorch, TF	Bert-wwm
2019/06	XLNet: Pretratenamiento autorregresivo generalizado para la comprensión del lenguaje	999+	TF Pytorch, TF2.0	XLNET
2019/07	Ernie 2.0: un marco continuo de pre-entrenamiento para la comprensión del lenguaje	107	Palo de pala	Ernie 2.0
2019/07	Spanbert: Mejora de la capacitación previa representando y prediciendo los tramos	282	Pytorch	Spanbert
2019/07	Roberta: un enfoque de prepertinamiento de Bert con sólidamente optimizado	999+	Pytorch Pytorch, TF2.0	Roberta
2019/09	Subvencion elmo	1	Pytorch	-
2019/09	Representaciones de palabras contextuales mejoradas para el conocimiento	115		-
2019/09	Tinybert: destilación de Bert para la comprensión del lenguaje natural	129		-
2019/09	Megatron-LM: capacitación de modelos de lenguaje de parámetros multimillonarios utilizando paralelismo del modelo	136	Pytorch	Megatron-LM (Bert-345m, GPT-2-345M)
2019/09	Multifit: modelo de lenguaje multilingüe eficiente ajustado	29	Pytorch	-
2019/09	Compresión del modelo de lenguaje extremo con subvenciones óptimas y proyecciones compartidas	32		-
2019/09	Mula: incrustación de lenguaje universal multimodal	5		-
2019/09	Unicoder: un codificador de lenguaje universal mediante la capacitación previa con múltiples tareas interlingües	51		-
2019/09	K-Bert: habilitando la representación del lenguaje con el gráfico de conocimiento	59		-
2019/09	Uniter: aprendizaje de representaciones universales de texto de imagen	60		-
2019/09	Albert: A Lite Bert para el aprendizaje auto-supervisado de representaciones lingüísticas	803	TF	-
2019/10	BART: Precrendimiento de secuencia a secuencia de denominación para la generación de lenguaje natural, traducción y comprensión	349	Pytorch	Bart (Bart.Base, Bart.large, Bart.large.mnli, Bart.large.cnn, Bart.large.xsum)
2019/10	Distilbert, una versión destilada de Bert: más pequeño, más rápido, más barato y más ligero	481	Pytorch, TF2.0	Distilbert
2019/10	Explorando los límites del aprendizaje de transferencia con un transformador de texto a texto unificado	696	TF	T5
2019/11	Camembert: un sabroso modelo de idioma francés	102	-	Queso Camembert
2019/11	Zen: codificador de texto chino previo mejorado por representaciones de N-gram	15	Pytorch	-
2019/11	Aprendizaje de representación interlingual no supervisada a escala	319	Pytorch	XLM-R (XLM-ROBERTA) (XLMR.Large, XLMr.Base)
2020/01	Profetnet: Predicción de N-Gram futuro para el pre-entrenamiento de secuencia a secuencia	35	Pytorch	Profetnet (Profetnet-Large-16GB, ProPhetnet-Large-160GB)
2020/02	Codebert: un modelo previamente capacitado para la programación y los idiomas naturales	25	Pytorch	Codebert
2020/02	UNILMV2: Modelos de lenguaje pseudo-máscara para la capacitación del modelo de lenguaje unificado	33	Pytorch	-
2020/03	Electra: codificadores de texto previos al entrenamiento como discriminadores en lugar de generadores	203	TF	Electra (Electra-Small, Electra-Base, Electra-Large)
2020/04	MPNET: pre-entrenamiento enmascarado y permutado para la comprensión del lenguaje	5	Pytorch	Mpnet
2020/05	Parsbert: modelo basado en transformadores para la comprensión del idioma persa	1	Pytorch	Parsbert
2020/05	Los modelos de idiomas son alumnos de pocos disparos	382	-	-
2020/07	Infoxlm: un marco teórico de información para el modelo de lenguaje interlingüe previa al entrenamiento	12	Pytorch	-

Métodos de agrupación

• {Último, medio, max} -Pooling
• Agrupación de fichas especiales (como el transformador de Bert y Operai)
• SIF: una línea de base simple pero difícil de volar para incrustaciones de oraciones
• TF-IDF: Representaciones de oraciones no supervisadas como serie de información: revisando TF-IDF
• Norma p: poder concatenado Media incrustaciones de palabras como representaciones de oraciones multilingües universales
• Disco: una vista de detección comprimida de integridades de texto no supervisadas, bolsa de N-gramos y LSTMS
• GEM: oración de entrenamiento cero que incrustan a través de la base ortogonal
• Swem: La línea de base necesita más amor: en modelos simples basados ​​en palabras y mecanismos de agrupación asociados
• VLAWE: Vector de incrustaciones de palabras agregadas localmente (vlawe): una nueva representación de nivel de documento
• Incrustación de oración eficiente utilizando transformación de coseno discreta
• FSE: complemento Gensim para incrustaciones de oraciones rápidas. Admite MEDIA, MAX, SIF, USIF
• Incrustación de oración eficiente a través del análisis de subespacio semántico

Codificadores

fecha	papel	recuento de citas	código	model_name
-	Adaptación de dominio incremental para la traducción del automóvil neuronal en entornos de baja recursos	N / A	Pitón	Ara
2014/05	Representaciones distribuidas de oraciones y documentos	999+	Pytorch Pitón	Doc2vec
2014/11	Unificador de incrustaciones visuales-semánticas con modelos de lenguaje neuronal multimodal	849	Eano Pytorch	Vse
2015/06	Alineando libros y películas: hacia explicaciones visuales similares a la historia viendo películas y leyendo libros	795	Eano TF Pytorch, antorcha	Sagoteo
2015/11	Orden-Embedings of Images and Language	354	Eano	pedido
2015/11	Hacia incrustaciones de oración parafrasástica universal	411	Eano	Paragro
2015/??	Desde incrustaciones de palabras hasta distancias de documento	999+	C, Python	Distancia de Word Mover
2016/02	Aprender representaciones distribuidas de oraciones a partir de datos no etiquetados	363	Pitón	Rápido
2016/07	Charagram: incrustando palabras y oraciones a través de carácter n-gramos	144	Eano	Charagrama
2016/11	Aprender representaciones genéricas de oraciones utilizando redes neuronales convolucionales	76	Eano	Convencer
2017/03	Aprendizaje no supervisado de incrustaciones de oraciones utilizando características de N-Gram compositivas	319	C ++	Enviado2VEC
2017/04	Aprender a generar revisiones y descubrir el sentimiento	293	TF Pytorch Pytorch	Neurona de sentimiento
2017/05	Revisando redes recurrentes para incrustaciones de oraciones parafrastas	60	Eano	Abuela
2017/05	Aprendizaje supervisado de representaciones de oraciones universales a partir de datos de inferencia de lenguaje natural	999+	Pytorch	Inferido
2017/07	VSE ++: Mejora de incrustaciones visuales-semánticas con negativos duros	132	Pytorch	VSE ++
2017/08	Usando millones de ocurrencias de emoji para aprender representaciones de dominio para detectar el sentimiento, la emoción y el sarcasmo	357	Keras Pytorch	Profundo
2017/09	StarSpace: ¡Incorporar todas las cosas!	129	C ++	Espacio de estrella
2017/10	Disposición: Representaciones de oraciones de aprendizaje de relaciones explícitas del discurso	47	Pytorch	Disentimiento
2017/11	Empujando los límites de los incrustaciones de oraciones parafrastas con millones de traducciones automáticas	128	Eano	para-nmt
2017/11	Incrustación de texto convolucional de doble ruta con pérdida de instancia	44	Matlab	Imagen de texto
2018/03	Un marco eficiente para las representaciones de oraciones de aprendizaje	183	TF	Pensamiento rápido
2018/03	Codificador de oraciones universales	564	TF-HUB	USAR
2018/04	Implicación textual orientada a la tarea final a través de exploraciones profundas de interacciones entre orientaciones	14	Eano	Desiste
2018/04	Aprendizaje de representaciones de oraciones distribuidas de propósito general a través de aprendizaje de tareas múltiples a gran escala	198	Pytorch	Gensen
2018/06	Incrustación de texto en espacios hiperbólicos	50	TF	Hipertexto
2018/07	Aprendizaje de representación con codificación predictiva contrastante	736	Keras	CPC
2018/08	Context Mover's Distancia y barycentros: transporte óptimo de contextos para representaciones de construcción	8	Pitón	CMD
2018/09	Aprendiendo representaciones de oraciones universales con Autoencoder de atención media-max	14	TF	Maxaae
2018/10	Aprender representaciones de oraciones interlingües a través de un modelo de doble codificación de tareas múltiples	35	TF-HUB	Uso-xling
2018/10	Mejora de las representaciones de oraciones con maximización de consenso	4	-	Visión múltiple
2018/10	BiosentVec: Creación de incrustaciones de oraciones para textos biomédicos	70	Pitón	Biosentvec
2018/11	Incrustación de Word Mover: de Word2Vec para documentar la incrustación	47	C, Python	WordMoversembeddings
2018/11	Un enfoque jerárquico de tareas múltiples para aprender incrustaciones de tareas semánticas	76	Pytorch	Hmtl
2018/12	Incrustos de oraciones multilingües masivamente para transferencia interlingüística de disparo cero y más allá	238	Pytorch	LÁSER
2018/??	Red neuronal convolucional para incrustaciones de oraciones universales	6	Eano	CSE
2019/01	No se requiere capacitación: explorar codificadores aleatorios para la clasificación de oraciones	54	Pytorch	randsent
2019/02	CBOW no es todo lo que necesita: combinar CBOW con el modelo de espacio de la matriz de composición	4	Pytorch	CMOW
2019/07	Gloss: optimización latente generativa de representaciones de oraciones	1	-	BRILLO
2019/07	Codificador de oraciones universales multilingües	52	TF-HUB	Multilingüe
2019/08	Sentencia-Bert: incrustaciones de oraciones utilizando siamese Bert-Networks	261	Pytorch	Frase-bert
2020/02	Sbert-WK: un método de incrustación de oraciones al diseccionar modelos de palabras basados ​​en Bert	11	Pytorch	SBERT-WK
2020/06	DeclUTR: aprendizaje de contraste profundo para representaciones textuales no supervisadas	4	Pytorch	Declutr
2020/07	Incrustación de oración de BERT del lenguaje y el idioma	5	TF-HUB	Labero
2020/11	Sobre la oración de incrustaciones de modelos de idiomas previamente capacitados	0	TF	Bert-flow

Evaluación

• DECANLP: El lenguaje natural Decatlón: aprendizaje multitarea como respuesta de preguntas
• Senteval: Senteval: un conjunto de herramientas de evaluación para representaciones de oraciones universales
• Glue: Glue: un punto de referencia de varias tareas y una plataforma de análisis para la comprensión del lenguaje natural
• Explorando las propiedades semánticas de los incrustaciones de oraciones
• Análisis de grano fino de integridades de oraciones utilizando tareas de predicción auxiliar
• Palabras de referencia de incrustaciones de palabras: ¿Cómo evaluar los incrustaciones de palabras? Sobre la importancia de la eficiencia de los datos y las simples tareas supervisadas
• MLDOC: un corpus para la clasificación de documentos multilingües en ocho idiomas
• LEXNET: el aceite de oliva está hecho de aceitunas, el aceite de bebé está hecho para bebés: interpretando compuestos sustantivos utilizando parafrases en un modelo neuronal
• WordVectors.net: Evaluación de la comunidad e intercambio de vectores de Word en WordVectors.org
• Jiant: Buscando a los amigos de Elmo: preventivo a nivel de oración más allá del modelado de idiomas
• Jiant: ¿Qué aprendes del contexto? Probación de la estructura de la oración en representaciones contextualizadas de palabras
• Evaluación de incrustaciones de oraciones en tareas de sondeo aguas abajo y lingüística
• QVEC: Evaluación de representaciones de vectores de palabras por alineación del subespacio
• Análisis gramatical de codificadores de oraciones previos a la aparición con juicios de aceptabilidad
• Equate: un marco de evaluación de referencia para el razonamiento cuantitativo en la inferencia del lenguaje natural
• Evaluación de modelos de incrustación de palabras: métodos y resultados experimentales
• Cómo (correctamente) Evaluar las incrustaciones de palabras interlingües: en líneas de base fuertes, análisis comparativos y algunos conceptos erróneos
• Conocimiento lingüístico y transferibilidad de representaciones contextuales: análisis contextual-represa
• Linspector: tareas de sondeo multilingüe para representaciones de palabras
• Trampas en la evaluación de incrustaciones de oraciones
• Probación de representaciones de oraciones multilingües con X-Probe: Xprobe

Maga

• Selección de dimensionalidad de incrustación de palabras: en la dimensionalidad de la incrustación de palabras
• Half-tamaño: reducción de dimensionalidad simple y efectiva para incrustaciones de palabras
• Magnitud: Magnitud: un paquete de utilidad de incrustación de vectores universales rápidos y eficientes
• Para sintonizar o no sintonizar? Adaptar representaciones previas a las tareas diversas
• No se conformes con el promedio, vaya por los conjuntos MAX: Fuzzy y los vectores de palabras con máximo: Fuzzymax
• El alumno se ha convertido en el Maestro: Palabra basada en el modelo de maestro-alumno de la destilación de incrustación con aprendizaje del conjunto: incrustación
• Mejora de la similitud de distribución con las lecciones aprendidas de las incrustaciones de palabras: Hyperwords
• Desgractos erróneos de las palabras de palabras ajustadas: moe
• Selección de dimensión de entrenamiento único para incrustación de palabras con PCA
• Incrustaciones de palabras de comprimir a través de un profundo aprendizaje de código de composición: neuralcompressor
• Uer: un conjunto de herramientas de código abierto para modelos de pre-entrenamiento: Uer-Py
• Situación de incrustaciones de oración con la superposición del vecino más cercano
• Bert alemán

Mapeo vectorial

• Proyección de vectores de palabras multilingües utilizando CCA: Mejora de las representaciones de palabras del espacio vectorial utilizando la correlación multilingüe
• VECMAP: un método de autoaprendizaje robusto para asignaciones de incrustaciones de palabras completamente no supervisadas
• Muse: Traducción automática no supervisada utilizando corpus monolingües solamente
• CrosslingualElmo: alineación interlingüe de incrustaciones de palabras contextuales, con aplicaciones para analizar dependencia de disparos cero

Artículos

• Comparación de métodos de similitud de oraciones
• Lo mejor actual de las incrustaciones de las palabras universales y los incrustaciones de oraciones
• En representaciones de oraciones, Pt. 1: ¿Qué puedes encajar en una sola publicación de blog #$!%@*&%?
• Texto e incrustación de oraciones sin aprendizaje profundo, Parte 1
• Texto e incrustación de oraciones sin aprendizaje profundo, Parte 2
• Una descripción general de los métodos de incrustación de oraciones
• INCREGOS DE PALABRAS EN 2017: Tendencias y direcciones futuras
• Un tutorial de infersent - aprendizaje supervisado de incrustaciones de oraciones
• Una encuesta de modelos de incrustación de palabras interlingües
• Introducción de clasificación de texto de última generación con modelos de idiomas universales
• Documentar técnicas de incrustación