NLP Knowledge Graph

Si necesita contribuir a este proyecto de código abierto, comuníquese conmigo.

• Aprendizaje profundo para el gráfico de conocimiento
  • Enlace externo de recursos
  • La vida pasada y presente del gráfico de conocimiento
  • Lista de resumen de investigación
    • Investigación especial
    • Análisis de la teoría relacionada de KG y QA
    • Análisis de documentos relacionados con PNL
    • Investigación sobre la estructura de los documentos financieros chinos
    • Conferencias relacionadas con el gráfico de conocimiento
    • Analogía de hechos
    • Tecnología del sistema de diálogo
    • Relacionado con la comercialización de NLP/diálogo/kg (solo para comunicación y aprendizaje)
    • Lista de preguntas y respuestas de código y respaldo de código abierto y sistemas de conversación
    • Lista de plataformas semánticas convencionales
    • Lista de herramientas de preprocesamiento de texto chino e inglés
    • Herramientas de almacenamiento y consulta de gráficos
    • Herramientas de visualización
    • Lista de conjuntos de datos de gráficos de conocimiento chino e inglés
  • Concurso
  • pensar
  • Historia de la estrella
  • ilustrar
  • Contacto

Aprendizaje profundo para el gráfico de conocimiento

Explore la serie de inteligencia cognitiva --- Tendencias: 1. Conocimiento de fusión de datos; 2. Todos en LLM. Incluyendo adquisición de conocimiento, construcción de la base de conocimiento y una serie de investigaciones técnicas y aplicación de sistemas de preguntas y respuestas basadas en la base de conocimiento. Implica tecnologías y documentos de vanguardia en el campo de la PNL.

Enlace externo de recursos

• PNLP progreso

  Repositorio para rastrear el progreso en el procesamiento del lenguaje natural (PNL), incluidos los conjuntos de datos y el estado de arte actual para las tareas más comunes de la PNL.

• documentos con código

  Se proporcionan documentos y códigos.

• Tecnología en línea

  Tecnología diaria personal y sitios web de chat.

---

La vida pasada y presente del gráfico de conocimiento

Número de serie	artículo
1	¿Por qué el "gráfico de conocimiento" se remonta a 1956?

Lista de resumen de investigación

Investigación especial

1. Un sistema de diálogo basado en el gráfico de conocimiento

Análisis de la teoría relacionada de KG y QA

1. Un resumen de gráficos de conocimiento
2. El gráfico de desafío del conocimiento
3. Gráfico de aprendizaje y conocimiento profundo
4. CN-DBPEDIA: un sistema interminable de extracción de conocimiento chino
5. Kbqa
6. Zhao Tingyang: ¿Cómo es posible la autoconciencia de la inteligencia artificial? 1-3
7. NLP University Apertura de DaJi-Teacher Li Wei, Simon Fraser University, Ph.D.
8. ACL 2019 Un resumen integral del gráfico de conocimiento

Análisis de documentos relacionados con PNL

1. El transformador ilustrado
2. Una encuesta atenta de modelos de atención
3. Bert: representaciones de codificadores bidireccionales de Transformers
4. Ernie: representación mejorada a través de la integración del conocimiento
5. Ernie: representación del lenguaje mejorado con entidades informativas
6. Google T5: Transformador de transferencia de texto a texto

Investigación sobre la estructura de los documentos financieros chinos

1. Doc2edag

Conferencias relacionadas con el gráfico de conocimiento

número de serie	nombre	calificación	tipo	campo
1	LCA	Clase A	Conferencia académica	AI
2	CVPR	Clase A	Conferencia académica	AI
3	ICML	Clase A	Conferencia académica	AI
4	IJCAI	Clase A	Conferencia académica	AI
5	EMNLP	Clase B	Conferencia académica	AI
6	Cikm	Clase B	Conferencia académica	Base de datos/minería de datos/recuperación de contenido
7	AAAI	Clase A	Conferencia académica	AI
8	Sigkdd	Clase A	Conferencia académica	Base de datos/minería de datos/recuperación de contenido
9	Tkde	Clase A	Revistas académicas	(Base de datos/minería de datos/recuperación de contenido)
10	Sigir	Clase A	Conferencia académica	Base de datos/minería de datos/recuperación de contenido

Analogía de hechos

1. Resumen del mapa de la materia
2. Bai Shuo: seis preguntas y seis respuestas en el mapa de las cosas

Tecnología del sistema de diálogo

1. CSDN | Notas de clase abierta: una explicación detallada de la gestión del conocimiento en diálogos heurísticos_aispeech
2. Una revisión sistemática del diálogo
3. Tecnología de comprensión hablada (SLU) en sistemas de diálogo

Relacionado con la comercialización de NLP/diálogo/kg (solo para comunicación y aprendizaje)

1. Tecnología de procesamiento del lenguaje natural en la interacción de voz-xiaomi
2. Metodología del gráfico de conocimiento Lean Internet-Wenyin Internet
3. Investigación y progreso del robot xiaoi en la plataforma semántica de la plataforma semántica china-Robot xiaoi
4. iflytek-aspecto al valor y desafíos del gráfico de conocimiento desde una perspectiva de aplicación-iflytek

---

Lista de preguntas y respuestas de código y respaldo de código abierto y sistemas de conversación

número de serie	nombre	DIRECCIÓN
1	cuestionansweringsystem	QuestionAnsweringSystem es un sistema de preguntas y respuestas humanos implementados con Java que puede analizar automáticamente las preguntas y dar respuestas a los candidatos.
2	Qabasedonmedicaknowledgegraph	Desde cero, construimos un cierto gráfico de conocimiento de campo médico centrado en la enfermedad y utilizamos este gráfico de conocimiento para completar servicios automáticos de preguntas y respuestas y análisis. pitón
3	Deeppavlov	Una biblioteca de código abierto para los sistemas de diálogo y chatbots de extremo a extremo de aprendizaje profundo. pitón

Lista de plataformas semánticas convencionales

número de serie	nombre
1	Tencent Wenzhi Plataforma semántica china
2	plataforma semántica abierta iflytek
3	Plataforma abierta de semántica china bosen
4	Cloud de lenguaje del Instituto de Tecnología Harbin

Lista de herramientas de preprocesamiento de texto chino e inglés

número de serie	nombre	Funciones principales
1	Thulac	Herramienta de análisis léxico chino, admite C ++/Java/Python por Tsinghua
2	LTP	Plataforma de tecnología del lenguaje Pylyp Ltp Python Packaging por Harbin Institute of Technology
3	HANLP	Apoyo a Java
4	Participador de tartamudeo	Participio de palabras chino (solo participio de palabras), Java, Python, C ++
5	jiagu	Proporciona funciones comunes de procesamiento del lenguaje natural, como la segmentación de palabras chinas, la anotación de parte de voz, reconocimiento de entidades de nombres, extracción de palabras clave, resumen de texto y nuevo descubrimiento de palabras. Pitón
6	fudannlp	Participio de palabras chino (participio de palabras, anotación de parte del voz, reconocimiento de entidad de nombres), admite Java
7	Deepdive profundo	Herramienta de extracción de conocimiento de código abierto de la Universidad de Stanford (extracción triple), admite Python
8	Fudandnn-nlp3.0	Utilizado para la segmentación de palabras chinas, reconocimiento de nombres, anotación de parte de la voz, clasificación de oraciones, análisis semántico, acceso a la base de conocimiento, pregunta y respuesta del diálogo, y admite Java -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
9	Stanford Corenlp	Marcador de parte de voz multilingüe, reconocimiento de entidad de nombres, analizador (oración y estructura gramatical), digestor de referencia (es decir, la cuestión de determinar a qué frase de sustantivo apunta el pronombre en el capítulo), el analizador de sentimientos, el aprendizaje de modo guiado, el extractor de información abierta, la java/python ----- Stanford corenlp es la Universidad de la Universidad de la Universidad de la Universidad de la Universidad de procesamiento de lenguaje natural, la herramienta de procesamiento de la herramienta de procesamiento de la Universidad de Stanford, la herramienta de procesamiento de lenguaje natural, la herramienta de proceso de procesamiento de la Universidad de Stanford, la herramienta de procesamiento de la Universidad de Stanford, la herramienta de procesamiento de la Universidad de Stanford, el procesamiento de la herramienta de procesamiento de la Universidad de Stanford, la herramienta de procesamiento de la Universidad de Stanford es Stanford.

Herramientas de almacenamiento y consulta de gráficos

número de serie	nombre	Funciones principales
1	Neo4J	Base de datos de gráficos de código abierto desarrollada por Java.
2	Orientdb	Open Source NoSQL Base de datos que puede manejar documentos, gráficos y componentes tradicionales de la base de datos. Escrito por Java, Almacenamiento rápido.
3	Virtuoso	Admite consultas RDF y SPARQL.
4	Titán	Se puede integrar con Gremlin/HBase para habilitar el almacenamiento distribuido y la computación del procesamiento de datos de gráficos.
5	Apache Jena-IDB	Operar RDF bajo Java. Entre ellos, TDB utiliza la tienda triple para proporcionar una tienda persistente para los datos de RDF. TDB es más rápido y escalable que RDB y SDB.
6	Cifrar	Lenguaje de consulta de gráficos declarativos, consulta eficiente expresa y base de datos de gráficos de actualización.
7	Duendecillo	Un lenguaje de flujo de datos funcional que permite a los usuarios expresar el recorrido o consulta de gráficos de propiedades complejas de manera concisa.
8	Sparql	Un protocolo de adquisición de lenguaje y datos de consulta desarrollado para RDF.
9	rdflib	Un analizador y serializador escrito basado en Python, RDF/XML, N3, NTriples, N-Quads, Turtle, Trix, RDFA y Microdata, admite la consulta SPARQL 1.1 y las declaraciones de actualización.

Herramientas de visualización

número de serie	nombre	Funciones principales
1	Echarts	Herramienta de código abierto de Baidu, encapsulación de API completa, simple y fácil de usar, y fácil de usar, pero no admite el procesamiento de eventos.
2	Cytoscape.js	Para gráficos y redes, la interactividad del evento es buena y fácil de usar.
3	D3.js	El umbral de uso es alto, pero admite procesadores de eventos. D3 tiene una sobrecarga extremadamente pequeña, admite el comportamiento dinámico de grandes conjuntos de datos y animaciones interactivas, y admite gráficos ricos.

Lista de conjuntos de datos de gráficos de conocimiento chino e inglés

número de serie	nombre	Tareas de aplicación
1	Abrekg	Gráfico de conocimiento abierto
2	CN-Probase	Mapa conceptual chino a gran escala
3	Sentibridge	Base de conocimiento emocional de la entidad china, que representa cómo las personas describen una entidad, incluidas noticias, turismo y catering, un total de 300,000 pares
4	Gráfico de conocimiento musical	Gráfico de conocimiento musical chino, cantantes, canciones y otra información
5	Personaje RDF Conocimiento	Conocimiento de personajes recopilados del sitio web de Encyclopedia, un total de 650,000 RDF Triples
6	Gráfico de conocimiento de las atracciones turísticas chinas	El mapa de conocimiento chino de las atracciones turísticas chinas es parte del mapa de conocimiento Casia-KB. Extraído de la enciclopedia de Baidu y la enciclopedia interactiva. El mapa de conocimiento de las atracciones turísticas se puede utilizar en geografía, vida, entretenimiento y otras aplicaciones.
7	2 millones de datos de retratos de productos	Estos datos son un resumen de los datos de retratos del producto acumulados por Bai Dan en los siete años de operación. Bai Dan ha creado un rico sistema de clasificación de comercio electrónico y un sistema de clasificación de medios.
8	Banco de síntomas chino	Este es un conjunto de datos que contiene entidades de síntomas y trillizos relacionados con los síntomas. Los datos de la base de datos de síntomas chinos provienen de 8 sitios web de consulta de salud convencional, 3 sitios web de Enciclopedia China y registros médicos electrónicos.
9	Gráfico de conocimiento del aeropuerto de CNSchema	El gráfico de conocimiento del aeropuerto basado en CNSCHEMA puede consultar las propiedades de los aeropuertos de todo el mundo, incluyendo nombre, zona horaria, código de aeropuerto, ubicación geográfica (latitud y longitud), etc.
10	Gráfico de conocimiento general de siete caracteres	Estos datos contienen un total de 80 millones de trillizos de enciclopedia, que forman parte del subconjunto de los poemas de siete caracteres, y continuarán siendo más abiertos en el futuro. Qiluo-7lore es un gráfico de conocimiento de Enciclopedia cuidadosamente creado por Dogtail Grass Technology. Es una colección de conocimientos masivos en el mundo humano. Contiene cosas, hechos, conceptos, reglas, etc.

Concurso

1. Competencia de aprendizaje de desarrolladores de hormigas Atec Competencia de aprendizaje-Cálculo de similitud de problemas de NLP-2019-3
2. Baidu 2019 Language and Intelligent Technology Competition Segunda pista-Diálogo impulsado por el conocimiento-2019-4
3. SMP2019 Evaluación de tecnología de diálogo humano humano chino (ECDT), subtarea: clasificación de dominio, reconocimiento de intención y llenado de ranuras semánticas -Task1: Evaluación de comprensión del lenguaje natural-2019-5

---

pensar

• El gráfico de construcción del conocimiento es un proyecto de ingeniería sistemática. Actualmente, combinar la tecnología de aprendizaje profundo y el conocimiento del procesamiento del lenguaje natural ha mejorado la eficiencia de la construcción en cierta medida y costos reducidos. El estado del gráfico de conocimiento es en el sentido de que la inteligencia cognitiva es una instalación básica de recursos, en función de la cual se puede usar en cuestiones y respuestas, diálogos, sistemas de recomendación y mejora la interpretabilidad.
• En la actualidad, hay mucha demanda de construcción de gráficos de conocimiento en campos verticales. En términos de aplicación, la práctica de los sistemas inteligentes de diálogo de preguntas y respuestas y activos es un tema relativamente candente.
• Personalmente, creo que un sistema de rastreadores puede proporcionar una fuente de conocimiento actualizada dinámicamente para la base de conocimiento.
• Un sistema de diálogo que combina conocimiento/sentido común, con más precisión y diversidad, es una dirección que vale la pena estudiar, lo que permite a las máquinas guiar a los usuarios para comunicar temas. Por ejemplo, el Juego 2 anterior es la aplicación en esta dirección.
• El umbral para el procesamiento/comprensión del lenguaje natural se ha elevado a Bert, que es básicamente un imprescindible en las grandes tareas numéricas, ¡basadas en el transformador como codificador! Cómo integrar el conocimiento (puede ser multimodal) en la capacitación de modelos se ha convertido en un tema candente en la investigación. Por ejemplo, Baidu propuso recientemente que el Modelo de representación de Ernie presenta esta idea, que también ha logrado buenos resultados en tareas posteriores.
• La incrustación del gráfico de conocimiento (KGE) es un punto de acceso de investigación actual.
• La integración del conocimiento de los datos multimodales debería ser una etapa de exploración importante para que la inteligencia de la máquina de dominio avance hacia la inteligencia general del conocimiento. Primero, debido a las características de los datos multimodales en sí, la estructura es muy importante. Después de la estructura, puede enriquecer enormemente la composición de conocimiento del gráfico de conocimiento y enriquecer la expresión. En segundo lugar, se siente más interesante si los componentes CV y ​​NLP pueden conectarse y trabajar juntos, como el contenido de respuesta del escenario de preguntas y respuestas es una comunicación más rica y más natural con las personas.
• <strong> Para la estructura de los datos de texto, además de usar métodos de aprendizaje automático, las expresiones regulares también se pueden usar para la extracción de datos, enlaces de procesamiento intermedio en el modelado, etc. Por ejemplo: expresión regular combinada con aprendizaje profundo </strong>
• 20230226: El desarrollo de la PNL es otro cambio de paradigma desde la segunda mitad de 2022 a 2023. Con el advenimiento de ChatGPT, todos los que están dentro y fuera del campo han sido conocidos, lo que ha causado una discusión en todos los ámbitos de la vida, y las principales compañías nacionales y extranjeras han seguido su ejemplo. Por ejemplo, LLM (modelo de lenguaje grande), AIGC (contenido generado por IA) y algunas tareas de subdivisión de PNL se han unificado debido a la LLM, y LLM se ha convertido en un tema de infraestructura en diversas industrias. El surgimiento de ChatGPT es darle una sorpresa a las personas, dar a las personas nuevas posibilidades de exploración y para ser popularizadas.
  • Desde la perspectiva de experimentar chatgpt, básicamente cubrí todos los pensamientos anteriores, incluida la extracción de información, el diálogo, la generación de opinión, la cadena de pensamiento: hay razonamiento, se pueden agregar nuevos conocimientos para actualizar y código. Lo más sorprendente es que puedo hablar en serio y enumerar los pasos para problemas lógicos.
  • Obtenga más información sobre los principios del documento. Para el desarrollo de GPT-1 a GPT3, comprenda la infraestructura del transformador.
• 20230521: La velocidad de seguimiento nacional de LLM es muy rápida, y se han lanzado modelos de idiomas grandes desarrollados, y también hay de código abierto, como el chatglm-6/130b de Tsinghua. El ecosistema alrededor de LLM también se está desarrollando rápidamente. Varias aplicaciones, como ChatPDF, complementos, etc. Recientemente, OpenAi lanzó la versión ChatGPT iOS, que ha llevado a la implementación de LLM un gran paso. Se puede imaginar que muchas aplicaciones en el futuro se basarán en las capacidades de LLM. Con respecto a cómo crear algunas aplicaciones basadas en LLM, el marco de código abierto Langchain itera muy rápidamente. Algunas líneas de código pueden permitirle experimentar rápidamente, como preguntas y respuestas basadas en documentos personales, cálculo vectorial, almacenamiento, etc., que es conveniente y rápido. Se recomienda que todos aprendan y lo usen. Para el texto, la mayoría del texto no está estructurado, como PDF, Word, HTML, etc., debe estructurarse en función de otras herramientas, y Langchain también proporciona un método de código abierto. La capacidad de la implementación privatizada de LLM + Acceso de conocimiento localizado + Expansión de complemento de LLM es la dirección de desarrollo actual.

Historia de la estrella

ilustrar

• El contenido anterior está relacionado con el proceso de aprendizaje del individuo (incluido el contenido de Internet, las notas personales, etc.). Espero que sea útil para los amigos en el campo del estudio de la inteligencia cognitiva.

Contacto

• CSDN
• Sitio web personal
• resumen técnico wiki
• Correo electrónico: [email protected]
• Tiempo de actualización: 2023.5.21
• Li Hanghang