Se você precisar contribuir para este projeto de código aberto, entre em contato comigo.
- Aprendizagem profunda para o grupo de conhecimento
- Link externo de recurso
- A vida passada e presente do gráfico de conhecimento
- Lista de resumo da pesquisa
- Pesquisa especial
- Análise da teoria relacionada do KG & QA
- Análise de documentos relacionados à PNL
- Pesquisa sobre a estrutura dos documentos financeiros chineses
- Conferências relacionadas ao gráfico de conhecimento
- Analogia de fatos
- Tecnologia do sistema de diálogo
- Relacionado à comercialização de NLP/diálogo/kg (apenas para comunicação e aprendizado)
- Lista de perguntas e respostas de código aberto e sistemas de conversa
- Lista de plataformas semânticas convencionais
- Lista de ferramentas de pré -processamento de texto chinês e inglês
- Ferramentas de armazenamento e consulta de gráficos
- Ferramentas de visualização
- Lista de conjuntos de dados de gráficos de conhecimento chinês e inglês
- Contestar
- pensar
- História da estrela
- ilustrar
- Contato
Aprendizagem profunda para o grupo de conhecimento
Explore a série de inteligência cognitiva --- Tendências: 1. Conhecimento de fusão de dados; 2. Tudo em LLM. Incluindo aquisição de conhecimento, construção da base de conhecimento e uma série de pesquisas técnicas e aplicação de sistemas de perguntas e respostas baseados na base de conhecimento. Envolve tecnologias e documentos de ponta no campo da PNL.
Link externo de recurso
NLP-Progresso
Repositório para rastrear o progresso no processamento de linguagem natural (PNL), incluindo os conjuntos de dados e o atual ponta das tarefas mais comuns de PNL.
PapersWithCode
Documentos e códigos são fornecidos.
Tecnologia online
Tecnologia diária pessoal e sites de bate -papo.
A vida passada e presente do gráfico de conhecimento
| Número de série | artigo |
|---|
| 1 | Por que o "Gráfico do Conhecimento" está voltando para 1956? |
Lista de resumo da pesquisa
Pesquisa especial
- Um sistema de diálogo baseado no gráfico de conhecimento
Análise da teoria relacionada do KG & QA
- Um resumo dos gráficos de conhecimento
- O desafio do gráfico de conhecimento
- Gráfico de aprendizado e conhecimento profundo
- CN-dbpedia: um sistema interminável de extração de conhecimento chinês
- KBQA
- Zhao Tingyang: Como é possível a autoconsciência da inteligência artificial? 1-3
- NLP University Abrindo Daji-Teacher Li Wei, Universidade Simon Fraser, Ph.D.
- ACL 2019 Um resumo abrangente do gráfico de conhecimento
Análise de documentos relacionados à PNL
- O transformador ilustrado
- Uma pesquisa atenciosa de modelos de atenção
- Bert: representações bidirecionais do codificador de transformadores
- Ernie: representação aprimorada através da integração do conhecimento
- Ernie: representação aprimorada de linguagem com entidades informativas
- Google T5: Transformador de transferência de texto em texto
Pesquisa sobre a estrutura dos documentos financeiros chineses
- Doc2edag
Conferências relacionadas ao gráfico de conhecimento
| número de série | nome | nota | tipo | campo |
|---|
| 1 | ACL | Classe A. | Conferência Acadêmica | Ai |
| 2 | Cvpr | Classe A. | Conferência Acadêmica | Ai |
| 3 | ICML | Classe A. | Conferência Acadêmica | Ai |
| 4 | Ijcai | Classe A. | Conferência Acadêmica | Ai |
| 5 | Emnlp | Classe B. | Conferência Acadêmica | Ai |
| 6 | Cikm | Classe B. | Conferência Acadêmica | Banco de dados/Mineração de dados/recuperação de conteúdo |
| 7 | Aaai | Classe A. | Conferência Acadêmica | Ai |
| 8 | Sigkdd | Classe A. | Conferência Acadêmica | Banco de dados/Mineração de dados/recuperação de conteúdo |
| 9 | Tkde | Classe A. | Revistas acadêmicas | (Banco de dados/Mineração de dados/recuperação de conteúdo) |
| 10 | Sigir | Classe A. | Conferência Acadêmica | Banco de dados/Mineração de dados/recuperação de conteúdo |
Analogia de fatos
- Resumo do mapa do assunto
- Bai Shuo: seis perguntas e seis respostas no mapa das coisas
Tecnologia do sistema de diálogo
- CSDN | Notas de classe aberta: Uma explicação detalhada da gestão do conhecimento em diálogo heurístico
- Uma revisão sistemática do diálogo
- Tecnologia de compreensão falada (SLU) em sistemas de diálogo
Relacionado à comercialização de NLP/diálogo/kg (apenas para comunicação e aprendizado)
- Tecnologia de processamento de linguagem natural na interação de voz-xiaomi
- Internet de Metodologia do Gráfico de Conhecimento Lean-Wenyin Internet
- Pesquisa e progresso do robô Xiaoi em plataforma aberta semântica chinesa-Xiaoi Robot
- Iflytek com o valor e os desafios do gráfico de conhecimento de uma perspectiva de aplicativo-iflytek
Lista de perguntas e respostas de código aberto e sistemas de conversa
| número de série | nome | endereço |
|---|
| 1 | QuestionAnsweringsystem | O QuestionAnsweringsystem é um sistema de perguntas e respostas humano-computador de Java que pode analisar automaticamente perguntas e fornecer respostas ao candidato. |
| 2 | QabasedonmedicakNowledgeGraph | Do zero, construímos um certo gráfico de conhecimento em campo médico centrado na doença e usamos este gráfico de conhecimento para concluir os serviços automáticos de perguntas e respostas e de análise. Python |
| 3 | Deeppavlov | Uma biblioteca de código aberto para sistemas de diálogo de ponta a ponta de aprendizado profundo e chatbots. Python |
Lista de plataformas semânticas convencionais
| número de série | nome |
|---|
| 1 | Tencent Wenzhi Chinese Semantic Platform |
| 2 | Iflytek Open semântico Plataforma |
| 3 | Bosen semântica chinesa plataforma aberta |
| 4 | HARBIN Institute of Technology Language Cloud |
Lista de ferramentas de pré -processamento de texto chinês e inglês
| número de série | nome | Funções principais |
|---|
| 1 | Thulac | Ferramenta de análise lexical chinesa, suporta C ++/Java/Python por Tsinghua |
| 2 | LTP | Plataforma de tecnologia de idiomas Pylyp LTP Python Packaging do Harbin Institute of Technology |
| 3 | Hanlp | Apoie Java |
| 4 | Particípio da gagueira | Particípio da palavra chinesa (apenas particípio da palavra particípio), java, python, c ++ |
| 5 | Jiagu | Fornece funções comuns de processamento de linguagem natural, como segmentação de palavras chinesas, anotação de parte da fala, reconhecimento de entidades de nomeação, extração de palavras-chave, resumo do texto e descoberta de novas palavras. Python |
| 6 | Fudannlp | Particípio da palavra chinesa (particípio da palavra, anotação de parte da fala, reconhecimento de entidade de nomeação), suporta Java |
| 7 | Deepdive Deepdive | Ferramenta de extração de conhecimento de código aberto da Universidade de Stanford (Extração Tripla), suporta Python |
| 8 | Fudandnn-nlp3.0 | Used for Chinese word segmentation, naming recognition, part-of-speech annotation, sentence classification, semantic analysis, knowledge base access, dialogue question and answer, and supports Java------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| 9 | Stanford Corenlp | Multilingual part-of-speech marker, naming entity recognizer, parser (sentence and grammatical structure), reference digester (that is, the question of determining which noun phrase the pronoun points to in the chapter), sentiment analyzer, guided mode learner, open information extractor, Java/Python----- Stanford CoreNLP is Stanford University's natural language processing toolkit, the toolkit requires Java support |
Ferramentas de armazenamento e consulta de gráficos
| número de série | nome | Funções principais |
|---|
| 1 | Neo4j | Banco de dados de gráfico de código aberto desenvolvido por Java. |
| 2 | Orientdb | Banco de dados NOSQL de código aberto que pode lidar com documentos, gráficos e componentes tradicionais de banco de dados. Escrito por Java, armazenamento rápido. |
| 3 | Virtuoso | Suporta consultas RDF e SPARQL. |
| 4 | Titã | Ele pode ser integrado ao Gremlin/HBase para ativar o processamento de dados gráficos de armazenamento e computação distribuído. |
| 5 | Apache Jena-Idb | Operar RDF sob Java. Entre eles, o TDB usa o Triple Store para fornecer uma loja persistente para dados de RDF. O TDB é mais rápido e escalável que o RDB e o SDB. |
| 6 | Cifra | Idioma de consulta de gráficos declarativos, consulta eficiente expressa e atualize o banco de dados de gráficos. |
| 7 | Gremlin | Uma linguagem funcional de fluxo de dados que permite aos usuários expressar travessia ou consulta de gráficos de propriedades complexos de maneira concisa. |
| 8 | SPARQL | Um protocolo de linguagem de consulta e aquisição de dados desenvolvido para RDF. |
| 9 | rdflib | Um analisador e serializador escritos com base em Python, RDF/XML, N3, NTRIPLES, N-QADS, TARTURTE, TRIX, RDFA e MICRODATA, suporta declarações de consulta e atualização SPARQL 1.1. |
Ferramentas de visualização
| número de série | nome | Funções principais |
|---|
| 1 | ECHARTS | Ferramenta de código aberto do Baidu, encapsulamento completo da API, simples e fácil de usar e fácil de usar, mas não suporta processamento de eventos. |
| 2 | Citoscape.js | Para gráficos e rede, a interatividade do evento é boa e fácil de usar. |
| 3 | D3.js | O limite para uso é alto, mas suporta processadores de eventos. O D3 possui uma sobrecarga extremamente pequena, suporta o comportamento dinâmico de grandes conjuntos de dados e animações interativas e suporta gráficos ricos. |
Lista de conjuntos de dados de gráficos de conhecimento chinês e inglês
| número de série | nome | Tarefas de aplicativos |
|---|
| 1 | Openkg | Gráfico de conhecimento aberto |
| 2 | CN-probase | Mapa conceitual chinês em larga escala |
| 3 | Sentibridge | Base de conhecimento emocional da entidade chinesa, representando como as pessoas descrevem uma entidade, incluindo notícias, turismo e catering, um total de 300.000 pares |
| 4 | Gráfico de conhecimento musical | Gráfico de conhecimento musical chinês, cantores, músicas e outras informações |
| 5 | Conhecimento de RDF de personagem | Conhecimento de caracteres coletado no site da Encyclopedia, um total de 650.000 triplos de RDF |
| 6 | Gráfico de conhecimento das atrações turísticas chinesas | O mapa de conhecimento chinês das atrações do turismo chinês faz parte do mapa de conhecimento Casia-KB. Extraído da Enciclopédia Baidu e Enciclopédia Interativa. O mapa de conhecimento das atrações turísticas pode ser usado em geografia, vida, entretenimento e outras aplicações. |
| 7 | 2 milhões de dados de retrato de produto | Esses dados são um resumo dos dados do retrato do produto acumulados por Bai Dan nos sete anos de operação. A Bai Dan construiu um rico sistema de classificação de comércio eletrônico e sistema de classificação de mídia. |
| 8 | Banco de sintomas chineses | Este é um conjunto de dados que contém entidades de sintomas e trigêmeos relacionados aos sintomas. Os dados do banco de dados de sintomas chineses vêm de 8 sites de consulta de saúde convencionais, 3 sites de enciclopédia chinesa e registros médicos eletrônicos. |
| 9 | Gráfico de conhecimento do aeroporto CNSCHEMA | O gráfico de conhecimento do aeroporto baseado no CNSchema pode consultar as propriedades dos aeroportos em todo o mundo, incluindo nome, fuso horário, código do aeroporto, localização geográfica (latitude e longitude), etc. |
| 10 | Gráfico de conhecimento versículos-gerais de sete caracteres | Esses dados contêm um total de 80 milhões de trigêmeos de enciclopédia, que fazem parte do subconjunto dos poemas de sete caracteres e continuarão sendo mais abertos no futuro. Qiluo-7lore é um gráfico de conhecimento da Enciclopédia cuidadosamente criado pela Tecnologia de Grass Dogtail. É uma coleção de conhecimentos maciços no mundo humano. Ele contém coisas, fatos, conceitos, regras, etc. |
Contestar
- ATEC ANT Developer Concorrência Concorrência-Cálculo de similaridade de problemas NLP-2019-3
- Baidu 2019 Language and Intelligent Technology Competition Segunda faixa-Diálogo orientado a conhecimento-2019-4
- SMP2019 Avaliação de Tecnologia de Diálogo Humano-Computador Chinês (ECDT), Subtarefa: Classificação de Domínio, Reconhecimento de Intenção e Preenchimento de Slot Semântico -Task1: Entendendo a Avaliação de Entendimento de Linguagem Naturais-2019-5
pensar
- A construção do gráfico de conhecimento é um projeto sistemático de engenharia. Atualmente, a combinação de tecnologia de aprendizado profundo e conhecimento de processamento de linguagem natural melhorou a eficiência da construção até certo ponto e reduziu os custos. O status do gráfico de conhecimento está no sentido de que a inteligência cognitiva é uma instalação básica de recursos, com base na qual pode ser usado em sistemas de perguntas e respostas, diálogo, recomendação e melhoridade.
- Atualmente, há muita demanda por construção de gráficos de conhecimento em campos verticais. Em termos de aplicação, a prática de sistemas inteligentes de perguntas e respostas e diálogo ativo é um tópico relativamente quente.
- Pessoalmente, acho que um sistema de rastreador pode fornecer uma fonte de conhecimento dinamicamente atualizada para a base de conhecimento.
- Um sistema de diálogo que combina conhecimento/senso comum, com mais precisão e diversidade, é uma direção que vale a pena estudar, permitindo que as máquinas oriem aos usuários a comunicar tópicos. Por exemplo, o jogo 2 acima é o aplicativo nessa direção.
- O limiar para o processamento/compreensão da linguagem natural foi aumentado para Bert, que é basicamente um obrigatório nas vastas tarefas de número, com base no transformador como um codificador! Como integrar o conhecimento (pode ser multimodal) ao treinamento modelo tornou -se um tópico importante na pesquisa. Por exemplo, o Baidu propôs recentemente que o modelo de representação Ernie introduz essa idéia, que também alcançou bons resultados em tarefas a jusante.
- O Knowledge Graph Incorpording (KGE) é um ponto de acesso atual de pesquisa.
- A integração do conhecimento de dados multimodais deve ser um estágio de exploração importante para que a inteligência da máquina de domínio se mova em direção à inteligência geral do conhecimento. Primeiro, devido às características dos próprios dados multimodais, a estrutura é muito importante. Após a estrutura, pode enriquecer bastante a composição do conhecimento do gráfico do conhecimento e enriquecer a expressão. Segundo, parece mais interessante se os componentes do CV e da PNL podem ser conectados e trabalhar juntos, como o conteúdo da resposta do cenário de perguntas e respostas é uma comunicação mais rica e mais natural com as pessoas.
-
<strong> Para a estrutura dos dados de texto, além de usar métodos de aprendizado de máquina, expressões regulares também podem ser usadas para extração de dados, links de processamento intermediário na modelagem, etc. Por exemplo: Expressão regular combinada com aprendizado profundo </strong> - 20230226: O desenvolvimento da PNL é outra mudança de paradigma da segunda metade de 2022 para 2023. Com o advento do ChatGPT, todos dentro e fora do campo foram conhecidos, o que causou uma discussão quente em todas as esferas da vida, e as principais empresas domésticas e estrangeiras seguiram o exemplo. Por exemplo, LLM (modelo de linguagem grande), AIGC (conteúdo gerado por IA) e algumas tarefas de subdivisão da PNL tornaram -se unificadas devido ao LLM, e o LLM se tornou um tópico de infraestrutura em vários setores. O surgimento do chatgpt é dar uma surpresa às pessoas, dar às pessoas novas possibilidades de exploração e à IA, para serem popularizadas.
- Da perspectiva de experimentar o ChatGPT, eu basicamente cobri todos os pensamentos anteriores, incluindo extração de informações, diálogo, geração de opinião, cadeia de pensamento-há raciocínio, novos conhecimentos podem ser adicionados para atualizar e codificar. O mais surpreendente é que posso falar seriamente e listar as etapas para problemas lógicos.
- Saiba mais sobre os princípios do artigo. Para o desenvolvimento do GPT-1 para GPT3, entenda a infraestrutura do transformador.
- 20230521: A velocidade de acompanhamento doméstica LLM é muito rápida, e os grandes modelos de idiomas auto-desenvolvidos foram lançados, e também existem de código aberto, como o Chatglm-6/130b de Tsinghua. O ecossistema em torno da LLM também está se desenvolvendo rapidamente. Vários aplicativos, como chatpdf, plug-ins, etc. recentemente, o OpenAI lançou a versão ChatGPT iOS, que levou a implementação do LLM uma grande etapa. Pode imaginar que muitas aplicações no futuro se basearão nos recursos do LLM. Em relação a como criar alguns aplicativos baseados no LLM, a estrutura de código aberto Langchain itera muito rapidamente. Algumas linhas de código podem permitir que você experimente rapidamente, como perguntas e respostas, com base em documentos pessoais, cálculo de vetores, armazenamento etc., que é conveniente e rápido. Recomenda -se que todos aprendam e usem. Para o texto, a maioria dos texto é realmente não estruturada, como PDF, Word, HTML etc., precisa ser estruturada com base em outras ferramentas, e Langchain também fornece um método de código aberto. A capacidade da implantação privatizada do LLM + acesso localizado de conhecimento + expansão de plug-in do LLM é a direção atual do desenvolvimento.
História da estrela
ilustrar
- O conteúdo acima está relacionado ao processo de aprendizado do indivíduo (incluindo conteúdo da Internet, notas pessoais etc.). Espero que seja útil para os amigos no campo do estudo da inteligência cognitiva.
Contato
- CSDN
- Site pessoal
- Resumo Técnico do Wiki
- E -mail: [email protected]
- Tempo de atualização: 2023.5.21
- Li Hanghang
