Если вам нужно внести свой вклад в этот проект с открытым исходным кодом, пожалуйста, свяжитесь со мной.
- Глубокое обучение для графа знаний
- Ресурс внешняя ссылка
- Прошлая и настоящая жизнь графика знаний
- Список сводных исследований
- Специальное исследование
- Анализ связанной теории KG & QA
- Анализ документов, связанных с НЛП
- Исследование структуры китайских финансовых документов
- Конференции, связанные с графом знаний
- Аналогия фактов
- Технология диалога
- Связано с коммерциализацией NLP/Dialogue/кг (только для общения и обучения)
- Список основных систем и разговоров с открытым исходным кодом
- Список основных семантических платформ
- Список инструментов предварительной обработки китайского и английского текста
- Инструменты хранения и запроса графика
- Инструменты визуализации
- Список наборов данных о графе китайских и английских знаний
- Конкурс
- думать
- Звездная история
- иллюстрировать
- Контакт
Глубокое обучение для графа знаний
Исследуйте серию когнитивного интеллекта --- Тенденции: 1. Знание слияния данных; 2. Все в LLM. Включая получение знаний, строительство базы знаний и серию технических исследований и применения систем Q & A, основанных на базе знаний. Он включает в себя передовые технологии и бумаги в области НЛП.
Ресурс внешняя ссылка
NLP-Progress
Репозиторий для отслеживания прогресса в обработке естественного языка (NLP), включая наборы данных и текущее состояние для наиболее распространенных задач NLP.
PaperSwithCode
Документы и коды предоставлены.
Технология онлайн
Личные ежедневные технологии и чаты.
Прошлая и настоящая жизнь графика знаний
| Серийный номер | статья |
|---|
| 1 | Почему «график знаний» возвращается к 1956 году? |
Список сводных исследований
Специальное исследование
- Система диалога, основанная на графике знаний
Анализ связанной теории KG & QA
- Краткое изложение графов знаний
- Задача графика знаний
- График глубокого обучения и знаний
- CN-Dbpedia: бесконечная система извлечения знаний Китая
- Кбкка
- Чжао Тингьян: Как возможна самосознание искусственного интеллекта? 1-3
- Открытие Университета НЛП даджи-учитель Ли Вэй, Университет Саймона Фрейзера, доктор философии.
- ACL 2019 Комплексное краткое изложение графика знаний
Анализ документов, связанных с НЛП
- Иллюстрированный трансформатор
- Внимательный обзор моделей внимания
- Берт: двунаправленные представления энкодера от трансформаторов
- Эрни: улучшенное представление посредством интеграции знаний
- Эрни: улучшенное представление языка с информативными сущностями
- Google T5: трансформатор передачи текста в текст
Исследование структуры китайских финансовых документов
- Doc2edag
Конференции, связанные с графом знаний
| серийный номер | имя | оценка | тип | поле |
|---|
| 1 | Acl | Класс а | Академическая конференция | Ай |
| 2 | CVPR | Класс а | Академическая конференция | Ай |
| 3 | ICML | Класс а | Академическая конференция | Ай |
| 4 | Ijcai | Класс а | Академическая конференция | Ай |
| 5 | Emnlp | Класс б | Академическая конференция | Ай |
| 6 | Cikm | Класс б | Академическая конференция | База данных/получение данных/поиск контента |
| 7 | Ааай | Класс а | Академическая конференция | Ай |
| 8 | Sigkdd | Класс а | Академическая конференция | База данных/получение данных/поиск контента |
| 9 | TKDE | Класс а | Академические журналы | (База данных/получение данных/поиск контента) |
| 10 | Сигир | Класс а | Академическая конференция | База данных/получение данных/поиск контента |
Аналогия фактов
- Краткое описание карты вопроса
- Бай Шуо: шесть вопросов и шесть ответов на карте вещей
Технология диалога
- CSDN | Открытые примечания класса: подробное объяснение управления знаниями в эвристических диалогах_аппич
- Систематический обзор диалога
- Технология разговорного понимания (SLU) в системах диалога
Связано с коммерциализацией NLP/Dialogue/кг (только для общения и обучения)
- Технология обработки естественного языка при голосовом взаимодействии-скьяоми
- Методология графика знаний о бегстве
- Исследования и прогресс робота Xiaoi на китайской семантической открытой платформе-робот xiaoi
- Iflytek, выглядящий на ценность и проблемы графика знаний с точки зрения приложения-если
Список основных систем и разговоров с открытым исходным кодом
| серийный номер | имя | адрес |
|---|
| 1 | Вопрос | ВОПРОССВАРИТЕЛЬНАЯ СИСТЕМА-это система вопросов и ответов с человеком-компьютером с помощью Java, которая может автоматически анализировать вопросы и дать кандидату на ответы. |
| 2 | Qabasedonmedicaknowledgegraph | С нуля мы создаем определенный график знаний о медицинских областях, ориентированные на болезнь, и используем этот график знаний для завершения автоматических вопросов и ответов и анализа. питон |
| 3 | Дипавлов | Библиотека с открытым исходным кодом для глубокого обучения сквозным диалоговому систему и чат-ботов. питон |
Список основных семантических платформ
| серийный номер | имя |
|---|
| 1 | Tencent Wenzhi китайская семантическая платформа |
| 2 | Iflytek Open Semantic Platform |
| 3 | Bosen китайская семантика открытая платформа |
| 4 | Харбин Институт технологического языка облако |
Список инструментов предварительной обработки китайского и английского текста
| серийный номер | имя | Основные функции |
|---|
| 1 | Thulac | Инструмент лексического анализа китайского лексического анализа, поддерживает C ++/Java/Python Tsinghua |
| 2 | LTP | Платформа языковой технологии Pylyp Ltp Python упаковка от Harbin Institute Technology |
| 3 | Ханлп | Поддержите Java |
| 4 | Причастие заикания | Причастие китайского слова (только причастие в причастию слова), Java, Python, C ++ |
| 5 | Цзягу | Обеспечивает общие функции обработки естественного языка, такие как сегментация китайского слова, аннотация части речи, распознавание сущности, извлечение ключевых слов, краткое изложение текста и новое обнаружение слов. Питон |
| 6 | fudannlp | Причастие китайского слова (причастие слова, аннотация части речи, признание именования), поддерживает Java |
| 7 | Глубокий глубокий | Инструмент извлечения знаний Стэнфордского университета (Triple Extraction), поддерживает Python |
| 8 | Fudandnn-nlp3.0 | Used for Chinese word segmentation, naming recognition, part-of-speech annotation, sentence classification, semantic analysis, knowledge base access, dialogue question and answer, and supports Java------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| 9 | Стэнфорд Corenlp | Многоязычный маркер частиц речи, распознавание сущностей именования, анализатор (предложение и грамматическая структура), справочный косой косо |
Инструменты хранения и запроса графика
| серийный номер | имя | Основные функции |
|---|
| 1 | Neo4j | База данных с открытым исходным кодом, разработанная Java. |
| 2 | Orientdb | База данных NOSQL с открытым исходным кодом, которая может обрабатывать документы, графику и традиционные компоненты базы данных. Написано Java, быстрое хранение. |
| 3 | Виртуоз | Поддерживает запросы RDF и Sparql. |
| 4 | Титан | Он может быть интегрирован с Gremlin/Hbase, чтобы обеспечить обработку данных для распределенного хранения и вычислительного графа. |
| 5 | Apache Jena-IDB | Управлять RDF под Java. Среди них TDB использует Triple Store, чтобы обеспечить постоянный магазин для данных RDF. TDB быстрее и масштабируемо, чем RDB и SDB. |
| 6 | Кифре | Декларативный язык запросов графика, экспресс -эффективная база данных графиков запросов и обновления. |
| 7 | Гремлин | Функциональный язык потока данных, который позволяет пользователям кратко выражать обход или запрос графов сложных свойств. |
| 8 | Sparql | Язык запросов и протокол сбора данных, разработанный для RDF. |
| 9 | rdflib | Парсер и сериализатор, написанный на Python, RDF/XML, N3, Ntriples, N-Quads, Turtle, TRIX, RDFA и MicroData, поддерживает заявления о запросе и обновлении SPARQL 1.1. |
Инструменты визуализации
| серийный номер | имя | Основные функции |
|---|
| 1 | Эчарты | Инструмент с открытым исходным кодом Baidu, полная инкапсуляция API, простая и простая в использовании и прост в использовании, но не поддерживает обработку событий. |
| 2 | Cytoscape.js | Для графики и сети интерактивность событий хороша и проста в использовании. |
| 3 | D3.JS | Порог для использования высок, но он поддерживает процессоры событий. D3 имеет чрезвычайно небольшие накладные расходы, поддерживает динамическое поведение больших наборов данных и интерактивных анимаций и поддерживает богатую графику. |
Список наборов данных о графе китайских и английских знаний
| серийный номер | имя | Задачи применения |
|---|
| 1 | OpenKg | Открытый график знаний |
| 2 | CN-Probase | Крупномасштабная китайская концептуальная карта |
| 3 | СДАРИБИРИДЖ | База эмоциональных знаний китайской сущности, изображающая, как люди описывают сущность, включая новости, туризм и питание, в общей сложности 300 000 пар |
| 4 | График знаний музыки | График китайского музыкального знания, певцов, песни и другая информация |
| 5 | Персонаж RDF знание | Собранные знания персонажей с сайта Encyclopedia, в общей сложности 650 000 тройков RDF |
| 6 | График знаний китайских туристических достопримечательностей | Китайская карта знаний китайских туристических достопримечательностей является частью карты знаний Casia-KB. Извлечен из энциклопедии Байду и интерактивной энциклопедии. Карта знаний туристических достопримечательностей может использоваться в географии, жизни, развлечениях и других приложениях. |
| 7 | 2 миллиона данных портрета продукта | Эти данные представляют собой сводку данных портрета продукта, накопленных Bai Dan за семь лет работы. Бай Дэн создал богатую систему классификации электронной коммерции и систему классификации медиа. |
| 8 | Китайский банк симптомов | Это набор данных, который содержит объекты симптомов и триплеты, связанные с симптомами. Данные из базы данных китайских симптомов поступают из 8 основных веб -сайтов для медицинских консультаций, 3 веб -сайтов китайских энциклопедий и электронных медицинских карт. |
| 9 | График знаний в аэропорту CNSchema | График знаний в аэропорту, основанный на CNSCHEMA может запросить свойства аэропортов по всему миру, включая название, часовой пояс, код аэропорта, географическое местоположение (широта и долгота) и т. Д. |
| 10 | График знаний с семью символами | Эти данные содержит в общей сложности 80 миллионов триплетов энциклопедии, которые являются частью подмножества семиплошащих стихов и будут продолжать оставаться более открытыми в будущем. Qiluo-7lore-это график знаний энциклопедии, тщательно созданный технологией Dogtail Grass. Это коллекция огромных знаний в человеческом мире. Он содержит вещи, факты, концепции, правила и т. Д. |
Конкурс
- ATEC ANT Developer Competition конкуренция-конкуренция с NLP SARGE SAREDINITY-2019-3
- Baidu 2019 языковой и интеллектуальной конкуренции по технологиям Второй трек-Диалог, управляемый знаниями-2019-4
- SMP2019 Китайская оценка технологии диалога человека-компьютера (ECDT), Подзадача: Классификация доменов, распознавание намерений и семантическое заполнение слотов -TASK1: Понимание естественного языка Оценка 2019-5
думать
- График построения знаний является систематическим инженерным проектом. В настоящее время объединение технологий глубокого обучения и знаний о обработке естественного языка в определенной степени повысило эффективность строительства и снижение затрат. Статус графика знаний заключается в том, что когнитивный интеллект является основным ресурсным объектом, на основе которого он может использоваться в вопросе и ответах, диалоге, рекомендательных системах и повышении интерпретации.
- В настоящее время существует большой спрос на построение графа знаний в вертикальных областях. С точки зрения применения, практика интеллектуальных вопросов и ответов и активных систем диалога является относительно горячей темой.
- Я лично думаю, что система хлистого может предоставить динамически обновленный источник знаний для базы знаний.
- Система диалога, которая сочетает в себе знания/здравый смысл, с большей точностью и разнообразием, - это направление, которое стоит изучать, позволяющее машинам направлять пользователей для передачи тем. Например, вышеупомянутая игра 2 является приложением в этом направлении.
- Порог для обработки/понимания естественного языка был поднят для Берта, который в основном является обязательным в задачах обширного числа, основанных на трансформаторе в качестве энкодера! Как интегрировать знания (может быть мультимодальным) в модельное обучение, стало горячей темой в исследованиях. Например, Baidu недавно предложил, чтобы модель представления Ernie представила эту идею, которая также достигла хороших результатов в последующих задачах.
- График знаний Embedling (KGE) - это текущая точка доступа.
- Интеграция мультимодальных знаний данных должна быть важной стадией исследования для интеллекта домена для продвижения к общему интеллекту знаний. Во -первых, благодаря характеристикам самого мультимодальных данных структура очень важна. После структуры это может значительно обогатить состав знаний графика знаний и обогатить выражение. Во -вторых, это интереснее, если компоненты CV и NLP могут быть подключены и работать вместе, например, содержание ответов в сценарии вопросов и ответов более богаче, и более естественное общение с людьми.
-
<strong> Для структуры текстовых данных, в дополнение к использованию методов машинного обучения, регулярные выражения также могут использоваться для извлечения данных, промежуточных обработков в моделировании и т. Д. Например: регулярное выражение в сочетании с глубоким обучением </strong> - 20230226: Разработка NLP является еще одним изменением парадигмы со второй половины 2022 по 2023 год. С появлением CHATGPT, все внутри и вне поля были известны, что вызвало горячую дискуссию во всех сферах жизни, и основные внутренние и иностранные компании последовали их примеру. Например, LLM (модель большого языка), AIGC (контент, генерируемый AI) и некоторые задачи подразделения NLP, стали объединены из -за LLM, и LLM стал темой инфраструктуры в различных отраслях. Появление CHATGPT состоит в том, чтобы дать людям сюрприз, дать людям новые возможности разведки и для ИИ, чтобы быть популярным.
- С точки зрения переживания CHATGPT, я в основном освещал все предыдущие мысли, включая извлечение информации, диалог, генерацию мнений, цепочка мышления-есть рассуждения, новые знания могут быть добавлены в обновление и код. Самое удивительное, что я могу говорить серьезно и перечислить шаги для логических проблем.
- Узнайте больше о принципах из статьи. Для развития GPT-1 в GPT3 понимайте инфраструктуру трансформатора.
- 20230521: Домашняя скорость наблюдения LLM очень быстрая, и были выпущены саморазвитые крупные языковые модели, а также есть с открытым исходным кодом, такие как чатльм-6/130b от Tsinghua. Экосистема вокруг LLM также быстро развивается. Различные приложения, такие как Chatpdf, плагины и т. Д. Это может представить, что многие приложения в будущем будут основаны на возможностях LLM. Относительно того, как создать некоторые приложения на основе LLM, то карвчан с открытым исходным кодом итерации очень быстро итерации. Несколько строк кода могут позволить вам быстро испытать такие вопросы, как вопросы и ответы на основе личных документов, векторного расчета, хранения и т. Д., Что удобно и быстро. Рекомендуется, чтобы все учились и использовали его. Для текста большая часть текста на самом деле неструктурирована, такая как PDF, Word, HTML и т. Д., Необходимо структурировать на основе других инструментов, а Langchain также предоставляет метод открытого исходного кода. Способность LLM приватизированного развертывания + локализованное доступ к знаниям + расширение плагина LLM является текущим направлением разработки.
Звездная история
иллюстрировать
- Приведенный выше контент связан с процессом обучения человека (включая интернет -контент, личные заметки и т. Д.). Я надеюсь, что это будет полезно для друзей в области изучения когнитивного интеллекта.
Контакт
- CSDN
- Личный сайт
- Вики-техническое резюме
- Электронная почта: [email protected]
- Время обновления: 2023.5.21
- Ли Хангханг
