НЛП-библиотека
Это курируемый список документов, с которыми я столкнулся в каком -то качестве и считает, что в библиотеке практикующих практикующих НЛП. Некоторые бумаги могут появиться в нескольких подкатегориях, если они не легко вписываются в одну из коробок.
PRS абсолютно приветствуется! Направить любую корреспонденцию/вопросы @mihail_eric.
Некоторые специальные обозначения для определенных документов:
Легенда: это изменение игры в литературе NLP и стоит прочитать.
? Ресурс: эта статья вводит некоторые наборы данных/ресурсов и, следовательно, может быть полезен для прикладных целей.
Часть речи
- (2000) Статистическая часть речи
- TLDR : основополагающая бумага, демонстрирующая мощный POS-теггер на основе HMM. Многие советы и хитрости для создания таких классических систем включены.
- (2003), богатая функциями, тегинга с циклической сетью зависимостей
- TLDR : предлагает ряд мощных лингвистических особенностей для построения (тогда) системы SOTA POSGREAGING
- (2015) Двунаправленные модели LSTM-CRF для маркировки последовательности
- TLDR : предлагает модель с загрязнянием последовательности элементов, объединяющая нейронные сети с условными случайными полями, достижение SOTA в POS-загрязнении, NER и Chunking.
Диапазон
- (2003) Точный небезопасенный анализ
- TLDR : Красивая бумага, демонстрирующая, что небезопасные вероятностные грамматики небезопасно могут превышать производительность лексикализованных PCFG.
- (2006) Точное, компактное и интерпретируемое дерево
- TLDR : захватывающий результат, показывающий, что использование максимизации ожидания вы можете автоматически изучать точные и компактные скрытые непонмические символы для аннотации деревьев, достигая SOTA.
- (2014) Быстрый и точный анализатор зависимости с использованием нейронных сетей
- TLDR : Очень важная работа, открывая новую волну архитектур разбора нейронной сети, достигая производительности SOTA, а также сверкающие скорости разбора.
- (2014) Грамматика как иностранный язык
- TLDR : одна из самых ранних демонстраций эффективности архитектур SEQ2SEQ с вниманием к анализу избирателей, достигнув SOTA на корпусе WSJ. Также показал важность увеличения данных для задачи анализа.
- (2015) Проанализирование зависимостей на основе переходов со стеком длинной краткосрочной памяти
- TLDR : представляет Stack LSTMS, нейронный анализатор, который успешно обнажает традиционные операции Push-Pop становления синтаксических анализов зависимостей, достигая SOTA в процессе.
Названное признание сущности
- (2005) включение нелокальной информации в системы извлечения информации путем отбора проб GIBBS
- TLDR : Используя методы Cool Monte Carlo в сочетании с условной моделью случайного поля, эта работа достигает огромного уменьшения ошибок в определенных критериях извлечения информации.
- (2015) Двунаправленные модели LSTM-CRF для маркировки последовательности
- TLDR : предлагает модель с загрязнянием последовательности элементов, объединяющая нейронные сети с условными случайными полями, достижение SOTA в POS-загрязнении, NER и Chunking.
Резолюция Coreference
- (2010) многопроходное сито для разрешения Coreference
- TLDR : предлагает основополагающий подход к разрешению Coreference, который в течение многих лет (до глубокого обучения) был SOTA.
- (2015) Разрешение основного препарата, ориентированное на объект со складом моделей
- TLDR : Эта работа предлагает изящный подход к созданию цепочек основных цепов, используя функции уровня сущности.
- (2016) Улучшение разрешения основной работы с помощью распределенных представлений на уровне организации
- TLDR : один из самых ранних эффективных подходов к использованию нейронных сетей для разрешения Coreference, значительно превосходя SOTA.
Анализ настроений
(2012) Базовые показатели и биграмсы: простые, хорошие чувства и классификация темы
- TLDR : очень элегантная статья, иллюстрирующая, что простые наивные байесологические модели с функциями Bigram могут превзойти более сложные методы, такие как машины поддержки векторных векторных, по таким задачам, как анализ настроений.
(2013) рекурсивные глубокие модели семантической композиции по сравнению с Treebank?
- TLDR : представляет Stanford Sentiment Treebank, замечательный ресурс для мелкозернистого настроения на предложения. Также представляет рекурсивную сеть нейронной тензоров, аккуратную лингвистически мотивированную архитектуру глубокого обучения.
(2014) Распределенные представления предложений и документов
- TLDR : представляет параграф -версию неконтролируемому, который изучает фиксированные представления о параграфах, используя идеи, вдохновленные Word2VEC . Затем достигает SOTA по анализу настроений на Стэнфордском настроении Treebank и наборе данных IMDB.
(2019) Неконтролируемое увеличение данных для обучения последовательности
- TLDR : вводит неконтролируемое увеличение данных , метод для эффективного обучения по небольшому количеству обучающих примеров. Paper применяет набор данных ADA к IMDB, достигая SOTA с 30 примерами обучения.
Естественная логика/вывод
- (2007) Естественная логика для текстового вывода
- TLDR : предлагает строгий подход, основанный на логике, к проблеме текстового вывода, называемого естественной логикой. Очень крутые математически мотивированные преобразования используются для вывода отношений между фразами.
- (2008) расширенная модель естественной логики
- TLDR : расширяет предыдущую работу по естественной логике для вывода, добавляя такие явления, как семантическое исключение и последствия для улучшения процесса преобразования предпосылки.
- (2014) Рекурсивные нейронные сети могут изучать логическую семантику
- TLDR : демонстрирует, что архитектуры глубокого обучения, такие как нейронные тензовые сети, могут эффективно применяться к выводу естественного языка.
- (2015) Большой аннотированный корпус для вывода естественного языка?
- TLDR : представляет Стэнфордский корпус вывода естественного языка, замечательный ресурс NLI, больше на два порядка по сравнению с предыдущими наборами данных.
Машинный перевод
- (1993) Математика статистического машинного перевода
- TLDR : представляет модели трансляции машин IBM, несколько семенных моделей в статистической MT.
- (2002) Bleu: метод автоматической оценки машинного перевода?
- TLDR : предлагает Bleu, метод оценки дефакто, используемый для машинного перевода (даже сегодня!)
- (2003) Статистический перевод на основе фразы
- TLDR : представляет модель перевода на основе фразы для MT, выполняя хороший анализ, который демонстрирует, почему модели, основанные на фразах, превосходят на основе слов.
- (2014) последовательность в обучении последовательности с нейронными сетями
- TLDR : представляет архитектуру нейронной сети последовательности к последовательности. Несмотря на то, что в этой статье применяется только к MT, с тех пор он стал одной из краеугольных архитектур современной обработки естественного языка.
- (2015) Перевод нейронной машины путем совместного обучения для выравнивания и перевода
- TLDR : расширяет предыдущие архитектуры последовательности к последовательности для MT, используя механизм внимания, мощный инструмент, позволяющий целевому слову мягко искать важный сигнал из исходного предложения.
- (2015) Эффективные подходы к переводу на основе внимания нейронной машины
- TLDR : представляет два новых механизмах внимания для MT, используя их для достижения SOTA по существующим нейронным системам MT.
- (2016) Перевод нейронной машины редких слов с подборочными единицами
- TLDR : вводит кодирование пары байтов, эффективную методику, позволяющую нейронным системам MT обрабатывать (больше) перевод открытого вокабуляции.
- (2016) Указывая неизвестные слова
- TLDR : предлагает копию-механизм для того, чтобы позволить системам MT более эффективно копировать слова из последовательности контекста источника.
- (2016) Система перевода нейронной машины Google: преодоление разрыва между человеческим и машинным переводом
- TLDR : замечательный тематическое исследование, демонстрирующее, как выглядит система трансляции производственной способности (в данном случае Google).
Семантический анализ
- (2013) Семантический анализ на свободном базе из пар вопросов-ответов?
- TLDR : предлагает элегантную технику для семантического анализа, который учится непосредственно из пар вопросов-ответов, без необходимости аннотированных логических форм, что позволяет системе масштабироваться до свободной базы.
- (2014) Семантическое анализ через перефразирование
- TLDR : разрабатывает уникальную модель перефразирования для обучения соответствующим кандидатам логическим формам из пар вопросов-ответов, улучшая SOTA на существующих наборах данных Q/A.
- (2015) Строительство семантического анализатора на ночь?
- TLDR : аккуратная бумага, показывающая, что семантический анализатор может быть построен с нуля, начиная без примеров обучения!
- (2015) Объединение машинного обучения и вычислительной семантики вместе
- TLDR : хороший обзор вычислительной семантической структуры, которая использует машинное обучение для эффективного изучения логических форм для семантического анализа.
Ответ/понимание вопроса/понимание прочитанного
(2016) Тщательное исследование задачи CNN/Daily Mail Compiting Compiting
- TLDR : отличная бумага для пробуждения, демонстрируя, что производительность SOTA может быть достигнута на определенных наборах данных по пониманию прочитанного с использованием простых систем с тщательно выбранными функциями. Не забудьте не забыть методы обучения!
(2017) Отряд: 100 000+ вопросов для понимания машины текста?
- TLDR : представляет набор данных команды, вопрос, отвечающий вопросам, который стал одним из контрольных показателей, используемых сегодня.
(2019) Смотрите, прежде чем прыгать: разговорные вопросы, отвечая на графики знаний, используя разумное расширение контекста
- TLDR : представляет неконтролируемый метод, который может ответить на неполные вопросы по графику знаний, поддержав контекст разговора, используя объекты и предикаты, которые можно увидеть до сих пор, и автоматически выводя вывод пропавших или неоднозначных частей для последующих вопросов.
(2019) Обучение для получения пути рассуждений по графику Википедии для ответа на вопрос
- TLDR : представляет новый рецидивирующий подход поиска на основе графика, который извлекает пути рассуждений над графиком Википедии, чтобы ответить на вопросы с открытым доменом с несколькими хопами.
(2019) Рассуждения о абсуртивном здравом смысле
- TLDR : вводит набор данных и концептуализирует две новые задачи по поводу арестованного рассуждения: абсуктивный вывод естественного языка и генеральный генеральный язык естественного языка.
(2020) дифференцируемые рассуждения по поводу виртуальной базы знаний
- TLDR : представляет нейронный модуль для ответа на вопрос с несколькими хопами, который дифференцируется и может быть обучен сквозной.
(2020) Используя поиск прохода с генеративными моделями для ответа на вопрос открытого домена.
- TLDR : представляет подход к вопросам с открытым доменом.
(2020) Деформатор: разложение предварительно обученных трансформаторов для более быстрого ответа на вопрос
- TLDR : представляет разлагаемый трансформатор, который заменяет полное самопринятое с помощью общего вопроса и самооткрытия в нижних слоях, уменьшая вычислительные вычисления времени выполнения.
(2020) Итеративные данные, основанные на выравнивании.
- TLDR : Подарки вводят простой, быстрый и неконтролируемый метод поиска итеративных данных для ответа на вопрос с несколькими хопами.
(2020) Обучение больше спрашивать: полуавторегрессивное последовательное генерация вопросов при взаимодействии с двойным графом
- TLDR : представляет подход для создания вопроса в полуавторегрессии с использованием двух графиков на основе отрывков и ответов.
(2020) Какой вопрос ответа может учиться на NERDS FRIVIA
- TLDR : представляет представление о том, какой вопрос, отвечающий на вопрос, может извлечь уроки из турниров по викторам.
(2020) Улучшение многооткрытия вопросов, отвечая на графики знаний с использованием базы знаний.
- TLDR : представляет подход, эффективный в выполнении многоуровневых KGQA, по сравнению с редкими графами знаний.
Генерация/суммирование естественного языка
- (2004) Rouge: пакет для автоматической оценки резюме?
- TLDR : вводит Rouge, показатель оценки для суммирования, которая используется по сей день в различных задачах трансдукции последовательности.
- (2004) Textrank: внесение порядка в тексты
- TLDR : применение методов анализа текста на основе графиков, основанных на PageRank, авторы достигают результатов SOTA при извлечении ключевых слов и очень сильной добывающей суммировании результатов неконтролируемым образом.
- (2015) Семантически кондиционированная LSPM Generation Generation для систем разговорных диалогов на основе разговоров
- TLDR : предлагает нейронный генератор естественного языка, который совместно оптимизирует планирование предложений и реализацию поверхности, опережая другие системы на человеческой оценке.
- (2016) Указывая неизвестные слова
- TLDR : предлагает копию-механизм для того, чтобы позволить системам MT более эффективно копировать слова из последовательности контекста источника.
- (2017) добраться до пункта: суммирование с помощью сетей Gointer-Generator
- TLDR : Эта работа предлагает элегантный механизм мягких копий, который резко превосходит SOTA при абстрактном суммировании.
- (2020) Генеративная модель для совместного понимания естественного языка и генерации
- TLDR : Эта работа представляет собой генеративную модель, которая объединяет NLU и NLG через общую скрытую переменную, достигая современной производительности на двух наборах диалога с плоскими и структурированными деревьями формальными представлениями
- (2020) BART: денорирующая последовательность к последовательности предварительной тренировки для генерации, перевода и понимания естественного языка
- TLDR : Эта работа представляет генеративную модель, которая объединяет NLU и NLG через общую скрытую переменную, достигая современной производительности на двух наборах диалога с плоскими и структурированными деревьями формальными представлениями.
Системы диалога
- (2011) Генерация реагирования на привод данных в социальных сетях
- TLDR : предлагает использовать методы статистической машины на основе фразы для проблемы генерации ответов.
- (2015) Семантически кондиционированная LSPM Generation Generation для систем разговорных диалогов на основе разговоров
- TLDR : предлагает нейронный генератор естественного языка, который совместно оптимизирует планирование предложений и реализацию поверхности, опережая другие системы на человеческой оценке.
- (2016) Как не оценивать вашу систему диалога: эмпирическое исследование неконтролируемых показателей оценки для генерации реакции диалога
- TLDR : важная работа, демонстрирующая, что существующие автоматические метрики, используемые для диалога, крайне не соответствуют хорошим корреляциям с человеческим суждением.
- (2016) Сетевая система обучения, ориентированная на задание, ориентированную на задачу
- TLDR : предлагает аккуратную архитектуру для разложения системы диалога на несколько индивидуально обученных компонентов нейронной сети.
- (2016) Целевая функция, способствующая разнообразию для моделей нервных разговоров
- TLDR : вводит максимальную функцию взаимной информации для систем обучения диалога.
- (2016) Серия «Стремление третьего вызова в диалоге: обзор»
- TLDR : хороший обзор задач отслеживания состояния диалога для систем диалога.
- (2017) Архитектура последовательности к последовательности дает хорошую производительность для диалога, ориентированного на задачу, ориентированного на задачу
- TLDR : показывает, что простые архитектуры последовательности к последовательности с механизмом копирования могут конкурентно работать на существующих наборах данных диалога, ориентированных на задачу.
- (2017) Сети поиска ключей для диалога, ориентированного на задание?
- TLDR : вводит новый многодоментный набор данных для набора данных, ориентированного на задание, а также архитектуру для мягкой включения информации из структурированных баз знаний в системы диалога.
- (2017) Обучение симметричному совместному диалоговому диалогу агентам с динамическим графом знаний?
- TLDR : представляет новый набор данных о совместном диалоге, а также архитектуру представления структурированных знаний с помощью графиков знаний.
- (2017) Гибридные кодовые сети: практическое и эффективное управление сквозным диалогом с контролируемым и подкреплением обучения
- TLDR : представляет архитектуру гибридного диалога, которая может быть совместно обучена с помощью контролируемого обучения, а также подкрепления обучения и объединяет методы нейронных сети с мелкозернистыми подходами, основанными на правилах.
Интерактивное обучение
- (1971) Процедуры как представление для данных в компьютерной программе для понимания естественного языка
- TLDR : одна из оригинальных работ в области компьютерных наук, внедряя Shrdlu, раннюю систему для компьютеров, понимающих команды человеческого языка.
- (2016) Изучение языковых игр через взаимодействие
- TLDR : вводит новую настройку для взаимодействия с компьютерами для выполнения задачи, в которой можно использовать только естественный язык для общения с системой!
- (2017) Натурализация языка программирования с помощью интерактивного обучения
- TLDR : Очень крутая работа, позволяющая сообществу работников итеративно натурализовать язык, начиная с основного набора команд в интерактивной задаче.
Языковое моделирование
- (1996) Эмпирическое исследование методов сглаживания для языкового моделирования
- TLDR : проводит обширный обзор методов сглаживания в традиционных системах моделирования языка.
- (2003) Нейронная вероятностная языковая модель
- TLDR : оригинальная работа по глубокому обучению NLP, внедряя одну из самых ранних эффективных моделей для моделирования языка на основе нейронной сети.
- (2014) Один миллиард слов для измерения прогресса в моделировании статистического языка?
- TLDR : представляет эталон моделирования языка языка Google на один миллиард.
- (2015) Модели нейронного языка с учетом характера
- TLDR : предлагает языковую модель с использованием сверточных нейронных сетей, которые могут использовать информацию на уровне символов, выполняя точку на уровне слов LSTM LSTM.
- (2016) Изучение пределов языкового моделирования
- TLDR : представляет систему модели мега -языка с использованием глубокого обучения, которая использует различные методы и значительно выполняет SOTA на сравнительном этапе одного миллиарда слов.
- (2018) Глубокие контекстуализированные представления слов?
- TLDR : Эта статья представляет Elmo, супер мощную коллекцию встроенных слов, изученную из промежуточных представлений глубокой двунаправленной языковой модели LSTM. Достиг SOTA по 6 разнообразным задачам NLP.
- (2018) Берт: предварительное обучение глубоких двунаправленных трансформаторов для понимания языка
- TLDR : одна из наиболее важных статей 2018 года, внедряя BERT мощную архитектуру, предварительную с использованием языкового моделирования, которое затем эффективно передается в другие задачи, специфичные для доменов.
- (2019) XLnet: генерализованная ауторегрессивная предварительная подготовка для понимания языка
- TLDR : генерализованный метод предварительного подготовки авторегрессии, который улучшается после BERT, максимизируя ожидаемую вероятность по сравнению с всеми перестановками порядка факторизации.
Разное
- (1997) Длинная кратковременная память
- TLDR : представляет рецидивирующую единицу LSTM, краеугольный камень современной НЛП на основе нейронной сети.
- (2000) Maximum Entropy Markov Models для извлечения и сегментации информации
- TLDR : вводит модели марковки Маркова Маркова для извлечения информации, обычно используемой методики ML в классическом NLP.
- (2010) От частоты до значения: модели семантики векторного пространства
- TLDR : замечательный обзор существующих моделей векторного пространства для обучения семантики в тексте.
- (2012) Введение в условные случайные поля
- TLDR : хороший, углубленный обзор условных случайных полей, обычно используемой модели, наполненной последовательностями.
- (2013) Распределенное представление слов и фраз и их композиции
- TLDR представил Word2VEC, коллекцию распределенных векторных представлений, которые обычно использовались для инициализации встраиваний слов в основном в каждой архитектуре NLP за последние пять лет. ?
- (2014) Перчатка: глобальные векторы для представления слов?
- TLDR : вводит внедрение в перчатки, один из наиболее часто используемых методов встраивания слов во всех ароматах моделей NLP
- (2014) Не учитывайтесь, прогнозируйте! Систематическое сравнение контекста с контекстно-прогнозирующими семантическими векторами
- TLDR : важная статья, демонстрирующая, что подходы к семантике распределения контекста превзошли методы, основанные на подсчете.
- (2015) Улучшение сходства распределения с помощью уроков, извлеченных из встроенных слов
- TLDR : демонстрирует, что традиционные методы семантики распределения могут быть улучшены с помощью определенных вариантов дизайна и оптимизации гиперпараметрических средств, которые делают их производительность конкурируют на методах встраивания на основе нейронных сети.
- (2018) Модель универсального языка тонкая настройка для классификации текста
- TLDR : Предоставляет шмргас -забор хороших методов для создания языковых моделей, которые могут быть эффективно переданы в задачи классификации текста.
- (2019).
- TLDR : Очень хорошая работа, обеспечивая математическую формализм для понимания некоторых перефразирующих свойств современных встраиваний слов.
