TextClassification Keras

Текстовая степень-керас

Этот репозиторий кода реализует множество моделей глубокого обучения для классификации текста , используя структуру керас , которая включает в себя: FastText , TextCnn , Textrnn , TextBirnn , TextAttbirnn , Han , Rcnn , Rcnnvariant и т. Д. В дополнение к реализации модели включено упрощенное приложение.

• Английские документы
• 中文文档

Руководство

1. Среда
2. Использование
3. Модель
   1. Фасттекст
   2. TextCnn
   3. Textrnn
   4. TextBirnn
   5. Textattbirnn
   6. Хан
   7. Rcnn
   8. Rcnnvariant
   9. Продолжение следует...
4. Ссылка

Среда

• Python 3.7
• Numpy 1.17.2
• Tensorflow 2.0.1

Использование

Все коды расположены в каталоге /model , и каждый вид модели имеет соответствующий каталог, в котором размещаются модель и приложение.

Например, модель и приложение FastText расположены в /model/FastText , часть модели - fast_text.py , а часть приложения - main.py

Модель

1 быстрый текст

Фасттекст был предложен в бумажном пакете трюков для эффективной классификации текста.

1.1 Описание в бумаге

1. Используя справочный стол, мешки NGRAM, скрытые для представлений Word .
2. Представления слов усредняются в текстовое представление, которое является скрытой переменной.
3. Текстовое представление, в свою очередь, питается линейным классификатором .
4. Используйте функцию SoftMax , чтобы вычислить распределение вероятностей по предопределенным классам.

1.2 Реализация здесь

Структура сети быстрого текста:

2 TextCnn

TextCnn был предложен в бумажных сверточных нейронных сетях для классификации предложений.

2.1 Описание в бумаге

1. Представляют предложение со статическими и нестатическими каналами .
2. Сверните с несколькими шириной фильтра и картами функций.
3. Используйте максимальное время объединения .
4. Используйте полностью подключенный слой с выпущенным и Softmax Outlo.

2.2 Реализация здесь

СЕТИВНАЯ СТРУКТУРА TEXTCNN:

3 Textrnn

Textrnn был упомянут в бумажной рецидивирующей нейронной сети для классификации текста с помощью многозадачного обучения.

3.1 Описание в бумаге

3.2 Реализация здесь

Страница сети Textrnn:

4 TextBirnn

TextBirnn - это улучшенная модель, основанная на Textrnn. Это улучшает уровень RNN в структуре сети в двунаправленный уровень RNN. Есть надежда, что может быть рассмотрена не только информация о кодировании прямого кодирования, но и информация об обратном кодировании. Связанных документов еще не найдено.

Страница сети TextBirnn:

5 Textattbirnn

Textattbirnn - это улучшенная модель, которая вводит механизм внимания, основанный на TextBirnn. Для векторов представления, полученных с помощью двунаправленного энкодера RNN, модель может сосредоточиться на информации, наиболее важной для принятия решений с помощью механизма внимания. Механизм внимания был впервые предложен в переводе с нейронной машиной бумаги путем совместного обучения для выравнивания и перевода, и реализация механизма внимания здесь передается в эту статью о сетях подачи с вниманием с вниманием может решить некоторые долговременные проблемы с памятью.

5.1 Описание в бумаге

В бумажных сетях подачи с вниманием могут решить некоторые долговременные проблемы с памятью, обратное внимание упрощается следующим образом,

Функция a , обучаемая функция, распознается как сеть подачи вперед . В этой формулировке внимание можно рассматривать как создание встраивания c в входной последовательности с фиксированной длиной путем вычисления адаптивного среднего значения последовательности состояния h .

5.2 Реализация здесь

Реализация внимания здесь не описана, пожалуйста, обратитесь к исходному коду напрямую.

Страница сети Textattbirnn:

6 Хан

Хан был предложен в бумажных иерархических сетях внимания для классификации документов.

6.1 Описание в бумаге

1. Слово энкодер . Кодирование двунаправленным GRU , аннотация для данного слова, полученная путем объединения прямого состояния и отсталого скрытого состояния, которое суммирует информацию всего предложения, сосредоточенного вокруг слова на текущем шаге времени.
2. Слово Внимание . С помощью однослойной функции MLP и Softmax он позволяет рассчитать нормализованную важность по предыдущим словам слова. Затем вычислите вектор предложения как взвешенную сумму словесных аннотаций на основе весов.
3. Предложение кодер . Аналогичным образом с Word Encoder, используйте двунаправленный GRU , чтобы кодировать предложения, чтобы получить аннотацию для предложения.
4. Предложение внимание . Подобно словному вниманию, используйте однослойную MLP и функцию Softmax, чтобы получить веса по аннотациям предложений. Затем вычислите взвешенную сумму аннотаций предложения на основе весов, чтобы получить вектор документа.
5. Классификация документов . Используйте функцию Softmax , чтобы вычислить вероятность всех классов.

6.2 Реализация здесь

Реализация внимания здесь основана на питании, что такое же, как внимание в Textattbirnn.

Структура сети Хана:

Обадрика с временной цифрой используется здесь, поскольку ожидается, что параметры встраивания, двунаправленное RNN и уровни внимания будут разделены в измерении временного шага.

7 rcnn

RCNN был предложен в бумажном рецидивирующем сверточном нейронном сети для классификации текста.

7.1 Описание в бумаге

1. Слово -представление обучение . RCNN использует повторяющуюся структуру, которая представляет собой двунаправленную рецидивирующую нейронную сеть , чтобы захватить контексты. Затем объедините слово и его контекст, чтобы представить слово. И примените линейное преобразование вместе с активацией tanh к представлению.
2. Текстовое представление обучение . Когда все представления слов рассчитываются, он применяет элемент максимального уровня максимума, чтобы захватить наиболее важную информацию на протяжении всего текста. Наконец, сделайте линейное преобразование и примените функцию Softmax .

7.2 Реализация здесь

Структура сети RCNN:

8 rcnnvariant

Rcnnvariant - это улучшенная модель, основанная на RCNN со следующими улучшениями. Связанных документов еще не найдено.

1. Три входа изменяются на отдельный вход . Ввод левого и правого контекста удаляется.
2. Используйте двунаправленную LSTM/GRU вместо традиционного RNN для контекста кодирования.
3. Используйте многоканальный CNN , чтобы представить семантические векторы.
4. Замените слой активации TANH на слой активации RELU .
5. Используйте как среднее место, так и максимум .

Структура сети Rcnnvariant:

Продолжение следует...

Ссылка

1. Мешок трюков для эффективной классификации текста
2. Пример кераса IMDB FASTTEXT
3. Сверточные нейронные сети для классификации приговора
4. Керас пример IMDB CNN
5. Повторяющаяся нейронная сеть для классификации текста с помощью многозадачного обучения
6. Перевод нейронной машины путем совместного обучения выравнивать и переводить
7. Сетки подачи с вниманием могут решить некоторые долговременные проблемы с памятью
8. внимание Cbaziotis
9. Иерархические сети внимания для классификации документов
10. Ричард Хан
11. Повторяющиеся сверточные нейронные сети для классификации текста
12. Airalcorn2 Rcnn