Vaaku2Vec

Vaaku2Vec

Современное языковое моделирование и классификация текста на языке малаялам

Результаты

Мы обучили модель языка на малаялам на свалке статьи в Википедии с октября 2018 года. У дампы Википедии было 55 тыс.+ Статьи. Трудным обучением модели языка малаялам является текстовая токенизация , поскольку малаялам является высокофункциональным и агглютинативным языком. В текущей модели мы используем nltk tokenizer (в будущем попытаемся лучшей альтернативой), а размер слока составляет 30 тысяч. Языковая модель использовалась для обучения классификатора, который классифицирует новости по 5 категориям (Индия, Керала, спорт, бизнес, развлечения). Наш классификатор вышел с точностью 92% в задаче классификации.

Выпуски

• Приняла свалку в Википедии, разделенные на тест и поезда.
• Сценарий и вес для модели языка малаялам.
• Малаяламский текстовый классификатор с предварительно проведенными весами.
• Код вывода для текстового классификатора.

Загрузки

• Предварительно подготовленная модель языка малаялам

• Предварительный малаяламский классификатор новостей - Чтобы запустить только прогноз, используйте это.

• Необработанные данные малаялам Википедия Статьи: Малаяламские статьи

Требования

Установка зависимостей

Python3.6> =

Если вы используете VirtualENVWrapper, используйте следующие шаги:

1. git clone https://github.com/adamshamsudeen/Vaaku2Vec.git
2. mkvirtualenv -p python3.6 venv
3. workon venv
4. cd Vaaku2Vec
5. pip install -r requirements.txt

Использование

Модель языка обучения с предварительно обработанными данными:

1. Загрузите папку модели с предварительным языком, она содержит предварительно обработанный тест и обучение CSV. Если вы хотите предварительно предварительно перейти и переучить LM, используя последнюю дамп с дампа, используя сценарии, предоставленные здесь.
2. Создать токены:
   python lm/create_toks.py <path_to_processed_wiki_dump>
   Например: python lm/create_toks.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
3. Создайте токен для id Mapping:
   python lm/tok2id.py <path_to_processed_wiki_dump>
   Например: python lm/tok2id.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
4. Модель языка поезда:
   python lm/pretrain_lm.py <path_to_processed_wiki_dump> 0 --lr 1e-3 --cl 40
eg: python lm/pretrain_lm.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/ 0 --lr 1e-3 --cl 40
lr - это скорость обучения, а cl - это не эпохи.

Обучение классификатора:

1. Используйте train_classifier.ipynb , чтобы обучить текстовый классификатор малаялам.
2. Мы не выпустили набор данных новостей, поднимаем запрос, если вы хотите поэкспериментировать с тем же.

Тестирование классификатора:

1. Чтобы проверить классификатор, обученный Manorama News, загрузите Pretrained Malyalam Text Classifier упомянутый в загрузках.
2. Используйте prediction.ipynb и проверьте свой вход.

Мы вручную проверили модель в новостях из другой ведущей новостной бумаги, и модель показала довольно хорошо.

Word2VEC:

1. Мы также обучили модель Word2VEC, используя gensim с свалкой Википедии.
2. Вы также можете использовать модель Word2VEC для обучения текстового классификатора. Новости классификатор
3. Вы можете увидеть демонстрацию Word2VEC в ссылке ниже.

Демо

Тодо

• Малаяламский языковой моделирование на основе статей Википедии.
• Выпустить обученные языковые модели веса.
• Скрипт Text Classifier Malayalam.
• Эталон с Mlmorph для токенизации.
• Эталон с кодировкой пары байтов для токенизации
• Пользовательский интерфейс для обучения и тестирования классификатора.
• Базовый чат -бот с использованием этой реализации.

Спасибо

1. Особая благодарность Себастьяну Рудеру и Джереми Ховарду и другим участникам Fastai и Ultmfit.
2. Логотип базовый дизайн
3. Раиса за проектирование логотипа.

Кондувочики

1. Камал К Радж
2. Адам Шамсудин