be_nlp_speech_resources

Белорусские НЛП и ресурсы обработки речи

Этот репозиторий содержит ссылки на ресурсы и наборы данных о естественном языке и речех белорус.

Он вдохновлен аналогичным проектом с украинскими ресурсами обработки речи: egorsmkv/речь

Тодос:

• Добавить подробные описания каждого из элементов списка
• Оценить модели на тестах и зарегистрировать их производительность

? Речи к тексту

? Реализации

• WAV2VEC2, обученная общему голосу 8 + Кенлм.

  • Модель: Ales/wav2vec2-cv-be
  • Демонстрация: Ales/wav2vec2-cv-be-lm
  • Код: Navalnica/WAV2VEC2-Беларусиан

• шепот:

  • Оригинальные модели Openai/Whisper
  • Шепчущие модели, настраиваемые на набор данных Belarusian Common Voice 11:
    • Шепот маленький:
      • Модель: Эль/Шепот-Шал-Беларусиан
      • Тест был на Commonvoice11: 6.79
      • Демонстрация: Эль/Шепот-Шалл-Беларусиан-Демо
      • Код: Navalnica/Whisper-FineTuning-Be
    • Шепот база:
      • Модель: Эль/Шепот-Баз-Беларусиан
      • Код: Navalnica/Whisper-FineTuning-Be

• Nvidia Nemo Models:

  • nvidia/stt_be_conformer_ctc_large
    • [Huggingface Self Opport Metric] Тест WER на CommonVoice10: 4.8
  • nvidia/stt_be_conformer_transducer_large
    • [Huggingface Self Opport Metric] Тест был на Commonvoice10: 3.8
  • nvidia/stt_be_fastconformer_hybrid_large_pc
    • [Huggingface Self Opport Metric] Тест на CommonVoice12: 2.72
    • [Huggingface Self Opered Metric] Тест WER P & C Commonvoice12: 3.87

• Espnet:

  • espnet/belarusian_commonvoice_blstm

? Тесты

Сравнения модели, сгруппированные по набору данных. Тодо

? Наборы данных

• Общий голос. Набор данных по распознаванию речи
• Набор данных от Knihi.com. TODO: Что такое тип набора данных?
• Google/Fleurs
• SSRLAB: TODO. Набор данных по распознаванию речи

---

? Текст в речь

? Реализации

• Реализации Coquiai
  • JHLFRFUFYFN/BEL-TTS. Glowtts + Hifigan
    • Код
    • Модель
    • Демонстрация на Huggingface
    • Демонстрация на пользовательской веб-странице. Исходный код для демонстрационной страницы: здесь
  • Alex73/Belarusian-TTS. Реализация Coquiai Yurii Paniv (@robinhad).
    Оригинальные репо и модели были удалены - только вилка доступна сейчас

---

НЛП

Поставка

• Koichiyasuoka/Roberta-Small-Belarusian-Upos
• stanfordnlp/stanza-be
• poritski/yabc_tagger. Основанный на правилах POS-Tagger и Lemmatizer.
  Написано в Perl. Использует Poritski/Yabc в качестве грамматической основы (?)
• Volchek/Beltgger. Улучшенная версия POS-Tagger и Lemmatizer на основе правил PORITSKI/YABC_TAGGER.
  Кроссплатформенный, написанный в C ++.
  Известные проблемы:
  • Требует входных данных, которые были приготовлены в Windows-1251, не поддерживает UTF-8;
  • Tagset не совсем совместим с Bnkorpus Tagset и Grammar Base
  • Используемая грамматическая база недостаточно полна. Беларусь/Граммарб - лучший источник парадигм, но еще не включен
  • Сценарий расчета таблицы суффиксов не переносит от Perl на C ++
  • Код использует Boost Libarary

Другой

• Pkasila/Bel -Sklony - Веб -страница с склоном существительных белорус. Демо: Sklony.pkasila.net

Моделирование языка в масках

• Koichiyasuoka/Roberta-Small-Belarusian

Наборы данных

• Оскар
• MC4
• poritski/yabc - ksperыmentalnыcorpues belaru
• Belarus/Gramardb - база данных Grammar Belarusian Language
• TSIMAFEIP/Переводчик - набор данных с российско -беларусианскими парами перевода
• Набор данных универсальных зависимостей:
  • Страница
  • Репозиторий GitHub
• Tatoeba Belarusian предложения

---

? ‍♀? Сообщества и платформы:

• Корпус
• ssrlab.by
• bnkorpus.info
• Белорусская организация на GitHub
• Nlproc.by Community на GitHub

---

? Несортированный

• На данный момент ничего