be_nlp_speech_resources

PNL da Bielorrússia e recursos de processamento de fala

Este repositório contém links para a linguagem natural da Bielorrússia e os recursos de processamento de fala e dados.

É inspirado em um projeto semelhante com os recursos de processamento de fala ucranianos: egorsmkv/discurso-reconhecimento-uk

Todos:

• Adicione descrições detalhadas a cada um dos itens da lista
• Avalie modelos em benchmarks e registre seu desempenho

? Fala para texto

? Implementações

• wav2vec2 treinado na voz comum 8 + modelo de idioma Kenlm treinado na voz comum 8:

  • Modelo: ALES/WAV2VEC2-CV-BE
  • Demo: ALES/WAV2VEC2-CV-BE-LM
  • Código: Navalnica/WAV2VEC2-Belarusiano

• sussurrar:

  • Modelos OpenAI/Whisper originais
  • Modelos de sussurros ajustados no conjunto de dados da Bielorrusian Common Voice 11:
    • Sussurro pequeno:
      • Modelo: Ales/Whisper-Small-Belarusiano
      • O teste foi em Commonvoice11: 6.79
      • Demo: cervejas/sussurro-pequeno----ioato
      • Código: Navalnica/Whisper-Finetuning-Be
    • Base de sussurro:
      • Modelo: Ales/Whisper-Base-Belarusian
      • Código: Navalnica/Whisper-Finetuning-Be

• Nvidia Nemo Models:

  • nvidia/stt_be_conformer_ctc_large
    • [Métrica autorreferida de Huggingface] O teste foi no CommonVoice10: 4.8
  • nvidia/stt_be_conformer_transducer_large
    • [Métrica autorreferida de Huggingface] O teste foi no CommonVoice10: 3.8
  • nvidia/stt_be_fastConformer_hybrid_large_pc
    • [Métrica autorreferida de Huggingface] O teste foi no CommonVoice12: 2.72
    • [Métrica autorreferida de Huggingface] Teste foi P&C Commonvoice12: 3.87

• ESPNET:

  • ESPNET/Bielorrusian_Commonvoice_blstm

? Benchmarks

Comparações de modelo agrupadas pelo conjunto de dados. PENDÊNCIA

? Conjuntos de dados

• Voz comum. Conjunto de dados de reconhecimento de fala
• Conjunto de dados de knihi.com. TODO: Qual é o tipo de conjunto de dados?
• Google/Fleurs
• ssrlab: TODO. Conjunto de dados de reconhecimento de fala

---

? Texto para fala

? Implementações

• Implementações de Coquiai
  • jhlfrfuffyfn/bel-tts. GLOWTTS + HIFIGAN
    • Código
    • Modelo
    • Demonstração no huggingface
    • Demonstração em uma página da web personalizada. O código -fonte da página de demonstração: aqui
  • Alex73/bielorrusso-tts. Implementação de Coquiai por Yurii Paniv (@Robinhad).
    Repo e modelos originais foram excluídos - apenas o garfo está disponível agora

---

NLP

Marque de posto

• Koichiyasuoka/Roberta-Small-Belarusian-Upos
• Stanfordnlp/stanza-be
• Poritski/yabc_tagger. Pos-Tagger e Lemmatizer baseados em regras.
  Escrito em Perl. Usa o poritski/yabc como uma base gramatical (?)
• Volchek/Beltagger. Uma versão aprimorada do Pos-Tagger e Lemmatizer baseados em regras de poritski/yabc_tager.
  Plataforma cruzada, escrita em C ++.
  Questões conhecidas:
  • Requer que os dados de entrada sejam incorporados no Windows-1251, não suporta UTF-8;
  • Tagset não é totalmente compatível com a base de tag e gramática de Bnkorpus
  • A base gramatical usada não está cheia o suficiente. Bielorrússia/Grammardb é uma fonte melhor de paradigmas, mas ainda não está incorporada
  • O script de cálculo da tabela de sufixo não é portado de Perl para C ++
  • O código usa o boost libarary

Outro

• PKASILA/BEL -SKLONY - Página da Web com Decnsação de Substantivos da Bielorrússia. Demo: Sklony.pkasila.net

Modelagem de linguagem mascarada

• Koichiyasuoka/Roberta-Small-Belarusiano

Conjuntos de dados

• Oscar
• MC4
• poritski/yabc - ээсерыеентаitante
• Bielorrússia/Grammardb - Banco de Dados Gramática da Língua Bielorrússia
• TSIMAFEIP/TRANSTADOR - DATASET com pares de tradução russa -belarusianos
• DataSet de dependências universais:
  • Página
  • Repositório do GitHub
• Sentenças bielorrussas de Tatoeba

---

? ‍♀️? Comunidades e plataformas:

• corpus.by
• ssrlab.by
• bnkorpus.info
• Organização da Bielorrússia no Github
• Comunidade nlproc.by no github

---

? Não classificado

• nada por enquanto