mongolian nlp

このレポは、モンゴルのNLPの有用なリソースのリストが含まれています。お気軽に貢献してください。

データセット

• DATASET 〜8時間モンゴルTTSデータセット：中国の内部モンゴル大学から作成されたMNTTS
  • アプリケーションエントリ
  • TTSモデルのソースコード
  • 紙
• モンゴルの聖書から作成された男性の音声TTSデータセットのようなDATASET ljspeech
  • Tugstugi/pytorch-dc-ttsで使用されます
  • dl_and_preprop_dataset.pyを使用して、オーディオファイルをダウンロードします
• kalmyk（西モンゴル）のようなDATASET ljspeech kalmyk聖書から作成された女性の音声TTSデータセット（2時間）
• DATASET 300時間kalmyk合成sttデータセット音声変換モデルによって作成された
  • 各WAVには、Kalmykの本から作成された異なるテキストがあります
  • ソースボイスは、Kalmyk Bibleの女性TTSです
  • ターゲットボイスはVCTKデータセットからのものです
  • 例：https：//twitter.com/tugstugi/status/140911296897912835
• Bolorsoft LLCが提供するDataset Eduge News Classification DATASET
  • Eduge.mn Production News分類器のトレーニングに使用されます
  • 9つのカテゴリを備えた75Kニュース： урлаг соёл технологи спорт улс төр хууль эрүүл мэнд 、 боловсрол байгал орчин эдийн засаг
• DATASET 11-11.MN政府機関の苦情データセット
  • 5つのカテゴリを備えた80k： санал хүсэлт талархал шүүмжлэл өргөдөл 、 гомдол
• DATASETオンラインニュースコーパス
  • 7億語
• モンゴルの新聞のDATASETデジタルアーカイブ1990-1995英国図書館
• 一般的なクロールモンゴルのデータセット
• opendata.burtgel.gov.mn
  • DATASET 220Kモンゴルの個人名
  • DATASET 90Kモンゴル一族/姓
  • DATASET 192Kモンゴルの会社名
• DATASETモンゴルの州（AIMAGと合計）の名前
• DATASET 195国（首都都市付き）モンゴル語の​​名前
• DATASET 250モンゴルのニュース、本、ウィキペディアの記事からのモンゴルの最も頻繁な言葉。 （合計670m単語 / 2mユニークな単語）。
  • これらの単語は、ストップワードとしても使用できます。
• DATASET 500モンゴルの略語
• モンゴルの政治とスポーツニュースから作成されたデータDATASETモンゴルのNERデータセット
  • TugstugiとDoccanoを使用したEnodによって注釈が付けられた10k文
  • 4カテゴリLOCATION （6453/1753）、 PERSON （2839/1698）、 ORGANIZATION （4453/1970）、およびMISC （3716/2617）
• モンゴル国立大学のDATASETモンゴルのPOSデータセット
  • 100k語
  • 使用されたPOSタグセット
• DATASETモンゴル語の​​歌詞と辞書から作成された伝統的なモンゴルの合成OCRデータセット
  • 80K画像
  • データの増強なしでは、データを増強するために、アルビュメントなどの外部ライブラリを使用します。
• DATASET従来のモンゴルOCRデータセット
  • 164631サンプル、200人
• DATASETセット手書きモンゴルのキリル文字モンゴル科学技術大学のデータベース
  • 28x28グレースケール、350k画像
  • データセットの説明
• モンゴル国立大学のDATASETモンゴル語
  • 26875ワード、2979グロス、23665シンセット、213の例
• Unimorph 4.0からのDATASETセットモンゴルの屈折形態
  • 2085補題と14592変曲（+形態素セグメンテーション）
• MorphynetのDATASETモンゴル派生形態
  • 1410補題、1629年の派生、および229の派生サフィックス。
• DATASET多言語の音声単語多言語キーワードスポッティングデータセット
  • 2200モンゴルのキーワード、44000オーディオファイル
  • 例のキーワード： аав 、 хуулиар 、rem、 бэлдэж 、Øne чиглэсэнれ、向き、¯小文字байна олов 、 сонирхож 、 түүний хаанаас ламын дүрслэх
• DATASET Small Kalmyk Text Corpus
  • 新聞、詩など

モンゴルのテキストからスピーチ

• PYTORCH tugstugi/pytorch-dc-tts
  • DEMO Colabオンラインデモ
  • モンゴルの聖書から作成された男性の音声データセットのようなDATASET ljspeech
• TF Tugstugi/Tacotron-2 Rayhane-Mamah/Tacotron-2のフォークモンゴルの聖書データセットに適応
  • DEMO Colabオンラインデモ
  • 元モンゴル大統領のエルベグドルジ大統領のためのDEMOスピーカーの適応コラブオンラインデモ。 Mongolian Bible Datasetの5時間で訓練されたTacotronモデルは、Elbegdorjのスピーチから作成された10分間のデータセットで微調整されました。
• PYTORCH Chimege TTSデモ
  • 1倍の女性
  • nvidia/tacotron2 + nvidia/waveglow
• モンゴル国立大学のDEMO HMMTTSオンラインデモ
  • 1倍の男性と2倍の女性の声
• DEMOさらに別のうーん？ TTS Online Demo from“ "°нспийчай©”хх
  • 現在、デモサーバーはダウンしています
  • 1倍の男性と1倍の女性
  • 女性の音声サンプル
• SAMPLES ikon.mnのTacotron2 TTSデモサンプル
  • 1倍の女性（35時間）
  • nvidia/tacotron2 + nvidia/waveglow
• インナーモンゴル大学のDEMO HMMベースのTTSオンラインデモ
  • 1倍の女性
• DEMO MTL-TACOTRON TTSインナーモンゴル大学およびシンガポール国立大学のデモサンプル
  • 1倍の女性
• TF TTSLR/MONTTSインナーモンゴルTTSトレーニングコード
  • SAMPLES音声サンプル
  • DATASET SAMPLES
  • データセットと前処理されたモデルは利用できません
• TF Walker-HYF/MNTTSインナーモンゴルTTSデータセットとトレーニングコード
  • SAMPLES音声サンプル
  • インナーモンゴル大学のDATASET MNTT
  • Pretrained Modelダウンロードリンク
  • データセットと事前に処理されたモデルが利用可能です:)
• PRODUCT NVDA/HTSスクリーンリーダーは、Innovation Development Center for the Blindによって開発されました
  • 1x女性（モンゴル国立大学の声）
• PYTORCH/DEMO kalmyk tts demo kalmykはロシアで話されている中心的な言語です
  • Kalmyk聖書から作成されたデータセット（2時間）
  • nvidia/tacotron2 + nvidia/waveglow
• Silero KalmykのPYTORCH/DEMO Kalmyk TTSデモは、ロシアで話されている大物の言語です
  • Snakers4/Silero-Models

モンゴル語モデル

• 670mワードダーティコーパスでKenlmによって生成されたMODEL 5グラムバイナリLM。
  • Mozilla/Deepspeechで使用できます： ./generate_trie alphabet.txt mn_5gram.binary trie
  • またはTugstugi/Mongolianのスピーチ認識で
• TF / PYTORCH Tugstugi / Mongolian-Bertの前提条件モンゴルのバートモデル
  • Tugstugi、Enod、Sharavsambuuによって訓練されました
  • ナバーは5x TPUを後援しました。
• PYTORCH Bayartsogt-Ya/Albert-Mongolianの前提条件モンゴルのアルバート
• PYTORCH Robertritz/NLP ULMFIT実験
• PYTORCH huggingface.co/bayartsogt/mongolian-gpt2モンゴルGPT-2モデル
• PYTORCH huggingface.co/bayartsogt/mongolian-roberta-base Mongolian Roberta Base Model

モンゴル語の​​音声認識

• PYTORCH Tugstugi/Mongolian-Speech-Recognition
  • DEMOの音声認識
  • 独自のデータセットが使用されます
• aicloud.comからの中国および伝統的なモンゴルの音声PRODUCT
  • APKファイルへの直接リンク
  • 単純なケースでのみ機能しているようです（または、モンゴル南部の方言でのみ機能します...）
  • 同じシステムですが、Windowsの場合（誰かによると、それを使用するには中国の身分証明書に登録する必要があります）
• DEMO内モンゴル大学の音声認識
  • 機能的ではないようです
• PRODUCT Huawei Cloud ASRは、モンゴル、チベット、ウイグルなどのマイノリティ言語をサポートしています。
• PRODUCT Googleクラウドスピーチとテキスト
  • 3000のオーディオプライベートテストデータセットで20％がWERを使用しています
• Mongolian Common VoiceでFinetuned PYTORCH fintuned fintuned finetuned finetuned finetuned fidetuned fidetuned fidtuned wav2vec2
  • DEMO Colabオンラインデモ
  • 50％wer
• PYTORCH wav2vec2 xlsr kalmyk datasetで訓練されています
  • 500時間のKalmykテレビ録音と1000時間のモンゴル語の​​音声認識データセットで事前に処理されました
  • 音声変換によって作成された300時間の合成kalmyk sttデータセット
  • Kalmyk TV Recordningsから作成されたプライベートテストセット、クリーンな音声録音では、はるかに低い必要がある50％は、はるかに低い必要があります
  • DEMO https://huggingface.co/tugstugi/wav2vec2-large-xlsr-53-kalmyk
• TF Coqui.aiモンゴルの音声認識がモンゴルのCommonVoiceで訓練されました
  • 90.08％wer

モンゴルのスクリプト

• インナーモンゴル大学のDEMOキリルティックからモンゴルのスクリプトコンバーターデモ
• インナーモンゴル大学のDEMO
• PYTORCH Tugstugi/Bichig2cyrillic Mongolianスクリプトからキリル語のコンバーター
  • DEMOキリルティックからモンゴルのコラブオンラインデモ
• PYTORCH Tugstugi/Image2bichig CRNNを使用した伝統的なモンゴルOCR
  • DEMO OCR Colabオンラインデモ
  • DATASET従来のモンゴル合成OCRデータセット

モンゴルのテキスト分類

• TF2 Sharavsambuu/Mongolian-Text分類
• SKLEARN / DEMO simple svm colabノートブックは、Edugeデータセットを約91％の精度で分類します。
  • Tugstugi/Mongolian-BertのTentePieceモデルは、テキストトークン剤として使用されます。

モンゴルの名前付きエンティティ認識

• モンゴルの政治とスポーツニュースから作成されたデータDATASETモンゴルのNERデータセット
  • 詳細については、データセットを参照してください
• PYTORCH enod/Mongolian-Bert-ner BertベースのモンゴルのNer
  • Tugstugi/Mongolian-Bert-Bert Mongolianの事前訓練を受けたBertモデルを使用しています
• モンゴル国立大学のDEMO

その他

• PYTORCH tugstugi/forced_aligner rayhane-mamah/tacotron-2およびreadbeyond/aeneasを使用したモンゴルの強制アライメントツール
  • DEMO Colabオンラインデモ
• TF2シリルリック音訳ColabノートブックSharavsambuu/Cyrillic-Mongolian-ransliteration
• DATASET 1Mバック翻訳MN-> en文データセットダウンロードリンク
  • Sharavsambuu/English-Mongolian-NMT-Dataset-Augmentation
• DICTIONARYモンゴルのデジタル化された辞書日本の東北大学の北東アジアセンターから
  • 使用については、モンゴル語の​​デジタル化を参照してください：ポリグロット「オンライン辞書とモンゴル語の​​フルテキスト検索と書かれた満州」の紹介
  • モンゴル語の​​IPA発音も含まれています