RIME LMDG

速報リリース：32GBの超大型スケールコーパスに基づくRime Chinese Chinese Grammar Model and Thesaurus Construction

——Vision Grammar Model、Vision Atomic Dictionary

プロジェクトの紹介

• 巨大で多様な中国のコーパスに基づいて、私たちは優れたパフォーマンスと幅広いカバレッジと効率的な語彙を備えた中国の文法モデルを構築しました。今回リリースされたグラマーモデルとシソーラスは、コミュニティQ＆A、ブログインタラクション、公式アカウント、百科事典エントリ、ニュースレポート、歌詞、詩の文学、イディオム、舌のツイスター、ホテルのテイクアウトレビュー、法的文書、地域の説明、文学作品、詩からコンテンツを統合します。全体的なコーパスは32Gスケールで、クリーニングがよりバランスが取れており、細心の注意を払っています。プロジェクトビジョンは、ライムの最強の基本ベースを提供し、最も正確な発音注釈を作成し、最も正確な単語周波数統計、最も適切な単語セグメンテーションデータベースを作成し、既存の条件に基づいて高いヒット率と正確な入力モデルを作成することに取り組んでいます。
• 同時に、プロジェクトで維持されている単語のピニイン辞書は、拡張GエリアとカンシラジカルエリアへのCJK基本エリアをカバーしています。 HAN辞書に基づいて、より多くの発音を手動で維持します。これは、単一テキストレキシコンでより包括的である可能性があります。
• プロジェクトのすべてのライムレキシコンは、AIアシストスクリーニングと手動校正を使用して、高品質のフレーズを選択します。語彙ライブラリはトーンのスペルでいっぱいで、すべての単語頻度はフレーズとダブルキーピニインに基づいています。違いは、すべてがNAのピニインに組み込まれるのではなく、同様のシナリオで単一ワード周波数の「どこにあるか」などです。単語の周波数は、フレーズ文の単語とその対応するピニインの組み合わせです。したがって、単語の周波数もポリフォニック文字と区別されます。コーパスの大規模であるため、多くの単語が10億のレベルに達しています。単語周波数は対数正規化されており、その周波数を短縮し、メンテナンスが容易で、ファイルはバイトが少なくなります。あなたの計画に移行する方法は？クリックして語彙を移行します

モデルダウンロード|モデル構成命令|使用および構造のチュートリアルの詳細

• モデルファイルバージョンの説明：vはバージョン番号、nはモデルレベル、mは100メガバイトのサイズです

ファイルサイズ	レベル2モデル	レベル3モデル
100m	V1N2M1	V1N3M1
200m	V1N2M2	V1N3M2
300m	V1N2M3	V1N3M3

• データベースファイルの対応する手順：

サンプルプロジェクト：

Vientiane Pinyin Enhancedバージョン - 多次元直接補助コードとPinyinスキームの組み合わせ| Vientiane Pinyin Basicバージョン-Full Pinyin double pinyin間接補助コードバージョン

シソーラスタイプ	ファイル名	説明する
大規模なテーブル	large.dict	マルチサウンドの43324語に関係なく、CJKフォントライブラリの基本エリアにすべての発音が含まれています
基本的なシソーラス	base.dict	2〜3の単語フレーズが含まれています
拡張シソーラス	ext.dict	一般的に使用されるフレーズが含まれています
フルワードテーブル	full.dict	CJKのすべての文字、完全な漢字が含まれます

このコンテンツのセクションをスキームファイルに配置し、モデルをRimeのユーザーディレクトリにダウンロードし、Language：amz-v2n3m1-zh-hansをダウンロードしたファイル名（接尾辞は含まれていません）に変更し、使用するように再デプロイしてください！

 __include: octagram   #启用语法模型
#语法模型
octagram:
  __patch:
    grammar:
      language: amz-v2n3m1-zh-hans  
      collocation_max_length: 5
      collocation_min_length: 2
    translator/contextual_suggestions: true
    translator/max_homophones: 7
    translator/max_homographs: 7