RIME LMDG

重磅發布：基於32GB超大規模語料的RIME中文語法模型與詞庫構建

——萬象語法模型、萬象原子詞庫

項目簡介

• 在龐大且多樣的中文語料庫基礎上，我們構建了一個性能優異、覆蓋面廣的中文語法模型和高效的詞庫。此次發布的語法模型和詞庫構建，融合了來自社區問答、博文互動、公眾號、百科詞條、新聞報導、歌詞、詩詞文學、歇後語、繞口令、酒店外賣評論、法律文獻、地區描述、文學作品以及詩詞等多領域的內容，總體語料32G規模，更加均衡，清洗更加細緻。該項目願景：致力於提供RIME最強基礎底座，做最精準的讀音標註、做最精準的詞頻統計、最恰當的分詞詞庫以及基於現有條件打造了一個高命中率、精確的輸入模型；
• 同時項目中維護的單字拼音詞典涵蓋cjk基本區到擴展G區以及康熙部首區，基於漢典基礎上手動維護更多讀音，可能是單文本詞庫中比較全面的；
• 項目中的rime詞庫全部使用AI輔助篩选和人工校對，遴選出優質的詞組。詞庫是全部帶聲調全拼，所有的詞頻是基於詞組和拼音雙鍵統計的，區別瞭如："那裡哪裡" 這種類似場景下對於單字的詞頻，而不是全部歸併到na的拼音下。單字詞頻是在詞組語句中加上拼音最後拆解為單字及其對應拼音的組合，因此單字詞頻也是區分多音字的。 由於語料規模巨大，很多單字達到了10億級別，詞頻經過對數歸一化處理，縮短詞頻易於維護且文件儲存更少的字節。如何遷移到你的方案？點擊遷移詞庫

模型下載| 模型配置說明| 使用及構建教程詳見

• 模型文件版本說明：v是版本號，n是模型級別，m是百兆尺寸

文件大小	2級模型	3級模型
100M	v1n2m1	v1n3m1
200M	v1n2m2	v1n3m2
300M	v1n2m3	v1n3m3

• 詞庫文件對應說明：

示例項目：

萬象拼音增強版-多維直接輔助碼與任意拼音方案的組合| 萬象拼音基礎版-全拼雙拼間接輔助碼版本

詞庫類型	文件名稱	描述
大字表	large.dict	包含CJK字庫基礎區所有具有讀音的字，不計多音43324字
基礎詞庫	base.dict	包含2-3字詞組
擴展詞庫	ext.dict	包含常用的詞組
全字表	full.dict	包含CJK所有有字，漢字大全

只需要將這一段內容放在方案文件，下載模型到rime的用戶目錄，language: amz-v2n3m1-zh-hans 改成你下載的文件名（不包含後綴）,重新部署即可使用！

 __include: octagram   #启用语法模型
#语法模型
octagram:
  __patch:
    grammar:
      language: amz-v2n3m1-zh-hans  
      collocation_max_length: 5
      collocation_min_length: 2
    translator/contextual_suggestions: true
    translator/max_homophones: 7
    translator/max_homographs: 7