RIME LMDG

게시판 릴리스 : 32GB 초반 규모 코퍼스를 기반으로 한 중국 문법 모델 및 동의어 사전 구조

—— vision 문법 모델, 비전 원자 사전

프로젝트 소개

• 거대하고 다양한 중국 코퍼스를 기반으로, 우리는 탁월한 성능과 광범위한 범위와 효율적인 어휘를 가진 중국 문법 모델을 구축했습니다. 이번에 발표 된 문법 모델과 동의어 사소러스는 커뮤니티 Q & A, 블로그 상호 작용, 공식 계정, 백과 사전 항목, 뉴스 보고서, 가사,시 문학, 관용구, 혀, 호텔 테이크 아웃 리뷰, 법률 문서, 지역 설명, 문학 작품 및시의 컨텐츠를 통합합니다. 전체 코퍼스는 32G 규모로 청소에 더 균형이 잘 잡혀 있고 세심합니다. 이 프로젝트 비전 은 가장 강력한 기본 기본 기본을 제공하여 가장 정확한 발음 주석을 만들어 가장 정확한 단어 주파수 통계, 가장 적절한 워드 세분화 데이터베이스를 만들고 기존 조건에 따라 높은 적중률과 정확한 입력 모델을 만듭니다 .
• 동시에, 프로젝트에서 유지되는 단일 단어 Pinyin 사전은 CJK 기본 영역을 확장 G 영역과 Kangxi Radical 영역에 포함합니다. 한 텍스트 어휘에 더 포괄적 일 수있는 Han 사전에 기초한 더 많은 발음을 수동으로 유지합니다.
• 프로젝트의 모든 라임 어휘는 AI 지원 스크리닝 및 수동 교정을 사용하여 고품질 문구를 선택합니다. 어휘 라이브러리는 톤의 철자로 가득 차 있으며 모든 단어 주파수는 문구와 더블 키 핀 니인을 기반으로합니다. 차이점은 다음과 같습니다. 유사한 시나리오에서 단일 단어 주파수에 대한 "어디에 있습니까? 단일 단어 주파수는 문장 문장에서 단일 단어와 해당 Pinyin의 조합입니다. 따라서 단일 단어 주파수는 또한 다성 문자와 구별됩니다. 코퍼스의 거대한 규모로 인해 많은 한 단어가 10 억의 수준에 도달했습니다. 단어 주파수는 로그 정규화되어 단어 주파수를 단축시키고 유지하기가 쉽고 파일은 바이트를 줄입니다. 계획으로 마이그레이션하는 방법? 어휘를 마이그레이션하려면 클릭하십시오

모델 다운로드 | 모델 구성 지침 | 사용 및 건설 자습서의 세부 사항

• 모델 파일 버전 설명 : v는 버전 번호이고 N은 모델 레벨이고 M은 100 메가 바이트의 크기입니다.

파일 크기	레벨 2 모델	레벨 3 모델
100m	v1n2m1	v1n3m1
200m	v1n2m2	v1n3m2
300m	v1n2m3	v1n3m3

• 데이터베이스 파일의 해당 지침 :

샘플 프로젝트 :

Vientiane Pinyin Enhanced 버전 - 다차원 직접 보조 코드와 모든 Pinyin 체계의 조합 | Vientiane Pinyin 기본 버전 - 전체 Pinyin Double Pinyin 간접 보조 코드 버전

시소러스 유형	파일 이름	설명하다
대형 팬 테이블	large.dict	멀티 사운드 43324 단어에 관계없이 CJK 글꼴 라이브러리의 기본 영역에 모든 발음이 포함되어 있습니다.
기본 시소러스	base.dict	2-3 단어 문구가 포함되어 있습니다
확장 된 시소러스	ext.dict	일반적으로 사용되는 문구가 포함되어 있습니다
전체 단어 테이블	full.dict	CJK, 완전한 중국어로 모든 문자가 포함되어 있습니다

이 컨텐츠 섹션을 체계 파일에 넣고 RIME의 사용자 디렉토리로 모델을 다운로드 한 다음 언어를 변경하여 다운로드 한 파일 이름 (접미사 제외)으로 변경하고 사용하도록 다시 배포하십시오!

 __include: octagram   #启用语法模型
#语法模型
octagram:
  __patch:
    grammar:
      language: amz-v2n3m1-zh-hans  
      collocation_max_length: 5
      collocation_min_length: 2
    translator/contextual_suggestions: true
    translator/max_homophones: 7
    translator/max_homographs: 7