MNBVC

MNBVC (Massive Never Endending BT Vast Chinese Corpus) 슈퍼 대규모 중국 코퍼스

데이터를 수집하고 구성하는 데 더 오랜 시간이 걸릴 수 있도록보고하지 마십시오. 우리는 칭찬과 살해를 가장 두려워합니다. 우리를 낮은 프로파일로 유지한다면, 당신은 중국 알고리즘 서클에 큰 기여를했습니다!

중국 인터넷에서 가장 오래되고 가장 신비한 (아무것도) Mop Liwu 커뮤니티는 2023.1.1에 엄숙하게 발표되었습니다.

현명하고 강력한 Maopu Guanzi의지도하에, 그는 커뮤니티의 강점을 완전히 제공하기로 결심하고 (모든 것이 좋음) 오픈 소스 커뮤니티가 오랫동안 가장 큰 중국 인터넷 코퍼스 컬렉션을 업데이트하도록 도와줍니다.

MNBVC 코퍼스에는 주류 문화뿐만 아니라 다양한 틈새 문화 및 화성 문화의 데이터도 포함됩니다. MNBVC 데이터 세트에는 뉴스, 작곡, 소설, 책, 잡지, 논문, 줄, 게시물, 위키, 고대시, 가사, 제품 소개, 농담, 당황스러운 이야기, 채팅 기록 및 기타 순수한 텍스트 중국 데이터가 포함됩니다. 모든 데이터는 인터넷에서 수집됩니다.

일정

현재 총 데이터 볼륨은 42915GB이며 목표는 현재 진행 상황이 107.2%인 ChatGpt3.5의 40T 데이터에 도달하는 것입니다.

데이터 설명

압축 패키지의 비밀번호는 253874입니다

압축 패키지의 중국 코퍼스에는 TXT, JSON, JSONL 및 PARQUET (Multimodal Dedicated) 형식이 포함되며 결국 JSONL 및 PARQUET 형식으로 통합됩니다.

compressed 패키지의 루트 디렉토리의 links.txt에는 각 하위 폴더 데이터 소스의 URL이 있습니다.

각 하위 폴더에는 PNG 형식의 그림이 있으며, 이는 데이터 소스의 웹 페이지의 스크린 샷입니다.

수집 된 데이터는 탈감작을 위해 8 자리보다 큰 숫자 문자열을 제거합니다.

압축 패키지의 데이터는 html & xml to txt, csv & tsv to json 등과 같이 대략 처리됩니다.

인덱싱 및 분류

우리는 데이터 소스에 대한 저작권 감사를 수행 할 수 없습니다. 이 데이터 세트에는 데이터 소스 정보가 포함되어 있지만 데이터 세트의 오래 지속되는 업데이트 및 다운로드를 제공하고 저작권 분쟁을 피하기 위해이 데이터 세트는 압축 패키지에서 데이터의 인덱싱 및 분류를 제공하지 않습니다. 우리는 또한 모든 사람들에게 압축 패키지의 지수와 그에 포함 된 특정 컨텐츠 정보를 공유하고 논의하지 않겠다는 욕구를 제한하도록 요청합니다. 빅 데이터 코퍼스 자체의 적용에 더 많은주의를 기울이고 낮은 키 방식으로 데이터를 사용하십시오.

포옹 페이스

청소로 완료된 분류 데이터는 다음과 같습니다. https://huggingface.co/datasets/liwu/mnbvc

한 사람은 빨리 걷고, 모두가 멀리 걸어 다닙니다 (사람들을 흔들어 이메일 보내기 [email protected])

각 팀의 팀 리더는 데이터 청소에 대한 많은 작업이 있다고보고했으며 기술은 약간 느리게 구현됩니다. 많은 시간을 가진 학생들이 도움을주기를 바랍니다. 그리고 파이썬을 사용하는 방법을 알고 누군가가 당신을 단계별로 안내 할 것입니다. 학생들이 먼저 프로젝트의 3 개의 빨간색 줄을 읽도록 도와주세요.

• OCR 트랜스 코딩 팀 (GPT4에 의해 텍스트 픽처가 포함 된 멀티 모달 코퍼스 그룹이되어 편집이 추가되었습니다), 현재 5 명이 누락되었으며 5 명이 누락되어 있습니다 (CV 및 NLP 알고리즘에 대한 배경 지식이 필요합니다. NLP를 사용하여 OCR 트랜스 코딩을 지원하고자합니다.
• 질문 및 답변 회사 그룹, 현재 3 명이 누락되었고 4 명이 누락되었습니다 (현재는 모두 Q & A 항목을 정렬하고 인간의 육체를 확인하기 위해 파이썬 코드를 작성하는 데 열심히 일하고 있습니다. 알고리즘 모델을 사용하여 나중에 자동 정렬을 수행하고 싶습니다).
• Corpus Enhancement Team, 현재 3 명이 실종되었고 2 명이 실종되었습니다 (NLP를 사용하여 누락 된 단어의 코퍼스를 완성하고 텍스트 품질 테스트 등을 수행하고 싶습니다).
• Code Corpus Group과 Parallel Corpus Group은 여전히 ​​몇 개의 집안일이 없습니다 (팀장은 나중에해야 할 일을 결정합니다).
• 고대 문학 연구 그룹이 구축 될 (지역 연대기 및 기타 고대 책의 트랜스 코딩 연구, 많은 코퍼스와 큰 어려움이 있습니다)
• 구축 할 테스트 그룹 (데이터 품질을 향상시키기 위해 테스트 급우에 가입하십시오.이 그룹의 학생들이 LLM을 사용하여 시험 사례 및 테스트 코드를 직접 생성 할 수 있기를 바랍니다).

프로젝트 개발을 도울 시간이 없더라도 (Corpus Energy Bomb) 프로젝트에 참여하고 코퍼스 문서를 마음대로 업로드하여 MNBVC 코퍼스의 건설에 참여할 수 있습니다.

중국 대형 코퍼스 청소 도구

대규모 중국어 코퍼스를 처리하기 위해 MNBVC 프로젝트 팀의 학생들은 기존 오픈 소스 소프트웨어를 최적화하여보다 효율적인 버전을 제공했습니다.

• 더 빠르고 정확한 중국 인코딩 탐지 도구 : charset_mnbvc
• 배치로 JSONL로 TXT를 변환하고 높은 단락 반복으로 파일을 선택하십시오.
• 다중 계층 디렉토리에서 키워드로 특정 파일 수를 샘플링하고 디렉토리 구조를 보존하십시오. SCAN_COPY_FILES_MNBVC
• MNBVC Corpus 형식을 통합하는 형식 확인 도구 : DateCheck_MNBVC

코드 저장소 크롤러 도구

다양한 기존 오픈 소스 코드 코퍼스에는 심각한 인공 필터링 현상이있어 ChatGpt를 따라 잡기가 더 어려워집니다. 반복적 인 노동을 피하려면 MNBVC에 의해 대규모로 검증 된 코드 리포지토리 크롤러 코드를 제공하십시오.

• 크롤링 github 코드 저장소 메타 정보 : publicrepos_mnbvc
• Github 코드 저장소의 최신 버전을 크롤링합니다 : Github_downloader_mnbvc
• 크롤링 Notabug 코드 저장소 : notabug_download_mnbvc
• 크롤링 비트 버킷 코드 저장소 : Bitbucket_crawl_mnbvc
• 코드를 코퍼스로 변환합니다 : githubcode_extractor_mnbvc
• 크롤링 커밋 레코드 : get_github_commit_mnbvc

멀티 모달 처리 도구

• PDF 메타 정보 추출 도구 : PDF_META_DATA_MNBVC
• PDF 구문 분석 규칙 도구 : MMDP_MNBVC
• PDF에서 TXT 툴의 첫 번째 버전 : PDF2TXT_MNBVC
• ARXIV 문서 구문 분석 도구 : ARXIV_MLLM_MNBVC

다양한 청소 코드

• Wikihow 청소 코드 : Wikihowqaextractor-Mnbvc
• 중국 외무부 스포크 클렌징 코드 : Qa_with_Reporters_from_the_ministry_of_foreign_affair_mnbvc
• 다양한 수학 문제에 대한 청소 코드 : MATH_MNBVC
• Stackexchange 청소 코드 : Stackexchange_mnbvc
• 병렬 코퍼스 청소 코드 : Parallel_Corpus_MNBVC
• 테스트 용지 청소 코드 : 시험 질문 -Bank-Dataset-ZH_MNBVC
• 판단 문서 네트워크의 청소 코드 : MNBVC- 판단
• 스크립트 살해를위한 청소 코드 : MNBVC-PDF-EXTRATION
• doclaynet 청소 코드 : doclaynetplus_mnbvc

다른 가제트

• Chinarxiv의 크롤러 : chinaxivcrawler_mnbvc
• Warc에서 파일 추출 : Warc_extractor_mnbvc
• psyarxiv, chemrxiv, biorxiv, medrxiv crawler : xxarxiv_mnbvc

코퍼스 다운로드 정보 (각 압축 패키지는 청소 진행 상황으로 업데이트됩니다) :

1. P2P 마이크로 힘을 통해 모든 압축 패킷을 동기화하고 업데이트를받습니다. TCP 침투 및 UDP 전송 마이크로 힘 설정을 끄는 것이 좋습니다. 꺼지지 않으면 마이크로 힘이 라우터를 차단할 수 있습니다 (아마도 전송 속도가 더 빠릅니다).

마이크로 파워 키 : B4MVPVJTK3DOOAOPVLJ3E7TA7RWW4JEAXJRMRSRHSBPDB7OAFHUQ
Weili Direct Link

2. Baidu Netdisk를 통해 다운로드 : Baidu NetDisk 각 압축 패키지에 대한 다운로드 링크

소환

이 repo에서 데이터 또는 코드를 사용하는 경우 저장소를 인용하십시오.

 @misc{mnbvc,
  author = {{MOP-LIWU Community} and {MNBVC Team}},
  title = {MNBVC: Massive Never-ending BT Vast Chinese corpus},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/esbatmop/MNBVC}},
}