MNBVC

MNBVC (enorme interminável corpus bt vasto chinês) Corpus chinês em larga escala

Por favor, não nos informe, para que possamos ter mais tempo para coletar e organizar dados. Temos mais medo de ser elogiados e mortos. Se você nos manter de baixo perfil, fez ótimas contribuições para o círculo de algoritmos chinês!

A comunidade Liwu mais antiga e misteriosa (nada) da Internet chinesa anunciou solenemente em 2023.1.1:

Sob a orientação do sábio e poderoso Maopu Guanzi, ele está determinado a dar um jogo completo aos pontos fortes da comunidade (tudo é bom) e ajudar a comunidade de código aberto a atualizar a maior coleção de corpus da Internet chinesa por um longo tempo

O corpus MNBVC inclui não apenas a cultura convencional, mas também dados de várias culturas de nicho e até culturas marcianas. O conjunto de dados do MNBVC inclui notícias, composições, romances, livros, revistas, papéis, linhas, postagens, wikis, poemas antigos, letras, apresentações de produtos, piadas, histórias embaraçosas, registros de bate -papo e outras formas de dados chineses de texto puro. Todos os dados são coletados na Internet.

agendar

O volume total de dados atual é de 42915 GB, e o objetivo é atingir dados de 40T do ChatGPT3.5, com um progresso atual de 107,2%.

Descrição dos dados

A senha do pacote compactado é 253874

O corpus chinês no pacote comprimido inclui formatos TXT, JSON, JSONL e Parquet (dedicados multimodais) e acabará sendo unificado nos formatos JSONL e Parquet.

O links.txt no diretório raiz do pacote compactado possui o URL de cada fonte de dados da subpasta.

Há uma imagem no formato PNG em cada subpasta, que é uma captura de tela da página da web da fonte de dados.

Os dados coletados removerão seqüências de dígitos maiores ou iguais a 8 dígitos para dessensibilização.

Os dados no pacote compactado são processados ​​apenas aproximadamente, como HTML & XML para TXT, CSV & TSV para JSON, etc.

Indexação e classificação

Não temos a capacidade de realizar auditorias de direitos autorais em fontes de dados. Embora esse conjunto de dados inclua informações de fonte de dados, para fornecer atualizações e downloads de longa duração do conjunto de dados e para evitar disputas de direitos autorais, esse conjunto de dados não fornece indexação e classificação de dados no pacote compactado. Também pedimos a todos que restrinjam seu desejo de compartilhar e não discutir o índice do pacote comprimido e as informações específicas do conteúdo contidas nele. Por favor, preste mais atenção à aplicação do próprio corpus de big data e use dados de maneira discreta.

huggingface

Os dados classificados concluídos pela limpeza serão colocados em: https://huggingface.co/datasets/liwu/mnbvc

Uma pessoa caminha rápido, todo mundo vai longe (agite as pessoas para acelerar o envio de e -mail [email protected])

Os líderes da equipe de cada equipe relataram que há muito trabalho na limpeza de dados e a tecnologia é implementada um pouco lentamente. Espero que os alunos com muito tempo cheguem para ajudar e apenas saibam usar o Python, e alguém o guiará passo a passo. Ajude os alunos a ler primeiro as três linhas vermelhas do projeto.

• A equipe de transcodificação de OCR (forçada pelo GPT4 a se tornar um grupo de corpus multimodal contendo manchas de texto, e a compilação foi adicionada), atualmente falta 5 pessoas, estão faltando 5 pessoas (precisam ter um histórico de CV e algoritmos de NLP.
• Pergunta e resposta Grupo corporativo, atualmente estão faltando três pessoas, 4 pessoas estão desaparecidas (atualmente, todas são trabalhadoras para escrever código Python para alinhar itens de perguntas e respostas e verificar a carne humana. Quero usar o modelo de algoritmo para fazer alinhamento automático posteriormente)
• Equipe de aprimoramento do corpus, atualmente 3 pessoas estão desaparecidas, 2 pessoas estão desaparecidas (quero usar a PNL para completar o corpus das palavras ausentes e conduzir testes de qualidade do texto, etc.)
• O Code Corpus Group e o Grupo de Corpus paralelos ainda estão perdendo algumas tarefas (o líder da equipe decidirá o que fazer mais tarde)
• Grupo de pesquisa de literatura antiga a ser construída (estudando a transcodificação de crônicas locais e outros livros antigos, com muitos corpus e grande dificuldade)
• Grupo de teste a ser construído (junte -se aos colegas de classe para nos ajudar a melhorar a qualidade dos dados. Espero que os alunos deste grupo possam estudar usando o LLM para gerar diretamente casos de teste e códigos de teste)

Mesmo que você não tenha tempo para ajudar o projeto a se desenvolver, poderá participar da construção do corpus MNBVC participando do projeto (Corpus Energy Bomb) e enviando documentos de corpus à vontade.

Ferramentas de limpeza de corpus grandes chinesas

Para lidar com o corpus chinês em larga escala, os estudantes da equipe do projeto MNBVC otimizaram o software de código aberto existente para fornecer uma versão mais eficiente:

• Ferramenta de detecção de codificação chinesa mais rápida e precisa: charset_mnbvc
• Converta o txt em jsonl em lotes e escolha arquivos com alta repetição de parágrafo: deduplicação_mnbvc
• Prove um certo número de arquivos por palavra-chave de um diretório de várias camadas e preserve a estrutura do diretório: scan_copy_files_mnbvc
• Ferramenta de verificação de formato que unifica o formato MNBVC corpus: DATACHECK_MNBVC

Ferramenta de rastreador de repositório de código

Existem fenômenos de filtragem artificial sérios em vários corpus de código de código aberto existentes, o que dificulta o acompanhamento do ChatGPT. Para evitar mão -de -obra repetida, forneça código de rastreador de repositório de código que foi verificado em larga escala pelo MNBVC.

• CRAWL GITHUB Código Repositório Meta Informações: Publicrepos_mnbvc
• Rastreie a versão mais recente do repositório de código github: github_downloader_mnbvc
• CRAWLABUG CODE Repositório: notabug_download_mnbvc
• CRAWL BITBUCKET Código Repositório: Bitbucket_crawl_mnbvc
• Código converta em corpus: githubcode_extractor_mnbvc
• Crawl Commit Record: get_github_commit_mnbvc

Ferramentas de processamento multimodal

• Ferramenta de extração de meta de meta PDF: PDF_META_DATA_MNBVC
• Ferramenta de Regras de Parsing PDF: MMDP_MNBVC
• A primeira versão da ferramenta pdf para txt: pdf2txt_mnbvc
• Ferramenta de análise de documentos do ARXIV: arxiv_mllm_mnbvc

Vários códigos de limpeza

• Código de limpeza do WikiHow: WikiHowqaextractor-mnbvc
• Ministério das Relações Exteriores da China Código de Limpeza: Qa_with_reporters_from_the_ministry_of_foreign_affair_mnbvc
• Códigos de limpeza para vários problemas de matemática: math_mnbvc
• Código de limpeza do StackexChange: stackexchange_mnbvc
• Código de limpeza para corpus paralelo: parallel_corpus_mnbvc
• Código de limpeza do documento de teste: Exame-question-bank-dataset-zh_mnbvc
• Código de limpeza da rede de documentos de julgamento: JUDO MNBVC
• Código de limpeza para assassinato de script: mnbvc-pdf-extract
• Código de limpeza DOCLAYNET: doclaynetplus_mnbvc

Outros gadgets

• Rastreador de Chinarxiv: Chinaxivcrawler_mnbvc
• Extrair arquivo de Warc: warc_extractor_mnbvc
• Psyarxiv, Chemrxiv, Biorxiv, Medrxiv Crawler: XXARXIV_MNBVC

Informações sobre download do corpus (cada pacote compactado será atualizado com o progresso da limpeza):

1. Sincronize todos os pacotes compactados através da Micro Force P2P e receba atualizações. Recomenda -se desativar as configurações de penetração do TCP e Micro Force de transmissão UDP. Se não estiver desligado, a micro força pode bloquear o roteador (e talvez a velocidade de transmissão seja mais rápida)

Chave de micro-potência: B4MVPVJTK3DOOAOPVLJ3E7TA7RWW4J2ZEAXJRMRSRHSBPDB7OAFHUQ
Link direto weili

2. Download via Baidu NetDisk: Baidu NetDisk Download Link para cada pacote compactado

Citação

Cite o repositório se você usar os dados ou código neste repositório.

 @misc{mnbvc,
  author = {{MOP-LIWU Community} and {MNBVC Team}},
  title = {MNBVC: Massive Never-ending BT Vast Chinese corpus},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/esbatmop/MNBVC}},
}