MNBVC

Mnbvc (corpus Cina yang sangat tidak pernah berakhir besar) corpus Cina skala besar

Tolong jangan laporkan kepada kami, sehingga kami dapat memiliki waktu yang lebih lama untuk mengumpulkan dan mengatur data. Kami paling takut dipuji dan dibunuh. Jika Anda memberi kami profil rendah, Anda telah memberikan kontribusi besar untuk Lingkaran Algoritma Cina!

Komunitas Liwu tertua dan paling misterius (tidak ada) di internet Cina dengan sungguh -sungguh diumumkan pada 2023.1.1:

Di bawah bimbingan Maopu Guanzi yang bijak dan kuat, ia bertekad untuk memberikan permainan penuh pada kekuatan komunitas (semuanya baik) dan membantu komunitas open source memperbarui koleksi korpus internet Cina terbesar untuk waktu yang lama

Corpus MNBVC tidak hanya mencakup budaya arus utama, tetapi juga data dari berbagai budaya niche dan bahkan budaya Mars. Kumpulan data MNBVC mencakup berita, komposisi, novel, buku, majalah, makalah, baris, posting, wiki, puisi kuno, lirik, pengantar produk, lelucon, cerita memalukan, catatan obrolan dan bentuk lain dari data Cina murni data Cina. Semua data dikumpulkan dari internet.

jadwal

Volume data total saat ini adalah 42915GB, dan tujuannya adalah untuk mencapai data 40T chatgpt3.5, dengan kemajuan saat ini 107,2%.

Deskripsi data

Kata sandi untuk paket terkompresi adalah 253874

Corpus Cina dalam paket terkompresi termasuk format TXT, JSON, JSONL dan PARQUET (Multimodal Dedicated), dan pada akhirnya akan disatukan ke dalam format JSONL dan Parket.

Links.txt di direktori root dari paket terkompresi memiliki URL dari setiap sumber data subfolder.

Ada gambar dalam format PNG di setiap subfolder, yang merupakan tangkapan layar dari halaman web dari sumber data.

Data yang dikumpulkan akan menghapus string digit yang lebih besar dari atau sama dengan 8 digit untuk desensitisasi.

Data dalam paket terkompresi hanya diproses secara kasar, seperti HTML & XML ke TXT, CSV & TSV ke JSON, dll.

Pengindeksan dan Klasifikasi

Kami tidak memiliki kemampuan untuk melakukan audit hak cipta pada sumber data. Meskipun kumpulan data ini mencakup informasi sumber data, untuk memberikan pembaruan dan unduhan data yang tahan lama, dan untuk menghindari perselisihan hak cipta, kumpulan data ini tidak memberikan pengindeksan dan klasifikasi data dalam paket terkompresi. Kami juga meminta semua orang untuk menahan keinginan mereka untuk berbagi dan tidak membahas indeks paket terkompresi dan informasi konten spesifik yang terkandung di dalamnya. Harap lebih memperhatikan penerapan korpus data besar itu sendiri, dan silakan gunakan data dengan cara rendah.

Huggingface

Data rahasia yang diselesaikan dengan pembersihan akan ditempatkan di: https://huggingface.co/datasets/liwu/mnbvc

Satu orang berjalan cepat, semua orang berjalan jauh (kocok orang untuk mempercepat mengirim email [email protected])

Para pemimpin tim dari masing -masing tim melaporkan bahwa ada banyak pekerjaan pembersihan data dan teknologinya sedikit diimplementasikan secara perlahan. Saya berharap bahwa siswa dengan banyak waktu akan datang untuk membantu, dan hanya tahu cara menggunakan Python, dan seseorang akan membimbing Anda langkah demi langkah. Tolong bantu siswa pertama kali membaca tiga garis merah proyek.

• Tim transcoding OCR (dipaksa oleh GPT4 untuk menjadi kelompok corpus multimodal yang berisi gambar teks, dan kompilasi ditambahkan), saat ini 5 orang hilang, 5 orang hilang (perlu memiliki latar belakang dalam cv dan algoritma NLP di bidang ini di bidang ini.
• Tanya Jawab Kelompok Perusahaan, saat ini 3 orang hilang, 4 orang hilang (saat ini, semua pekerja keras untuk menulis kode Python untuk menyelaraskan item Q&A dan memeriksa daging manusia. Saya ingin menggunakan model algoritma untuk melakukan penyelarasan otomatis nanti)
• Tim Peningkatan Corpus, saat ini 3 orang hilang, 2 orang hilang (saya ingin menggunakan NLP untuk menyelesaikan kumpulan kata -kata yang hilang dan melakukan pengujian kualitas teks, dll.)
• Kode Corpus Group dan Parallel Corpus Group masih kehilangan beberapa tugas (pemimpin tim akan memutuskan apa yang harus dilakukan nanti)
• Kelompok Penelitian Sastra Kuno yang Akan Dibangun (mempelajari transkode kronik lokal dan buku -buku kuno lainnya, dengan banyak korpus dan kesulitan besar)
• Grup Uji yang akan dibangun (silakan bergabung dengan teman sekelas uji untuk membantu kami meningkatkan kualitas data. Saya berharap bahwa siswa dalam kelompok ini dapat belajar menggunakan LLM untuk secara langsung menghasilkan kasus tes dan kode uji)

Bahkan jika Anda tidak punya waktu untuk membantu proyek berkembang, Anda dapat berpartisipasi dalam pembangunan MNBVC Corpus dengan berpartisipasi dalam proyek (Corpus Energy Bomb) dan mengunggah dokumen corpus sesuka hati.

Alat pembersih korpus besar Cina

Untuk menangani korpus Cina skala besar, siswa dari tim proyek MNBVC mengoptimalkan perangkat lunak open source yang ada untuk memberikan versi yang lebih efisien:

• Alat deteksi pengkodean Cina yang lebih cepat dan akurat: charset_mnbvc
• Konversi txt menjadi jsonl dalam batch dan pilih file dengan pengulangan paragraf tinggi: dedupplication_mnbvc
• Cicipi sejumlah file dengan kata kunci dari direktori multi-layer dan simpan struktur direktori: scan_copy_files_mnbvc
• Alat Pemeriksaan Format yang menyatukan format MNBVC Corpus: DataCheck_MNBVC

Alat Crawler Repositori Kode

Ada fenomena penyaringan buatan yang serius dalam berbagai korpus kode sumber terbuka yang ada, yang membuatnya lebih sulit untuk mengejar ketinggalan dengan chatgpt. Untuk menghindari tenaga kerja berulang, berikan kode crawler repositori kode yang telah diverifikasi dalam skala besar oleh MNBVC.

• Crawl Github Code Repository Meta Informasi: PublicRepos_MNBVC
• Crawl Versi terbaru dari repositori kode github: github_downloader_mnbvc
• Repositori Kode Notabug Crawl: notabug_download_mnbvc
• Crawl Bitbucket Code Repository: bitbucket_crawl_mnbvc
• Konversi kode ke corpus: githubcode_extractor_mnbvc
• Rekaman komit crawl: get_github_commit_mnbvc

Alat pemrosesan multimodal

• Alat ekstraksi informasi meta pdf: pdf_meta_data_mnbvc
• Alat Peraturan Parsing PDF: MMDP_MNBVC
• Versi pertama dari alat PDF ke TXT: PDF2TXT_MNBVC
• Alat parsing dokumen arxiv: arxiv_mllm_mnbvc

Berbagai kode pembersih

• Kode pembersihan wikihow: wikihowqaextractor-mnbvc
• Kementerian Luar Negeri Tiongkok Kode Pembersihan: QA_With_Reporters_From_The_Ministry_of_foregn_affair_mnbvc
• Kode Pembersih untuk berbagai masalah matematika: Math_mnbvc
• Kode Pembersihan StackExchange: StackExChange_MNBVC
• Kode pembersihan untuk corpus paralel: paralel_corpus_mnbvc
• Kode Pembersihan Kertas Uji: Ujian-Bank-Bank-Dataset-ZH_MNBVC
• Kode Pembersihan Jaringan Dokumen Judgment: MNBVC-Judgment
• Kode pembersihan untuk pembunuhan skrip: MNBVC-PDF-Extract
• Kode Pembersihan Doklaynet: DoklayNetPlus_MNBVC

Gadget lainnya

• CRAWLER CHINARXIV: Chinaxivcrawler_mnbvc
• Ekstrak file dari Warc: warc_extractor_mnbvc
• Psyarxiv, chemrxiv, biorxiv, medrxiv crawler: xxarxiv_mnbvc

Informasi Unduhan Corpus (setiap paket terkompresi akan diperbarui dengan kemajuan pembersihan):

1. Menyinkronkan semua paket terkompresi melalui gaya mikro P2P dan menerima pembaruan. Disarankan untuk mematikan penetrasi TCP dan pengaturan gaya mikro transmisi UDP. Jika tidak dimatikan, gaya mikro dapat memblokir router (dan mungkin kecepatan transmisi lebih cepat)

Kunci Mikro-Power: B4MVPVJTK3DOOAOPVLJ3E7TA7RWW4J2ZAAXJRMRSRHSBPDB7OAFHUQ
Tautan langsung Weili

2. Unduh via Baidu Netdisk: tautan unduhan Baidu Netdisk untuk setiap paket terkompresi

Kutipan

Harap kutip repo jika Anda menggunakan data atau kode dalam repo ini.

 @misc{mnbvc,
  author = {{MOP-LIWU Community} and {MNBVC Team}},
  title = {MNBVC: Massive Never-ending BT Vast Chinese corpus},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/esbatmop/MNBVC}},
}