MNBVC

MNBVC (مجموعة ضخمة لا تنتهي لا تنتهي أبدًا من مجموعة صينية شاسعة)

يرجى عدم الإبلاغ إلينا ، حتى نتمكن من قضاء وقت أطول لجمع وتنظيم البيانات. نحن خائفون أكثر من الإشادة والقتل. إذا أبقينا انخفاضًا في الانتباه ، فقد قدمت مساهمات كبيرة في دائرة الخوارزمية الصينية!

تم الإعلان عن مجتمع Liwu الأقدم والأكثر غموضًا (لا شيء) على الإنترنت الصيني في عام 2023.1.1:

تحت إشراف موبو غوانزي الحكيم والقوي ، فهو مصمم على تلبية اللعب الكامل لقوة المجتمع (كل شيء جيد) ويساعد المجتمع مفتوح المصدر على تحديث أكبر مجموعة من مجموعة الإنترنت الصينية لفترة طويلة

لا يشمل مجموعة MNBVC الثقافة السائدة فحسب ، بل تتضمن أيضًا بيانات من مختلف الثقافات المتخصصة وحتى الثقافات المريخية. تتضمن مجموعة بيانات MNBVC الأخبار ، والتراكيب ، والروايات ، والكتب ، والأوراق ، والخطوط ، والوظائف ، والويكي ، والقصائد القديمة ، وكلمات الأغاني ، ومقدمات المنتج ، والنكات ، والقصص المحرجة ، وسجلات الدردشة وغيرها من أشكال البيانات الصينية النقية. يتم جمع جميع البيانات من الإنترنت.

جدول

يبلغ إجمالي حجم البيانات الحالي 42915 جيجابايت ، والهدف هو الوصول إلى بيانات 40T من chatgpt3.5 ، مع تقدم حالي قدره 107.2 ٪.

وصف البيانات

كلمة المرور للحزمة المضغوطة هي 253874

تشمل المجموعة الصينية في الحزمة المضغوطة تنسيقات TXT و JSON و JSONL و Parquet (مخصصة متعددة الوسائط) ، وسيتم توحيدها في النهاية في تنسيقات JSONL و Parquet.

يحتوي Links.txt في الدليل الجذر للحزمة المضغوطة على عنوان URL لكل مصدر بيانات للمجلد الفرعي.

هناك صورة بتنسيق PNG في كل مقلع فرعي ، وهي لقطة شاشة لصفحة الويب من مصدر البيانات.

ستقوم البيانات التي تم جمعها بإزالة سلاسل الأرقام أكبر من أو تساوي 8 أرقام لإزالة الحساسية.

تتم معالجة البيانات الموجودة في الحزمة المضغوطة تقريبًا تقريبًا ، مثل HTML & XML إلى TXT و CSV & TSV إلى JSON ، إلخ.

الفهرسة والتصنيف

ليس لدينا القدرة على إجراء عمليات تدقيق حقوق الطبع والنشر على مصادر البيانات. على الرغم من أن مجموعة البيانات هذه تتضمن معلومات مصدر البيانات ، من أجل توفير تحديثات وتنزيلات طويلة الأمد لمجموعة البيانات ، ولتجنب نزاعات حقوق الطبع والنشر ، لا توفر مجموعة البيانات فهرسة وتصنيف البيانات في الحزمة المضغوطة. نطلب أيضًا من الجميع تقييد رغبتهم في المشاركة وعدم مناقشة فهرس الحزمة المضغوطة ومعلومات المحتوى المحددة الموجودة فيه. يرجى إيلاء المزيد من الاهتمام لتطبيق مجموعة البيانات الكبيرة نفسها ، ويرجى استخدام البيانات بطريقة منخفضة.

luggingface

سيتم وضع البيانات المصنفة التي تم الانتهاء منها عن طريق التنظيف في: https://huggingface.co/Datasets/Liwu/MNBVC

شخص واحد يمشي بسرعة ، ويمشي الجميع بعيدًا (يهز الناس لتسريع إرسال البريد الإلكتروني [email protected])

أفاد قادة الفريق في كل فريق أن هناك الكثير من العمل على تنظيف البيانات ويتم تنفيذ التكنولوجيا ببطء قليلاً. آمل أن يأتي الطلاب الذين لديهم الكثير من الوقت للمساعدة ، ومعرفة كيفية استخدام Python ، وسيوجهك شخص ما خطوة بخطوة. الرجاء مساعدة الطلاب أولاً على قراءة الخطوط الحمراء الثلاثة للمشروع.

• فريق Transcoding Transcoding OCR (الذي فرضه GPT4 على أن يصبح مجموعة متعددة الوسائط تحتوي على صور نصية ، وتم إضافة التجميع) ، حاليًا 5 أشخاص مفقودون ، 5 أشخاص مفقودون (يحتاجون إلى خلفية في خوارزميات CV و NLP.
• السؤال والإجابة على مجموعة الشركات ، حاليًا 3 أشخاص مفقودين ، 4 أشخاص مفقودون (حاليًا ، جميعهم يعملون بجد لكتابة رمز Python لمحاذاة عناصر أسئلة وأجوبة والتحقق من اللحم البشري. أريد استخدام نموذج الخوارزمية للقيام بمحاذاة تلقائية لاحقًا)
• فريق تعزيز Corpus ، حاليًا 3 أشخاص مفقودين ، شخصان مفقودان (أريد استخدام NLP لإكمال مجموعة الكلمات المفقودة وإجراء اختبار جودة النص ، إلخ)
• لا تزال مجموعة Code Corpus Group ومجموعة Corpus الموازية تفتقد بعض الأعمال المنزلية (سيقرر قائد الفريق ما يجب القيام به لاحقًا)
• مجموعة أبحاث الأدب القديمة التي سيتم بناؤها (تدرس ترميز السجلات المحلية والكتب القديمة الأخرى ، مع العديد من الجسوس وصعوبة كبيرة)
• مجموعة اختبار ليتم بناؤها (يرجى الانضمام إلى زملاء الدراسة في الاختبار لمساعدتنا على تحسين جودة البيانات. آمل أن يتمكن الطلاب في هذه المجموعة من الدراسة باستخدام LLM لإنشاء حالات الاختبار مباشرة ورموز الاختبار)

حتى إذا لم يكن لديك وقت لمساعدة المشروع على تطوير ، يمكنك المشاركة في بناء مجموعة MNBVC من خلال المشاركة في مشروع (Corpus Energy Bomb) وتحميل مستندات Corpus في الإرادة.

أدوات التنظيف الصينية الكبيرة

للتعامل مع مجموعة صينية واسعة النطاق ، قام الطلاب من فريق مشروع MNBVC بتحسين برنامج Open Source الحالي لتوفير نسخة أكثر كفاءة:

• أداة الكشف عن الترميز الصينية الأسرع والدقيقة: charset_mnbvc
• قم بتحويل TXT إلى JSONL على دفعات واختر الملفات بتكرار الفقرة العالي: deduplication_mnbvc
• عينة من عدد معين من الملفات بالكلمة الرئيسية من دليل متعدد الطبقات والحفاظ على بنية الدليل: scan_copy_files_mnbvc
• أداة التحقق من التنسيق التي توضح تنسيق MNBVC Corpus: datacheck_mnbvc

أداة زاحف مستودع الرمز

هناك ظواهر تصفية اصطناعية خطيرة في مختلف أجهزة كود المصدر المفتوح الحالي ، مما يجعل من الصعب اللحاق بالدردشة. لتجنب العمالة المتكررة ، قم بتوفير رمز زاحف مستودع الرمز الذي تم التحقق منه على نطاق واسع بواسطة MNBVC.

• DRAWL GITHUB CODE REPOSTORY META معلومات: publicREPOS_MNBVC
• زحف أحدث إصدار من مستودع رمز github: github_downloader_mnbvc
• مستودع رمز NOTABUG: notabug_download_mnbvc
• Crawl Bitbucket Code مستودع: bitbucket_crawl_mnbvc
• تحويل الرمز إلى Corpus: githubcode_extractor_mnbvc
• سجل التزام الزحف: get_github_commit_mnbvc

أدوات المعالجة متعددة الوسائط

• أداة استخراج معلومات التعريف PDF: pdf_meta_data_mnbvc
• أداة تحليل PDF: MMDP_MNBVC
• الإصدار الأول من أداة PDF إلى TXT: PDF2TXT_MNBVC
• أداة تحليل مستند Arxiv: ARXIV_MLLM_MNBVC

رموز التنظيف المختلفة

• رمز تنظيف Wikihow: Wikihowqaextractor-MnBVC
• تكلم وزارة الخارجية الصينية رمز التطهير: QA_WITH_REPORTERS_FROM_THE_MINISTY_OF_FORN_AFFAIR_MNBVC
• رموز التنظيف لمختلف مشاكل الرياضيات: Math_mnbvc
• رمز تنظيف StacexChange: Stacexchange_mnbvc
• رمز التنظيف للجسم الموازي: parallel_corpus_mnbvc
• رمز التنظيف لورقة الاختبار: امتحان استجواب-بانك-dataset-zh_mnbvc
• رمز التنظيف لشبكة مستندات الحكم: MNBVC-الحكم
• رمز التنظيف لقتل البرنامج النصي: mnbvc-pdf-extract
• رمز تنظيف DCLAYNET: dclaynetplus_mnbvc

أدوات أخرى

• CHINARXIV'S CRAWLER: ChinaxivCrawler_MNBVC
• استخراج الملف من WARC: WARC_EXTREATOR_MNBVC
• Psyarxiv ، chemrxiv ، biorxiv ، medrxiv crawler: xxarxiv_mnbvc

Corpus تنزيل معلومات (سيتم تحديث كل حزمة مضغوطة مع تقدم التنظيف):

1. مزامنة جميع الحزم المضغوطة من خلال P2P Micro Force واستلام التحديثات. من المستحسن إيقاف تشغيل تغلغل TCP وإعدادات قوة نقل UDP. إذا لم يتم إيقاف تشغيله ، فقد تكون القوة الصغيرة تمنع جهاز التوجيه (وربما تكون سرعة الإرسال أسرع)

مفتاح الطاقة الدقيقة: B4MVPVJTK3DooaOpvlj3e7t7rww4j2zeaxjrmrsrhsbpdb7oafhuq
رابط Weili المباشر

2. قم بتنزيل عبر Baidu NetDisk: رابط تنزيل Baidu NetDisk لكل حزمة مضغوطة

اقتباس

يرجى الاستشهاد بالربط إذا كنت تستخدم البيانات أو الرمز في هذا الريبو.

 @misc{mnbvc,
  author = {{MOP-LIWU Community} and {MNBVC Team}},
  title = {MNBVC: Massive Never-ending BT Vast Chinese corpus},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/esbatmop/MNBVC}},
}