mpspider

مقالة الحساب الرسمية تزحف وتوليد الكتب الإلكترونية أوقد

قم بالزحف للمقالات التاريخية للحساب الرسمي ، وحوضها في ملفات Markdown ، وإنشاء مشاريع Gitbook ، وأخيراً إنشاء كتب Kindle.

ملاحظة :

1. التبعية الكتب الإلكترونية المطلوبة
2. يجب استخدام GitBook في إصدار Node 6.x ، ولا يمكن استخدام 8.x ، ولم يتم اختبار الآخرين
3. لإنشاء موبي ، تحتاج إلى تكوين book.json

طريقة الزحف

يدعم طريقتين للزحف:

1. بدءًا من مقال موجز حول الحساب الرسمي ، سيكون لبعض الحسابات الرسمية مقالات موجزة سنوية ، مثل هذه المقالة
2. استخدم anyproxy كوكيل للاستيلاء على مقالات الرسائل التاريخية للحساب الرسمي ، وتجاهل المقالات أو الترجمات غير النصيية

ملاحظة : تشير المقالة الملخص إلى صفحة المقالة الخاصة بحساب عام ، مثل مقالة "الطريق إلى المهندسين المعماريين"

مقدمة العملية

1. زحف المقالات
2. تحليل الرابط الخارجي "مقالة الحساب العام" للرابط الداخلي للمقال
3. استمر في الاستيلاء على مقالات الارتباط الخارجية
4. استبدل مقالات الارتباط الخارجي بعنوان نسبي محلي
5. زحف الصور في المقالة
6. استبدل صورة المقالة على العنوان النسبي المحلي
7. إنشاء مشروع Gitbook
8. استخدم gitbook+ebook-convert لإنشاء ملف Kindle

الخطوات 1 ~ 6 تلقائية بالكامل ، 7 تعتمد على موقفك الخاص

ثَبَّتَ

npm i mpspider -g

كيفية التنفيذ

 # 第一种方式
mpspider article https://mp.weixin.qq.com/s/CIPosICgva9haqstMDIHag -d dest_path
# 第二种方式，需要手动配置代理，点击公众号「查看历史文章」，详见下面介绍，支持手机微信和 pc 微信列表
mpspider proxy -d dest_path -p proxy_port

بعد الزحف ، سيتم إنشاء مشروع Gitbook في dest_path

توليد الكتب الإلكترونية

تنفيذ الأمر

 # 进入抓取后gitbook的地址
cd dest_path
# 创建readme.md，gitbook不创建会报错
touch README.md
# 有必要可以创建book.json，参考gitbook文档
gitbook serve
# 访问地址查看效果
# -------
# 生成电子书
gitbook mobi ./ name.mobi

كيفية تكوين Proxy anyproxy لزحف صفحة https

تكوين شهادة anyproxy https

المرجع: http://anyproxy.io/cn/#٪E8٪81٪E4٪B9٪A6٪E9٪85٪8D٪E7٪BD٪AE

بدء anyproxy

anyproxy --rule lib/anyproxyRule.js

استخدم ملف التكوين mpspider.config.js

عناصر التكوين المدعومة:

• Book.Json عناصر التكوين: "المؤلف" ، "العنوان" ، "الوصف"
• SummarySort: وظيفة فرز المقالة ، والأسلوب تعادل طريقة كتابة Array.sort . يتم تمريرها إلى كائن item ، مع خيارات مثل mid ، title ، content ، release ، uri ، إلخ .
• filter : وظيفة مرشح محتوى المقالة ، تقوم بتصفية items صفيف قائمة المقالة من خلال items.filter(option.filter) . يتضمن محتوى العنصر: mid ، title ، content
• listFilter : قائمة تصفية المقالة ، المستخدمة فقط في وضع الوكيل ، بيانات التصفية وفقًا لكائن JSON في قائمة المقالات ، حقول الكائنات الشائعة الاستخدام هي
  • app_msg_ext_info: author ، title ، copyright_stat ، content_url ، source_url ، digest ، content ، cover ، is_multi ، إلخ.
  • comm_msg_info: datetime Publish Timestamp
• turndown : يدعم أربعة خيارات: keep ، remove ، rule ، plugins ، المقابلة لعناصر التكوين الأربعة من التداول على التوالي
• afterConverter : الانقسام بعد تحويل HTML إلى محتوى تخفيض ، تمرير سلسلة content إلى الوظيفة. بعد المعالجة ، return السلسلة المصنعة

مثال:

 const turndownPluginGfm = require ( 'turndown-plugin-gfm' ) ;
module . exports = {
    filter : item => {
        if ( item . title . indexOf ( '广告' ) !== - 1 ) {
            return false ;
        }
        return true ;
    } ,
    turndown : {
        keep : 'span' ,
        remove : 'span' ,
        rule : {
            strikethrough : {
                filter : [ 'del' , 's' , 'strike' ] ,
                replacement : function ( content ) {
                    return '~' + content + '~' ;
                }
            }
        } ,
        plugins : [ turndownPluginGfm . gfm , turndownPluginGfm . tables ]
    } ,
    afterConverter : content => {
        return content . replace ( / <(.+?)> / g , ( i , m ) => {
            return `&lt; ${ m } >` ;
        } ) ;
    }
} ; 

التنمية الثانوية

بعد رمز مصدر استنساخ GIT ، أدخل المجلد وقم بتنفيذ npm i

• ملف إدخال index.js ، commander ora لمعالجة الأوامر
• getList.js يستخرج قائمة المقالات بناءً على ملف ملخص
• Proxyspider.js يزحف وفقًا لـ anyproxy proxy
• ملف DealMplist.js المستخدم وفقًا للوكيل
• unfettchmids.js يستخلص المقالات في الرابط الداخلي في قائمة المقالات
• GetImages.js زحف عنوان الصورة في المقالة واستبدله بالعنوان المحلي
• CreateBook.js ينشئ ملف gitbook markdown و summary.md لاستبدال محتوى الرابط الداخلي

اعتماد الكتاب الإلكتروني

• الكتاب brew install caskroom/cask/calibre
• Gitbook: npm i gitbook-cli -g

Kindle تأثير لقطة الشاشة

أضف أرجل الدجاج إلى المؤلف