mpspider

บทความบัญชีอย่างเป็นทางการรวบรวมข้อมูลและสร้าง Kindle e-books

รวบรวมข้อมูลบทความทางประวัติศาสตร์ของบัญชีอย่างเป็นทางการแยกวิเคราะห์พวกเขาเป็นไฟล์ Markdown สร้างโครงการ Gitbook และสร้างหนังสือ Kindle ในที่สุด

PS :

1. จำเป็นต้องมีการพึ่งพา eBook-convert
2. ต้องใช้ gitbook ในโหนด 6.x เวอร์ชัน 8.x ไม่สามารถใช้งานได้และอื่น ๆ ยังไม่ได้รับการทดสอบ
3. ในการสร้าง mobi คุณต้องกำหนดค่า book.json

วิธีการรวบรวมข้อมูล

รองรับสองวิธีคลาน:

1. เริ่มต้นด้วยบทความสรุปในบัญชีอย่างเป็นทางการบัญชีอย่างเป็นทางการบางบัญชีจะมีบทความสรุปรายปีเช่นบทความนี้
2. ใช้ Anyproxy เป็นตัวแทนเพื่อคว้าบทความข้อความประวัติศาสตร์ของบัญชีอย่างเป็นทางการและละเว้นบทความหรือข้อความที่ไม่ใช่กราฟิกและข้อความหรือคำบรรยาย

PS : บทความสรุปหมายถึงหน้าบทความของบัญชีสาธารณะเช่นบทความ "The Road to Architects"

กระบวนการแนะนำ

1. บทความรวบรวมข้อมูล
2. วิเคราะห์ลิงค์ภายนอก "บทความบัญชีสาธารณะ" ของลิงก์ภายในของบทความ
3. ยังคงคว้าบทความลิงค์ภายนอกต่อไป
4. แทนที่บทความลิงก์ภายนอกเป็นที่อยู่สัมพัทธ์ในท้องถิ่น
5. คลานรูปภาพในบทความ
6. แทนที่ภาพบทความเป็นที่อยู่สัมพัทธ์ท้องถิ่น
7. สร้างโครงการ Gitbook
8. ใช้ gitbook+ebook-convert เพื่อสร้างไฟล์ Kindle

ขั้นตอนที่ 1 ~ 6 เป็นไปโดยอัตโนมัติอย่างสมบูรณ์ 7 ขึ้นอยู่กับสถานการณ์ของคุณเอง

ติดตั้ง

npm i mpspider -g

วิธีดำเนินการ

 # 第一种方式
mpspider article https://mp.weixin.qq.com/s/CIPosICgva9haqstMDIHag -d dest_path
# 第二种方式，需要手动配置代理，点击公众号「查看历史文章」，详见下面介绍，支持手机微信和 pc 微信列表
mpspider proxy -d dest_path -p proxy_port

หลังจากคลานโครงการ gitbook จะถูกสร้างขึ้นใน dest_path

สร้าง e-books

ดำเนินการคำสั่ง

 # 进入抓取后gitbook的地址
cd dest_path
# 创建readme.md，gitbook不创建会报错
touch README.md
# 有必要可以创建book.json，参考gitbook文档
gitbook serve
# 访问地址查看效果
# -------
# 生成电子书
gitbook mobi ./ name.mobi

วิธีกำหนดค่า proxy anyproxy เพื่อรวบรวมข้อมูลหน้า https

กำหนดค่าใบรับรอง https anyproxy

การอ้างอิง: http://anyproxy.io/cn/#%E8%AF%81%E4%B9%A6%E9%85%8D%E7%BD%AE

เริ่มต้นใด ๆ

anyproxy --rule lib/anyproxyRule.js

ใช้ไฟล์กำหนดค่า mpspider.config.js

รายการการกำหนดค่าที่รองรับ:

• book.json การกำหนดค่ารายการ: 'ผู้แต่ง', 'title', 'คำอธิบาย'
• SummarySort: ฟังก์ชั่นการเรียงลำดับบทความวิธีการเทียบเท่ากับวิธีการเขียน Array.sort และมันจะถูกส่งผ่านไปยังวัตถุ item พร้อมตัวเลือกเช่น mid , title , content , release , uri ฯลฯ รีลีสคือชื่อไฟล์พินอิน และการเรียงลำดับเริ่มต้น
• filter : ฟังก์ชั่นตัวกรองเนื้อหาบทความกรอง items รายการอาร์เรย์รายการผ่าน items.filter(option.filter) เนื้อหารายการรวมถึง: mid , title , content
• listFilter : รายการการกรองบทความที่ใช้ในโหมดพร็อกซี, ข้อมูลตัวกรองตามวัตถุ JSON ของรายการบทความ, ฟิลด์วัตถุที่ใช้กันทั่วไปคือ
  • app_msg_ext_info: author , title , copyright_stat , content_url , source_url , digest , content , cover , is_multi ฯลฯ
  • comm_msg_info: datetime เผยแพร่การประทับเวลา
• turndown : รองรับสี่ตัวเลือก: keep remove rule และ plugins ซึ่งสอดคล้องกับรายการการกำหนดค่าสี่รายการของการหมุนเวียนตามลำดับ
• afterConverter : Turndown หลังจากแปลง HTML เป็นเนื้อหา markdown ส่งผ่านสตริง content ลงในฟังก์ชัน หลังจากการประมวลผล return สตริงที่ประมวลผล

ตัวอย่าง:

 const turndownPluginGfm = require ( 'turndown-plugin-gfm' ) ;
module . exports = {
    filter : item => {
        if ( item . title . indexOf ( '广告' ) !== - 1 ) {
            return false ;
        }
        return true ;
    } ,
    turndown : {
        keep : 'span' ,
        remove : 'span' ,
        rule : {
            strikethrough : {
                filter : [ 'del' , 's' , 'strike' ] ,
                replacement : function ( content ) {
                    return '~' + content + '~' ;
                }
            }
        } ,
        plugins : [ turndownPluginGfm . gfm , turndownPluginGfm . tables ]
    } ,
    afterConverter : content => {
        return content . replace ( / <(.+?)> / g , ( i , m ) => {
            return `&lt; ${ m } >` ;
        } ) ;
    }
} ; 

การพัฒนาทุติยภูมิ

หลังจาก Git โคลนซอร์สโค้ดป้อนโฟลเดอร์และเรียกใช้ npm i

• index.js ไฟล์รายการ commander และ ora สำหรับการประมวลผลคำสั่ง
• getList.js แยกรายการบทความตามไฟล์สรุป
• proxyspider.js รวบรวมข้อมูลตามพร็อกซี Anyproxy
• ไฟล์ dealmplist.js ที่ใช้ตามพร็อกซี
• unfetchmids.js แยกบทความในลิงค์ภายในในรายการบทความ
• getImages.js รวบรวมข้อมูลที่อยู่ภาพในบทความและแทนที่ด้วยที่อยู่ท้องถิ่น
• createbook.js สร้างไฟล์ markdown gitbook และ summary.md เพื่อแทนที่เนื้อหาของลิงค์ด้านใน

การพึ่งพาหนังสืออิเล็กทรอนิกส์

• ebook-convert: brew install caskroom/cask/calibre
• Gitbook: npm i gitbook-cli -g

ภาพหน้าจอ Kindle Effect

เพิ่มขาไก่ให้กับผู้แต่ง