mpspider

公眾號文章抓取&生成kindle 電子書

抓取公眾號歷史文章，解析成markdown 文件，生成gitbook 項目，最後可生成kindle 書籍。

PS ：

1. 需要ebook-convert 依賴
2. gitbook 需要在node 6.x 版本，8.x 不能用，其他沒測試
3. 生成mobi 需要配置下book.json

抓取方式

支持兩種抓取方式：

1. 從公眾號的一篇匯總文章開始，有些公眾號會有年度總結文章，比如這篇文章
2. 使用anyproxy 做代理，抓取公眾號歷史消息文章，忽略非圖文類、小標題類文章

PS ：匯總文章指的是一個公眾號的文章頁面，比如「架構師之路」的這篇文章

流程介紹

1. 抓取文章
2. 解析文章內鏈的外鏈「公眾號文章」
3. 繼續抓取外鏈文章
4. 替換外鏈文章到本地相對地址
5. 抓取文章內的圖片
6. 替換文章圖片到本地相對地址
7. 生成gitbook 項目
8. 使用gitbook+ebook-convert 生成kindle 文件

1~6 步是全自動的，7 是看自己情況

安裝

npm i mpspider -g

執行方式

 # 第一种方式
mpspider article https://mp.weixin.qq.com/s/CIPosICgva9haqstMDIHag -d dest_path
# 第二种方式，需要手动配置代理，点击公众号「查看历史文章」，详见下面介绍，支持手机微信和 pc 微信列表
mpspider proxy -d dest_path -p proxy_port

抓取後，會在dest_path創建gitbook 項目

生成電子書

執行命令

 # 进入抓取后gitbook的地址
cd dest_path
# 创建readme.md，gitbook不创建会报错
touch README.md
# 有必要可以创建book.json，参考gitbook文档
gitbook serve
# 访问地址查看效果
# -------
# 生成电子书
gitbook mobi ./ name.mobi

如何配置anyproxy 代理抓取https 頁面

配置anyproxy https 證書

參考：http://anyproxy.io/cn/#%E8%AF%81%E4%B9%A6%E9%85%8D%E7%BD%AE

啟動anyproxy

anyproxy --rule lib/anyproxyRule.js

使用配置文件mpspider.config.js

支持配置項：

• book.json 配置項：'author', 'title', 'description'
• summarySort：文章排序函數，方法等同Array.sort寫法，傳入item對象，有mid 、 title 、 content 、 release 、 uri等選項，release 是拼音文件名，默認根據release 排序
• filter ：文章內容過濾函數，將文章列表數組items通過items.filter(option.filter)過濾一遍，item 內容包括： mid 、 title 、 content
• listFilter ：列表文章過濾，只用在proxy 模式下，根據文章列表的json 對象過濾數據，常用對象字段為
  • app_msg_ext_info： author 、 title 、 copyright_stat 、 content_url 、 source_url 、 digest 、 content 、 cover 、 is_multi等
  • comm_msg_info： datetime發佈時間戳
• turndown ：支持keep 、 remove 、 rule 、 plugins四個選項，分別對應turndown 的四個配置項
• afterConverter ：turndown 將html 轉為markdown 內容之後，將content字符串傳入該函數，處理結束後， return處理後的字符串

示例：

 const turndownPluginGfm = require ( 'turndown-plugin-gfm' ) ;
module . exports = {
    filter : item => {
        if ( item . title . indexOf ( '广告' ) !== - 1 ) {
            return false ;
        }
        return true ;
    } ,
    turndown : {
        keep : 'span' ,
        remove : 'span' ,
        rule : {
            strikethrough : {
                filter : [ 'del' , 's' , 'strike' ] ,
                replacement : function ( content ) {
                    return '~' + content + '~' ;
                }
            }
        } ,
        plugins : [ turndownPluginGfm . gfm , turndownPluginGfm . tables ]
    } ,
    afterConverter : content => {
        return content . replace ( / <(.+?)> / g , ( i , m ) => {
            return `&lt; ${ m } >` ;
        } ) ;
    }
} ; 

二次開發

git clone 源碼後，進入文件夾，執行npm i

• index.js 入口文件，使用commander和ora進行命令處理
• getList.js 根據匯總文件提取文章列表
• proxySpider.js 根據anyproxy 代理方式抓取
• dealMPList.js 根據代理抓取使用的文件
• unfetchMids.js 提取文章列表中內鏈的文章
• getImages.js 抓取文章中的圖片地址，並且替換為本地地址
• createBook.js 生成gitbook markdown 文件和summary.md ，替換內鏈的文內容

電子書依賴

• ebook-convert： brew install caskroom/cask/calibre
• gitbook： npm i gitbook-cli -g

kindle 效果截圖

給作者加雞腿