mpspiderダウンロードmpspiderソースコードのダウンロード

mpspider

ウェブサイトデータ

1.0.0

ダウンロード

公式アカウントの記事クロール＆キンドル電子書籍の生成

公式アカウントの歴史的な記事をクロールし、それらをマークダウンファイルに解析し、GitBookプロジェクトを生成し、最終的にKindle Booksを生成します。

PS ：

電子ブックコンバートの依存関係が必要です
gitbookはノード6.xバージョンで使用する必要があり、8.xは使用できず、他のものはテストされていません
Mobiを生成するには、 book.jsonを構成する必要があります

クロール方法

2つのクロール方法をサポートしています。

公式アカウントの要約記事から始めて、一部の公式アカウントには、この記事などの年間の要約記事があります
AnyProxyをエージェントとして使用して、公式アカウントの歴史的なメッセージ記事を取得し、非グラフィックおよびテキスト記事または字幕を無視します

PS ：要約記事は、記事「The Road to Architects」などの公開アカウントの記事ページを参照してください。

プロセスの紹介

クロール記事
記事の内部リンクの外部リンク「パブリックアカウント記事」を分析する
外部リンク記事を取得し続けます
外部リンク記事をローカル相対アドレスに置き換えます
記事の写真をクロールします
記事の写真をローカルの相対住所に置き換えます
GitBookプロジェクトを生成します
gitbook+ebook-convertを使用して、Kindleファイルを生成します

手順1〜6は完全に自動で、7はあなた自身の状況に依存します

インストール

npm i mpspider -g

実行する方法

 # 第一种方式
mpspider article https://mp.weixin.qq.com/s/CIPosICgva9haqstMDIHag -d dest_path
# 第二种方式，需要手动配置代理，点击公众号「查看历史文章」，详见下面介绍，支持手机微信和 pc 微信列表
mpspider proxy -d dest_path -p proxy_port

rawう後、gitbookプロジェクトがdest_pathで作成されます

電子書籍を生成します

コマンドを実行します

 # 进入抓取后gitbook的地址
cd dest_path
# 创建readme.md，gitbook不创建会报错
touch README.md
# 有必要可以创建book.json，参考gitbook文档
gitbook serve
# 访问地址查看效果
# -------
# 生成电子书
gitbook mobi ./ name.mobi

httpsページをクロールするためにプロキシプロキシを構成する方法

AnyProxy HTTPS証明書を構成します

リファレンス：http：//anyproxy.io/cn/#%E8%af%81%E4%B9%A6%E9%85%8D%E7%BD%AE

プロキシを開始します

anyproxy --rule lib/anyproxyRule.js

構成ファイル`mpspider.config.js`を使用します

サポートされている構成項目：

book.json構成項目：「著者」、「タイトル」、「説明」
summarysort：記事の並べ替え関数、メソッドは配列と同等であり、 Array.sort書き込み方法であり、 mid 、 title 、 content 、 release 、 uriなどのオプションを備えたitemオブジェクトに渡されます。リリースはPINYINファイル名であり、デフォルトのソートはリリースに基づいています。
filter ：記事のコンテンツフィルター関数は、 items.filter(option.filter)を介して記事リスト配列itemsをフィルターします。アイテムのコンテンツには、 mid 、 title 、 contentが含まれます
listFilter ：リスト記事フィルタリング、プロキシモードでのみ使用、記事リストのJSONオブジェクトに従ってフィルターデータ、一般的に使用されるオブジェクトフィールドは
- app_msg_ext_info： author 、 title 、 copyright_stat 、 content_url 、 source_url 、 digest 、 content 、 cover 、 is_multiなど。
- comm_msg_info： datetime Publish Timestamp
turndown ：4つのオプションをサポートします：それぞれターンダウンの4つの構成項目に対応するプラグkeep 、 remove 、 rule 、およびplugins
afterConverter ：HTMLをマークダウンコンテンツに変換した後のターンダウン、 content列を関数に渡します。処理後、処理された文字列return

例：

 const turndownPluginGfm = require ( 'turndown-plugin-gfm' ) ;
module . exports = {
    filter : item => {
        if ( item . title . indexOf ( '广告' ) !== - 1 ) {
            return false ;
        }
        return true ;
    } ,
    turndown : {
        keep : 'span' ,
        remove : 'span' ,
        rule : {
            strikethrough : {
                filter : [ 'del' , 's' , 'strike' ] ,
                replacement : function ( content ) {
                    return '~' + content + '~' ;
                }
            }
        } ,
        plugins : [ turndownPluginGfm . gfm , turndownPluginGfm . tables ]
    } ,
    afterConverter : content => {
        return content . replace ( / <(.+?)> / g , ( i , m ) => {
            return `&lt; ${ m } >` ;
        } ) ;
    }
} ;