mpspider

Offizieller Account Article Crawling & Generation Kindle E-Books

Kriechen Sie die historischen Artikel des offiziellen Berichts, analysieren Sie sie in Markdown -Dateien, generieren Gitbook -Projekte und generieren schließlich Kindle -Bücher.

PS :

1. Ebook-Convert-Abhängigkeit erforderlich
2. Gitbook muss in der Knoten 6.x -Version verwendet werden, 8.x kann nicht verwendet werden und andere wurden nicht getestet
3. Um MOBI zu generieren, müssen Sie book.json konfigurieren

Kriechmethode

Unterstützt zwei Krabbelmethoden:

1. Beginnend mit einem Zusammenfassungsartikel auf dem offiziellen Konto haben einige offizielle Konten jährliche Zusammenfassungsartikel, z. B. diesen Artikel
2. Verwenden Sie AnyProxy als Agent, um historische Nachrichtenartikel des offiziellen Berichts zu erfassen und nicht-graphische und Textartikel oder Untertitel zu ignorieren

PS : Zusammenfassender Artikel bezieht sich auf die Artikelseite eines öffentlichen Kontos, z. B. den Artikel "Der Weg zu Architekten"

Prozesseinführung

1. Kriechartikel
2. Analysieren Sie den externen Link "Public Account Article" des internen Links des Artikels
3. Nehmen Sie weiterhin externe Link -Artikel
4. Ersetzen Sie externe Verbindungsartikel in lokale relative Adresse
5. Kriechen Sie Bilder im Artikel
6. Ersetzen Sie das Artikelbild in der lokalen relativen Adresse
7. Gitbook -Projekt generieren
8. Verwenden Sie Gitbook+eBook-Convert, um eine Kindle-Datei zu generieren

Die Schritte 1 ~ 6 sind vollautomatisch, 7 hängt von Ihrer eigenen Situation ab

Installieren

npm i mpspider -g

Wie man ausführt

 # 第一种方式
mpspider article https://mp.weixin.qq.com/s/CIPosICgva9haqstMDIHag -d dest_path
# 第二种方式，需要手动配置代理，点击公众号「查看历史文章」，详见下面介绍，支持手机微信和 pc 微信列表
mpspider proxy -d dest_path -p proxy_port

Nach dem Crawling wird ein Gitbook -Projekt in dest_path erstellt

E-Books generieren

Führen Sie den Befehl aus

 # 进入抓取后gitbook的地址
cd dest_path
# 创建readme.md，gitbook不创建会报错
touch README.md
# 有必要可以创建book.json，参考gitbook文档
gitbook serve
# 访问地址查看效果
# -------
# 生成电子书
gitbook mobi ./ name.mobi

So konfigurieren Sie einen Proxy -Proxy, um die HTTPS -Seite zu kriechen

Konfigurieren Sie das HTTPS -Zertifikat anProxy

Referenz: http://anyproxy.io/cn/#%E8%AF%81%E4%B9%A6%E9%85%8D%E7%BD%AE

Starten Sie Anyproxy

anyproxy --rule lib/anyproxyRule.js

Verwenden Sie die Konfigurationsdatei mpspider.config.js

Unterstützte Konfigurationselemente:

• book.json -Konfigurationselemente: 'Autor', 'Titel', 'Beschreibung'
• Zusammenfassungsort: Die Artikelsortierungsfunktion, die Methode entspricht der Array.sort -Schreibmethode und wird in item -Objekt übergeben, mit Optionen wie mid , title , content , release , uri usw. Die Veröffentlichung ist der Pinyin -Dateiname, und die Standardsortierung basiert auf der Veröffentlichung
• filter : Ein Artikel -Inhaltsfilterfunktion, filtert die Artikellisten -Array items über items.filter(option.filter) . Der Artikelinhalt enthält: mid , title , content
• listFilter : List -Artikelfilterung, die nur im Proxy -Modus verwendet wird, Filterdaten gemäß dem JSON -Objekt der Artikelliste sind die häufig verwendeten Objektfelder
  • APP_MSG_EXT_INFO: author , title , copyright_stat , content_url , source_url , digest , content , cover , is_multi usw.
  • comm_msg_info: datetime veröffentlichen timestamp
• turndown : Unterstützt vier Optionen: keep , remove , rule und plugins , entsprechend den vier Konfigurationselementen der Turnedown
• afterConverter : Turndown Nach dem Konvertieren von HTML in den Inhalt des content übergeben in die Funktion. Geben Sie nach der Verarbeitung die verarbeitete Zeichenfolge return

Beispiel:

 const turndownPluginGfm = require ( 'turndown-plugin-gfm' ) ;
module . exports = {
    filter : item => {
        if ( item . title . indexOf ( '广告' ) !== - 1 ) {
            return false ;
        }
        return true ;
    } ,
    turndown : {
        keep : 'span' ,
        remove : 'span' ,
        rule : {
            strikethrough : {
                filter : [ 'del' , 's' , 'strike' ] ,
                replacement : function ( content ) {
                    return '~' + content + '~' ;
                }
            }
        } ,
        plugins : [ turndownPluginGfm . gfm , turndownPluginGfm . tables ]
    } ,
    afterConverter : content => {
        return content . replace ( / <(.+?)> / g , ( i , m ) => {
            return `&lt; ${ m } >` ;
        } ) ;
    }
} ; 

Sekundärentwicklung

Geben Sie nach dem Git -Klon -Quellcode den Ordner ein und führen Sie npm i aus

• Index.JS -Eintragsdatei, commander und ora für die Befehlsverarbeitung
• GetList.js extrahiert die Artikelliste basierend auf der Zusammenfassungsdatei
• Proxyspider.js kriecht nach Anytroxy -Proxy
• DealMplist.js -Datei, die gemäß dem Stellvertreter verwendet wird
• Unfetchmids.js extrahiert die Artikel im internen Link in der Artikelliste
• GetImages.js kriechen die Bildadresse im Artikel und ersetzen Sie sie durch die lokale Adresse
• createBook.js generiert Gitbook -Markdown -Datei und summary.md um den Inhalt des inneren Links zu ersetzen

E-Book-Abhängigkeit

• eBook-Convert: brew install caskroom/cask/calibre
• Gitbook: npm i gitbook-cli -g

Kindle Effect Screenshot

Fügen Sie dem Autor Hühnerbeine hinzu