mpspider

Article de compte officiel Crawling & Génération des livres électroniques Kindle

Rapprochez les articles historiques du compte officiel, les analyser dans les fichiers Markdown, générer des projets Gitbook et enfin générer des livres Kindle.

PS :

1. dépendance à converti d'ebook requise
2. GitBook doit être utilisé dans la version Node 6.x, 8.x ne peut pas être utilisé, et d'autres n'ont pas été testés
3. Pour générer MOBI, vous devez configurer book.json

Méthode de crawl

Prend en charge deux méthodes rampantes:

1. En commençant par un article de résumé sur le compte officiel, certains comptes officiels auront des articles de résumé annuel, comme cet article
2. Utilisez AnyProxy comme agent pour saisir des articles de message historique du compte officiel et ignorer les articles ou sous-titres non graphiques et de texte

PS : L'article de résumé fait référence à la page de l'article d'un compte public, comme l'article "La route vers les architectes"

Introduction de processus

1. Crawl
2. Analyser le lien externe "Article de compte public" du lien interne de l'article
3. Continuez à saisir des articles de liaison externe
4. Remplacez les articles de liaison externe à l'adresse relative locale
5. Crawl Pictures dans l'article
6. Remplacez l'image de l'article par l'adresse relative locale
7. Générer le projet GitBook
8. Utilisez GitBook + Ebook-Convert pour générer un fichier Kindle

Les étapes 1 à 6 sont entièrement automatiques, 7 dépend de votre propre situation

Installer

npm i mpspider -g

Comment exécuter

 # 第一种方式
mpspider article https://mp.weixin.qq.com/s/CIPosICgva9haqstMDIHag -d dest_path
# 第二种方式，需要手动配置代理，点击公众号「查看历史文章」，详见下面介绍，支持手机微信和 pc 微信列表
mpspider proxy -d dest_path -p proxy_port

Après avoir rampé, un projet GitBook sera créé dans dest_path

Générer des livres électroniques

Exécuter la commande

 # 进入抓取后gitbook的地址
cd dest_path
# 创建readme.md，gitbook不创建会报错
touch README.md
# 有必要可以创建book.json，参考gitbook文档
gitbook serve
# 访问地址查看效果
# -------
# 生成电子书
gitbook mobi ./ name.mobi

Comment configurer un proxy de n'importe quelproxy pour ramper la page HTTPS

Configurer le certificat HTTPS AnyProxy

Référence: http://anyproxy.io/cn/#%E8%AF%81%E4%B9%A6%E9%85%8D%E7%BD%Ae

Démarrer AnyProxy

anyproxy --rule lib/anyproxyRule.js

Utilisez le fichier de configuration mpspider.config.js

Éléments de configuration pris en charge:

• Éléments de configuration de book.json: «auteur», «titre», «Description»
• Résumé item la fonction de tri title content mid , la méthode est uri release la méthode Array Array.sort
• filter : une fonction de filtre de contenu de l'article, filtre les items de la liste des articles via items.filter(option.filter) . Le contenu de l'élément comprend: mid , title , content
• listFilter : Liste le filtrage de l'article, uniquement utilisé en mode proxy, les données de filtre en fonction de l'objet JSON de la liste des articles, les champs d'objets couramment utilisés sont
  • app_msg_ext_info: author , title , copyright_stat , content_url , source_url , digest , content , cover , is_multi , etc.
  • Comm_msg_info: datetime Publish Tobstamp
• turndown : prend en charge quatre options: keep , remove , rule et plugins , correspondant aux quatre éléments de configuration du tournage respectivement
• afterConverter : Tournef après convertir HTML en contenu Markdown, passez la chaîne content dans la fonction. Après le traitement, return la chaîne traitée

Exemple:

 const turndownPluginGfm = require ( 'turndown-plugin-gfm' ) ;
module . exports = {
    filter : item => {
        if ( item . title . indexOf ( '广告' ) !== - 1 ) {
            return false ;
        }
        return true ;
    } ,
    turndown : {
        keep : 'span' ,
        remove : 'span' ,
        rule : {
            strikethrough : {
                filter : [ 'del' , 's' , 'strike' ] ,
                replacement : function ( content ) {
                    return '~' + content + '~' ;
                }
            }
        } ,
        plugins : [ turndownPluginGfm . gfm , turndownPluginGfm . tables ]
    } ,
    afterConverter : content => {
        return content . replace ( / <(.+?)> / g , ( i , m ) => {
            return `&lt; ${ m } >` ;
        } ) ;
    }
} ; 

Développement secondaire

Après le code source Git Clone, entrez le dossier et exécutez npm i

• Fichier d'entrée index.js, commander et ora pour le traitement des commandes
• GetList.js extrait la liste d'articles basés sur le fichier récapitulatif
• proxyspider.js rampe selon AnyProxy proxy
• Fichier Dealmplist.js utilisé selon le proxy
• unfetchmids.js extrait les articles du lien interne de la liste des articles
• getimages.js ramper l'adresse de l'image dans l'article et le remplacer par l'adresse locale
• CreateBook.js génère le fichier GitBook Markdown et summary.md pour remplacer le contenu du lien intérieur

Dépendance au livre électronique

• Ebook-Convert: brew install caskroom/cask/calibre
• gitbook: npm i gitbook-cli -g

Capture d'écran de l'effet Kindle

Ajouter les cuisses de poulet à l'auteur