mpspider

Artigo oficial da conta Crawling & Generating Kindle E-Books

Rastreie os artigos históricos da conta oficial, analise -os em arquivos de marcação, geram projetos do GitBook e, finalmente, geram livros do Kindle.

PS :

1. Dependência de e-bookver-convert necessária
2. O GitBook precisa ser usado na versão do nó 6.x, 8.x não pode ser usado e outros não foram testados
3. Para gerar mobi, você precisa configurar book.json

Método de rastreamento

Suporta dois métodos de rastreamento:

1. Começando com um artigo de resumo da conta oficial, algumas contas oficiais terão artigos de resumo anual, como este artigo
2. Use AnyProxy como agente para pegar artigos de mensagens históricas da conta oficial e ignorar artigos ou legendas não-gráficas e de texto

PS : Artigo de resumo refere -se à página do artigo de uma conta pública, como o artigo "O caminho para os arquitetos"

Introdução do processo

1. Artigos de rastreamento
2. Analisar o link externo "Artigo da conta pública" do link interno do artigo
3. Continue a pegar artigos de link externo
4. Substitua os artigos de link externo ao endereço relativo local
5. Rastrear fotos no artigo
6. Substitua a imagem do artigo para o endereço relativo local
7. Gere GitBook Project
8. Use GitBook+Ebook-Convert para gerar um arquivo Kindle

As etapas 1 ~ 6 são totalmente automáticas, 7 depende de sua própria situação

Instalar

npm i mpspider -g

Como executar

 # 第一种方式
mpspider article https://mp.weixin.qq.com/s/CIPosICgva9haqstMDIHag -d dest_path
# 第二种方式，需要手动配置代理，点击公众号「查看历史文章」，详见下面介绍，支持手机微信和 pc 微信列表
mpspider proxy -d dest_path -p proxy_port

Após o rastreamento, um projeto GitBook será criado em dest_path

Gerar e-books

Execute o comando

 # 进入抓取后gitbook的地址
cd dest_path
# 创建readme.md，gitbook不创建会报错
touch README.md
# 有必要可以创建book.json，参考gitbook文档
gitbook serve
# 访问地址查看效果
# -------
# 生成电子书
gitbook mobi ./ name.mobi

Como configurar o proxy de qualquer proxy para rastejar a página HTTPS

Configure o certificado HTTPS AnyProxy

Referência: http://anyproxy.io/cn/#%E8%AF%81%E4%B9%A6%E9%85%8D%E7%BD%E

Comece qualquer protoxi

anyproxy --rule lib/anyproxyRule.js

Use o arquivo de configuração mpspider.config.js

Itens de configuração suportados:

• Itens de configuração de book.json: 'autor', 'title', 'description'
• SummarySort: A função de classificação do artigo, o método é equivalente ao método de escrita Array.sort e é transmitido para item , com opções como mid , title , content , release , uri , etc. Lançamento é o nome do arquivo pinyin e a classificação padrão é baseada na versão
• filter : uma função de filtro de conteúdo do artigo, filtra os items da matriz da lista de artigos através items.filter(option.filter) . O conteúdo do item inclui: mid , title , content
• listFilter : Filtragem de artigos da lista, usada apenas no modo proxy, filtro dados de acordo com o objeto JSON da lista de artigos, os campos de objeto comumente usados ​​são
  • APP_MSG_EXT_INFO: author , title , copyright_stat , content_url , source_url , digest , content , cover , is_multi , etc.
  • Comm_msg_info: datetime Publique timestamp
• turndown : suporta quatro opções: keep , remove , rule e plugins , correspondentes aos quatro itens de configuração da reviravolta, respectivamente
• afterConverter : Turndown Após converter o HTML em conteúdo de marcação, passe a sequência content para a função. Após o processamento, return a sequência processada

Exemplo:

 const turndownPluginGfm = require ( 'turndown-plugin-gfm' ) ;
module . exports = {
    filter : item => {
        if ( item . title . indexOf ( '广告' ) !== - 1 ) {
            return false ;
        }
        return true ;
    } ,
    turndown : {
        keep : 'span' ,
        remove : 'span' ,
        rule : {
            strikethrough : {
                filter : [ 'del' , 's' , 'strike' ] ,
                replacement : function ( content ) {
                    return '~' + content + '~' ;
                }
            }
        } ,
        plugins : [ turndownPluginGfm . gfm , turndownPluginGfm . tables ]
    } ,
    afterConverter : content => {
        return content . replace ( / <(.+?)> / g , ( i , m ) => {
            return `&lt; ${ m } >` ;
        } ) ;
    }
} ; 

Desenvolvimento secundário

Após o código -fonte do clone Git, digite a pasta e execute npm i

• Index.js Arquivo de entrada, commander e ora para processamento de comando
• GetList.js Extrata Lista de artigos com base no arquivo de resumo
• proxyspider.js rastreia de acordo com qualquer proxy de qualquer propósito
• Arquivo Dealmplist.js usado de acordo com o proxy
• UnTchMids.js extrai os artigos no link interno na lista de artigos
• getImages.js rasteja o endereço da imagem no artigo e substitua -o pelo endereço local
• CreateBook.js gera o GitBook Markdown Arget e summary.md para substituir o conteúdo do link interno

Dependência do e-book

• Ebook-CONVERT: brew install caskroom/cask/calibre
• GitBook: npm i gitbook-cli -g

Captura de tela do Kindle Effect

Adicione as pernas de frango ao autor