mpspider

Akun Resmi Artikel Merangkak & Membuat Kindle E-Books

Merangkak artikel historis dari akun resmi, menguraikannya ke dalam file -file penurunan harga, menghasilkan proyek gitbook, dan akhirnya menghasilkan buku Kindle.

PS :

1. Diperlukan ketergantungan ebook-convert
2. GitBook perlu digunakan dalam versi 6.x versi, 8.x tidak dapat digunakan, dan yang lain belum diuji
3. Untuk menghasilkan Mobi, Anda perlu mengkonfigurasi book.json

Metode perayapan

Mendukung dua metode merangkak:

1. Dimulai dengan artikel ringkasan di akun resmi, beberapa akun resmi akan memiliki artikel ringkasan tahunan, seperti artikel ini
2. Gunakan anyproxy sebagai agen untuk mengambil artikel pesan historis dari akun resmi, dan abaikan artikel atau subtitle non-grafik dan teks

PS : Artikel ringkasan mengacu pada halaman artikel akun publik, seperti artikel "The Road to Architects"

PENDAHULUAN PROSES

1. Artikel merangkak
2. Menganalisis tautan eksternal "artikel akun publik" dari tautan internal artikel tersebut
3. Terus ambil artikel tautan eksternal
4. Ganti artikel tautan eksternal ke alamat relatif lokal
5. Gambar merangkak dalam artikel
6. Ganti gambar artikel ke alamat relatif lokal
7. Menghasilkan proyek gitbook
8. Gunakan GitBook+Ebook-Convert untuk menghasilkan file Kindle

Langkah 1 ~ 6 sepenuhnya otomatis, 7 tergantung pada situasi Anda sendiri

Memasang

npm i mpspider -g

Cara mengeksekusi

 # 第一种方式
mpspider article https://mp.weixin.qq.com/s/CIPosICgva9haqstMDIHag -d dest_path
# 第二种方式，需要手动配置代理，点击公众号「查看历史文章」，详见下面介绍，支持手机微信和 pc 微信列表
mpspider proxy -d dest_path -p proxy_port

Setelah merangkak, proyek gitbook akan dibuat di dest_path

Menghasilkan e-book

Jalankan perintah

 # 进入抓取后gitbook的地址
cd dest_path
# 创建readme.md，gitbook不创建会报错
touch README.md
# 有必要可以创建book.json，参考gitbook文档
gitbook serve
# 访问地址查看效果
# -------
# 生成电子书
gitbook mobi ./ name.mobi

Cara mengkonfigurasi proxy anyproxy untuk merangkak halaman https

Konfigurasikan Sertifikat HTTPS AnyProxy

Referensi: http://anyproxy.io/cn/#%E8%AF%81%E4%B9%A6%E9%85%8D%E7%BD%AE

Mulailah apa pun

anyproxy --rule lib/anyproxyRule.js

Gunakan file konfigurasi mpspider.config.js

Item konfigurasi yang didukung:

• Buku Konfigurasi Book.json: 'Penulis', 'Judul', 'Deskripsi'
• RingkasanSort item content Penyortiran title , release ini uri dengan metode mid Array.sort .
• filter : Fungsi filter konten artikel, filter items array daftar artikel melalui items.filter(option.filter) . Konten item termasuk: mid , title , content
• listFilter : Daftar pemfilteran artikel, hanya digunakan dalam mode proxy, filter data sesuai dengan objek JSON dari daftar artikel, bidang objek yang umum digunakan adalah
  • app_msg_ext_info: author , title , copyright_stat , content_url , source_url , digest , content , cover , is_multi , dll.
  • comm_msg_info: datetime Publikasikan waktu waktu
• turndown : Mendukung Empat Opsi: keep , remove , rule , dan plugins , masing -masing sesuai dengan empat item konfigurasi turndown
• afterConverter : Turndown Setelah mengonversi HTML ke Konten Markdown, masukkan string content ke fungsi. Setelah diproses, return string yang diproses

Contoh:

 const turndownPluginGfm = require ( 'turndown-plugin-gfm' ) ;
module . exports = {
    filter : item => {
        if ( item . title . indexOf ( '广告' ) !== - 1 ) {
            return false ;
        }
        return true ;
    } ,
    turndown : {
        keep : 'span' ,
        remove : 'span' ,
        rule : {
            strikethrough : {
                filter : [ 'del' , 's' , 'strike' ] ,
                replacement : function ( content ) {
                    return '~' + content + '~' ;
                }
            }
        } ,
        plugins : [ turndownPluginGfm . gfm , turndownPluginGfm . tables ]
    } ,
    afterConverter : content => {
        return content . replace ( / <(.+?)> / g , ( i , m ) => {
            return `&lt; ${ m } >` ;
        } ) ;
    }
} ; 

Pengembangan Sekunder

Setelah kode sumber klon git, masukkan folder dan jalankan npm i

• file entri index.js, commander dan ora untuk pemrosesan perintah
• GetList.js mengekstrak daftar artikel berdasarkan file ringkasan
• proxyspider.js merangkak menurut proxy apa pun
• file dealmplist.js digunakan sesuai dengan proxy
• Unfetchmids.js mengekstrak artikel di tautan internal dalam daftar artikel
• getImages.js merangkak alamat gambar dalam artikel dan menggantinya dengan alamat lokal
• createBook.js Menghasilkan file Markdown GitBook dan summary.md untuk mengganti konten tautan dalam

Ketergantungan e-book

• Ebook-Convert: brew install caskroom/cask/calibre
• GitBook: npm i gitbook-cli -g

Tangkapan layar efek Kindle

Tambahkan Kaki Ayam ke Penulis