mpspider

Официальная статья об аккаунте ползает и генерирует электронные книги Kindle

Ползуйте исторические статьи официальной учетной записи, разрабатывайте их в файлы разметки, генерируют проекты Gitbook и, наконец, генерируют книги Kindle.

PS :

1. Требуется зависимость от электронного конверта
2. GitBook должен использоваться в версии узла 6.x, 8.x не может быть использован, а другие не были проверены
3. Чтобы сгенерировать MOBI, вам необходимо настроить book.json

Метод ползания

Поддерживает два метода ползания:

1. Начиная с сводной статьи на официальном счете, некоторые официальные счета будут иметь ежегодные сводные статьи, такие как эта статья
2. Используйте AnyProxy в качестве агента, чтобы получить исторические сообщения о официальной учетной записи, и игнорировать нерафические и текстовые статьи или субтитры

PS : Сводная статья относится к странице статьи общедоступного аккаунта, такой как статья «Дорога к архитекторам»

Введение процесса

1. Статьи
2. Проанализируйте внешнюю ссылку «статья общедоступной учетной записи» внутренней связи статьи
3. Продолжайте получать статьи по внешней ссылке
4. Замените статьи внешней ссылки на локальный относительный адрес
5. Картинки ползания в статье
6. Замените изображение статьи на локальный относительный адрес
7. Генерировать проект GitBook
8. Используйте GitBook+Ebook-Convert, чтобы сгенерировать файл Kindle

Шаги 1 ~ 6 полностью автоматические, 7 зависит от вашей собственной ситуации

Установить

npm i mpspider -g

Как выполнить

 # 第一种方式
mpspider article https://mp.weixin.qq.com/s/CIPosICgva9haqstMDIHag -d dest_path
# 第二种方式，需要手动配置代理，点击公众号「查看历史文章」，详见下面介绍，支持手机微信和 pc 微信列表
mpspider proxy -d dest_path -p proxy_port

После ползания в dest_path будет создан проект Gitbook

Генерировать электронные книги

Выполнить команду

 # 进入抓取后gitbook的地址
cd dest_path
# 创建readme.md，gitbook不创建会报错
touch README.md
# 有必要可以创建book.json，参考gitbook文档
gitbook serve
# 访问地址查看效果
# -------
# 生成电子书
gitbook mobi ./ name.mobi

Как настроить AnyProxy Proxy для ползания HTTPS Page

Настройка AnyProxy HTTPS -сертификат

Ссылка: http://anyproxy.io/cn/#%E8%F%81%E4%B9%A6%E9%85%8D%E7%BD%AE

Начните AnyProxy

anyproxy --rule lib/anyproxyRule.js

Используйте файл конфигурации mpspider.config.js

Поддерживаемые элементы конфигурации:

• Book.json Configuration Items: «Автор», «Название», «Описание»
• SummarySort: Функция сортировки статьи, метод эквивалентен методу записи Array.sort , и она передается в объект item , с такими параметрами, как mid , title , content , release , uri и т. Д. Выпуск - это имя файла Pinyin, а сортировка по умолчанию основана на выпуске.
• filter : функция фильтра содержимого статьи, фильтруют items массива списков статьи через items.filter(option.filter) . Содержание элемента включает в себя: mid , title , content
• listFilter : Список фильтрации статьи, используемая только в режиме прокси, данные фильтра в соответствии с объектом JSON Списка статьи, обще используемые поля объектов являются
  • app_msg_ext_info: author , title , copyright_stat , content_url , source_url , digest , content , cover , is_multi и т. Д.
  • comm_msg_info: datetime public
• turndown : поддерживает четыре варианта: keep , remove , rule и plugins , соответствующие четырем элементам конфигурации, соответственно, соответственно
• afterConverter : переключение после преобразования HTML в содержимое разметки, передайте строку content в функцию. После обработки return обработанную строку

Пример:

 const turndownPluginGfm = require ( 'turndown-plugin-gfm' ) ;
module . exports = {
    filter : item => {
        if ( item . title . indexOf ( '广告' ) !== - 1 ) {
            return false ;
        }
        return true ;
    } ,
    turndown : {
        keep : 'span' ,
        remove : 'span' ,
        rule : {
            strikethrough : {
                filter : [ 'del' , 's' , 'strike' ] ,
                replacement : function ( content ) {
                    return '~' + content + '~' ;
                }
            }
        } ,
        plugins : [ turndownPluginGfm . gfm , turndownPluginGfm . tables ]
    } ,
    afterConverter : content => {
        return content . replace ( / <(.+?)> / g , ( i , m ) => {
            return `&lt; ${ m } >` ;
        } ) ;
    }
} ; 

Вторичное развитие

После исходного кода GIT Clone введите папку и выполните npm i

• Файл ввода index.js, commander и ora для обработки команды
• getList.js Extracts Список статей на основе сводного файла
• ProxySpider.js Crawls в соответствии с AnyProxy Proxy
• Файл dealmplist.js, используемый в соответствии с прокси -сервером
• infetchmids.js извлекает статьи во внутренней ссылке в списке статей
• getimages.js Crawl Адрес изображения в статье и замените его на локальный адрес
• CreateBook.js генерирует файл Markdown GitBook и summary.md чтобы заменить содержимое внутренней ссылки

Электронная зависимость

• Ebook-Convert: brew install caskroom/cask/calibre
• gitbook: npm i gitbook-cli -g

Скриншот эффекта Kindle

Добавить куриные ножки автору