mpspider

공식 계정 기사 크롤링 및 Kindle 전자 책 생성

공식 계정의 역사적 기사를 기어 다니고, 마크 다운 파일로 구문 분석하고, Gitbook 프로젝트를 생성하고, 마지막으로 Kindle Books를 생성하십시오.

추신 :

1. eBook-convert 종속성이 필요합니다
2. Gitbook은 Node 6.x 버전에서 사용해야하며 8.x를 사용할 수 없으며 다른 것들은 테스트되지 않았습니다.
3. Mobi를 생성하려면 book.json 구성해야합니다

크롤링 방법

두 가지 크롤링 방법을 지원합니다.

1. 공식 계정의 요약 기사로 시작하여 일부 공식 계정에는이 기사와 같은 연례 요약 기사가 있습니다.
2. 공식 계정의 역사적 메시지 기사를 잡고 비 그래픽 및 텍스트 기사 또는 자막을 무시하기 위해 대리인으로서 모든 프록시를 사용하십시오.

추신 : 요약 기사는 "건축가로가는 길"기사와 같은 공개 계정의 기사 페이지를 나타냅니다.

프로세스 소개

1. 크롤링 기사
2. 기사의 내부 링크의 외부 링크 "공개 계정 기사"분석
3. 외부 링크 기사를 계속 가져 오십시오
4. 외부 링크 기사를 로컬 상대 주소로 바꾸십시오
5. 기사에서 사진을 기어 다닙니다
6. 기사 사진을 로컬 상대 주소로 바꾸십시오
7. GitBook 프로젝트를 생성하십시오
8. gitbook+ebook-convert를 사용하여 Kindle 파일을 생성하십시오

1 ~ 6 단계는 완전히 자동이며 7은 자신의 상황에 따라 다릅니다.

설치하다

npm i mpspider -g

실행 방법

 # 第一种方式
mpspider article https://mp.weixin.qq.com/s/CIPosICgva9haqstMDIHag -d dest_path
# 第二种方式，需要手动配置代理，点击公众号「查看历史文章」，详见下面介绍，支持手机微信和 pc 微信列表
mpspider proxy -d dest_path -p proxy_port

크롤링 후 gitbook 프로젝트가 dest_path 에서 만들어집니다.

전자 책을 생성하십시오

명령을 실행하십시오

 # 进入抓取后gitbook的地址
cd dest_path
# 创建readme.md，gitbook不创建会报错
touch README.md
# 有必要可以创建book.json，参考gitbook文档
gitbook serve
# 访问地址查看效果
# -------
# 生成电子书
gitbook mobi ./ name.mobi

https 페이지를 크롤링하기 위해 모든 프록시 프록시를 구성하는 방법

모든 Proxy HTTPS 인증서를 구성하십시오

참조 : http://anyproxy.io/cn/#%E8%81%E4%B9%A6%E9%85%8D%E7%BD%AE

모든 프록시를 시작하십시오

anyproxy --rule lib/anyproxyRule.js

구성 파일 mpspider.config.js 를 사용하십시오

지원되는 구성 항목 :

• book.json 구성 항목 : '저자', '제목', '설명'
• SummarySort : 기사 분류 함수,이 메소드는 Array.sort 과 동일하며 mid , title , content , release , uri 등과 같은 옵션이있는 item 객체로 전달됩니다. 릴리스 릴리스는 Pinyin 파일 이름 이며 기본 정렬은 릴리스를 기반으로합니다.
• filter : 기사 내용 필터 기능은 항목을 통해 기사 목록 배열 items 필터 items.filter(option.filter) 를 필터링합니다. 항목 내용에는 다음이 포함됩니다. mid , title , content
• listFilter : List 기사 필터링, 프록시 모드에서만 사용되는 필터, 필터 데이터는 기사 목록의 JSON 개체에 따라 일반적으로 사용되는 객체 필드는 다음과 같습니다.
  • app_msg_ext_info : author , title , copyright_stat , content_url , source_url , digest , content , cover , is_multi 등
  • comm_msg_info : datetime 게시 timestamp를 게시합니다
• turndown : 네 가지 옵션을 지원합니다 : 각각 4 개의 구성 항목에 해당하는 keep , remove , rule 및 plugins 각각 턴 다운 다운 다운입니다.
• afterConverter : HTML을 Markdown 컨텐츠로 변환 한 후 content 문자열을 함수로 전달하십시오. 처리 후 처리 된 문자열을 return

예:

 const turndownPluginGfm = require ( 'turndown-plugin-gfm' ) ;
module . exports = {
    filter : item => {
        if ( item . title . indexOf ( '广告' ) !== - 1 ) {
            return false ;
        }
        return true ;
    } ,
    turndown : {
        keep : 'span' ,
        remove : 'span' ,
        rule : {
            strikethrough : {
                filter : [ 'del' , 's' , 'strike' ] ,
                replacement : function ( content ) {
                    return '~' + content + '~' ;
                }
            }
        } ,
        plugins : [ turndownPluginGfm . gfm , turndownPluginGfm . tables ]
    } ,
    afterConverter : content => {
        return content . replace ( / <(.+?)> / g , ( i , m ) => {
            return `&lt; ${ m } >` ;
        } ) ;
    }
} ; 

이차 개발

Git Clone 소스 코드 후 폴더를 입력하고 npm i 실행합니다.

• 명령 처리를위한 index.js entery 파일, commander 및 ora
• getList.js는 요약 파일을 기반으로 기사 목록을 추출합니다
• ProxySpider.js는 모든 프로 록시 프록시에 따라 크롤링됩니다
• Proxy에 따라 사용되는 DealMplist.js 파일
• unpetchmids.js는 기사 목록의 내부 링크에서 기사를 추출합니다.
• getImages.js는 기사의 이미지 주소를 크롤링하고 로컬 주소로 바꾸십시오.
• Createbook.js 내부 링크의 내용을 대체하기 위해 gitbook Markdown 파일 및 summary.md 생성합니다.

전자 책 의존성

• eBook-Convert : brew install caskroom/cask/calibre
• gitbook : npm i gitbook-cli -g

킨들 효과 스크린 샷

저자에게 닭 다리를 추가하십시오