Web crawler novels

网络爬虫小说

从网络文学网站下载并编译书籍

支持的网站：

网站	书籍索引页示例
无忧书城	https://www.51shuheng.net/wangluo/huaqiangu
七猫小说	https://www.qm11.cc/book/9436/
九九藏书网	https://www.99csw.com/book/3952/136682.htm

致谢

Cloudflare 绕过脚本

安装

用户应该熟悉 $LaTeX$代码。因为文章中可能包含保留字 $LaTeX$并且会导致编译失败，用户应该能够识别并转义它。

创建Python虚拟环境并运行以下命令。

 pip install -r requirements.txt

安装XeLaTex并确保在终端中调用xelatex时操作系统可以识别它。

下载所需的字体以支持处理以相应字符集编写的书籍。

所需字体

字符集	字体
拉丁	（没有任何）
中国人	来源HanSerifCN-Regular.ttf

如果目标书籍是用多种语言编写的，则用户必须找到一种可以正确显示所有语言的字体。该程序不支持使用多种字体。

用法

下载书籍

表示书籍的索引页为$book_index ，保存书籍的本地文件夹为$local 。运行以下命令来下载书籍。

 python main.py -s "$book_index" -t "$local"

如需更多功能，请运行以下命令。

 python main.py -h

导出到乳胶

1. 运行以下命令。

    python export_latex.py -t "$local"
   

2. 校对$local/book.tex中的文本，并手动修改内容。

3. 将所需的字体复制到$local 。

4. 运行以下命令，并查看$local/book.pdf的内容。如果目录丢失，请再次运行（最多尝试 3 次）。

    cd $local
   xelatex book.tex
   

5. 手动修改$local/book.tex的内容并重复步骤4，直到$local/book.pdf的内容正确。

6. 使用后运行以下命令清除文件。这 $LaTeX$文件和渲染的书不会被删除。

    python clear_cache.py -t "$local"