Web crawler novels

Romances sobre rastreadores da Web

Baixe e compile livros de sites de literatura online

Sites suportados:

Site	Exemplo da página de índice do livro
无忧书城	https://www.51shucheng.net/wangluo/huaqiangu
七猫小说	https://www.qm11.cc/book/9436/
九九藏书网	https://www.99csw.com/book/3952/136682.htm

Reconhecimento

Script de desvio do Cloudflare

Instalar

Os usuários devem estar familiarizados com $LaTeX$ código. Como os artigos podem conter palavras reservadas em $LaTeX$ e levará à falha de compilação, os usuários deverão ser capazes de identificá-la e escapar dela.

Crie um ambiente virtual Python e execute o comando a seguir.

 pip install -r requirements.txt

Instale o XeLaTex e certifique-se de que o sistema operacional possa reconhecê-lo ao chamar xelatex no terminal.

Baixe as fontes necessárias para suportar o manuseio de livros escritos em conjuntos de caracteres correspondentes.

Fontes obrigatórias

Conjunto de caracteres	Fonte
Latim	(Nenhum)
chinês	FonteHanSerifCN-Regular.ttf

Se o livro alvo estiver escrito em vários idiomas, o usuário deverá encontrar uma fonte que possa exibir corretamente todos os idiomas. Este programa não oferece suporte ao uso de várias fontes.

Uso

Baixar livros

Indique que a página de índice do livro é $book_index , a pasta local para salvar o livro é $local . Execute o seguinte comando para baixar um livro.

 python main.py -s "$book_index" -t "$local"

Para obter mais recursos, execute o seguinte comando.

 python main.py -h

Exportar para látex

1. Execute o seguinte comando.

    python export_latex.py -t "$local"
   

2. Revise o texto em $local/book.tex e altere o conteúdo manualmente.

3. Copie a fonte necessária para $local .

4. Execute o comando a seguir e revise o conteúdo de $local/book.pdf . Se o índice estiver faltando, execute novamente (tente no máximo 3 vezes).

    cd $local
   xelatex book.tex
   

5. Altere manualmente o conteúdo de $local/book.tex e repita a etapa 4, até que o conteúdo de $local/book.pdf esteja correto.

6. Execute o seguinte comando para limpar os arquivos após o uso. O $LaTeX$ arquivo e o livro renderizado não serão excluídos.

    python clear_cache.py -t "$local"