Web crawler novels

Романы веб-сканеров

Скачивайте и компилируйте книги с литературных интернет-сайтов.

Поддерживаемые веб-сайты:

Веб-сайт	Пример индексной страницы книги
无忧书城	https://www.51shucheng.net/wangluo/huaqiangu
七猫小说	https://www.qm11.cc/book/9436/
九九藏书网	https://www.99csw.com/book/3952/136682.htm

Благодарность

Скрипт обхода Cloudflare

Установить

Пользователи должны быть знакомы с $LaTeX$ код. Поскольку статьи могут содержать зарезервированные слова в $LaTeX$ и приведет к сбою компиляции, пользователи должны иметь возможность его идентифицировать и избежать.

Создайте виртуальную среду Python и выполните следующую команду.

 pip install -r requirements.txt

Установите XeLaTex и убедитесь, что операционная система может распознать его при вызове xelatex в терминале.

Загрузите необходимые шрифты для поддержки работы с книгами, написанными в соответствующих наборах символов.

Требуемые шрифты

Набор символов	Шрифт
латинский	(Никто)
китайский	ИсточникHanSerifCN-Regular.ttf

Если целевая книга написана на нескольких языках, пользователь должен найти один шрифт, который сможет правильно отображать все языки. Эта программа не поддерживает использование нескольких шрифтов.

Использование

Скачать книги

Обозначим индексную страницу книги — $book_index , локальную папку для сохранения книги — $local . Запустите следующую команду, чтобы загрузить книгу.

 python main.py -s "$book_index" -t "$local"

Для получения дополнительных функций выполните следующую команду.

 python main.py -h

Экспорт в латекс

1. Выполните следующую команду.

    python export_latex.py -t "$local"
   

2. Отредактируйте текст в $local/book.tex и исправьте содержимое вручную.

3. Скопируйте нужный шрифт в $local .

4. Выполните следующую команду и просмотрите содержимое $local/book.pdf . Если оглавление отсутствует, запустите еще раз (попробуйте максимум 3 раза).

    cd $local
   xelatex book.tex
   

5. Вручную измените содержимое $local/book.tex и повторяйте шаг 4, пока содержимое $local/book.pdf не станет правильным.

6. Запустите следующую команду, чтобы очистить файлы после использования. $LaTeX$ файл и визуализированная книга не будут удалены.

    python clear_cache.py -t "$local"