Project Practice Project
иллюстрировать
Личный блог автора
Блог жареного перца с горячим горшком
Все проекты - это проекты по обучению и обмену авторами. Если есть какие -либо нарушения, пожалуйста, свяжитесь с нами, чтобы удалить его . Он предназначен только для обучения и обмена и не может выполнять какую -либо коммерческую деятельность .
Из -за проблем с временем в завершении программы некоторые проекты не могут быть использованы повторно .
См. Примечание .txt для примечаний на практике
Этот проект будет постоянно обновляться
Для некоторых практических объяснений проекта, пожалуйста, см.
Ниже приведен личный рейтинг для сложности ползания на веб -сайте
| оценка | Логотип | Сложность Описание |
|---|
| Яйцо -паук | 0 | начиная |
| Молодой паук | 00 | Пересек порог |
| Маленький паук | * | начальный |
| Большой паук | ** | Немного выше, чем младший |
| Гигантский паук | *** | Средняя сложность |
| Сияющий паук | + | Умеренная и верхняя сложность |
| Ядовитый паук | ++ | Сложнее |
| Король пауков | +++ | Катастрофа |
| Дух паука | КОРОЛЬ | ад |
Каталог проекта
График TD;
Основы-> запрос;
Основы-> Анализ HTML и завсегдатаев;
Основы-> скрара;
Основы-> высокопроизводительный асинхронный гусениц;
Основы-> Feapder;
Автоматизация-> Селен
Автоматизация-> Playwright;
Расширенная глава-> Комплексный случай;
Расширенная глава-> JS обратная тема;
JS обратная тема-> Заголовок запроса или шифрование данных ответа;
JS обратная тема-> Обнаружение отпечатков пальцев браузера;
JS обратная тема-> статья WebPack;
JS обратная тема-> обнаружение окружающей среды;
JS обратная тема-> wasm;
Код проверки-> слайдер;
Код проверки-> нажмите, чтобы выбрать;
Сторонняя библиотека, используемая в проекте
pip install requests # requests库，爬虫的开始
pip install curl_cffi # 标准tls请求库
pip install lxml # xpath提取数据
pip install playwright # 自动化需要
pip install ddddocr # 识别验证码
pip install selenium # 自动化需要，推荐playwright
pip install scrapy # 爬虫框架
pip install " feapder[all] " # 新一代爬虫框架
pip install pycryptodome # python标准密码库
pip install pyexecjs2 # python调用js代码
pip install m3u8 # 下载m3u8视频
pip install prettytable # 格式化输出
pip install tqdm # 进度条
pip install loguru # 强大的日志工具库
pip install retrying # 强大的重试工具
npm install crypto-js/cryptojs # 二选一，js标准密码库
npm install jsdom # js模拟浏览器的dom和bom
npm install tough-cookie # 浏览器cookie
Основы
Запрос
| Сложность Марка | Название проекта | Пополнить | Быстрая навигация |
|---|
| Рыцарь -помощник | Веб -страница Baidu | Первая программа Crawler | кликните сюда |
| Рыцарь -помощник | UA идентификация | Первоначальный обратный ползание | кликните сюда |
| Рыцарь -помощник | Байду перевод | Знайте запрос сообщения | кликните сюда |
| Рыцарь -помощник | Douban фильмы | База | кликните сюда |
| Рыцарь -помощник | KFC местоположение запрос | JSON Practice | кликните сюда |
Анализ HTML и обычные статьи
| Сложность Марка | Название проекта | Пополнить | Быстрая навигация |
|---|
| Квази-новатор | Получите Fakeua | LXML SAINING | кликните сюда |
| Квази-новатор | 4K Picture Clawling | LXML и решить проблему ошибок кодирования | кликните сюда |
| Квази-новатор | 58 | LXML и Paging Clawl | кликните сюда |
| Квази-новатор | Основы BS | Начальный BS | кликните сюда |
| Квази-новатор | дело BS | Практический BS | кликните сюда |
| Квази-новатор | xpath Основы | Начальный XPath | кликните сюда |
| Квази-новатор | xpath sacking | Практикуйте XPath | кликните сюда |
| Квази-новатор | Регулярные основы | Первоначальное регулирование | кликните сюда |
| Квази-новатор | Регулярные упражнения | Практические правила | кликните сюда |
| Квази-новатор | Резюме ползание | Вышеупомянутый небольшой всеобъемлющий | кликните сюда |
скрара
| Сложность Марка | Название проекта | Пополнить | Быстрая навигация |
|---|
| Великий рыцарь | Bossjob | Поседание страницы 1 -го уровня, может быть недоступно | кликните сюда |
| Великий рыцарь | Двойной цвет мяча | Все являются основными операциями скребки | кликните сюда |
| Великий рыцарь | картина | Все являются основными операциями скребки | кликните сюда |
| Великий рыцарь | Солнечная политика | Все являются основными операциями скребки | кликните сюда |
| Великий рыцарь | Yi Car Data Clawling | С JS Reverse, это просто начальный уровень, и крупномасштабный анализ данных JSON | кликните сюда |
| Великий рыцарь | Школьная сеть красоты | Все являются основными операциями скребки | кликните сюда |
| Великий рыцарь | Netease News | Все являются основными операциями скребки | кликните сюда |
| Великий рыцарь | 17K Роман ползал | Все являются основными операциями скребки | кликните сюда |
Высокопроизводительный асинхронный густо
| Сложность Марка | Название проекта | Пополнить | Быстрая навигация |
|---|
| Рыцарь -помощник | Встретить колбу | Базовые знания | кликните сюда |
| рыцарь | Основы бассейна | Базовые знания | кликните сюда |
| Великий рыцарь | Meinv изображение партия ползания | База | кликните сюда |
| Великий рыцарь | Полная картина знаменитостей | База | кликните сюда |
| Великий рыцарь | Многозадачная коратика | База | кликните сюда |
| Великий рыцарь | Приложение пула потоков | База | кликните сюда |
Feapder
| Сложность Марка | Название проекта | Пополнить | Быстрая навигация |
|---|
| Рыцарь Ворона | Сбор данных Xiaohongshu | Используйте визит в режиме воздуха для настройки конвейера хранения CSV. В будущем будет переписано больше режимов, и будет добавлено больше функций. Мы также должны добавить дополнительную информацию. | кликните сюда |
Автоматизация
селен
| Сложность Марка | Название проекта | Пополнить | Быстрая навигация |
|---|
| Рыцарь -помощник | Основная автоматическая работа | Основная операция автоматизации | кликните сюда |
| Рыцарь -помощник | Вход в симуляцию | Практика автоматизация | кликните сюда |
| Рыцарь -помощник | Цепочка действий и обработка IFREAM | Практика автоматизация | кликните сюда |
| Рыцарь -помощник | Безголовный браузер и анти-обнаружение | упражняться | кликните сюда |
| рыцарь | 12306 Вход в симуляцию | В основном недоступно | кликните сюда |
| рыцарь | Damai.com | В основном недоступно | кликните сюда |
драматург
| Сложность Марка | Название проекта | Пополнить | Быстрая навигация |
|---|
| рыцарь | Почтовый индекс | Запросите почтовый код через адрес, используйте метод синхронизации, включая операции ожидания и выбор различных таблиц в соответствии с ситуацией и используйте панды для работы в файлах Excel одновременно | кликните сюда |
| Великий рыцарь | Антиноказывание с использованием местного браузера | Иногда мы обнаруживаем при использовании автоматизации. Мы используем местные браузеры для противодействия. Поскольку это локальный браузер, существуют статус нашего сеанса и статус cookie. То есть мы напрямую доступ к веб -сайту, на который мы вошли, что гораздо более удобно и не требует от нас создания контекста браузера. | кликните сюда |
| Рыцарь Земли | Собирать информацию | Сложность заключается в том, что каждый веб -сайт имеет разные стили, все данные не одинаковы, а число большое. Трудно писать регулярные правила, и также трудно справиться с асинхронным. В складе перечислены только 10 страниц, которые требуют, чтобы у автора было определенное понимание регулярных правил и асинхронного драматурга. | кликните сюда |
| Великий рыцарь | Брусзер против обнаружения | Создать браузер против определения через файл JS Daniu, который может обойти большинство обнаружений | кликните сюда |
| Рыцарь Земли | Qidian VIP -роман ползал | Обход CSS-борьбы с QIDIAN VIP-романами через скриншоты, используемые знания: ящики для позиционирования, скриншоты, скольжения, границы обработки и слияние экрана. Это решение не является оптимальным решением, все могут добавить | кликните сюда |
Расширенная глава
Всеобъемлющий случай
| Сложность Марка | Название проекта | Пополнить | Быстрая навигация |
|---|
| рыцарь | Определенная поэзия веб -сайт | Связанный с кодом проверки, решение кода проверки и проверки изображений --- DDDDOCR | кликните сюда |
| Великий рыцарь | Языковой гусеница | Используйте Интернет, чтобы преобразовать текст в языки, поддержать китайские, английские и корейские языки | кликните сюда |
| Великий рыцарь | B Станция комплексная | Проверьте, любите ли вы пользователю, потяните список сообщений и потяните список аналогичных | кликните сюда |
| Рыцарь Земли | Видео -сайт | Скачать видео M3U8, решить ситуацию с ключом и без ключа, M3U8 начальный уровень и многопоточная загрузка | кликните сюда |
| Рыцарь Земли | Ins Crawler | Для извлечения параметров страницы и файлов json | кликните сюда |
| Рыцарь Земли | Douyin Data Crawl на весь сайт | Включая загрузку видеоизображения, ползание комментариев, ползание информации пользователя ... В настоящее время некоторые интерфейсы также начали обнаружение XB. Если вам нужно использовать обнаруженный интерфейс, вам нужно добавить XB, чтобы получить данные. Теперь реинтегрируйте подпись. Вы можете найти файл JS для получения подписи в GitHub, поместите его в тот же каталог, что и файл Douyin, и назовите его xb.js. UP предоставляет репозиторий кода, который является открытым исходным кодом на GitHub. Репозиторий отмечен в коде, и его можно использовать в настоящее время. | кликните сюда |
| Рыцарь Земли | Данные Вейбо ползают по всему сайту | Включая поиск пользователей, поиск сообщений, загрузка комментариев, загрузка пользовательских альбомов, домашняя страница пользователей, информация пользователя ... | кликните сюда |
| Неизвестный уровень | Рептилий Колесо | Лично вторичная инкапсуляция обще используемых методов хрупки удобна для последующей разработки | кликните сюда |
JS обратная тема
Заголовок запроса или шифрование данных ответа
| Сложность Марка | Название проекта | Пополнить | Быстрая навигация |
|---|
| рыцарь | Данные Ненниу | Запрос за шифрование заголовка, шифрование тела ответа | кликните сюда |
| рыцарь | Развлекательный индекс | Основное введение | кликните сюда |
| рыцарь | Yien Data | Ответ зашифрование тела | кликните сюда |
| рыцарь | В любом случае проверка | Ответ зашифрование тела | кликните сюда |
| Великий рыцарь | Общественная транзакция FJS | Запутанное шифрование параметров | кликните сюда |
| Великий рыцарь | Единственное искусство | Динамический JS -код | кликните сюда |
| Рыцарь Земли | Сайт погоды | Динамический динамический клавиш динамического клавиша динамический параметр против детебуга | кликните сюда |
| Рыцарь Земли | Футбольный сайт | Несколько шифрования корпуса запроса, трудно найти зашифрованное местоположение | кликните сюда |
| Рыцарь Земли | Wangyiyun Music | Реализовать данные, ползущие на весь сайт | кликните сюда |
| Рыцарь Земли | Общественная транзакция GDS | Смутные параметры, вам нужно найти местоположения | кликните сюда |
| Рыцарь Земли | Определенный перевод | Запрашивать дешифрование ответа на шифрование не сложно | кликните сюда |
| Рыцарь Земли | Войти на станции B | Можно выбрать зашифрованное пароль RSA, может быть выбрано третье поколение текстовых щелчков, и текстовые щелчки можно найти в разделе кода проверки | кликните сюда |
Webpack
| Сложность Марка | Название проекта | Пополнить | Быстрая навигация |
|---|
| Рыцарь Земли | Китайские минералы | Основной веб -пакет, Стандартный алгоритм шифрования версий, Simple, может быть реализован различными способами (Nodejs, Python и Decode) | кликните сюда |
Экологическое тестирование
| Сложность Марка | Название проекта | Пополнить | Быстрая навигация |
|---|
| Рыцарь Ворона | Redbook | Degection среды XHS XS, вам нужно сами поместить файлы cookie и localstorage в файл | кликните сюда |
| Рыцарь Ворона | Bossjob | __zp_s ... __ Обнаружение среды, JS отличается каждый день, вам нужно составлять некоторые среды и изменить JS, обнаружение модуля и т. Д. | кликните сюда |
| Рыцарь Ворона | Мужчина -обезьяна изучает вопрос 1 2023 | Волшебным образом измените MD5 и AES, чтобы удалить несколько медоносных пенсионеров и пополнить среду браузера | кликните сюда |
| Рыцарь Земли | Ele.me параметры | Получить параметр bx_et через драматург | кликните сюда |
| Рыцарь Ворона | Параметр против Anti_Content's PDD | Это не среда пополнения, а алгоритм для вычета. Шифрование PDD, вероятно, одинаково в разных местах, а значения некоторых объектов различны. Зашифрованные основные функции все логичны | кликните сюда |
| Рыцарь Земли | Обновите Boss Direct Prectument Itsement Click, чтобы разблокировать IP, поэтому я только что нашел один онлайн | Этот шифрование траектории клика, чтобы выбрать | Обновлено в файле Boss |
Шифрование WASM
| Сложность Марка | Название проекта | Пополнить | Быстрая навигация |
|---|
| Рыцарь Ворона | Определенная авиакомпания | Контент операции WASM реализует обновление зашифрованного обновления за шифрование и дешифрование. | кликните сюда |
Обнаружение отпечатков пальцев браузера
| Сложность Марка | Название проекта | Пополнить | Быстрая навигация |
|---|
| Рыцарь Земли | Yi Jiubi | Во -первых, это зашифрованное тело запроса, за которым следует обнаружение отпечатков пальцев TLS. В настоящее время запрос на домашнюю страницу передается с использованием сторонней библиотеки. | кликните сюда |
Проверочный код
Слайдер
| Сложность Марка | Название проекта | Пополнить | Быстрая навигация |
|---|
| Великий рыцарь | JD слайдер | После того, как мы получим изображение, мы можем использовать DDDDOCR для определения ползунка, а затем генерировать траекторию и отправить запрос. Траектория здесь написана боссом. Сначала приготовьте тестер, сдвиньте его вручную слева направо, а затем встряхивая траекторию, а затем развишайте две траектории (я не знаю, почему траектория, которую я сама не прошел, поэтому я напрямую использовал траекторию босса) | кликните сюда |
| Великий рыцарь | Алибаба 226 | Это обновление драматурга относительно проста в получении | кликните сюда |
| Великий рыцарь | Feigua получает слайдер кода проверки | Это обновление драматурга относительно проста в получении | кликните сюда |
Нажмите, чтобы выбрать
| Сложность Марка | Название проекта | Пополнить | Быстрая навигация |
|---|
| Рыцарь Ворона | Третье поколение очков на выбор | Мы просим интерфейс получить изображения в последовательности в соответствии с порядком запроса, и после получения информации об изображении мы отправляем его в интерфейс идентификации, чтобы получить выбранные точки координаты. После получения координат мы преобразуем координаты и отправляем их в JS, чтобы генерировать траекторию. После получения траектории мы просим интерфейс получить проверку | кликните сюда |
Звездная история
спонсор
Если вы думаете, что этот склад полезен для вас в обучении сканерах и обратном направлениях, вы можете спонсировать автора и попросить автора получить чашку молочного чая ~! !
(Ваша поддержка может сделать автора счастливым весь день?)
