scrappy_asp.net

scrappy_asp.net

스크래핑 사이트가 asp.net에서 증식 될 때 약간의 어려움을 정렬합니다

이것은 asp.net 사이트에서 Scrappy를 사용하는 예입니다.

나는 그것이 사소한 것처럼 보이고, 나는 이것을 뽑아 내려고 노력하는 데 어려움을 겪었다.

• 폐기 된 사이트는 페이지 변경을위한 링크를 제공하지 않으므로 양식 요청을 위해 페이로드를 구성해야합니다.
• Payload.py에서 해당 매개 변수를 찾을 수 있습니다. 첫 번째 양식을 제출하고 테이블을로드하는 페이로드가 하나 있습니다. 다음 페이지는 선택한 페이지가 한계를 벗어 났을 때 페이지를 변경하기위한 것입니다.
• Spiders 폴더에는 Spider_1.py가 있으며 Selenium을 사용하여 작업을 수행하는 데 적합하지만 좋은 생각은 아니라고 생각합니다. 스크레이프 만 사용하여 찾은 솔루션에 대해서는 Spider_2.py를 찾으십시오.