scrapy

사이트 검색의 간단한 버전

캠퍼스 뉴스 검색 엔진을 기반으로합니다

---

• 구현 아이디어 : 캠퍼스 네트워크의 모든 뉴스를 크롤링하고 MySQL 데이터베이스에 저장 한 다음 데이터베이스에서 제목을 나눈 다음 단어 세분화 결과를 색인 테이블로 바꿉니다. 쿼리 컨텐츠를 입력하고 쿼리 컨텐츠를 분할하고 데이터베이스의 단어 세그먼테이션 목록을 일치시키고 해당 URL을 매핑 한 다음 결과를 반환합니다.

개발 환경

• 파이썬 3.6
• MySQL 5.4

종속성 라이브러리

• PymySQL : Python과 MySQL 간의 인터페이스
• Jieba : 단어 분사를위한 파이썬 라이브러리

---

전반적인 아키텍처

1. 일부 크롤러는 스크레이프 프레임 워크를 사용하여 Liaoning University of Engineering and Technology의 뉴스 네트워크를 기어 다닙니다. 스크레이프 프레임 워크의 주요 부분에 대한 설명 :

   • intuspider.py 파일 : 웹 페이지 정보의 주요 추출 프로세스는 중첩 루프 호출을 사용하여 깊이 우선 알고리즘을 사용하여 재귀적인 호출을 만들고, Liaoning University of Technology의 모든 HTML 뉴스 페이지를 구문 분석하고, 필요한 정보 (제목, URL)를 추출하여 아이템 개체에 저장합니다. 크롤러가 사용하는 구문 분석 방법은 XPath입니다
   • items.py는 크롤링 할 객체를 정의합니다.
   • 파이프 라인. 다른 파일은 일부 구성 파일이며 변경 사항이 거의 없으며 변경 위치가 주석되었습니다. 크롤러 부분은 여기서 끝납니다.

2. 검색 엔진의 전반적인 아이디어 : 분사 데이터베이스에 저장된 타이틀과 키워드 색인을 설정합니다. 둘째, 키워드의 빈도에 따라 키워드 및 발생의 색인 테이블이 설정됩니다. 주요 문서 설명 :

   • intu.py : 데이터베이스 테이블 빌딩, 크롤러가 기어 다니는 데이터를 가져 와서 단어 세분화를 수행 한 다음 각각 앞뒤 테이블에 저장하십시오.
   • Forward.py : 전방 테이블, 클래스 구성 요소를 정의하고, forwardIndexTableItem 정의하고, 테이블의 배열 내용을 지정하고, 앞쪽 테이블 클래스 forwardIndexTable 에서 제목 분사가 데이터베이스 테이블에 수행되고 저장됩니다.
   • Lexicon : Word Segmentation, Operation Define : Word를 통해 ID를 얻고 ID를 통해 단어를 얻고 Word Segmentation List를 설정하고 단어 세분화 목록을로드하십시오.
   • BARKWARDLIST : BACKWARD TABLE, 전방 테이블에서 데이터를 처리합니다. 주 기능은 Word의 ID와 뉴스 제목의 문서를 저장하는 것입니다.
   • LinesEngine : 검색 엔진 클래스,이 파일을 직접 실행하면 입력 한 단어를 쿼리하여 해당 제목과 URL을 반환 할 수 있습니다. 핵심은 입력 컨텐츠를 분류 한 다음 키워드에 따라 해당 제목을 정렬 한 다음 히트 키워드 수에 따라 처음 10 줄을 인쇄하는 것입니다.

3. 메모 및 단점 :

   1. 우선, 크롤러는 한 번 크롤링 후 데이터베이스에 저장되며 웹 페이지의 변경에 따라 실시간으로 업데이트 할 수 없습니다. 데이터베이스에 중복 제목이 있으면 데이터를 삽입하면 실패합니다. 테이블을 지우고 재현해야합니다.
   2. 데이터베이스 컨텐츠가 고정되어 있습니다. 검색 할 때 키워드가 데이터베이스에서 인덱스되지 않으면 검색 결과가 없습니다.
   3. 검색의 적중률은 스터 터의 정확성과 관련이 있습니다. 크롤링 할 때 웹 페이지의 레이아웃이 매우 명확하며 기어 다니는 뉴스는 중복 데이터의 발생을 방지하기위한 것이며, Python 목록은 중복 제거에 사용됩니다.
   4. 앞으로 웹 페이지를 추가하고 웹 사이트를 검색하고 웹 인터페이스를 만들 수 있습니다.
   5. 크롤러와 검색은 독립적이며 다른 뉴스 네트워크도 크롤링 될 수 있으며 크롤러 부분 만 있으면됩니다.

---

사용 방법

• 의존성 환경 준비 : Python3 환경, 스크레이프 프레임 워크, PymySQL 설치, Jieba Word Library 설치, MySQL 설치, MySQL 설정 MyTable 데이터베이스 및 INTU 데이터 테이블.
• 지정된 디렉토리에 대한 첫 번째 git 클론
• Windows 아래에서 콘솔을 열고 해당 폴더를 입력 한 다음 scrapy crawl Intu 로 입력하십시오.
• 크롤링 결과를 기다리십시오. 크롤링이 끝났습니다.
• seachengine.py 파일을 실행하고 쿼리 텍스트 내용을 입력하십시오.

---