Instagram Crawler

인스 타 그램 크롤러

이 프로젝트는 Instagram의 여러 데이터 수집 세그먼트를 다룹니다.

• 데이터를 크롤링하는 파이썬 스크립트 솔루션.
• 데이터베이스에 수집 된 Instagram 프로필 정보를 삽입합니다.
• Django 프레임 워크를 사용하여 간단한 웹 사이트에서 데이터를보고 필터링합니다.
• 실용적인 응용

설치 요구 사항

• 파이썬 3.6.0을 설치하십시오

• PIP 패키지를 설치하고 명령 줄을 입력하십시오.

  python get-pip.py

• PIP 요청을 설치합니다 (이것은 Django 및 Selenium 프레임을 설치합니다)

  cd * PATH * / Project

  pip install -r requirements.txt

• Firefox 클라이언트 설치 (유명한 Mozilla Firefox 브라우저를 다운로드 할 수 있음)

• 완전한

웹 시스템 설정

• 웹 플랫폼을 사용하려면 데이터베이스에 전체 Django 시스템을 배포해야합니다. 우리는 다음 코드로 다음을 수행합니다.

  cd * PATH * / Project / web. / manage.py makemigrations

이것은 모델에서 마이그레이션을 수행합니다. /manage.py Migrate MIGRATE MIGRATIONS에서 모델에서 기본으로 이동

• 기본 사용자/관리자 액세스 :

  • 사용자 : 관리자
  • 비밀번호 : 관리자

• 모든 권한이있는 슈퍼 관리자를 만들려면 다음을 입력하십시오.

  ./manage.py createsuperuser

필요한 필드를 입력하십시오.

• 서버를 켜려면 다음 명령을 실행하고 포트 8000에서 Django 웹 응용 프로그램을 활성화하십시오.

  ./manage.py runserver 8000

크롤링 스크립트 사용에 대한 지침

스크립트를 사용하여 데이터를 수집하는 것은 너무 간단합니다. 여기에 제공 할 수있는 전체 API가 있습니다.

경고! Crawler에서 모든 종류의 서비스를 사용하기 전에 인증 된 사용자에게만 표시되는 데이터를 크롤링하는 데 사용될 인증 Instagram 사용자를 구성해야합니다.

• 프로젝트 / 스크립트 / settings.py로 이동하십시오

• 인증 정보를 변경하십시오

  기본값은 : username = "kiril_cvetkov"password = " * "

• 브라우저가 로그인하는 사용자 이름과 비밀번호를 입력하십시오.

스나이퍼를 구성한 후에는 아래의 전체 API와 스크립트를 사용하는 방법에 대한 완전한 그림을 제공하는 예제입니다.

 crawl.py [-db EXPORT_DB] [-DIR DIRECTORY] [-page PAGE_NAME] [-more MORE_DETAILS] [-num POST_NUMBER]
 
* [-db EXPORT_DB] Whether to save data in a database or only in a file system
* [-DIR DIRECTORY]: Directory where the data will be stored
* [-page PAGE_NAME]: Profile / crawling page
* [-more MORE_DETAILS]: Retrieve more details, such as a number of likes, description of pictures within a single photo

예

먼저 스크립트가있는 디렉토리로 이동

cd * PATH * / Project / script

스크립트를 실행하고 Bill Gates의 페이지에서 데이터를 크롤링하려면 :)

python crawl.py -num = 30 -page = thisisbillgates -more -db

웹 기능

검색자가 인덱싱 한 모든 페이지를 볼 수 있습니다.

• 페이지 이름에 키워드가 포함 된 이미지를 필터링하거나 설명에 포함 된 키워드로 검색 할 수 있습니다.

• 특정 이미지를 클릭하여 갤러리에 나열 할 수 있습니다.

• 관리 패널을 통해 데이터를 수정하여 관리자 섹션에 액세스하고 다음 URL을 입력 할 수 있습니다.

  로컬 호스트 : 8000/관리자

심상

용법

이러한 정의되고 구현 된 아키텍처에서 가장 큰 사용법은 데이터 검색이 오늘날, 특히 빅 데이터 , 딥 러닝 및 기타 기계 학습 알고리즘 분야에서 엄청난 힘을 가져올 수 있다는 것입니다. 특정 해시 태그가있는 이미지를 검색하면 시스템은 논리적으로 동일한 해시 태그를 포함하는 이미지를 제공합니다. Instagram이 해시 태그를 사용하여 다양한 이벤트, 객체, 이벤트, 기사, 모델을 실시간으로 인식하기 위해 시스템을 훈련시키는 방법 만 상상할 수 있습니다. 그러나이 스크립트를 사용하면 스크립트를 사용하는 방법을 알고 있으면 모든 정보를 사용할 수 있습니다. 웹 브라우저와 웹 검색은 모든 개발자 및 비즈니스 분석가가 가질 수있는 강력한 기능입니다.