Instagram Crawler

Instagram-Crawler

このプロジェクトInstagramからのデータ収集のいくつかのセグメントをカバーしています

• データをクロールしているPythonスクリプトソリューション。
• データベースに収集されたInstagramプロファイル情報を挿入します。
• Django Frameworkを使用して、簡単なWebサイトでデータを表示およびフィルタリングします。
• 実用的なアプリケーション

インストール要件

• Python 3.6.0をインストールします

• PIPパッケージをインストールし、コマンドラインを入力します。

  python get-pip.py

• PIPリクエストをインストールします（これにより、DjangoおよびSeleniumフレームがインストールされます）

  cd * PATH * / Project

  pip install -r requirements.txt

• Firefoxクライアントをインストールします（有名なMozilla Firefoxブラウザをダウンロードできます）

• 完了しました

Webシステムのセットアップ

• Webプラットフォームを使用する場合は、データベースにDjangoシステム全体を展開する必要があります。これを次のコードで行います。

  cd * PATH * / Project / web. / manage.py makemigrations

これにより、モデルからの移行が実行されます。 /MANAGE.py移行モデルからベースへの移動を変換する

• デフォルトのユーザー/管理者アクセス：

  • ユーザー：管理者
  • パスワード：管理者

• すべての特権を持っているスーパー管理者を作成するには、タイプします。

  ./manage.py createsuperuser

必要なフィールドを入力します。

• サーバーをオンにするには、次のコマンドを実行し、ポート8000​​でDjango Webアプリケーションをアクティブにします

  ./manage.py runserver 8000

クロールスクリプトを使用するための手順

スクリプトを使用してデータを収集することは簡単すぎます。ここで提供できる完全なAPIを示します。

警告！ Crawlerからあらゆる種類のサービスの使用を開始する前に、認証されたユーザーのみが表示されるデータをクロールするために使用される認証Instagramユーザーを構成する必要があります

• Project / Script / Settings.pyに移動します

• 認証情報を変更します

  デフォルトは：username = "kiril_cvetkov" password = " * "

• ブラウザがログインするユーザー名とパスワードを入力します。

Snifferを構成したら、以下に完全なAPIと、スクリプトの使用方法を完全に把握するための例を示します。

 crawl.py [-db EXPORT_DB] [-DIR DIRECTORY] [-page PAGE_NAME] [-more MORE_DETAILS] [-num POST_NUMBER]
 
* [-db EXPORT_DB] Whether to save data in a database or only in a file system
* [-DIR DIRECTORY]: Directory where the data will be stored
* [-page PAGE_NAME]: Profile / crawling page
* [-more MORE_DETAILS]: Retrieve more details, such as a number of likes, description of pictures within a single photo

例

最初にスクリプトが配置されているディレクトリに移動します

cd * PATH * / Project / script

スクリプトを実行し、Bill Gatesのページからデータをクロールするために:)、入力してください：

python crawl.py -num = 30 -page = thisisbillgates -more -db

Web機能

検索者によってインデックス付けされているすべてのページを表示できます

• ページ名にキーワードを含む画像をフィルタリングするか、説明に含まれるキーワードで検索できます

• 特定の画像をクリックしてギャラリーにリストすることができます

• 管理パネルを介してデータを変更して管理セクションにアクセスし、次のURLを入力できます

  localhost：8000/admin

視覚化

使用法

このような定義された実装されたアーキテクチャでの最大の使用法は、データの検索が今日、特にビッグデータ、ディープラーニング、その他の機械学習アルゴリズムの分野で大きな力をもたらすことです。特定のハッシュタグで画像を検索すると、システムは同じハッシュタグを論理的に含む画像を提供します。 Instagramがハッシュタグを使用してシステムをトレーニングして、さまざまなイベント、オブジェクト、イベント、記事、モデルをリアルタイムで認識する方法しか想像できません。しかし、このスクリプトの使用により、それらを取得する方法を知っていれば、すべての情報が利用可能です。 WebブラウザーとWeb検索は、すべての開発者とビジネスアナリストが必要とする強力な機能です。