fastProxy

作業Webプロキシをスクレイプするためのマルチスレッドアプリケーション

---

機能ライト

• 300以上のライブプロキシフェッチ
• CLIサポート
• 速度に基づくプロキシの選択
• プロキシエクスポート
• 国のろ過

詳細なドキュメント

• ドキュメント

インストール

ピップインストール

pip install fastProxy==1.0.0

gitクローン

 git clone https://github.com/1UC1F3R616/fastProxy.git
cd fastProxy/
pip install -r requirements.txt -U

CLIを使用して実行します

デフォルトの実行

• スレッド：100
• リクエストタイムアウト：4秒

 # Basic usage
python cli.py

# With options
python cli.py --c=10 --t=5 --g --a

アレーターパラメーター

フラグ	使用法	目的	デフォルト	使用法
c	スレッドカウント	テスト速度を上げます	100	--c=16
t	Secでタイムアウトをリクエストします	低い値に設定すると、より速いプロキシを提供します	4	--t=20
g	CSVを生成します	ユーザーフラグを使用して、作業プロキシのCSVを生成します	間違い	--g
a	すべて削り取られたプロキシ	すべての廃棄プロキシのCSVをより詳細に生成します	間違い	--a

Importによって実行されます

• 設定フラグまたはデフォルト値が取得されます

フラグ	使用法	目的	デフォルト	使用法
c	スレッドカウント	テスト速度を上げます	100	c=256
t	Secでタイムアウトをリクエストします	低い値に設定すると、より速いプロキシを提供します	4	t=2
g	CSVを生成します	ユーザーフラグを使用して、作業プロキシのCSVを生成します	間違い	g=True
a	すべて削り取られたプロキシ	すべての廃棄プロキシのCSVをより詳細に生成します	間違い	a=True

 from fastProxy import fetch_proxies

# Basic usage
proxies = fetch_proxies ()

print ( proxies )

# With options
proxies = fetch_proxies ( c = 10 , t = 5 , g = True , a = True )

サンプルCSVファイル

トドス

• タグスローテスト
• 失敗したテストを修正します
• https://api.proxyscrape.com/v4/free-proxy-list/get?request=display_proxies&proxy_format=protocolipport&format=json = jsonを使用してhttps://proxyscrape.com/free-proxy-listのサポートを追加します
• 冗長コードとファイルを削除します
• 適切な取り扱いを伴うLinuxのみのコードをリファクタリングします