الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

Pagerank

في هذا المشروع ، أحاول تكرار نظام التصنيف المستند إلى الارتباط الذي طورته سيرجي برين ولاري بيج في ورقة عام 1998 "تصنيف الاقتباس من Pagerank: تقديم الطلب إلى الويب". تظل هذه الخوارزمية الأساس لأدوات البحث على الويب من Google. يوفر Langville و Meyer إرشادات إضافية حول بناء ومكونات Pagerank في ورقتهما لعام 2004 "أعمق داخل Pagerank".

نبدأ ببناء مصفوفة Markov ، حيث كل إدخال "هو قابلية الانتقال من الدولة I إلى State J" (Langville and Meyer 2004). يتم تحويل مصفوفة الارتباط التشعبي هذه إلى مصفوفة ستوكاستيك وغير قابلة للاختزال والبدائية. سوف تتلاقى مصفوفة ماركوف هذه إلى eigenvector المهيمنة. هذا المتجه هو متجه Pagerank الذي يشير إلى أهمية كل صفحة ويب داخل الرسم البياني. للقيام بذلك ، تستخدم Brin و Page طريقة الطاقة ، التي تخزن فقط التكرار السابق لكل تكرار ، ويتقارب بسرعة للمصفوفة العشوائية وغير القابلة للاختزال والبدائية.

تفضل بزيارة ملف pagerank.py لعرض التنفيذ. على وجه الخصوص ، فإن وظائف power_method و make_personalization_vector هي في صميم التنفيذ. تنفذ وظيفة power_method. يتم تكرار هذه الخوارزمية حتى تتقارب إلى خطأ منخفض بما فيه الكفاية ، غالبًا 1E-6 ؛ الناتج الناتج عن eigenvector yeilds the pagerank vector. لاحظ أنه نظرًا لأن الوظيفة تطبق طريقة الطاقة على مصفوفة الارتباط التشعبي المتفرق نسبيًا ، وتحويلها إلى مصفوفة عشوائية وغير قابلة للاختزال ، فإن وقت تشغيل الخوارزمية أقل بكثير مما لو حددنا المصفوفة الأخيرة صراحة. وفي الوقت نفسه ، تقبل طريقة make_prosonalization_vector استعلامًا ، ثم تنشئ متجهًا من المقالات التي تذكر الاستعلام. يسمح هذا بوظيفة Power_Method الخاصة بنا بإكمال تصنيف أكثر استهدافًا للصفحات التي ترتبط في أغلب الأحيان بالصفحات التي نعرفها بالفعل ذات صلة.

تحديث: 12/2/20

تم تحديث جميع النتائج أدناه لتعكس التغييرات التالية. لقد قمت بتحديث تطبيق pagerank.py لتوسيع نطاق وسيطة -search_query. بدلاً من العثور على عناوين URL التي لها هذا المصطلح فقط ، يستخدم البرنامج المحدث نموذج Gensim Glove-Twitter-25 لتحديد أفضل 5 كلمات متشابهة. ثم يتم تضمين هذه الكلمات الإضافية كاستفسارات أيضًا ، مما يساعد على العثور على المقالات ذات الصلة التي قد لا تتضمن الاستعلام الذي حددناه مباشرة. على سبيل المثال ، قد يتضمن الترتيب المرتبط باستعلام "الحيوانات الأليفة" روابط تشير إلى "الكلاب". مرة أخرى ، تم تحديث النتائج أدناه بناءً على نظام التصنيف الجديد هذا. لتوضيح ، ينتج البحث عن "الأسلحة" عددًا من النتائج حول الطائرات بدون طيار في المثال أدناه. 
 run pagerank.py --data=./lawfareblog.csv.gz --search_query=weapons
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=4.5715e-03 url=www.lawfareblog.com/why-did-you-wait-moral-emptiness-and-drone-strikes
INFO:root:rank=1 pagerank=3.1107e-03 url=www.lawfareblog.com/dc-district-court-dismisses-journalists-drone-lawsuit
INFO:root:rank=2 pagerank=2.0231e-03 url=www.lawfareblog.com/revived-cia-drone-strike-program-comments-new-policy
INFO:root:rank=3 pagerank=1.9667e-03 url=www.lawfareblog.com/us-court-appeals-dc-circuit-dismisses-suit-over-us-drone-strike
INFO:root:rank=4 pagerank=1.1788e-03 url=www.lawfareblog.com/iran-shoots-down-us-drone-domestic-and-international-legal-implications
INFO:root:rank=5 pagerank=1.1620e-03 url=www.lawfareblog.com/slaughterbots-and-other-anticipated-autonomous-weapons-problems
INFO:root:rank=6 pagerank=1.1276e-03 url=www.lawfareblog.com/german-courts-weigh-legal-responsibility-us-drone-strikes
INFO:root:rank=7 pagerank=8.3738e-04 url=www.lawfareblog.com/shift-jsoc-drone-strikes-does-not-mean-cia-has-been-sidelined
INFO:root:rank=8 pagerank=7.8704e-04 url=www.lawfareblog.com/atomwaffen-division-member-pleads-guilty-firearms-charge
INFO:root:rank=9 pagerank=7.8570e-04 url=www.lawfareblog.com/waiving-imminent-threat-test-cia-drone-strikes-pakistan

يتم تضمين بعض الأمثلة الإضافية في أسفل هذه النتائج لـ "الطائرات بدون طيار" و "الأهداف" التي تساعد في توضيح تأثير النظام الجديد ، على الرغم من أن جميع النتائج في هذا الملف تطبق نظام التصنيف الجديد.

الجزء 1: اختبار تنفيذ طريقة الطاقة الأساسية

بعد تنفيذ الخوارزمية ، يمكننا اختبار الخوارزمية الأساسية على رسم بياني ويب 6 ، على غرار تلك المستخدمة في Langville و Meyer 2004 . نحصل على النتيجة التالية: لاحظ أنه تم تشغيل علامة المطوّل لإظهار كيف في بيانات التصحيح ، تتقارب الخوارزمية ، نحو المصطلح الثابت Epsilon 1E-6. تم تصنيف الصفحات مع عنوان URL الرابع هو أعلى مرتبة ، وأول عنوان URL هو الأقل. يتم التحقق من صحة هذه النتائج من خلال تطبيق Mike Izbicki. 

 [In]: run pagerank.py --data=small.csv.gz --verbose
DEBUG:root:computing indices
DEBUG:root:computing values
DEBUG:root:root=i=0 accuracy=2.7229e-01
DEBUG:root:root=i=1 accuracy=1.3318e-01
DEBUG:root:root=i=2 accuracy=8.1429e-02
DEBUG:root:root=i=3 accuracy=3.7537e-02
DEBUG:root:root=i=4 accuracy=2.4824e-02
DEBUG:root:root=i=5 accuracy=1.2412e-02
DEBUG:root:root=i=6 accuracy=8.0711e-03
DEBUG:root:root=i=7 accuracy=4.3977e-03
DEBUG:root:root=i=8 accuracy=2.7713e-03
DEBUG:root:root=i=9 accuracy=1.5882e-03
DEBUG:root:root=i=10 accuracy=9.7799e-04
DEBUG:root:root=i=11 accuracy=5.7459e-04
DEBUG:root:root=i=12 accuracy=3.4924e-04
DEBUG:root:root=i=13 accuracy=2.0761e-04
DEBUG:root:root=i=14 accuracy=1.2532e-04
DEBUG:root:root=i=15 accuracy=7.4923e-05
DEBUG:root:root=i=16 accuracy=4.5074e-05
DEBUG:root:root=i=17 accuracy=2.6996e-05
DEBUG:root:root=i=18 accuracy=1.6217e-05
DEBUG:root:root=i=19 accuracy=9.7244e-06
DEBUG:root:root=i=20 accuracy=5.8908e-06
DEBUG:root:root=i=21 accuracy=3.5000e-06
DEBUG:root:root=i=22 accuracy=2.0959e-06
DEBUG:root:root=i=23 accuracy=1.2712e-06
INFO:root:rank=0 pagerank=6.8019e-01 url=4
INFO:root:rank=1 pagerank=5.3070e-01 url=6
INFO:root:rank=2 pagerank=4.1114e-01 url=5
INFO:root:rank=3 pagerank=2.0103e-01 url=2
INFO:root:rank=4 pagerank=1.5937e-01 url=3
INFO:root:rank=5 pagerank=1.4440e-01 url=1

الجزء 2: استفسارات البحث بعد ذلك ، يمكننا استخدام عدد من وسيطات سطر الأوامر لتحسين بحثنا. ستعيد الخوارزمية الآن تلك الصفحات الأكثر صلة باستفساراتنا. تقبل وسيطة --search_query سلسلة وتقارنها بكل روابط ومرشحات تلك الروابط التي لا تتضمن الاستعلام. بالنسبة إلى هذا الجزء ، أستخدم مجموعة بيانات أعدها البروفيسور مايك إيزبيكي والتي ترسم ارتباطات تشعبية من مدونة الدفاع www.lawfareblog.com. من هذه النقطة إلى الأمام ، لن أستخدم الأمر المطوّل لجعل النتائج أكثر إيجازًا. النتائج أدناه تشبه تلك التي تم الحصول عليها في تنفيذ البروفيسور إيزبيكي.

إذا جعلنا استعلام البحث الخاص بنا "Corona" للعثور على مقالات حول الوباء ، فإن الروابط التالية هي الأكثر صلة وفقًا لـ Pagerank: 

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --search_query=corona
DEBUG:root:computing indices
DEBUG:root:computing values
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=1.0038e-03 url=www.lawfareblog.com/lawfare-podcast-united-nations-and-coronavirus-crisis
INFO:root:rank=1 pagerank=8.9224e-04 url=www.lawfareblog.com/house-oversight-committee-holds-day-two-hearing-government-coronavirus-response
INFO:root:rank=2 pagerank=7.0390e-04 url=www.lawfareblog.com/britains-coronavirus-response
INFO:root:rank=3 pagerank=6.9153e-04 url=www.lawfareblog.com/prosecuting-purposeful-coronavirus-exposure-terrorism
INFO:root:rank=4 pagerank=6.7041e-04 url=www.lawfareblog.com/israeli-emergency-regulations-location-tracking-coronavirus-carriers
INFO:root:rank=5 pagerank=6.6256e-04 url=www.lawfareblog.com/why-congress-conducting-business-usual-face-coronavirus
INFO:root:rank=6 pagerank=6.5046e-04 url=www.lawfareblog.com/congressional-homeland-security-committees-seek-ways-support-state-federal-responses-coronavirus
INFO:root:rank=7 pagerank=6.3620e-04 url=www.lawfareblog.com/paper-hearing-experts-debate-digital-contact-tracing-and-coronavirus-privacy-concerns
INFO:root:rank=8 pagerank=6.1248e-04 url=www.lawfareblog.com/house-subcommittee-voices-concerns-over-us-management-coronavirus
INFO:root:rank=9 pagerank=6.0187e-04 url=www.lawfareblog.com/livestream-house-oversight-committee-holds-hearing-government-coronavirus-response

بعد ذلك ، سنقوم بضبط استعلام البحث الخاص بنا على "ترامب": 

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --search_query=trump
DEBUG:root:computing indices
DEBUG:root:computing values
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=5.7826e-03 url=www.lawfareblog.com/trump-asks-supreme-court-stay-congressional-subpeona-tax-returns
INFO:root:rank=1 pagerank=5.2338e-03 url=www.lawfareblog.com/document-trump-revokes-obama-executive-order-counterterrorism-strike-casualty-reporting
INFO:root:rank=2 pagerank=5.1297e-03 url=www.lawfareblog.com/trump-administrations-worrying-new-policy-israeli-settlements
INFO:root:rank=3 pagerank=4.6599e-03 url=www.lawfareblog.com/dc-circuit-overrules-district-courts-due-process-ruling-qasim-v-trump
INFO:root:rank=4 pagerank=4.5934e-03 url=www.lawfareblog.com/donald-trump-and-politically-weaponized-executive-branch
INFO:root:rank=5 pagerank=4.3071e-03 url=www.lawfareblog.com/how-trumps-approach-middle-east-ignores-past-future-and-human-condition
INFO:root:rank=6 pagerank=4.0935e-03 url=www.lawfareblog.com/why-trump-cant-buy-greenland
INFO:root:rank=7 pagerank=3.7591e-03 url=www.lawfareblog.com/oral-argument-summary-qassim-v-trump
INFO:root:rank=8 pagerank=3.4509e-03 url=www.lawfareblog.com/dc-circuit-court-denies-trump-rehearing-mazars-case
INFO:root:rank=9 pagerank=3.4484e-03 url=www.lawfareblog.com/second-circuit-rules-mazars-must-hand-over-trump-tax-returns-new-york-prosecutors

أخيرًا ، سنقوم بتغيير استعلام البحث الخاص بنا إلى "إيران": 

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --search_query=iran
DEBUG:root:computing indices
DEBUG:root:computing values
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=5.1297e-03 url=www.lawfareblog.com/trump-administrations-worrying-new-policy-israeli-settlements
INFO:root:rank=1 pagerank=5.0168e-03 url=www.lawfareblog.com/update-military-commissions-continued-health-issues-recusal-motion-and-new-cell-al-iraqi
INFO:root:rank=2 pagerank=4.5746e-03 url=www.lawfareblog.com/praise-presidents-iran-tweets
INFO:root:rank=3 pagerank=4.4174e-03 url=www.lawfareblog.com/how-us-iran-tensions-could-disrupt-iraqs-fragile-peace
INFO:root:rank=4 pagerank=4.3659e-03 url=www.lawfareblog.com/haftar-attacking-tripoli-us-needs-re-engage-libya
INFO:root:rank=5 pagerank=3.4237e-03 url=www.lawfareblog.com/france-makes-play-try-foreign-fighters-iraq
INFO:root:rank=6 pagerank=2.6928e-03 url=www.lawfareblog.com/cyber-command-operational-update-clarifying-june-2019-iran-operation   
INFO:root:rank=7 pagerank=2.2567e-03 url=www.lawfareblog.com/document-sens-kaine-and-young-introduce-bill-revoke-iraq-force-authorizations
INFO:root:rank=8 pagerank=1.9391e-03 url=www.lawfareblog.com/aborted-iran-strike-fine-line-between-necessity-and-revenge
INFO:root:rank=9 pagerank=1.8263e-03 url=www.lawfareblog.com/its-not-only-iraq-and-syria

الجزء 3: المخاوف بشأن بنية صفحات الويب التي لديها معظم مواقع الويب لديها الكثير من الهيكل ، حيث ترتبط معظم الصفحات بالصفحة الرئيسية وبعض الصفحات الواسعة الأخرى ، مثل www.lawfareblog.com/topics. نظرًا لأن Pagerank لا يرتبط بتصنيف ، فإن تلك المواقع التي تربط العديد من الصفحات بها في كثير من الأحيان ، ولكن ليس دائمًا ، لها تصنيف أعلى. إذا قمنا بفحص أكبر تمثيل عبر www.lawfareblog.com ، يمكننا أن نرى العديد من هذه الصفحات العريضة تظهر: 

 run pagerank.py --data=./lawfareblog.csv.gz
DEBUG:root:computing indices
DEBUG:root:computing values
INFO:root:rank=0 pagerank=2.8741e-01 url=www.lawfareblog.com/about-lawfare-brief-history-term-and-site
INFO:root:rank=1 pagerank=2.8741e-01 url=www.lawfareblog.com/lawfare-job-board
INFO:root:rank=2 pagerank=2.8741e-01 url=www.lawfareblog.com/litigation-documents-resources-related-travel-ban
INFO:root:rank=3 pagerank=2.8741e-01 url=www.lawfareblog.com/subscribe-lawfare
INFO:root:rank=4 pagerank=2.8741e-01 url=www.lawfareblog.com/our-comments-policy
INFO:root:rank=5 pagerank=2.8741e-01 url=www.lawfareblog.com/upcoming-events
INFO:root:rank=6 pagerank=2.8741e-01 url=www.lawfareblog.com/support-lawfare
INFO:root:rank=7 pagerank=2.8741e-01 url=www.lawfareblog.com/snowden-revelations
INFO:root:rank=8 pagerank=2.8741e-01 url=www.lawfareblog.com/topics
INFO:root:rank=9 pagerank=2.8741e-01 url=www.lawfareblog.com/documents-related-mueller-investigation

لكن هذه الصفحات غير مفيدة بشكل عام إذا أردنا أن نتعلم ماهية المحتوى الأكثر شعبية في المدونة. لجمع البيانات على المقالات ، والتي سيكون لها عمومًا صفحات أقل من الصفحات أكثر من الصفحات الأوسع ، يمكننا استخدام وسيطة --filter_ratio . إنه يزيل "جميع الصفحات مع روابط أكثر من الحصص المحددة" (البروفيسور إيزبيكي). الآن ، يمكننا تقدير أهم المقالات: 

 run pagerank.py --data=./lawfareblog.csv.gz --filter_ratio=0.2
DEBUG:root:computing indices
DEBUG:root:computing values
INFO:root:rank=0 pagerank=3.4696e-01 url=www.lawfareblog.com/trump-asks-supreme-court-stay-congressional-subpeona-tax-returns       
INFO:root:rank=1 pagerank=2.9521e-01 url=www.lawfareblog.com/livestream-nov-21-impeachment-hearings-0
INFO:root:rank=2 pagerank=2.9040e-01 url=www.lawfareblog.com/opening-statement-david-holmes
INFO:root:rank=3 pagerank=1.5179e-01 url=www.lawfareblog.com/lawfare-podcast-ben-nimmo-whack-mole-game-disinformation
INFO:root:rank=4 pagerank=1.5099e-01 url=www.lawfareblog.com/todays-headlines-and-commentary-1964
INFO:root:rank=5 pagerank=1.5099e-01 url=www.lawfareblog.com/todays-headlines-and-commentary-1963
INFO:root:rank=6 pagerank=1.5071e-01 url=www.lawfareblog.com/lawfare-podcast-week-was-impeachment
INFO:root:rank=7 pagerank=1.4957e-01 url=www.lawfareblog.com/todays-headlines-and-commentary-1962
INFO:root:rank=8 pagerank=1.4367e-01 url=www.lawfareblog.com/cyberlaw-podcast-mistrusting-google
INFO:root:rank=9 pagerank=1.4240e-01 url=www.lawfareblog.com/lawfare-podcast-bonus-edition-gordon-sondland-vs-committee-no-bull

الجزء 4: eigengaps ، يحدها eigengap من مصفوفة p barbar $ alpha $ المعلمة. يحدد حجم eigengap السرعة التي تتقارب بها الخوارزمية. إذا كانت eigengap من المصفوفة كبيرة ، فسوف تتقارب بسرعة حتى في قيم ألفا التي تقترب 1. إذا كان eigengap صغيرًا ، فسيحدث التقارب بسرعة عند قيم ألفا الأصغر. يمكننا تشغيل الأوامر الأربعة التالية لتوضيح هذا: 

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --verbose 
[In]: run pagerank.py --data=./lawfareblog.csv.gz --verbose --alpha=0.99999
[In]: run pagerank.py --data=./lawfareblog.csv.gz --verbose --filter_ratio=0.2
[In]: run pagerank.py --data=./lawfareblog.csv.gz --verbose --filter_ratio=0.2 --alpha=0.99999

في حين أن الأوامر الثلاثة الأولى استغرقت 15 و 11 و 22 تكرارًا ، فإن النهائي يأخذ 684 تكرارًا. وذلك لأن مصفوفة P المصفاة تحتوي على eigengap أصغر ، لذلك عند حدود ألفا أكبر ، يستغرق التقارب وقتًا أطول. يؤدي هذا التغيير في قيمة ألفا أيضًا إلى تصنيفات مختلفة من Pagerank. أولاً ، نتائج الأمر الثالث ، الذي يقوم بتصفية الرسم البياني p ، ولكنه لا يستخدم ألفا كبيرة: 

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --verbose --filter_ratio=0.2
INFO:root:rank=0 pagerank=3.4696e-01 url=www.lawfareblog.com/trump-asks-supreme-court-stay-congressional-subpeona-tax-returns       
INFO:root:rank=1 pagerank=2.9521e-01 url=www.lawfareblog.com/livestream-nov-21-impeachment-hearings-0
INFO:root:rank=2 pagerank=2.9040e-01 url=www.lawfareblog.com/opening-statement-david-holmes
INFO:root:rank=3 pagerank=1.5179e-01 url=www.lawfareblog.com/lawfare-podcast-ben-nimmo-whack-mole-game-disinformation
INFO:root:rank=4 pagerank=1.5099e-01 url=www.lawfareblog.com/todays-headlines-and-commentary-1964
INFO:root:rank=5 pagerank=1.5099e-01 url=www.lawfareblog.com/todays-headlines-and-commentary-1963
INFO:root:rank=6 pagerank=1.5071e-01 url=www.lawfareblog.com/lawfare-podcast-week-was-impeachment
INFO:root:rank=7 pagerank=1.4957e-01 url=www.lawfareblog.com/todays-headlines-and-commentary-1962
INFO:root:rank=8 pagerank=1.4367e-01 url=www.lawfareblog.com/cyberlaw-podcast-mistrusting-google
INFO:root:rank=9 pagerank=1.4240e-01 url=www.lawfareblog.com/lawfare-podcast-bonus-edition-gordon-sondland-vs-committee-no-bull

ثم ، نتائج الأمر الرابع ، الذي يقوم بتصفية الرسم البياني P ويستخدم ألفا كبيرة: 

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --verbose --filter_ratio=0.2 --alpha=0.99999
INFO:root:rank=0 pagerank=7.0149e-01 url=www.lawfareblog.com/covid-19-speech-and-surveillance-response
INFO:root:rank=1 pagerank=7.0149e-01 url=www.lawfareblog.com/lawfare-live-covid-19-speech-and-surveillance
INFO:root:rank=2 pagerank=1.0552e-01 url=www.lawfareblog.com/cost-using-zero-days
INFO:root:rank=3 pagerank=3.1755e-02 url=www.lawfareblog.com/lawfare-podcast-former-congressman-brian-baird-and-daniel-schuman-how-congress-can-continue-function
INFO:root:rank=4 pagerank=2.2040e-02 url=www.lawfareblog.com/events
INFO:root:rank=5 pagerank=1.6027e-02 url=www.lawfareblog.com/water-wars-increased-us-focus-indo-pacific
INFO:root:rank=6 pagerank=1.6026e-02 url=www.lawfareblog.com/water-wars-drill-maybe-drill
INFO:root:rank=7 pagerank=1.6023e-02 url=www.lawfareblog.com/water-wars-disjointed-operations-south-china-sea
INFO:root:rank=8 pagerank=1.6020e-02 url=www.lawfareblog.com/water-wars-song-oil-and-fire
INFO:root:rank=9 pagerank=1.6020e-02 url=www.lawfareblog.com/water-wars-sinking-feeling-philippine-china-relations

المهمة 2: تنفيذ متجه التخصيص

الجزء 1: تنفيذ طريقة الطاقة الأساسية. متجه التخصيص هو طريقة بديلة للتصفية عبر الاستعلامات. يحدد متجه التخصيص صفحات الويب المرتبطة في معظم الأحيان من الصفحات التي تدور حول الاستعلام نفسه. هذا يختلف عن وسيطة --search_query السابقة التي تحدد شركة Pagerank الشاملة ، ثم مرشحات لأعلى المباريات المرتبة التي ترتبط بالاستعلام. لإثبات ذلك ، يمكننا مقارنة تصنيفات الاستعلام نفسه عند استخدام متجه التخصيص مقابل وسيطة --search_query . 

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --filter_ratio=0.2 --personalization_vector_query=corona
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=6.3213e-01 url=www.lawfareblog.com/covid-19-speech-and-surveillance-response
INFO:root:rank=1 pagerank=6.3211e-01 url=www.lawfareblog.com/lawfare-live-covid-19-speech-and-surveillance
INFO:root:rank=2 pagerank=1.4962e-01 url=www.lawfareblog.com/chinatalk-how-party-takes-its-propaganda-global
INFO:root:rank=3 pagerank=1.1626e-01 url=www.lawfareblog.com/brexit-not-immune-coronavirus
INFO:root:rank=4 pagerank=1.1626e-01 url=www.lawfareblog.com/rational-security-my-corona-edition
INFO:root:rank=5 pagerank=8.8833e-02 url=www.lawfareblog.com/trump-cant-reopen-country-over-state-objections
INFO:root:rank=6 pagerank=8.5443e-02 url=www.lawfareblog.com/prosecuting-purposeful-coronavirus-exposure-terrorism
INFO:root:rank=7 pagerank=8.5443e-02 url=www.lawfareblog.com/britains-coronavirus-response
INFO:root:rank=8 pagerank=7.1883e-02 url=www.lawfareblog.com/lawfare-podcast-united-nations-and-coronavirus-crisis
INFO:root:rank=9 pagerank=6.8968e-02 url=www.lawfareblog.com/house-oversight-committee-holds-day-two-hearing-government-coronavirus-response 
 [In]: run pagerank.py --data=./lawfareblog.csv.gz --filter_ratio=0.2 --search_query=corona
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=8.1320e-03 url=www.lawfareblog.com/house-oversight-committee-holds-day-two-hearing-government-coronavirus-response
INFO:root:rank=1 pagerank=7.7908e-03 url=www.lawfareblog.com/lawfare-podcast-united-nations-and-coronavirus-crisis
INFO:root:rank=2 pagerank=5.2262e-03 url=www.lawfareblog.com/livestream-house-oversight-committee-holds-hearing-government-coronavirus-response
INFO:root:rank=3 pagerank=3.9584e-03 url=www.lawfareblog.com/britains-coronavirus-response
INFO:root:rank=4 pagerank=3.8114e-03 url=www.lawfareblog.com/prosecuting-purposeful-coronavirus-exposure-terrorism
INFO:root:rank=5 pagerank=3.3973e-03 url=www.lawfareblog.com/paper-hearing-experts-debate-digital-contact-tracing-and-coronavirus-privacy-concerns
INFO:root:rank=6 pagerank=3.3633e-03 url=www.lawfareblog.com/cyberlaw-podcast-how-israel-fighting-coronavirus
INFO:root:rank=7 pagerank=3.3557e-03 url=www.lawfareblog.com/israeli-emergency-regulations-location-tracking-coronavirus-carriers
INFO:root:rank=8 pagerank=3.2160e-03 url=www.lawfareblog.com/congress-needs-coronavirus-failsafe-its-too-late
INFO:root:rank=9 pagerank=3.1036e-03 url=www.lawfareblog.com/why-congress-conducting-business-usual-face-coronavirus

الجزء 2: العثور على مقالات ذات صلة ، ولكن لا تذكر أن متجه التخصيص الخاص بنا مفيد بشكل خاص لأنه يتتبع المقالات الأكثر صلة بالاستعلام. هذا يعني أنه إذا أردنا التعرف على التأثيرات غير المباشرة التي قد يكون لها استعلامنا ، فلا يزال بإمكاننا استخدام استعلام البحث عن ناقلات التخصيص نفسه. وفي الوقت نفسه ، يمكننا استخدام وسيطة --search_query لتقديم تلك المقالات فقط لا تتضمن الاستعلام نفسه. نظرًا لأن علامة ناقص لن تكون في نموذج Gensim ، فإن هذه النتائج تمر دون البحث عن الكلمات ذات الصلة. أحصل على النتائج التالية لـ "Corona": 

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --filter_ratio=0.2 --personalization_vector_query=corona --search_query=-corona
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=6.3213e-01 url=www.lawfareblog.com/covid-19-speech-and-surveillance-response
INFO:root:rank=1 pagerank=6.3211e-01 url=www.lawfareblog.com/lawfare-live-covid-19-speech-and-surveillance
INFO:root:rank=2 pagerank=1.4962e-01 url=www.lawfareblog.com/chinatalk-how-party-takes-its-propaganda-global
INFO:root:rank=3 pagerank=8.8833e-02 url=www.lawfareblog.com/trump-cant-reopen-country-over-state-objections
INFO:root:rank=4 pagerank=6.8562e-02 url=www.lawfareblog.com/lawfare-podcast-mom-and-dad-talk-clinical-trials-pandemic
INFO:root:rank=5 pagerank=6.5838e-02 url=www.lawfareblog.com/fault-lines-foreign-policy-quarantined
INFO:root:rank=6 pagerank=6.1389e-02 url=www.lawfareblog.com/limits-world-health-organization
INFO:root:rank=7 pagerank=5.5939e-02 url=www.lawfareblog.com/chinatalk-dispatches-shanghai-beijing-and-hong-kong
INFO:root:rank=8 pagerank=5.4060e-02 url=www.lawfareblog.com/trump-asks-supreme-court-stay-congressional-subpeona-tax-returns
INFO:root:rank=9 pagerank=4.9363e-02 url=www.lawfareblog.com/us-moves-dismiss-case-against-company-linked-ira-troll-farm

في حين أن هذه المقالات لا تزال مرتبطة فيروس كورونافروس في الغالب ، إلا أن هناك أيضًا بعض الموضوعات الأكثر عرضية. على سبيل المثال ، هناك جلسة استماع مهمة للدفاع الصاروخي في المرتبة التاسعة والتي ربما حدثت خلال الوباء وتأثرت بها ، ولكن من الواضح أنها لا ترتبط مباشرة بفيروس كورونا.

الجزء 3: العثور على مقالات مرتبطة ، ولكن لا تذكر استفسارنا (تابع) يمكننا إلقاء نظرة على مثال آخر على ما سبق ، حيث ترتبط المقالات ، ولكن لا نذكر صراحة الاستعلام. بالنسبة إلى "إيران" ، نحصل على النتائج التالية: 

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --filter_ratio=0.2 --personalization_vector_query=iran --search_query=-iran
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=3.9977e-01 url=www.lawfareblog.com/omphalos
INFO:root:rank=1 pagerank=2.4971e-01 url=www.lawfareblog.com/haftar-attacking-tripoli-us-needs-re-engage-libya
INFO:root:rank=2 pagerank=2.4398e-01 url=www.lawfareblog.com/cancellation-algerias-elections-opportunity-democratization
INFO:root:rank=3 pagerank=2.3989e-01 url=www.lawfareblog.com/yemen-houthi-strategy-has-promise-and-risk
INFO:root:rank=4 pagerank=2.3954e-01 url=www.lawfareblog.com/how-trumps-approach-middle-east-ignores-past-future-and-human-condition
INFO:root:rank=5 pagerank=2.1294e-01 url=www.lawfareblog.com/trump-asks-supreme-court-stay-congressional-subpeona-tax-returns
INFO:root:rank=6 pagerank=1.5762e-01 url=www.lawfareblog.com/livestream-nov-21-impeachment-hearings-0
INFO:root:rank=7 pagerank=1.5762e-01 url=www.lawfareblog.com/opening-statement-david-holmes
INFO:root:rank=8 pagerank=1.1823e-01 url=www.lawfareblog.com/trump-administrations-worrying-new-policy-israeli-settlements
INFO:root:rank=9 pagerank=8.0923e-02 url=www.lawfareblog.com/senate-examines-threats-homeland

اعتقدت أن هذا كان امتدادًا مثيرًا للاهتمام خاصة لمعرفة المزيد عن التأثير الدولي لإيران. كانت إيران تنمو ببطء كلاعب إقليمي في الشرق الأوسط وأجزاء من شمال إفريقيا على مدار العقود القليلة الماضية. هذا التأثير واضح تمامًا في المقالات التي يتم تصنيفها أعلى ، حيث توجد مقالات حول الجزائر وليبيا وإسرائيل. يتحدث ظهور بعض المقالات حول علاقة إيران مع الولايات المتحدة أيضًا عن التفجير والتوترات الناتجة التي نشأت في أوائل عام 2020. تشير هذه النتائج إلى أن http://www.lawfareblog.com/ تعتبر العلاقات الأمريكية وسياسة الشرق الأوسط الإقليمي أن تكون بعض المواضيع ذات الصلة بالإيران.

فيما يلي بعض الأمثلة الأخرى التي تبرز نظام التصنيف المحدث: هذه النتائج مخصصة لـ "بدون طيار": 

 run pagerank.py --data=./lawfareblog.csv.gz --search_query=drones
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=4.5715e-03 url=www.lawfareblog.com/why-did-you-wait-moral-emptiness-and-drone-strikes
INFO:root:rank=1 pagerank=3.1107e-03 url=www.lawfareblog.com/dc-district-court-dismisses-journalists-drone-lawsuit
INFO:root:rank=2 pagerank=2.0231e-03 url=www.lawfareblog.com/revived-cia-drone-strike-program-comments-new-policy
INFO:root:rank=3 pagerank=1.9667e-03 url=www.lawfareblog.com/us-court-appeals-dc-circuit-dismisses-suit-over-us-drone-strike
INFO:root:rank=4 pagerank=1.7738e-03 url=www.lawfareblog.com/whats-point-charging-foreign-state-linked-hackers
INFO:root:rank=5 pagerank=1.2885e-03 url=www.lawfareblog.com/video-justice-department-announces-indictment-two-chinese-government-hackers
INFO:root:rank=6 pagerank=1.1973e-03 url=www.lawfareblog.com/daisy-chain-associated-forces-potential-use-force-niger-against-al-mourabitoun
INFO:root:rank=7 pagerank=1.1788e-03 url=www.lawfareblog.com/iran-shoots-down-us-drone-domestic-and-international-legal-implications
INFO:root:rank=8 pagerank=1.1620e-03 url=www.lawfareblog.com/slaughterbots-and-other-anticipated-autonomous-weapons-problems
INFO:root:rank=9 pagerank=1.1506e-03 url=www.lawfareblog.com/dhss-joint-task-forces-next-chapter

هذه النتائج مخصصة لـ "الأهداف": 

 run pagerank.py --data=./lawfareblog.csv.gz --search_query=targets
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=6.0299e-03 url=www.lawfareblog.com/update-military-commissions-big-september-911-case
INFO:root:rank=1 pagerank=5.0168e-03 url=www.lawfareblog.com/update-military-commissions-continued-health-issues-recusal-motion-and-new-cell-al-iraqi
INFO:root:rank=2 pagerank=4.6573e-03 url=www.lawfareblog.com/targeting-al-baghdadi-and-selective-notification-congress-assessing-issues
INFO:root:rank=3 pagerank=3.2598e-03 url=www.lawfareblog.com/federal-judge-dismisses-military-commissions-defendants-8th-amendment-claim
INFO:root:rank=4 pagerank=3.2329e-03 url=www.lawfareblog.com/military-commissions-judge-rules-against-government-privilege-claim-nashiri-case
INFO:root:rank=5 pagerank=3.2204e-03 url=www.lawfareblog.com/week-military-commissions-98-session-kangaroo-lapel-pin-edition
INFO:root:rank=6 pagerank=3.1839e-03 url=www.lawfareblog.com/military-commission-judge-bars-government-using-defendants-statements-fbi-clean-teams-911-case
INFO:root:rank=7 pagerank=3.1759e-03 url=www.lawfareblog.com/last-week-military-commissions-defense-moves-classification-review-process
INFO:root:rank=8 pagerank=3.1533e-03 url=www.lawfareblog.com/court-military-commissions-review-upholds-life-sentence-al-bahlul
INFO:root:rank=9 pagerank=2.9309e-03 url=www.lawfareblog.com/summary-dc-circuit-vacates-military-judges-rulings-al-nashiri
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل