PageRank

PageRank

In diesem Projekt versuche ich, das von Sergey Brin und Larry Page entwickelte Link-basierte Ranking-System in ihrem 1998er Papier "The PageRank Citation Ranking: Ranging Order in das Web" zu replizieren. Dieser Algorithmus bleibt die Grundlage für die Web -Search -Tools von Google. Langville und Meyer geben zusätzliche Anleitungen zum Bau und den Komponenten von PageRank in ihrem Papier von 2004 "Tiefer in PageRank".

Wir beginnen damit, eine Markov -Matrix zu errichten, wobei jeder Eintrag "die Eigenschaft ist, vom Staat I nach Staat J zu wechseln" (Langville und Meyer 2004). Diese Hyperlink -Matrix wird in eine stochastische, irreduzible und primitive Matrix umgewandelt. Diese Markov -Matrix wird zum dominanten Eigenvektor konvergieren. Dieser Vektor ist der PageRank -Vektor, der die Bedeutung jeder Webseite innerhalb eines Diagramms angibt. Dazu verwenden Bin und Page die Leistungsmethode, die nur die vorherige Iterate für jede Iteration speichert und schnell für die stochastische, irreduzible und primitive Matrix konvergiert.

Besuchen Sie die Datei pageRank.py, um die Implementierung anzuzeigen. Insbesondere die Funktionen von Power_Method und make_personalization_Vector sind im Kern der Implementierung. Die Funktion von Power_Method implementiert. Dieser Algorithmus wird iteriert, bis er zu einem ausreichend niedrigen Fehler konvergiert, oft 1E-6; Der resultierende Eigenvektor achtet den PageRank -Vektor. Beachten Sie, dass die Leistungsmethode, da die Funktion die Leistungsmethode auf die relativ spärliche Hyperlinkmatrix anwendet und sie in eine stochastische, irreduzible und primitive Matrix umwandelt, die Laufzeit des Algorithmus erheblich geringer ist als wenn wir die letztere Matrix explizit definiert haben. Die Methode make_personalization_Vector akzeptiert eine Abfrage und erstellt dann einen Vektor von Artikeln, die die Abfrage erwähnen. Dies ermöglicht unsere Power_Method -Funktion, ein gezielteres Ranking der Seiten zu vervollständigen, die am häufigsten mit Seiten verbunden sind, von denen wir bereits wissen, dass sie relevant sind.

Update: 12.12.20

Alle folgenden Ergebnisse wurden aktualisiert, um die folgenden Änderungen widerzuspiegeln. Ich habe die Implementierung von PageRank.py aktualisiert, um den Umfang des Arguments zu erweitern. Anstatt URLs zu finden, die nur diesen Begriff in sich haben, verwendet das aktualisierte Programm das Gensim Glove-Twitter-25-Modell, um die 5 besten ähnlichen Wörter zu identifizieren. Diese zusätzlichen Wörter werden dann auch als Abfragen enthalten, um verwandte Artikel zu finden, die möglicherweise nicht die von uns direkt identifizierte Abfrage enthalten. Zum Beispiel könnte das Ranking, das mit einer Abfrage für "Haustiere" verbunden ist, Links enthalten, die auf "Hunde" verweisen. Wieder wurden die folgenden Ergebnisse basierend auf diesem neuen Ranking -System aktualisiert. Zur Veranschaulichung führt eine Suche nach "Waffen" im folgenden Beispiel zu einer Reihe von Ergebnissen zu Drohnen.

 run pagerank.py --data=./lawfareblog.csv.gz --search_query=weapons
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=4.5715e-03 url=www.lawfareblog.com/why-did-you-wait-moral-emptiness-and-drone-strikes
INFO:root:rank=1 pagerank=3.1107e-03 url=www.lawfareblog.com/dc-district-court-dismisses-journalists-drone-lawsuit
INFO:root:rank=2 pagerank=2.0231e-03 url=www.lawfareblog.com/revived-cia-drone-strike-program-comments-new-policy
INFO:root:rank=3 pagerank=1.9667e-03 url=www.lawfareblog.com/us-court-appeals-dc-circuit-dismisses-suit-over-us-drone-strike
INFO:root:rank=4 pagerank=1.1788e-03 url=www.lawfareblog.com/iran-shoots-down-us-drone-domestic-and-international-legal-implications
INFO:root:rank=5 pagerank=1.1620e-03 url=www.lawfareblog.com/slaughterbots-and-other-anticipated-autonomous-weapons-problems
INFO:root:rank=6 pagerank=1.1276e-03 url=www.lawfareblog.com/german-courts-weigh-legal-responsibility-us-drone-strikes
INFO:root:rank=7 pagerank=8.3738e-04 url=www.lawfareblog.com/shift-jsoc-drone-strikes-does-not-mean-cia-has-been-sidelined
INFO:root:rank=8 pagerank=7.8704e-04 url=www.lawfareblog.com/atomwaffen-division-member-pleads-guilty-firearms-charge
INFO:root:rank=9 pagerank=7.8570e-04 url=www.lawfareblog.com/waiving-imminent-threat-test-cia-drone-strikes-pakistan

Einige weitere Beispiele befinden sich am Ende dieser Ergebnisse für "Drohnen" und "Ziele", die dazu beitragen, den Effekt des neuen Systems zu veranschaulichen, obwohl alle Ergebnisse in dieser Datei das neue Ranking -System anwenden.

Teil 1: Testen der Implementierung der Basisleistungsmethode

Nach der Implementierung des Algorithmus können wir den Basisalgorithmus in einem 6 -Webseite -Diagramm testen, ähnlich dem in Langville und Meyer 2004 . Wir erhalten das folgende Ergebnis: Beachten Sie, dass das ausführliche Tag aktiviert wurde, um zu demonstrieren, wie in den Debug-Anweisungen der Algorithmus in Richtung des konstanten Epsilon- Term 1E-6 konvergiert. Die Seiten wurden bewertet, wobei die vierte URL die höchste Rangliste und die erste URL am niedrigsten war. Diese Ergebnisse werden durch die Implementierung von Mike Izbicki validiert.

 [In]: run pagerank.py --data=small.csv.gz --verbose
DEBUG:root:computing indices
DEBUG:root:computing values
DEBUG:root:root=i=0 accuracy=2.7229e-01
DEBUG:root:root=i=1 accuracy=1.3318e-01
DEBUG:root:root=i=2 accuracy=8.1429e-02
DEBUG:root:root=i=3 accuracy=3.7537e-02
DEBUG:root:root=i=4 accuracy=2.4824e-02
DEBUG:root:root=i=5 accuracy=1.2412e-02
DEBUG:root:root=i=6 accuracy=8.0711e-03
DEBUG:root:root=i=7 accuracy=4.3977e-03
DEBUG:root:root=i=8 accuracy=2.7713e-03
DEBUG:root:root=i=9 accuracy=1.5882e-03
DEBUG:root:root=i=10 accuracy=9.7799e-04
DEBUG:root:root=i=11 accuracy=5.7459e-04
DEBUG:root:root=i=12 accuracy=3.4924e-04
DEBUG:root:root=i=13 accuracy=2.0761e-04
DEBUG:root:root=i=14 accuracy=1.2532e-04
DEBUG:root:root=i=15 accuracy=7.4923e-05
DEBUG:root:root=i=16 accuracy=4.5074e-05
DEBUG:root:root=i=17 accuracy=2.6996e-05
DEBUG:root:root=i=18 accuracy=1.6217e-05
DEBUG:root:root=i=19 accuracy=9.7244e-06
DEBUG:root:root=i=20 accuracy=5.8908e-06
DEBUG:root:root=i=21 accuracy=3.5000e-06
DEBUG:root:root=i=22 accuracy=2.0959e-06
DEBUG:root:root=i=23 accuracy=1.2712e-06
INFO:root:rank=0 pagerank=6.8019e-01 url=4
INFO:root:rank=1 pagerank=5.3070e-01 url=6
INFO:root:rank=2 pagerank=4.1114e-01 url=5
INFO:root:rank=3 pagerank=2.0103e-01 url=2
INFO:root:rank=4 pagerank=1.5937e-01 url=3
INFO:root:rank=5 pagerank=1.4440e-01 url=1

Teil 2: Suchanfragen Als nächstes können wir eine Reihe von Befehlszeilenargumenten verwenden, um unsere Suche zu verfeinern. Der Algorithmus gibt nun diese Seiten zurück, die für unsere Anfragen am relevantesten sind. Das Argument --search_query akzeptiert eine Zeichenfolge und vergleicht sie mit jedem Links und filtert die Links, die die Abfrage nicht enthalten. Für diesen Teil verwende ich einen Datensatz, der von Professor Mike Izbicki erstellt wurde, der Hyperlinks aus dem Verteidigungsblog www.lawfareblog.com grafisch darstellt. Ab diesem Zeitpunkt werde ich den Befehl der ausführlichen Verwendung nicht verwenden, um die Ergebnisse prägnanter zu gestalten. Die folgenden Ergebnisse ähneln denen, die in der Umsetzung von Prof. Izbicki erhalten wurden.

Wenn wir unsere Suchanfrage "Corona" machen, um Artikel über die Pandemie zu finden, sind die folgenden Links laut PageRank am relevantesten:

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --search_query=corona
DEBUG:root:computing indices
DEBUG:root:computing values
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=1.0038e-03 url=www.lawfareblog.com/lawfare-podcast-united-nations-and-coronavirus-crisis
INFO:root:rank=1 pagerank=8.9224e-04 url=www.lawfareblog.com/house-oversight-committee-holds-day-two-hearing-government-coronavirus-response
INFO:root:rank=2 pagerank=7.0390e-04 url=www.lawfareblog.com/britains-coronavirus-response
INFO:root:rank=3 pagerank=6.9153e-04 url=www.lawfareblog.com/prosecuting-purposeful-coronavirus-exposure-terrorism
INFO:root:rank=4 pagerank=6.7041e-04 url=www.lawfareblog.com/israeli-emergency-regulations-location-tracking-coronavirus-carriers
INFO:root:rank=5 pagerank=6.6256e-04 url=www.lawfareblog.com/why-congress-conducting-business-usual-face-coronavirus
INFO:root:rank=6 pagerank=6.5046e-04 url=www.lawfareblog.com/congressional-homeland-security-committees-seek-ways-support-state-federal-responses-coronavirus
INFO:root:rank=7 pagerank=6.3620e-04 url=www.lawfareblog.com/paper-hearing-experts-debate-digital-contact-tracing-and-coronavirus-privacy-concerns
INFO:root:rank=8 pagerank=6.1248e-04 url=www.lawfareblog.com/house-subcommittee-voices-concerns-over-us-management-coronavirus
INFO:root:rank=9 pagerank=6.0187e-04 url=www.lawfareblog.com/livestream-house-oversight-committee-holds-hearing-government-coronavirus-response

Als nächstes passen wir unsere Suchanfrage an 'Trump' an:

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --search_query=trump
DEBUG:root:computing indices
DEBUG:root:computing values
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=5.7826e-03 url=www.lawfareblog.com/trump-asks-supreme-court-stay-congressional-subpeona-tax-returns
INFO:root:rank=1 pagerank=5.2338e-03 url=www.lawfareblog.com/document-trump-revokes-obama-executive-order-counterterrorism-strike-casualty-reporting
INFO:root:rank=2 pagerank=5.1297e-03 url=www.lawfareblog.com/trump-administrations-worrying-new-policy-israeli-settlements
INFO:root:rank=3 pagerank=4.6599e-03 url=www.lawfareblog.com/dc-circuit-overrules-district-courts-due-process-ruling-qasim-v-trump
INFO:root:rank=4 pagerank=4.5934e-03 url=www.lawfareblog.com/donald-trump-and-politically-weaponized-executive-branch
INFO:root:rank=5 pagerank=4.3071e-03 url=www.lawfareblog.com/how-trumps-approach-middle-east-ignores-past-future-and-human-condition
INFO:root:rank=6 pagerank=4.0935e-03 url=www.lawfareblog.com/why-trump-cant-buy-greenland
INFO:root:rank=7 pagerank=3.7591e-03 url=www.lawfareblog.com/oral-argument-summary-qassim-v-trump
INFO:root:rank=8 pagerank=3.4509e-03 url=www.lawfareblog.com/dc-circuit-court-denies-trump-rehearing-mazars-case
INFO:root:rank=9 pagerank=3.4484e-03 url=www.lawfareblog.com/second-circuit-rules-mazars-must-hand-over-trump-tax-returns-new-york-prosecutors

Schließlich werden wir unsere Suchanfrage in "Iran" ändern:

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --search_query=iran
DEBUG:root:computing indices
DEBUG:root:computing values
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=5.1297e-03 url=www.lawfareblog.com/trump-administrations-worrying-new-policy-israeli-settlements
INFO:root:rank=1 pagerank=5.0168e-03 url=www.lawfareblog.com/update-military-commissions-continued-health-issues-recusal-motion-and-new-cell-al-iraqi
INFO:root:rank=2 pagerank=4.5746e-03 url=www.lawfareblog.com/praise-presidents-iran-tweets
INFO:root:rank=3 pagerank=4.4174e-03 url=www.lawfareblog.com/how-us-iran-tensions-could-disrupt-iraqs-fragile-peace
INFO:root:rank=4 pagerank=4.3659e-03 url=www.lawfareblog.com/haftar-attacking-tripoli-us-needs-re-engage-libya
INFO:root:rank=5 pagerank=3.4237e-03 url=www.lawfareblog.com/france-makes-play-try-foreign-fighters-iraq
INFO:root:rank=6 pagerank=2.6928e-03 url=www.lawfareblog.com/cyber-command-operational-update-clarifying-june-2019-iran-operation   
INFO:root:rank=7 pagerank=2.2567e-03 url=www.lawfareblog.com/document-sens-kaine-and-young-introduce-bill-revoke-iraq-force-authorizations
INFO:root:rank=8 pagerank=1.9391e-03 url=www.lawfareblog.com/aborted-iran-strike-fine-line-between-necessity-and-revenge
INFO:root:rank=9 pagerank=1.8263e-03 url=www.lawfareblog.com/its-not-only-iraq-and-syria

Teil 3: Bedenken hinsichtlich der Struktur der Webseiten Die meisten Websites haben eine Menge Struktur, da die meisten Seiten mit der Homepage und einigen anderen breiten Seiten wie www.lawfareblog.com/topics verbunden sind. Da PageRank das Ranking verknüpft, haben diese Websites, auf die viele Seiten verknüpfen, oft, aber nicht immer eine höhere Bewertung. Wenn wir die größten Pageranks in www.lawfareblog.com untersuchen, können einige dieser breiten Seiten angezeigt werden:

 run pagerank.py --data=./lawfareblog.csv.gz
DEBUG:root:computing indices
DEBUG:root:computing values
INFO:root:rank=0 pagerank=2.8741e-01 url=www.lawfareblog.com/about-lawfare-brief-history-term-and-site
INFO:root:rank=1 pagerank=2.8741e-01 url=www.lawfareblog.com/lawfare-job-board
INFO:root:rank=2 pagerank=2.8741e-01 url=www.lawfareblog.com/litigation-documents-resources-related-travel-ban
INFO:root:rank=3 pagerank=2.8741e-01 url=www.lawfareblog.com/subscribe-lawfare
INFO:root:rank=4 pagerank=2.8741e-01 url=www.lawfareblog.com/our-comments-policy
INFO:root:rank=5 pagerank=2.8741e-01 url=www.lawfareblog.com/upcoming-events
INFO:root:rank=6 pagerank=2.8741e-01 url=www.lawfareblog.com/support-lawfare
INFO:root:rank=7 pagerank=2.8741e-01 url=www.lawfareblog.com/snowden-revelations
INFO:root:rank=8 pagerank=2.8741e-01 url=www.lawfareblog.com/topics
INFO:root:rank=9 pagerank=2.8741e-01 url=www.lawfareblog.com/documents-related-mueller-investigation

Diese Seiten sind jedoch im Allgemeinen nicht nützlich, wenn wir lernen möchten, was der beliebteste Inhalt des Blogs war. Um Daten zu Artikeln zu sammeln, die im Allgemeinen weniger Seiten mit ihnen als breitere Seiten verknüpfen, können wir das Argument --filter_ratio verwenden. Es entfernt "alle Seiten mit mehr Links als die angegebene Ration" (Prof. Izbicki). Jetzt können wir die wichtigsten Artikel schätzen:

 run pagerank.py --data=./lawfareblog.csv.gz --filter_ratio=0.2
DEBUG:root:computing indices
DEBUG:root:computing values
INFO:root:rank=0 pagerank=3.4696e-01 url=www.lawfareblog.com/trump-asks-supreme-court-stay-congressional-subpeona-tax-returns       
INFO:root:rank=1 pagerank=2.9521e-01 url=www.lawfareblog.com/livestream-nov-21-impeachment-hearings-0
INFO:root:rank=2 pagerank=2.9040e-01 url=www.lawfareblog.com/opening-statement-david-holmes
INFO:root:rank=3 pagerank=1.5179e-01 url=www.lawfareblog.com/lawfare-podcast-ben-nimmo-whack-mole-game-disinformation
INFO:root:rank=4 pagerank=1.5099e-01 url=www.lawfareblog.com/todays-headlines-and-commentary-1964
INFO:root:rank=5 pagerank=1.5099e-01 url=www.lawfareblog.com/todays-headlines-and-commentary-1963
INFO:root:rank=6 pagerank=1.5071e-01 url=www.lawfareblog.com/lawfare-podcast-week-was-impeachment
INFO:root:rank=7 pagerank=1.4957e-01 url=www.lawfareblog.com/todays-headlines-and-commentary-1962
INFO:root:rank=8 pagerank=1.4367e-01 url=www.lawfareblog.com/cyberlaw-podcast-mistrusting-google
INFO:root:rank=9 pagerank=1.4240e-01 url=www.lawfareblog.com/lawfare-podcast-bonus-edition-gordon-sondland-vs-committee-no-bull

Teil 4: Eigengaps Die Eigengap der P -Barbar -Matrix wird durch die begrenzt $ alpha $ Parameter. Die Größe des Eigengap bestimmt die Geschwindigkeit, mit der der Algorithmus konvergiert. Wenn die Eigengap einer Matrix groß ist, konvergiert sie auch bei Alpha -Werten, die Ansatz 1. Wenn die Eigengap klein ist, tritt nur bei kleineren Alpha -Werten die Konvergenz schnell auf. Wir können die folgenden vier Befehle ausführen, um dies zu veranschaulichen:

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --verbose 
[In]: run pagerank.py --data=./lawfareblog.csv.gz --verbose --alpha=0.99999
[In]: run pagerank.py --data=./lawfareblog.csv.gz --verbose --filter_ratio=0.2
[In]: run pagerank.py --data=./lawfareblog.csv.gz --verbose --filter_ratio=0.2 --alpha=0.99999

Während die ersten drei Befehle 15, 11 und 22 Iterationen dauerten, dauert die letzte Iterationen mit 684 Iterationen. Dies liegt daran, dass die gefilterte P -Matrix ein kleineres Eigengap hat. Daher dauert es länger, dass es bei größeren Alpha -Grenzen konvergiert. Diese Änderung des Alpha -Werts führt auch zu verschiedenen PageRank -Rankings. Erstens die Ergebnisse des dritten Befehls, der das P -Diagramm filtert, aber kein großes Alpha verwendet:

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --verbose --filter_ratio=0.2
INFO:root:rank=0 pagerank=3.4696e-01 url=www.lawfareblog.com/trump-asks-supreme-court-stay-congressional-subpeona-tax-returns       
INFO:root:rank=1 pagerank=2.9521e-01 url=www.lawfareblog.com/livestream-nov-21-impeachment-hearings-0
INFO:root:rank=2 pagerank=2.9040e-01 url=www.lawfareblog.com/opening-statement-david-holmes
INFO:root:rank=3 pagerank=1.5179e-01 url=www.lawfareblog.com/lawfare-podcast-ben-nimmo-whack-mole-game-disinformation
INFO:root:rank=4 pagerank=1.5099e-01 url=www.lawfareblog.com/todays-headlines-and-commentary-1964
INFO:root:rank=5 pagerank=1.5099e-01 url=www.lawfareblog.com/todays-headlines-and-commentary-1963
INFO:root:rank=6 pagerank=1.5071e-01 url=www.lawfareblog.com/lawfare-podcast-week-was-impeachment
INFO:root:rank=7 pagerank=1.4957e-01 url=www.lawfareblog.com/todays-headlines-and-commentary-1962
INFO:root:rank=8 pagerank=1.4367e-01 url=www.lawfareblog.com/cyberlaw-podcast-mistrusting-google
INFO:root:rank=9 pagerank=1.4240e-01 url=www.lawfareblog.com/lawfare-podcast-bonus-edition-gordon-sondland-vs-committee-no-bull

Dann die Ergebnisse des vierten Befehls, der das P -Diagramm filtert und ein großes Alpha verwendet:

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --verbose --filter_ratio=0.2 --alpha=0.99999
INFO:root:rank=0 pagerank=7.0149e-01 url=www.lawfareblog.com/covid-19-speech-and-surveillance-response
INFO:root:rank=1 pagerank=7.0149e-01 url=www.lawfareblog.com/lawfare-live-covid-19-speech-and-surveillance
INFO:root:rank=2 pagerank=1.0552e-01 url=www.lawfareblog.com/cost-using-zero-days
INFO:root:rank=3 pagerank=3.1755e-02 url=www.lawfareblog.com/lawfare-podcast-former-congressman-brian-baird-and-daniel-schuman-how-congress-can-continue-function
INFO:root:rank=4 pagerank=2.2040e-02 url=www.lawfareblog.com/events
INFO:root:rank=5 pagerank=1.6027e-02 url=www.lawfareblog.com/water-wars-increased-us-focus-indo-pacific
INFO:root:rank=6 pagerank=1.6026e-02 url=www.lawfareblog.com/water-wars-drill-maybe-drill
INFO:root:rank=7 pagerank=1.6023e-02 url=www.lawfareblog.com/water-wars-disjointed-operations-south-china-sea
INFO:root:rank=8 pagerank=1.6020e-02 url=www.lawfareblog.com/water-wars-song-oil-and-fire
INFO:root:rank=9 pagerank=1.6020e-02 url=www.lawfareblog.com/water-wars-sinking-feeling-philippine-china-relations 

Aufgabe 2: Implementierung des Personalisierungsvektors

Teil 1: Implementierung der Grundleistungsmethode Der Personalisierungsvektor ist eine alternative Filtermethode über Abfragen. Der Personalisierungsvektor bestimmt, mit welchen Webseiten am häufigsten von Seiten über die Abfrage selbst verbunden sind. Dies unterscheidet sich von dem vorherigen Argument --search_query , das einen Gesamtpagerank bestimmt, und filtert dann die mit der Abfrage zusammenhängenden Spiele mit den höchsten Ranglisten. Um dies zu demonstrieren, können wir die Ranglisten derselben Abfrage bei Verwendung des Personalisierungsvektors mit dem Argument --search_query vergleichen.

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --filter_ratio=0.2 --personalization_vector_query=corona
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=6.3213e-01 url=www.lawfareblog.com/covid-19-speech-and-surveillance-response
INFO:root:rank=1 pagerank=6.3211e-01 url=www.lawfareblog.com/lawfare-live-covid-19-speech-and-surveillance
INFO:root:rank=2 pagerank=1.4962e-01 url=www.lawfareblog.com/chinatalk-how-party-takes-its-propaganda-global
INFO:root:rank=3 pagerank=1.1626e-01 url=www.lawfareblog.com/brexit-not-immune-coronavirus
INFO:root:rank=4 pagerank=1.1626e-01 url=www.lawfareblog.com/rational-security-my-corona-edition
INFO:root:rank=5 pagerank=8.8833e-02 url=www.lawfareblog.com/trump-cant-reopen-country-over-state-objections
INFO:root:rank=6 pagerank=8.5443e-02 url=www.lawfareblog.com/prosecuting-purposeful-coronavirus-exposure-terrorism
INFO:root:rank=7 pagerank=8.5443e-02 url=www.lawfareblog.com/britains-coronavirus-response
INFO:root:rank=8 pagerank=7.1883e-02 url=www.lawfareblog.com/lawfare-podcast-united-nations-and-coronavirus-crisis
INFO:root:rank=9 pagerank=6.8968e-02 url=www.lawfareblog.com/house-oversight-committee-holds-day-two-hearing-government-coronavirus-response 

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --filter_ratio=0.2 --search_query=corona
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=8.1320e-03 url=www.lawfareblog.com/house-oversight-committee-holds-day-two-hearing-government-coronavirus-response
INFO:root:rank=1 pagerank=7.7908e-03 url=www.lawfareblog.com/lawfare-podcast-united-nations-and-coronavirus-crisis
INFO:root:rank=2 pagerank=5.2262e-03 url=www.lawfareblog.com/livestream-house-oversight-committee-holds-hearing-government-coronavirus-response
INFO:root:rank=3 pagerank=3.9584e-03 url=www.lawfareblog.com/britains-coronavirus-response
INFO:root:rank=4 pagerank=3.8114e-03 url=www.lawfareblog.com/prosecuting-purposeful-coronavirus-exposure-terrorism
INFO:root:rank=5 pagerank=3.3973e-03 url=www.lawfareblog.com/paper-hearing-experts-debate-digital-contact-tracing-and-coronavirus-privacy-concerns
INFO:root:rank=6 pagerank=3.3633e-03 url=www.lawfareblog.com/cyberlaw-podcast-how-israel-fighting-coronavirus
INFO:root:rank=7 pagerank=3.3557e-03 url=www.lawfareblog.com/israeli-emergency-regulations-location-tracking-coronavirus-carriers
INFO:root:rank=8 pagerank=3.2160e-03 url=www.lawfareblog.com/congress-needs-coronavirus-failsafe-its-too-late
INFO:root:rank=9 pagerank=3.1036e-03 url=www.lawfareblog.com/why-congress-conducting-business-usual-face-coronavirus

Teil 2: Artikel finden, die verwandt sind, aber nicht in unserer Abfrage erwähnen, dass der Personalisierungsvektor besonders nützlich ist, da er verfolgt, welche Artikel für die Abfrage am relevantesten sind. Dies bedeutet, dass wir, wenn wir die indirekten Auswirkungen unserer Abfrage kennenlernen möchten, immer noch dieselbe Personalisierungsvektor -Suchabfrage verwenden können. In der Zwischenzeit können wir das Argument --search_query verwenden, um nur diese Artikel zu präsentieren, die die Abfrage selbst nicht enthalten. Da sich das Minuszeichen nicht im Gensim -Modell befindet, passieren diese Ergebnisse, ohne nach verwandten Wörtern zu suchen. Ich bekomme die folgenden Ergebnisse für 'Corona':

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --filter_ratio=0.2 --personalization_vector_query=corona --search_query=-corona
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=6.3213e-01 url=www.lawfareblog.com/covid-19-speech-and-surveillance-response
INFO:root:rank=1 pagerank=6.3211e-01 url=www.lawfareblog.com/lawfare-live-covid-19-speech-and-surveillance
INFO:root:rank=2 pagerank=1.4962e-01 url=www.lawfareblog.com/chinatalk-how-party-takes-its-propaganda-global
INFO:root:rank=3 pagerank=8.8833e-02 url=www.lawfareblog.com/trump-cant-reopen-country-over-state-objections
INFO:root:rank=4 pagerank=6.8562e-02 url=www.lawfareblog.com/lawfare-podcast-mom-and-dad-talk-clinical-trials-pandemic
INFO:root:rank=5 pagerank=6.5838e-02 url=www.lawfareblog.com/fault-lines-foreign-policy-quarantined
INFO:root:rank=6 pagerank=6.1389e-02 url=www.lawfareblog.com/limits-world-health-organization
INFO:root:rank=7 pagerank=5.5939e-02 url=www.lawfareblog.com/chinatalk-dispatches-shanghai-beijing-and-hong-kong
INFO:root:rank=8 pagerank=5.4060e-02 url=www.lawfareblog.com/trump-asks-supreme-court-stay-congressional-subpeona-tax-returns
INFO:root:rank=9 pagerank=4.9363e-02 url=www.lawfareblog.com/us-moves-dismiss-case-against-company-linked-ira-troll-farm

Während diese Artikel hauptsächlich mit dem Coronavirus zusammenhängen, gibt es auch einige Themen, die tangentialer sind. Zum Beispiel gibt es eine wichtige Anhörung der Raketenabwehr, die den 9. Platz wahrscheinlich während der Pandemie stattfand und von ihr beeinflusst wurde, aber offensichtlich nicht direkt mit Coronavirus zusammenhängt.

Teil 3: Artikel finden, die verwandt sind, aber unsere Abfrage nicht erwähnen (Forts.) Wir können uns ein anderes Beispiel des oben genannten ansehen, in dem Artikel verwandt sind, aber die Abfrage nicht ausdrücklich erwähnen. Für "Iran" erhalten wir die folgenden Ergebnisse:

 [In]: run pagerank.py --data=./lawfareblog.csv.gz --filter_ratio=0.2 --personalization_vector_query=iran --search_query=-iran
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=3.9977e-01 url=www.lawfareblog.com/omphalos
INFO:root:rank=1 pagerank=2.4971e-01 url=www.lawfareblog.com/haftar-attacking-tripoli-us-needs-re-engage-libya
INFO:root:rank=2 pagerank=2.4398e-01 url=www.lawfareblog.com/cancellation-algerias-elections-opportunity-democratization
INFO:root:rank=3 pagerank=2.3989e-01 url=www.lawfareblog.com/yemen-houthi-strategy-has-promise-and-risk
INFO:root:rank=4 pagerank=2.3954e-01 url=www.lawfareblog.com/how-trumps-approach-middle-east-ignores-past-future-and-human-condition
INFO:root:rank=5 pagerank=2.1294e-01 url=www.lawfareblog.com/trump-asks-supreme-court-stay-congressional-subpeona-tax-returns
INFO:root:rank=6 pagerank=1.5762e-01 url=www.lawfareblog.com/livestream-nov-21-impeachment-hearings-0
INFO:root:rank=7 pagerank=1.5762e-01 url=www.lawfareblog.com/opening-statement-david-holmes
INFO:root:rank=8 pagerank=1.1823e-01 url=www.lawfareblog.com/trump-administrations-worrying-new-policy-israeli-settlements
INFO:root:rank=9 pagerank=8.0923e-02 url=www.lawfareblog.com/senate-examines-threats-homeland

Ich dachte, dass dies eine interessante Erweiterung war, besonders um mehr über den internationalen Einfluss des Iran zu erfahren. Der Iran ist in den letzten Jahrzehnten langsam als regionaler Spieler im Nahen Osten und Teilen Nordafrikas gewachsen. Diese Auswirkungen sind in den Artikeln, die am höchsten bewertet sind, ziemlich klar, da es Artikel über Algerien, Libyen und Israel gibt. Das Erscheinen einiger Artikel über die Beziehung des Iran zu den USA spricht auch für die Bombenangriffe und die daraus resultierenden Spannungen an, die Anfang 2020 entstanden sind. Diese Ergebnisse zeigen, dass http://www.lawfareblog.com/ die amerikanischen Beziehungen und die regionale Politik im Nahen Osten als einige der wichtigsten Themen im Zusammenhang mit dem Iran betrachtet.

Hier sind einige weitere Beispiele, die das aktualisierte Ranking -System hervorheben: Diese Ergebnisse beziehen sich auf "Drohnen":

 run pagerank.py --data=./lawfareblog.csv.gz --search_query=drones
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=4.5715e-03 url=www.lawfareblog.com/why-did-you-wait-moral-emptiness-and-drone-strikes
INFO:root:rank=1 pagerank=3.1107e-03 url=www.lawfareblog.com/dc-district-court-dismisses-journalists-drone-lawsuit
INFO:root:rank=2 pagerank=2.0231e-03 url=www.lawfareblog.com/revived-cia-drone-strike-program-comments-new-policy
INFO:root:rank=3 pagerank=1.9667e-03 url=www.lawfareblog.com/us-court-appeals-dc-circuit-dismisses-suit-over-us-drone-strike
INFO:root:rank=4 pagerank=1.7738e-03 url=www.lawfareblog.com/whats-point-charging-foreign-state-linked-hackers
INFO:root:rank=5 pagerank=1.2885e-03 url=www.lawfareblog.com/video-justice-department-announces-indictment-two-chinese-government-hackers
INFO:root:rank=6 pagerank=1.1973e-03 url=www.lawfareblog.com/daisy-chain-associated-forces-potential-use-force-niger-against-al-mourabitoun
INFO:root:rank=7 pagerank=1.1788e-03 url=www.lawfareblog.com/iran-shoots-down-us-drone-domestic-and-international-legal-implications
INFO:root:rank=8 pagerank=1.1620e-03 url=www.lawfareblog.com/slaughterbots-and-other-anticipated-autonomous-weapons-problems
INFO:root:rank=9 pagerank=1.1506e-03 url=www.lawfareblog.com/dhss-joint-task-forces-next-chapter

Diese Ergebnisse beziehen sich auf "Ziele":

 run pagerank.py --data=./lawfareblog.csv.gz --search_query=targets
INFO:gensim.models.keyedvectors:precomputing L2-norms of word weight vectors
INFO:root:rank=0 pagerank=6.0299e-03 url=www.lawfareblog.com/update-military-commissions-big-september-911-case
INFO:root:rank=1 pagerank=5.0168e-03 url=www.lawfareblog.com/update-military-commissions-continued-health-issues-recusal-motion-and-new-cell-al-iraqi
INFO:root:rank=2 pagerank=4.6573e-03 url=www.lawfareblog.com/targeting-al-baghdadi-and-selective-notification-congress-assessing-issues
INFO:root:rank=3 pagerank=3.2598e-03 url=www.lawfareblog.com/federal-judge-dismisses-military-commissions-defendants-8th-amendment-claim
INFO:root:rank=4 pagerank=3.2329e-03 url=www.lawfareblog.com/military-commissions-judge-rules-against-government-privilege-claim-nashiri-case
INFO:root:rank=5 pagerank=3.2204e-03 url=www.lawfareblog.com/week-military-commissions-98-session-kangaroo-lapel-pin-edition
INFO:root:rank=6 pagerank=3.1839e-03 url=www.lawfareblog.com/military-commission-judge-bars-government-using-defendants-statements-fbi-clean-teams-911-case
INFO:root:rank=7 pagerank=3.1759e-03 url=www.lawfareblog.com/last-week-military-commissions-defense-moves-classification-review-process
INFO:root:rank=8 pagerank=3.1533e-03 url=www.lawfareblog.com/court-military-commissions-review-upholds-life-sentence-al-bahlul
INFO:root:rank=9 pagerank=2.9309e-03 url=www.lawfareblog.com/summary-dc-circuit-vacates-military-judges-rulings-al-nashiri