twayback

Twayback: télécharger les tweets supprimés de la machine Wayback, rendu facile

Triste nouvelle en juillet 2023 - En raison des modifications récentes de la plate-forme Twitter, cet outil n'est pas en mesure de travailler comme prévu. La connexion est nécessaire pour même afficher les tweets sans parler de la limitation du taux. Je vais laisser ce repo au cas où quelqu'un voudrait en tirer des leçons, mais je ne mettrai probablement pas à jour l'outil. Merci à tous ceux qui ont contribué et trouvé une utilité dans ce projet.

La recherche et le téléchargement des tweets supprimés prend beaucoup de temps. Heureusement, avec cet outil, il devient un morceau de gâteau! ?

Twayback est un Portmanteau de Twitter et la machine Wayback . Entrez le nom d'utilisateur Twitter souhaité et laissez Twayback faire le reste!

Caractéristiques

• Peut télécharger un peu ou la totalité des tweets supprimés archivés d'un utilisateur.
• Vous permet d'extraire le texte des tweets dans un fichier texte (oui, même citer les retweets!)
• A la capacité de capturer des tweets supprimés.
• Permet à la plage de temps personnalisée de étroiter la recherche de tweets supprimés archivés entre deux dates.
• Se différencie entre les comptes actifs, suspendus ou n'existent plus.
• Vous permet de savoir si les tweets archivés d'une poignée cible ont été exclus de la machine Wayback.
• Enregistre un journal des URL de tweet supprimé au cas où vous souhaiteriez voir sur la machine Wayback.
• Capacité à tourner à travers une liste de serveurs proxy pour éviter 429 erreurs. Vous devrez le faire pour des ensembles de données supérieurs à environ 800 tweets.

Usage

Nom d'utilisateur Twayback -U [Options]

 -u, --username                                        Specify target user's Twitter handle

--batch-size                                          Specify how many URLs you would like to 
                                                      examine at a time. Expecting an integer between
                                                      1 and 100. A larger number will give you a speed
                                                      boost but at the risk of errors. Default = 100

--semaphore-size                                      Specify how many urls from --batch-size you would 
                                                      like to query asyncronously at once. Expecting an integer
                                                      between 1 and 50. A larger number will give you a speed
                                                      boost but at the risk of errors. Default = 50

-from, --fromdate                                     Narrow search for deleted Tweets *archived*
                                                      on and after this date
                                                      (can be combined with -to)
                                                      (format YYYY-MM-DD or YYYY/MM/DD
                                                      or YYYYMMDD, doesn't matter)
                                                      
                                        
-to, --todate                                         Narrow search for deleted Tweets *archived*
                                                      on and before this date
                                                      (can be combined with -from)
                                                      (format YYYY-MM-DD or YYYY/MM/DD
                                                      or YYYYMMDD, doesn't matter)


--proxy-file                                          Provide a list of proxies to use. You'll need this for checking large groups of tweets
                                                      Each line should contain one url:port to use
                                                      The script will pick a new proxy from the list at random after each --batch-size       


Logs                                                  After checking a user's tweets but before you
                                                      make a download selection, a folder will be created
                                                      with that username. That folder will contain a log of:
                                                      <deleted-twitter-url>:<deleted-wayback-url> in case you needed them

Examples:
twayback -u taylorswift13                             Downloads all of @taylorswift13's
                                                      deleted Tweets

twayback -u jack -from 2022-01-05                     Downloads all of @jack's
                                                      deleted Tweets
                                                      *archived* since January 5,
                                                      2022 until now

twayback -u drake -to 2022/02/09                      Downloads all of @drake's
                                                      deleted Tweets *archived*
                                                      since the beginning until
                                                      February 9, 2022

twayback -u EA -from 2020-08-30 -to 2020-09-15        Downloads all of @EA's
                                                      deleted Tweets *archived*
                                                      between August 30, 2020 to
                                                      September 15, 2020

Installation

 git clone https://github.com/Mennaruuk/twayback

 cd twayback

 pip3 install -r requirements.txt

ou peut-être

 pip install -r requirements.txt

Exécutez la commande:

 python3 twayback.py -u USERNAME

(Remplacez USERNAME par votre poignée cible).

Pour plus d'informations, consultez la section d'utilisation ci-dessus.

Captures d'écran

Les captures d'écran sont effectuées à l'aide du dramaturge. Pour prendre avec succès des captures d'écran, veuillez suivre ces étapes:

1. Ouvrez une fenêtre de terminal.
2. Exécuter: playwright install .

Dépannage

Les paramètres de vitesse par défaut pour --semaphore-size et --batch-size sont définis sur l'exécution la plus rapide possible. Réduisez ces chiffres pour ralentir votre exécution et réduire les risques d'erreurs. Pour vérifier un grand nombre de tweets (> que 800), vous devrez utiliser des proxys Web et un drapeau --proxy-file

Choses à garder à l'esprit

• La qualité des fichiers HTML dépend de la façon dont la machine Wayback les a sauvées. Certains sont meilleurs que d'autres.
• Cet outil est le meilleur pour le texte. Vous pourriez avoir de la chance avec des photos. Vous ne pouvez pas télécharger des vidéos.
• Par définition, si un compte est suspendu ou n'existe plus, tous leurs tweets seraient considérés comme supprimés.
• La plage de dates personnalisée n'est pas sur le moment où les tweets ont été fabriqués, mais plutôt lorsqu'ils ont été archivés . Par exemple, un tweet de 2011 a peut-être été archivé aujourd'hui.