twayback

Twayback: descarga de tweets eliminados de la máquina Wayback, hecho fácil

Sad News Julio 2023: debido a los cambios recientes en la plataforma de Twitter, esta herramienta no puede funcionar según lo previsto. Se requiere inicio de sesión incluso para ver tweets, sin mencionar la limitación de la velocidad. Dejaré este repositorio en caso de que alguien quiera aprender de él, pero es probable que no actualice la herramienta. Gracias a todos los que contribuyeron y encontraron algo de utilidad en este proyecto.

Encontrar y descargar tweets eliminados lleva mucho tiempo. Afortunadamente, con esta herramienta, ¡se convierte en un pastel! ?

Twayback es un portmanteau de Twitter y la máquina Wayback . ¡Ingrese el nombre de usuario de Twitter deseado y deje que Twayback haga el resto!

Características

• Puede descargar algunos o todos los tweets eliminados archivados de un usuario.
• Le permite extraer el texto de los tweets a un archivo de texto (¡sí, incluso cotice retweets!)
• Tiene la capacidad de capturar tweets eliminados.
• Permite el rango de tiempo personalizado para reducir la búsqueda de tweets eliminados archivados entre dos fechas.
• Diferenciales entre cuentas activas, suspendidas o no existen/ya no existen.
• Le avise si los tweets archivados de un mango objetivo han sido excluidos de la máquina Wayback.
• Guarda un registro de las URL de tweet eliminadas en caso de que desee ver en la máquina Wayback.
• Capacidad para rotar a través de una lista de servidores proxy para evitar 429 errores. Deberá hacer esto para conjuntos de datos mayores a unos 800 tweets.

Uso

twayback -U nombre de usuario [opciones]

 -u, --username                                        Specify target user's Twitter handle

--batch-size                                          Specify how many URLs you would like to 
                                                      examine at a time. Expecting an integer between
                                                      1 and 100. A larger number will give you a speed
                                                      boost but at the risk of errors. Default = 100

--semaphore-size                                      Specify how many urls from --batch-size you would 
                                                      like to query asyncronously at once. Expecting an integer
                                                      between 1 and 50. A larger number will give you a speed
                                                      boost but at the risk of errors. Default = 50

-from, --fromdate                                     Narrow search for deleted Tweets *archived*
                                                      on and after this date
                                                      (can be combined with -to)
                                                      (format YYYY-MM-DD or YYYY/MM/DD
                                                      or YYYYMMDD, doesn't matter)
                                                      
                                        
-to, --todate                                         Narrow search for deleted Tweets *archived*
                                                      on and before this date
                                                      (can be combined with -from)
                                                      (format YYYY-MM-DD or YYYY/MM/DD
                                                      or YYYYMMDD, doesn't matter)


--proxy-file                                          Provide a list of proxies to use. You'll need this for checking large groups of tweets
                                                      Each line should contain one url:port to use
                                                      The script will pick a new proxy from the list at random after each --batch-size       


Logs                                                  After checking a user's tweets but before you
                                                      make a download selection, a folder will be created
                                                      with that username. That folder will contain a log of:
                                                      <deleted-twitter-url>:<deleted-wayback-url> in case you needed them

Examples:
twayback -u taylorswift13                             Downloads all of @taylorswift13's
                                                      deleted Tweets

twayback -u jack -from 2022-01-05                     Downloads all of @jack's
                                                      deleted Tweets
                                                      *archived* since January 5,
                                                      2022 until now

twayback -u drake -to 2022/02/09                      Downloads all of @drake's
                                                      deleted Tweets *archived*
                                                      since the beginning until
                                                      February 9, 2022

twayback -u EA -from 2020-08-30 -to 2020-09-15        Downloads all of @EA's
                                                      deleted Tweets *archived*
                                                      between August 30, 2020 to
                                                      September 15, 2020

Instalación

 git clone https://github.com/Mennaruuk/twayback

 cd twayback

 pip3 install -r requirements.txt

o posiblemente

 pip install -r requirements.txt

Ejecute el comando:

 python3 twayback.py -u USERNAME

(Reemplace USERNAME con su mango objetivo).

Para obtener más información, consulte la sección de uso anterior.

Capturas de pantalla

Las capturas de pantalla se realizan con dramaturgo. Para tomar capturas de pantalla con éxito, siga estos pasos:

1. Abra una ventana de terminal.
2. Run: playwright install .

Solución de problemas

La configuración de velocidad predeterminada para --semaphore-size y --batch-size se establecen en la ejecución más rápida posible. Reduzca estos números para ralentizar su ejecución y reducir las posibilidades de errores. Para verificar grandes cantidades de tweets (> que 800) necesitará usar proxies web y --proxy-file fils

Cosas a tener en cuenta

• La calidad de los archivos HTML depende de cómo los guardó Wayback Machine. Algunos son mejores que otros.
• Esta herramienta es mejor para el texto. Es posible que tenga suerte con las fotos. No puedes descargar videos.
• Por definición, si una cuenta está suspendida o ya no existe, todos sus tweets se considerarían eliminados.
• El rango de fechas personalizados no se trata cuando se hicieron tweets, sino cuando fueron archivados . Por ejemplo, un tweet de 2011 puede haber sido archivado hoy.