twayback

Twayback: Download de tweets excluídos da máquina Wayback, facilitada

Notícias tristes julho de 2023 - Devido a alterações recentes na plataforma do Twitter, essa ferramenta não pode funcionar conforme o pretendido. É necessário login para visualizar tweets para não mencionar a limitação da taxa. Deixarei esse repo, caso alguém queira aprender com ele, mas provavelmente não estarei atualizando a ferramenta. Obrigado a todos que contribuíram e encontraram alguma utilidade neste projeto.

Encontrar e baixar tweets excluídos leva muito tempo. Felizmente, com esta ferramenta, ela se torna um pedaço de bolo! ?

Twayback é um portmanteau do Twitter e a Wayback Machine . Digite o nome de usuário desejado do Twitter e deixe Twayback fazer o resto!

Características

• Pode baixar alguns ou todos os tweets excluídos de um usuário.
• Permite extrair tweets de texto para um arquivo de texto (sim, até mesmo citações retweets!)
• Tem capacidade de captar tweets excluídos.
• Permite um intervalo de tempo personalizado para restringir a pesquisa por tweets excluídos arquivados entre duas datas.
• Diferencia entre contas ativas, suspensas ou não/não existam mais.
• Permite que você saiba se os tweets arquivados de um alça de destino foram excluídos da máquina Wayback.
• Economiza um log dos URLs de tweet excluídos, caso você queira visualizar a máquina Wayback.
• Capacidade de girar através de uma lista de servidores proxy para evitar 429 erros. Você precisará fazer isso para conjuntos de dados maiores que cerca de 800 tweets.

Uso

Twayback -u Nome de usuário [Opções]

 -u, --username                                        Specify target user's Twitter handle

--batch-size                                          Specify how many URLs you would like to 
                                                      examine at a time. Expecting an integer between
                                                      1 and 100. A larger number will give you a speed
                                                      boost but at the risk of errors. Default = 100

--semaphore-size                                      Specify how many urls from --batch-size you would 
                                                      like to query asyncronously at once. Expecting an integer
                                                      between 1 and 50. A larger number will give you a speed
                                                      boost but at the risk of errors. Default = 50

-from, --fromdate                                     Narrow search for deleted Tweets *archived*
                                                      on and after this date
                                                      (can be combined with -to)
                                                      (format YYYY-MM-DD or YYYY/MM/DD
                                                      or YYYYMMDD, doesn't matter)
                                                      
                                        
-to, --todate                                         Narrow search for deleted Tweets *archived*
                                                      on and before this date
                                                      (can be combined with -from)
                                                      (format YYYY-MM-DD or YYYY/MM/DD
                                                      or YYYYMMDD, doesn't matter)


--proxy-file                                          Provide a list of proxies to use. You'll need this for checking large groups of tweets
                                                      Each line should contain one url:port to use
                                                      The script will pick a new proxy from the list at random after each --batch-size       


Logs                                                  After checking a user's tweets but before you
                                                      make a download selection, a folder will be created
                                                      with that username. That folder will contain a log of:
                                                      <deleted-twitter-url>:<deleted-wayback-url> in case you needed them

Examples:
twayback -u taylorswift13                             Downloads all of @taylorswift13's
                                                      deleted Tweets

twayback -u jack -from 2022-01-05                     Downloads all of @jack's
                                                      deleted Tweets
                                                      *archived* since January 5,
                                                      2022 until now

twayback -u drake -to 2022/02/09                      Downloads all of @drake's
                                                      deleted Tweets *archived*
                                                      since the beginning until
                                                      February 9, 2022

twayback -u EA -from 2020-08-30 -to 2020-09-15        Downloads all of @EA's
                                                      deleted Tweets *archived*
                                                      between August 30, 2020 to
                                                      September 15, 2020

Instalação

 git clone https://github.com/Mennaruuk/twayback

 cd twayback

 pip3 install -r requirements.txt

ou possivelmente

 pip install -r requirements.txt

Execute o comando:

 python3 twayback.py -u USERNAME

(Substitua USERNAME pela alça de destino).

Para mais informações, consulte a seção de uso acima.

Capturas de tela

As capturas de tela são feitas usando dramaturgo. Para tirar capturas de tela com sucesso, siga estas etapas:

1. Abra uma janela de terminal.
2. RUN: playwright install .

Solução de problemas

As configurações de velocidade padrão para --semaphore-size e --batch-size são definidas para a execução mais rápida possível. Reduza esses números para desacelerar sua execução e reduzir a chance de erros. Para verificar um grande número de tweets (> de 800), você precisará usar proxies da web e --proxy-file

Coisas para ter em mente

• A qualidade dos arquivos HTML depende de como a máquina Wayback os salvou. Alguns são melhores que outros.
• Esta ferramenta é melhor para texto. Você pode ter alguma sorte com fotos. Você não pode baixar vídeos.
• Por definição, se uma conta for suspensa ou não existir mais, todos os seus tweets serão considerados excluídos.
• O intervalo de data personalizado não é sobre quando os tweets foram feitos, mas quando eles foram arquivados . Por exemplo, um tweet de 2011 pode ter sido arquivado hoje.