twayback

Twayback: загрузка удаленных твитов с машины Wayback, сделанная Easy

SAD News, июль 2023 г. - Из -за недавних изменений в платформе Twitter этот инструмент не может работать, как предполагалось. Вход требуется даже для просмотра твитов, не говоря уже о ограничении ставки. Я оставлю это репо в случае, если кто -то захочет учиться на нем, но я, вероятно, не буду обновлять инструмент. Спасибо всем, кто внес свой вклад и нашла некоторую утилиту в этом проекте.

Поиск и загрузку удаленных твитов занимает много времени. К счастью, с этим инструментом он становится кусочком торта! ?

Twayback - это портманто из Twitter и Wayback Machine . Введите желаемое имя пользователя Twitter, и позвольте Twayback сделать все остальное!

Функции

• Можно скачать некоторые или все архивные удаленные твиты пользователя.
• Позволяет извлечь твиты в текстовый файл (да, даже цитируйте ретвиты!)
• Имеет способность к удалению экрана с удаленными твитами.
• Позволяет пользовательскому времени с учетом узкого поиска удаленных твитов, архивных между двумя датами.
• Различают между аккаунтами, которые являются активными, приостановленными или больше не существуют.
• Позволяйте узнать, были ли архивированные твиты целевой ручки из машины Wayback.
• Сохраняет журнал удаленных URL -адресов твита на случай, если вы хотите просмотреть на машине Wayback.
• Способность вращаться через список прокси -серверов, чтобы избежать 429 ошибок. Вам нужно будет сделать это для наборов данных больше, чем около 800 твитов.

Использование

twayback -u имени пользователя [Параметры]

 -u, --username                                        Specify target user's Twitter handle

--batch-size                                          Specify how many URLs you would like to 
                                                      examine at a time. Expecting an integer between
                                                      1 and 100. A larger number will give you a speed
                                                      boost but at the risk of errors. Default = 100

--semaphore-size                                      Specify how many urls from --batch-size you would 
                                                      like to query asyncronously at once. Expecting an integer
                                                      between 1 and 50. A larger number will give you a speed
                                                      boost but at the risk of errors. Default = 50

-from, --fromdate                                     Narrow search for deleted Tweets *archived*
                                                      on and after this date
                                                      (can be combined with -to)
                                                      (format YYYY-MM-DD or YYYY/MM/DD
                                                      or YYYYMMDD, doesn't matter)
                                                      
                                        
-to, --todate                                         Narrow search for deleted Tweets *archived*
                                                      on and before this date
                                                      (can be combined with -from)
                                                      (format YYYY-MM-DD or YYYY/MM/DD
                                                      or YYYYMMDD, doesn't matter)


--proxy-file                                          Provide a list of proxies to use. You'll need this for checking large groups of tweets
                                                      Each line should contain one url:port to use
                                                      The script will pick a new proxy from the list at random after each --batch-size       


Logs                                                  After checking a user's tweets but before you
                                                      make a download selection, a folder will be created
                                                      with that username. That folder will contain a log of:
                                                      <deleted-twitter-url>:<deleted-wayback-url> in case you needed them

Examples:
twayback -u taylorswift13                             Downloads all of @taylorswift13's
                                                      deleted Tweets

twayback -u jack -from 2022-01-05                     Downloads all of @jack's
                                                      deleted Tweets
                                                      *archived* since January 5,
                                                      2022 until now

twayback -u drake -to 2022/02/09                      Downloads all of @drake's
                                                      deleted Tweets *archived*
                                                      since the beginning until
                                                      February 9, 2022

twayback -u EA -from 2020-08-30 -to 2020-09-15        Downloads all of @EA's
                                                      deleted Tweets *archived*
                                                      between August 30, 2020 to
                                                      September 15, 2020

Установка

 git clone https://github.com/Mennaruuk/twayback

 cd twayback

 pip3 install -r requirements.txt

или, возможно

 pip install -r requirements.txt

Запустите команду:

 python3 twayback.py -u USERNAME

(Замените USERNAME на вашу целевую ручку).

Для получения дополнительной информации ознакомьтесь с разделом использования выше.

Скриншоты

Скриншоты выполняются с использованием драматурга. Чтобы успешно сделать снимки экрана, следуйте этим шагам:

1. Откройте окно терминала.
2. Запустить: playwright install .

Поиск неисправностей

Настройки скорости по умолчанию для --semaphore-size и --batch-size установлены на максимально быстрое выполнение. Уменьшите эти числа, чтобы замедлить ваше выполнение и уменьшить вероятность ошибок. Для проверки большого количества твитов (> чем 800) вам нужно использовать веб-прокси и флаг --proxy-file

Что нужно иметь в виду

• Качество файлов HTML зависит от того, как их сохранила машина Wayback. Некоторые лучше, чем другие.
• Этот инструмент лучше всего подходит для текста. Вам может повезло с фотографиями. Вы не можете скачать видео.
• По определению, если учетная запись приостановлена ​​или больше не существует, все их твиты будут считаться удаленными.
• Пользовательский диапазон дат - это не когда твиты были сделаны, а когда они были заархивированы . Например, твит с 2011 года, возможно, был архив сегодня.