twayback

Twayback : Wayback Machine에서 삭제 된 트윗 다운로드

슬픈 소식 2023 년 7 월 - 최근 트위터 플랫폼의 변경으로 인해이 도구는 의도 한대로 작동 할 수 없습니다. 로그인은 속도 제한을 언급하지 않고 트윗을 볼 수 있도록해야합니다. 누군가가 배우고 싶어하지만 도구를 업데이트하지 않을 경우이 리베르를 남겨 두겠습니다. 이 프로젝트에서 기여하고 유틸리티를 찾은 모든 분들께 감사드립니다.

삭제 된 트윗을 찾고 다운로드하는 데 많은 시간이 걸립니다. 고맙게도이 도구를 사용하면 케이크 조각이됩니다! ?

Twayback은 Twitter 의 Portmanteau 및 Wayback Machine 입니다. 원하는 Twitter 사용자 이름을 입력하고 Twayback이 나머지를하도록하십시오!

특징

• 사용자의 보관 된 삭제 된 트윗의 일부 또는 전부를 다운로드 할 수 있습니다.
• 텍스트 파일에 텍스트를 추출 할 수 있습니다 (예, Redweets를 인용해도!)
• 스크린 샷 삭제 된 트윗이 있습니다.
• 맞춤형 시간 범위는 두 날짜 사이에 보관 된 삭제 된 트윗을 좁힐 수 있습니다.
• 활성, 정지 또는 더 이상 존재하지 않는 계정을 구별합니다.
• 대상 핸들의 보관 된 트윗이 Wayback 머신에서 제외되었는지 알려드립니다.
• 웨이 백 머신에서 보려는 경우 삭제 된 트윗 URL의 로그를 저장합니다.
• 429 오류를 피하기 위해 프록시 서버 목록을 통해 회전하는 기능. 약 800 개의 트윗보다 큰 데이터 세트에 대해서는이 작업을 수행해야합니다.

용법

Twayback -u 사용자 이름 [옵션]

 -u, --username                                        Specify target user's Twitter handle

--batch-size                                          Specify how many URLs you would like to 
                                                      examine at a time. Expecting an integer between
                                                      1 and 100. A larger number will give you a speed
                                                      boost but at the risk of errors. Default = 100

--semaphore-size                                      Specify how many urls from --batch-size you would 
                                                      like to query asyncronously at once. Expecting an integer
                                                      between 1 and 50. A larger number will give you a speed
                                                      boost but at the risk of errors. Default = 50

-from, --fromdate                                     Narrow search for deleted Tweets *archived*
                                                      on and after this date
                                                      (can be combined with -to)
                                                      (format YYYY-MM-DD or YYYY/MM/DD
                                                      or YYYYMMDD, doesn't matter)
                                                      
                                        
-to, --todate                                         Narrow search for deleted Tweets *archived*
                                                      on and before this date
                                                      (can be combined with -from)
                                                      (format YYYY-MM-DD or YYYY/MM/DD
                                                      or YYYYMMDD, doesn't matter)


--proxy-file                                          Provide a list of proxies to use. You'll need this for checking large groups of tweets
                                                      Each line should contain one url:port to use
                                                      The script will pick a new proxy from the list at random after each --batch-size       


Logs                                                  After checking a user's tweets but before you
                                                      make a download selection, a folder will be created
                                                      with that username. That folder will contain a log of:
                                                      <deleted-twitter-url>:<deleted-wayback-url> in case you needed them

Examples:
twayback -u taylorswift13                             Downloads all of @taylorswift13's
                                                      deleted Tweets

twayback -u jack -from 2022-01-05                     Downloads all of @jack's
                                                      deleted Tweets
                                                      *archived* since January 5,
                                                      2022 until now

twayback -u drake -to 2022/02/09                      Downloads all of @drake's
                                                      deleted Tweets *archived*
                                                      since the beginning until
                                                      February 9, 2022

twayback -u EA -from 2020-08-30 -to 2020-09-15        Downloads all of @EA's
                                                      deleted Tweets *archived*
                                                      between August 30, 2020 to
                                                      September 15, 2020

설치

 git clone https://github.com/Mennaruuk/twayback

 cd twayback

 pip3 install -r requirements.txt

또는 아마도

 pip install -r requirements.txt

명령 실행 :

 python3 twayback.py -u USERNAME

( USERNAME 대상 핸들로 바꾸십시오).

자세한 내용은 위의 사용 섹션을 확인하십시오.

스크린 샷

스크린 샷은 극작가를 사용하여 수행됩니다. 스크린 샷을 성공적으로 수행하려면 다음을 수행하십시오.

1. 터미널 창을 엽니 다.
2. 실행 : playwright install .

문제 해결

--semaphore-size 및 --batch-size 의 기본 속도 설정은 가능한 가장 빠른 실행으로 설정됩니다. 이 숫자를 줄이면 실행 속도를 늦추고 오류 가능성을 줄입니다. 많은 수의 트윗 (> 800 이상)을 확인하려면 웹 프록시와 --proxy-file Flag를 사용해야합니다.

명심해야 할 것들

• HTML 파일의 품질은 Wayback Machine을 저장 한 방법에 따라 다릅니다. 일부는 다른 것보다 낫습니다.
• 이 도구는 텍스트에 가장 적합합니다. 사진에 운이 좋을 수도 있습니다. 비디오를 다운로드 할 수 없습니다.
• 정의에 따라 계정이 정지되거나 더 이상 존재하지 않으면 모든 트윗은 삭제 된 것으로 간주됩니다.
• 맞춤 날짜 범위는 트윗이 제작 된 시점이 아니라 보관 된 시점에 관한 것입니다. 예를 들어, 2011 년의 트윗은 오늘 보관되었을 수 있습니다.