mastodon_archive_reader

Das Skript archive_reader.py (oder die ArchiveReader -Klasse innen) liest in Ihrem Mastodon Archiv -optimal.json (speziell Beiträge, die Sie gemacht haben) und erstellt eine main.db SQLite3 -Datenbank.

Die Datenbank enthält zwei Tabellen und eine Ansicht:

• search_data . Dies ist eine virtuelle Tabelle, die mit FTS5 erstellt wurde, die eine vollständige Texte durch Ihre Beiträge ermöglicht.
• full_data . Dies ist jede Spalte aus dem Archiv, die ein object_id enthält.
• combined . Dies ist eine Ansicht, die die beiden oben genannten Tabellen in der extrahierten int_id -Spalte kombiniert.

Das Erstellen der SQLite -Datenbank erfordert Pandas und HTML2Text.

Ich füge auch eine Plotly -Dash app.py hinzu, damit die GUI -Suche des Archivs mit der SQLite Volltextsuche (FTS5) auf dem Inhalt der archivierten Beiträge verwendet wird. Sie benötigen Plotly Dash, um dies auszuführen. Es ist nicht für die Bereitstellung gedacht, sondern lokal auszuführen, um die von Ihnen erstellte Datenbank zu untersuchen.

Verwendung

$ python archive_reader.py archive_folder_name 

Dadurch wird die SQLite -Datenbank main.db erstellt.

Ausführen von App.py

 python app.py

Starten Sie eine einfache Plotly -Dash -App, um Ihr Archiv zu durchsuchen.

Todo

• Finden Sie die Liste der Wörterbücher im attachments der JSON -Datei heraus und verbringen Sie Medienanhänge in die Dash -App.
• Fügen Sie der Dash -App eine erweiterte Suche hinzu, z. B. die Unterstützung des Datumsbereichs.
• Fügen Sie die Paginierung der Ergebnisse hinzu (vielleicht ist das eine Arbeit ...)
• RE-DO UI, um erweiterte SQL-Suchanfragen von der Volltextsuchung zu trennen (und was auch immer Datum usw. Parameter hinzufügen)