mastodon_archive_reader

Сценарий Archive_reader.py (или класс ArchiveReader внутри) читает в вашем Archive Mastodon Archive.json (специально вы созданные вами сообщения) и создает базу данных main.db SQLITE3.

База данных содержит две таблицы и один вид:

• search_data . Это виртуальная таблица, созданная с FTS5, которая позволяет выполнять полный текстовый поиск ваших сообщений.
• full_data . Это каждый столбец из архива, который содержит object_id .
• combined . Это представление, которое объединяет две таблицы выше на извлеченном столбце int_id .

Создание базы данных SQLite требует Pandas и HTML2Text.

Я также включаю в себя applly app.py , чтобы разрешить поиск по графическим интерфейсу в архиве, используя полное текстовое поиск SQLite (FTS5) на содержимое архивированных постов. Вам понадобится установленная Dash, чтобы запустить это. Он не предназначен для развертывания, а для работы локально как способ изучить созданную вами базу данных.

Использование

$ python archive_reader.py archive_folder_name 

Это создаст базу данных SQLite main.db

Запуск app.py

 python app.py

Запустит простое приложение Plotly Dash для поиска вашего архива.

Тодо

• Выясните список словарей в части attachments файла JSON и встройте вложения носителя в приложение DASH.
• Добавьте немного расширенного поиска в приложение Dash, такое как диапазон дат поддержки.
• Добавить лиц результатов (может быть, это какая -то работа ...)
• Повторный пользовательский интерфейс для разделения расширенных поисков SQL от полного текстового поиска (и в любую дату и т. Д., Которые я добавляю)