Django link archive

База данных личной ссылки, агрегатор ссылок, с функциональностью RSS.

Варианты использования

• RSS читатель
• Менеджер закладок
• YouTube Link Manager, Frontend
• Очень простая поисковая система
• Анализ данных - анализируйте гниль ссылок, сколько страниц цитируется другими источниками, анализируйте домены ссылок и т. Д.

Функции

Общий

• Управление закладками, с тегами и поддержкой комментариев
• Поддержка «Пространств». Вы можете определить собственные пространства, такие как «музыка», «видео», «фильмы» и т. Д.
• Анализ записи ключевых слов, чтобы найти тенденции
• режим света и темный режим
• Автоматический экспорт
  • в каталог
  • к GitHub
• доступ для нескольких пользователей
• режим киоска. Автоматическое обновление при добавлении URL-адреса с параметрами «автоматическая рефреша» установлена ​​на миллисекундное значение

Услуги

• RSS FEED Support: поддерживает RSS YouTube, Reddit RSS, Odysee, OpenRSS
• Поддержка архивированных страниц через интернет -марки или любую настроенную архивную среду
• Поддержка GitHub. Экспорт. Например, интернет -домены, пользователи, проекты
• YouTube скачать поддержку через проект YT-DLP

Ползание

• некоторые возможности ползания в Интернете
• Поиск ссылок. Простая реализация, не использует эластичный поиск
• не поддерживает вращение прокси. Это этический веб -скребок, он не должен спам с помощью запросов
• настраиваемые пользовательские агенты, сканеры, селен, запросы, хромированные невыразимые, ползание, легко расширяемая

Конфиденциальность

• локальные данные, без алгоритмов, без рекламы, самостоятельно
• Отслеживание действий пользователя. Вы можете наблюдать и проанализировать историю ваших «взглядов», «поиск», «Комментарии», «История просмотра»

Сбор проектов

• Ссылки в закладки
• Интернет -домены, пользователи, проекты
• Daily RSS GIT Repository за 2024 год
• Daily RSS GIT Repository за 2023 год
• Daily RSS GIT Repository за 2022 год
• Daily RSS GIT Repository за 2021 год
• Daily RSS GIT Repository за 2020 год

Ссылки

• Скриншоты
• Установка, конфигурация
• https://renegat0x0.ddns.net/apps/catalog/ - экземпляр, который выглядит как замена YouTube
• https://renegat0x0.ddns.net/apps/various/ - демо -экземпляр, который содержит различные вещи
• Заметки о поисковой индустрии
• Анализ данных
• Разработка

Альтернативы

Альтернативные программы для ссылок закладок существуют.

Своир, гримуар, закладка, дождь, Linkace, Ggater, Zotero, One Keep, Lasso, Carrylinks, Zlinky, Wakelet, Booky, WebTag, Исторические, ноуйки

Список Awasome в GitHub.

Как это работает?

• Система регулярно читает «источники»
• Каждый «источник» регулярно проверяется на новые данные. RSS -каналы являются одним из видов источника
• Новые ссылки вставлены в базу данных
• Каждый день ваши закладки могут быть экспортированы в репозиторий, если настроены
• Новые ссылки используются для заполнения популярных "ключевых слов"

Алгоритм ранжирования

Каждая страница ранжируется несколькими факторами.

• Рейтинг контента. [0..100] Диапазон
• Пользователи голосуют. [-100..100] Диапазон

Результат равен в соответствии с расчетом

• Ранки страницы = рейтинг контента + голоса пользователей

Рейтинг контента

Чтобы иметь хороший рейтинг страницы, желательно следовать хорошим стандартам:

• Валидатор схемы
• W3C Validator
• Предоставьте мета -информацию HTML. Больше информации в протоколе Open Graph
• Предоставьте действительный заголовок, который краткий, но не слишком короткий
• Предоставьте действительное описание, которое кратко, но не слишком короткое
• Предоставьте действительную дату публикации
• Предоставьте действительный миниатюра, изображение медиа
• Предоставьте действительный код состояния HTML. Нет причудливых перенаправлений, javaScript перенаправления
• Обеспечить RSS -канал. Предоставьте мета-информацию HTML для этого https://www.petefreitag.com/blog/rss-autodiscovery/
• Предоставьте теги ключевых слов поисковой системы

Ваша страница, домен существует вместе с тысячами других страниц. Представьте, что ваши метаданные оказывают влияние на ваше признание и рейтинг страницы.

Помните: хорошая страница всегда оценивается выше.

Вы можете задаться вопросом, почему я пишу о поле «Ключевые слова» поисковой системы «Ключевые слова», если Google не нуждается в них. Ну, я не люблю Google. Если мы хотим, чтобы альтернативные решения существовали, следует легко найти вашу страницу из более простых поисковых систем. Предоставьте поле ключевых слов, если вы поддерживаете Open Web.

Голоса рейтинг

База данных управляется базой данных RSS Link и голосами пользователей. Среднее значение голосов рассчитывается для каждой ссылки.

Экспорт

Есть несколько типов экспорта. Каждый день данные могут быть экспортированы.

Экспорты поддерживают структуру файла JSON.

Мы поддерживаем некоторые данные, но это не замена Archive.org. Мы храним только метаданные о веб -страницах: заголовок, описание, миниатюра.

Большинство представлений содержат кнопку «Показать json», которая предоставляет данные просмотра как JSON. Это может использоваться сценариями, для импорта, экспорта.

Типы экспорта:

• Ежедневные данные - каждый день имеет свой собственный каталог
• Ежегодные данные - каждый год содержит информацию отдельно
• Данные не связаны с временем - данные находятся в отдельных каталогах и не связаны с временем

Импорт

Сделано администратором. Файлы данных JSON могут использоваться для импорта или других приложений Django-Link-Archive [в стадии строительства].

Ключи API

Администратор может создавать клавиши API, чтобы не зарегистрировать пользователей для доступа к содержимому.

Формат:

 https://yourpage.com/your-app/index?key=yourgeneratedkey

История

Вы можете сохранить свою собственную историю просмотра веб -страниц. Забудьте об истории браузеров или закладок.

С помощью этого самостоятельного решения вам не нужно ничего синхроментировать, поскольку все находится на этом сервере.

Забудьте об истории просмотра видео на YouTube или подписке. Вы можете контролировать то, что видите и когда!

Сценарии

Функциональность веб-скрещивания также может использоваться без Django.

Есть некоторые сценарии, которые можно использовать без приложения Django:

• yafr.py - еще один считыватель подачи, клиент Commandline
• page_props.py - инструменты командной линии, которые показывают свойства страницы
• example_page_crawler.py - пример скрипт, который может пролезть через веб -страницу
• example_compare_crawlers.py - показывает, сколько времени требуется, чтобы выполнить разные сканеры
• Converter.py - конвертирует файлы json в таблицу SQLite
• Dataanalyzer.py - анализирует данные в таблице файлов JSON / SQLite. Вы можете запросить данные
• script_server.py - сервер, который можно использовать для отправки сканеров для определенных URL -адресов, для получения метадан
• script_client.py - клиент, который можно использовать для подключения к серверу, и отладки сценария
• Workspace.py - Управление рабочей области. Можно использовать для обновления проекта
• Backup.py - скрипт для резервного копирования данных PostgreSQL

Простота навигации

Этот проект был создан, чтобы дать Libary от навигации. Поэтому по ссылке должна быть навигация на другие места:

• Google
• Другие поисковые системы, Википедия и т. Д.
• Ссылка на интернет -архив и т. Д.

Даже если Google реализует ссылки на интернет -архив или представляет большинство этих функций, мы должны продолжать нашу работу по этому поводу, поскольку мы никогда не знаем, когда корпорация решает не поддерживать ее.

Федерация [в стадии строительства]

Этот проект федерален. Поэтому вы можете полагаться на данные других экземпляров Djang-Link-Archive.

Ты можешь:

• Определить источник автоматического импорта прокси из других экземпляров архива ссылок
• вручную импортировать ссылки из другого архивного экземпляра, или

Прокси -источники [в стадии строительства]

Сначала давайте определим сценарий. У вас есть экземпляр A и экземпляр B. Экземпляр B определил источник.

Вы не хотите, чтобы экземпляр A приносил те же данные из Интернета. Вы хотите получить данные из экземпляра B.

Для этого:

• Перейдите к источникам экземпляра B.
• Найдите желаемый источник.
• Нажмите «Показать json» (расположение копии этого адреса)
• Навигация по эксплуатации к источникам.
• Добавить новый источник
• Вставьте адрес экземпляра B, адресную ссылку JSON
• Система должна предположить, что тип источника быть JSON

Управление пользователями [в стадии строительства]

Проект использует модуль пользователя по умолчанию.

Дорожная карта для окончания игры.

• Сначала только администратор может добавить новых пользователей. Для запуска экземпляра контактного администратора
• Вы не создаете пароли, они генерируются для вас, с правильной сложностью. Пожалуйста, напишите их
• Свяжитесь с другими пользователями, другие пользователи также могут добавить новых пользователей, если карма позволяет это

Карма эффект на пользователя:

• Если ваша карма опустится ниже 0, ваша учетная запись запрещена
• После определенного порога вы можете отправить новые ссылки
• После определенного порога вы можете отправить комментарии
• После определенного порога вы можете поднять и понижать комментарии
• После определенного порога вы создаете пользователей (1 в день)

Что вызывает изменение кармы:

• администратор или модераторы
• Добавление голоса за ссылку
• подсказки или понижающие голосования в комментариях
• запреты других пользователей, которых вы пригласили

Действия пользователя отслеживаются системой, только если она настроена так:

• Пользователи могут публиковать комментарии для записей
• Пользователи могут пометить записи
• Пользователи могут голосовать за записи
• Системный хранит ограниченное количество поисковых запросов, пользователь может выбрать предыдущие запросы из ComboBox
• Системный хранит порядок посещений в записях. Это позволяет предоставить раздел «связанный» для каждой записи. Например, если вы видите запись «x» после «y», то «X» появится в разделе «Y», связанный с «Y»

Обоснование

Многие программы существуют, но у большинства из них есть некоторые ограничения.

• Лицензия: некоторые клиенты не являются открытым исходным кодом или не полностью открытыми исходными кодами (например, Reddit). Некоторые программы не являются программами с точки зрения пользователей, а сервис: Feedly, карманы, чтения читателя. Они требуют учетной записи. Их условия и услуги могут измениться
• Интерфейс: Большинство программ RSS - GUI: Thunderbird, Feeder. Я хотел веб -страницу, приложение, к которому можно получить доступ
• Отсутствие способности поиска (NextCloud «Новости», Thunderbird, приложение для Android Feeder, приложение для газета Linux)
• Отсутствующая поддержка тегов (приложение Thunderbird, Android Feeder)
• Некоторые программы не предоставляют рейтинг ссылок
• Импорт / Экспорт: большинство программ не предоставляют простой способ сделать это (я хочу файлы JSON!)
• Масштаб: некоторые проекты большие. Этот проект фокусируется на предоставлении опыта «единого пользователя». Я не хочу здесь много зависимостей
• Цель: Reddit, Lemmy Aim - предоставить опыт работы в социальных сетях, этот проект направлен на предоставление возможности создания базы данных ссылок

Дополнительные примечания

Что измельчивает мои шестерни?

• Google не предоставляет простой способ увидеть кэшированный сайт, например, archive.org. У них это есть, они просто не позволяют вам получить доступ к нему
• Нелегко открыть новые места в Интернете. Когда вы нашли какой -нибудь «новый» сайт, который стоит увидеть? Блог? Личный сайт? Google имеет индекс миллиардов страниц, но Интернет выглядит пустым
• Старая веб -страница никогда не будет на первом месте в поиске Google
• В поиске Google нет кнопки для перевода ссылки на назначение
• YouTube предоставляет раздел «Связанный» для видео. Почему Google не предоставляет список ссылок «связанных» в поиске?
• Действительно сложно найти что -нибудь об Амиге или старых технологиях
• First Page Fallacy. Второй результат поиска Google имеет значение. Вторая страница поиска Google также имеет значение. Если я ищу "PHP", есть тысячи структур, проекты, которые стоит увидеть. Почему я не могу найти их легко, используя поиск в Google? Мы даем поиск в Google слишком много кредита

Archive.org:

• Не является надежным. Иногда это становится мучительно медленным. Это все еще лучше, чем ничего
• Большинство основных средств массовой информации покрыты, но освещение является пятнистым. Не все дни покрыты
• Интернет -архив (archive.org) не предоставляет снимки для каждого дня для всех источников RSS. Иногда это довольно медленно. Мы хотели бы быть уверены, что такой снимок происходит. Поэтому нам нужно экспортировать ссылки в ежедневную репо. Приложение Django RSS также делает запросы на архив, чтобы сделать снимки

Юридический

• Я не поддерживаю какую -либо ссылку каждую ссылку в базе данных. Я могу быть важными для некоторых ссылок из -за того, насколько плохим содержание. Я часто использую иронию, поэтому будьте осторожны!
• Каждый имеет право быть забытым. Если какая -либо ссылка должна быть удалена из базы данных, пожалуйста, свяжитесь со мной
• Я не получаю никакой формы денежной компенсации от ссылки или данных об этом. Информация о ссылке данных уже была предоставлена ​​RSS -источниками. Источник RSS отвечает за то, что они предоставляют бесплатно

Конечные заметки

Все ссылки принадлежат нам!