Django link archive

Base de données de liens personnels, agrégateur de liens, avec fonctionnalité RSS.

Cas d'utilisation

• Lecteur RSS
• Bookmark Manager
• Manager des liens YouTube, frontend
• Moteur de recherche très simple
• Analyse des données - Analyser la pourriture des liens, combien de page est citée par d'autres sources, analyser les domaines de liaison, etc.

Caractéristiques

Général

• Gestion des signets, avec des étiquettes et un support de commentaires
• Prise en charge des «espaces». Vous pouvez définir ses propres espaces comme «musique», «vidéos», «films», etc. Mergé par des applications Django
• Analyse d'entrée de mots clés pour trouver les tendances
• mode clair et mode sombre
• exportations automatiques
  • au répertoire
  • à github
• accès pour plusieurs utilisateurs
• mode kiosque. Rafraîchissement automatique lorsque l'URL est annexée avec Param "Auto-Refresh" réglé sur une valeur millisenconde

Services

• Support RSS Feed: prend en charge YouTube RSS, Reddit RSS, Odysee, OpenRSS
• Prise en charge des pages archivées via Internet Archive, ou tout milieu d'archive configuré
• Support GitHub. Exportations. Par exemple les domaines Internet, les utilisateurs, les projets
• Téléchargement YouTube Prise en charge du projet YT-DLP

Rampant

• Certaines capacités de rampe Internet
• Recherche de liens. Implémentation simple, n'utilise pas de recherche élastique
• ne prend pas en charge la rotation proxy. Il s'agit d'un grattoir Web éthique, il ne devrait pas spam avec les demandes
• agents utilisateur configurables, robots, sélénium, demandes, chrome non détecté, crawlee, facilement extensible

Confidentialité

• données locales, pas d'algorithmes, pas de publicités, auto-hébergées
• Suivi de l'action de l'utilisateur. Vous pouvez observer et analyser l'historique de vos «vues», «recherche», «commentaires», «Historique de navigation»

Suite de projets

• Liens mis en signet
• Domaines Internet, utilisateurs, projets
• Référentiel quotidien RSS GIT pour l'année 2024
• Référentiel quotidien RSS GIT pour l'année 2023
• Référentiel quotidien RSS GIT pour l'année 2022
• Référentiel quotidien RSS GIT pour l'année 2021
• Référentiel quotidien RSS GIT pour l'année 2020

Links

• Captures d'écran
• Installation, configuration
• https://renegat0x0.ddns.net/apps/catalog/ - instance qui ressemble à un remplacement YouTube
• https://renegat0x0.ddns.net/apps/various/ - instance de démonstration, qui contient diverses choses
• Notes sur l'industrie de la recherche
• Analyse des données
• Développement

Alternatives

Il existe des programmes alternatifs pour les liens.

Hoardeur, Grimoire, Bookmarkos, Raindrop, Linkace, Ggather, Zotero, OneKee

Liste Awasome chez Github.

Comment ça marche?

• Le système lit régulièrement "sources"
• Chaque "source" est vérifiée régulièrement pour de nouvelles données. Les flux RSS sont un type de source
• De nouveaux liens sont insérés dans la base de données
• Chaque jour, vos signets peuvent être exportés vers un référentiel, s'il est configuré
• De nouveaux liens sont utilisés pour remplir des "mots clés" populaires

Algorithme de classement

Chaque page est classée par plusieurs facteurs.

• Classement de contenu. [0..100] Plage
• Les utilisateurs votent. [-100..100] Range

Le résultat est égal en fonction du calcul

• classement des pages = classement du contenu + votes utilisateurs

Classement de contenu

Pour avoir une bonne note de page, il est souhaitable de suivre les bonnes normes:

• Validateur de schéma
• Validateur W3C
• Fournir des méta-informations HTML. Plus d'informations dans le protocole de graphe ouvert
• Fournir un titre valide, qui est concis, mais pas trop court
• Fournir une description valide, qui est concise, mais pas trop courte
• Fournir une date de publication valide
• Fournir une miniature valide, image médiatique
• Fournissez un code d'état HTML valide. Pas de redirection de fantaisie, redirection JavaScript
• Fournir des aliments RSS. Fournissez HTML Meta Information pour informatique https://www.petefreitag.com/blog/rss-autodiscovery/
• Fournir des balises de mots clés du moteur de recherche

Votre page, le domaine existe aux côtés de milliers d'autres pages. Imaginez que vos métadonnées ont un impact sur votre reconnaissance et votre classement des pages.

N'oubliez pas: une bonne page est toujours classée plus haut.

Vous vous demandez peut-être, pourquoi j'écris sur le champ de méta des "mots clés" de recherche de moteur de recherche, si Google n'en a pas besoin. Eh bien, je n'aime pas Google. Si nous voulons que des solutions alternatives existent, il devrait être possible de trouver facilement votre page à partir de moteurs de recherche plus simples. Fournissez un champ de mots clés si vous prends en charge Open Web.

Classement des votes

La base de données est gérée par RSS Link Database et les votes des utilisateurs. La moyenne des votes est calculée pour chaque lien.

Exporter

Il existe plusieurs types d'exportation. Chaque jour, les données peuvent être exportées.

Les exportations prennent en charge la structure de fichiers JSON.

Nous maintenons quelques données, mais ce n'est pas un remplacement archive.org. Nous ne stockons que des métadonnées sur les pages Web: titre, description, vignette.

La plupart des vues contiennent le bouton "Afficher JSON" qui fournit les données de vue comme JSON. Ceci peut être utilisé par les scripts, pour l'importation, l'exportation.

Types d'exportations:

• Données quotidiennes - Chaque jour a son propre répertoire
• Données annuelles - chaque année contient des informations séparément
• Les données pas liées au temps - les données sont dans des répertoires distincts et ne sont pas liés au temps

Importer

Fait par panneau d'administration. Les fichiers de données JSON peuvent être utilisés pour les importations ou d'autres applications archives Django-Link [en construction].

Clés API

L'administrateur peut créer des clés API pour que les utilisateurs ne soient pas enregistrés pour accéder au contenu.

Format:

 https://yourpage.com/your-app/index?key=yourgeneratedkey

Histoire

Vous pouvez garder localement votre propre historique de navigation Web. Oubliez l'histoire ou les signets du navigateur.

Avec cette solution auto-hébergée, vous n'avez rien à synchroniser, car tout réside sur ce serveur.

Oubliez l'historique de la navigation vidéo YouTube ou les abonnements. Vous pouvez contrôler ce que vous voyez et quand!

Scripts

Les fonctionnalités de crampons Web peuvent également être utilisées sans Django.

Certains scripts peuvent être utilisés sans application Django:

• yafr.py - Encore un autre lecteur de flux, client de commande
• Page_Props.py - Outils de ligne de commande qui affiche les propriétés de la page
• Exemple_page_crawler.py - Exemple de script qui peut ramper via la page Web
• Exemple_compare_crawlers.py - montre combien de temps il faut pour exécuter différents robots
• converter.py - convertit les fichiers JSON en table sqlite
• DataAnalyzer.py - Analyse les données dans la table JSON Files / Sqlite. Vous pouvez interroger les données
• script_server.py - serveur qui peut être utilisé pour expédier des robots pour certaines URL, pour obtenir des méta-données
• script_client.py - Client qui peut être utilisé pour se connecter au serveur et déboguer les scripts de robot
• Workspace.py - Workspace Management. Peut être utilisé pour mettre à jour le projet
• Backup.py - Script pour sauvegarder les données postgresql

Facilité de navigation

Ce projet a été créé pour donner Libary of Navigation. Par conséquent, à partir d'un lien, il devrait y avoir une navigation vers d'autres endroits:

• Google
• Autres moteurs de recherche, wikipedia, etc.
• lien vers les archives Internet, etc.

Même si Google met en œuvre des liens vers des archives Internet ou introduit la plupart de ces fonctionnalités, nous devons continuer notre travail à ce sujet, car nous ne savons jamais quand Corporation décide de ne pas la soutenir.

Federated [en construction]

Ce projet est fédéré. Par conséquent, vous pouvez compter sur les données des autres instances de Djang-Link-Archive.

Tu peux:

• Définir la source proxy d'importation automatique à partir d'une autre instance d'archive de liens
• Importer manuellement les liens à partir d'une autre instance d'archive de liens, ou

Sources de procuration [en construction]

Permet d'abord de définir un scénario. Vous avez l'instance A et l'instance B. L'instance B a défini une source.

Vous ne voulez pas que l'instance soit récupérer les mêmes données sur Internet. Vous souhaitez récupérer les données de l'instance B.

Pour ce faire:

• Accédez aux sources d'instance B.
• Trouvez votre source souhaitée.
• Cliquez sur "Afficher JSON" (Copier l'emplacement de cette adresse)
• Naviguez sur l'instance A vers des sources.
• Ajouter une nouvelle source
• Collez l'adresse de l'instance B, le lien d'adresse JSON
• Le système devrait suggérer que le type de source est de JSON

Gestion des utilisateurs [en construction]

Le projet utilise le module d'authentification utilisateur par défaut.

Feuille de route pour le jeu final.

• Au début, seul l'administrateur peut ajouter de nouveaux utilisateurs. Pour l'exécution de l'administrateur de contacts d'instance
• Vous ne créez pas de mots de passe, ils sont générés pour vous, avec une complexité appropriée. Veuillez les écrire
• Contacter d'autres utilisateurs, d'autres utilisateurs peuvent également ajouter de nouveaux utilisateurs, si le karma le permet

Effet karma sur l'utilisateur:

• Si votre karma va en dessous de 0, votre compte est banni
• Après certains seuils, vous pouvez soumettre de nouveaux liens
• Après certains seuils, vous pouvez soumettre des commentaires
• Après certains seuils, vous pouvez faire voter et faire des commentaires à vote
• Après certains seuils, vous créez des utilisateurs (1 par jour)

Qu'est-ce qui cause le changement de karma:

• administrateur, ou modérateurs
• Ajout de vote pour un lien
• votes up, ou avals sur les commentaires
• Interdiction des autres utilisateurs que vous avez invités

Les actions de l'utilisateur sont suivies par le système, uniquement si elles sont configurées ainsi:

• Les utilisateurs peuvent publier des commentaires pour les entrées
• Les utilisateurs peuvent étiqueter les entrées
• Les utilisateurs peuvent voter pour les entrées
• Système stocke la quantité limitée de requêtes de recherche, l'utilisateur peut sélectionner des requêtes précédentes dans ComboBox
• Système Stocke Order of Visits on Entrées. Cela permet de fournir une section "liée" pour chaque entrée. Par exemple, si vous vivez l'entrée "x" après "y", alors "x" apparaîtra sur la section "Y"

Raisonnement

De nombreux programmes existent, mais la plupart d'entre eux ont certaines limites.

• Licence: Certains clients ne sont pas open source ou pas entièrement open source (par exemple reddit). Certains programmes ne sont pas des programmes du point de vue des utilisateurs, mais un service: Feedly, Poches, Readwise Reader. Ils nécessitent un compte. Leurs conditions et services peuvent changer
• Interface: La plupart des programmes RSS sont GUI: Thunderbird, Feeder. Je voulais une page Web, une application accessible de n'importe où
• Capacité de recherche manquante (application "NextCloud" News ", Thunderbird, Feeder Android App, Newsboat Linux App)
• Support de balise manquant (application Thunderbird, Android Feeder)
• Certains programmes ne fournissent pas de cote de lien
• Import / export: la plupart des programmes ne fournissent pas de moyen facile de le faire (je veux des fichiers JSON!)
• Échelle: certains projets sont importants. Ce projet se concentre sur la fourniture d'expérience "utilisateur unique". Je ne veux pas beaucoup de dépendances ici
• Objectif: Reddit, Lemmy AIM est de fournir une expérience des médias sociaux, ce projet vise à accorder la possibilité de créer une base de données de liens

Notes supplémentaires

Qu'est-ce qui broie mes engrenages?

• Google ne fournit pas de moyen facile de voir un site mis en cache, comme Archive.org. Ils l'ont, ils ne vous laissent tout simplement pas y accéder
• Il n'est pas facile de découvrir de nouveaux endroits sur Internet. Quand avez-vous trouvé un «nouveau» site à voir? Un blog? Site personnel? Google a un index de milliards de pages, mais Internet semble vide
• L'ancienne page Web ne sera jamais à première vue dans la recherche Google
• Il n'y a pas de bouton dans la recherche Google pour traduire le lien de destination
• YouTube fournit une section "associée" pour les vidéos. Pourquoi Google ne fournit pas de liste de liens «liés» dans la recherche?
• Il est vraiment difficile de trouver quoi que ce soit sur Amiga, ou Old Tech Stuff
• Faussualité de la première page. Le résultat de la recherche Google est important. La page de recherche Google est également importante. Si je recherche "PHP", il y a des milliers de cadres, des projets qui méritent d'être consultés. Pourquoi je ne peux pas les trouver facilement en utilisant Google Search? Nous donnons trop de crédit à Google Search

Archive.org:

• N'est pas fiable. Parfois, cela devient douloureusement lent. C'est encore mieux que rien
• La plupart des médias grand public RSS sont couverts, mais la couverture est inégale. Tous les jours ne sont pas couverts
• Internet Archive (Archive.org) ne fournit pas de instantanés pour chaque jour pour toutes les sources RSS. C'est parfois assez lent. Nous aimerions être sûrs qu'un tel instantané a lieu. Par conséquent, nous devons exporter des liens vers nous-mêmes de nous-mêmes. L'application Django RSS fait également des demandes d'archiver pour créer les instantanés

Légal

• Je n'approuve aucun lien à chaque lien de la base de données. Je peux être important en raison de la gravité du contenu. J'utilise souvent l'ironie, donc méfiez-vous!
• Tout le monde a le droit d'être oublié. Si un lien doit être supprimé d'une base de données, veuillez me contacter
• Je n'obtiens aucune forme de compensation monétaire à partir de lien ou de données à ce sujet. Les informations de liaison de données ont déjà été fournies par des sources RSS. La source RSS est responsable de ce qu'ils fournissent gratuitement

Notes de fin

Tous les liens nous appartiennent!