Django link archiveダウンロードDjango link archiveソースコードダウンロード

Django link archive

その他のソースコード

1.0.0

ダウンロード

個人リンクデータベース、リンクアグリゲーター、RSS機能。

ユースケース

RSSリーダー
ブックマークマネージャー
YouTubeリンクマネージャー、FrontEnd
非常にシンプルな検索エンジン
データ分析 - リンクの腐敗を分析し、他のソースで引用されているページの数、リンクドメインの分析など。

特徴

一般的な

タグを備えたブックマーク管理、およびコメントサポート
「スペース」のサポート。「音楽」、「ビデオ」、「映画」などの自分のスペースを定義できます。
トレンドを見つけるためのキーワードエントリ分析
ライトモードとダークモード
自動輸出
- ディレクトリへ
- githubに
複数のユーザーへのアクセス
キオスクモード。 URLがmillisecond値に設定されたparam "auto-refresh"でurlが追加されたときに自動更新

サービス

RSSフィードサポート：YouTube RSS、Reddit RSS、Odysee、Openrssのサポート
InternetArchive、または構成されたアーカイブ媒体を介してアーカイブされたページのサポート
Githubサポート。輸出。たとえば、インターネットドメイン、ユーザー、プロジェクト
YouTubeは、YT-DLPプロジェクトからサポートをダウンロードします

クロール

いくつかのインターネットクロール機能
リンク検索。簡単な実装では、弾性検索は使用しません
プロキシローテーションをサポートしていません。これは倫理的なWebスクレーパーであり、リクエストをスパムしてはいけません
構成可能なユーザーエージェント、クローラー、セレン、リクエスト、Chromeが検出されない、クローリー、簡単に拡張可能

プライバシー

ローカルデータ、アルゴリズムなし、広告なし、自己ホスト
ユーザーアクショントラッキング。「ビュー」、「検索」、「コメント」、「ブラウジング履歴」の履歴を観察して分析できます。

一連のプロジェクト

ブックマークされたリンク
インターネットドメイン、ユーザー、プロジェクト
2024年の毎日のRSS Gitリポジトリ
2023年の毎日のRSS Gitリポジトリ
2022年の毎日のRSS Gitリポジトリ
2021年の毎日のRSS Gitリポジトリ
2020年の毎日のRSS Gitリポジトリ

リンク

スクリーンショット
インストール、構成
https://renegat0x0.ddns.net/apps/catalog/- YouTubeの交換のように見えるインスタンス
https://renegat0x0.ddns.net/apps/various/-さまざまなものを含むデモインスタンス
検索業界に関するメモ
データ分析
発達

代替案

リンクブックマークのための代替プログラムは存在します。

Hoarder、Grimoire、Bookmarkos、Raindrop、Linkace、Ggather、Zotero、OneKeep、Lasso、Carrylinks、Zlinky、Wakelet、Booky、Webtag、Historious、Knowies

GithubのAwasomeリスト。

どのように機能しますか？

システムは定期的に「ソース」を読み取ります
各「ソース」には、新しいデータが定期的にチェックされます。 RSSフィードは、ソースの1つのタイプです
新しいリンクがデータベースに挿入されます
設定されている場合、毎日のブックマークをリポジトリにエクスポートできます
新しいリンクは、人気のある「キーワード」を入力するために使用されます

コンテンツランキング

優れたページの評価を得るには、優れた基準に従うことが望ましいです。

スキーマバリレーター
W3Cバリデーター
HTMLメタ情報を提供します。オープングラフプロトコルの詳細
簡潔ですが、短すぎない有効なタイトルを提供します
簡潔ではありませんが、短すぎない有効な説明を提供してください
有効な公開日を提供します
有効なサムネイル、メディアイメージを提供します
有効なHTMLステータスコードを提供します。派手なリダイレクトはありません、JavaScriptリダイレクト
RSSフィードを提供します。 htmlメタ情報を提供するhttps://www.petefreitag.com/blog/rss-autodiscovery/
検索エンジンキーワードタグを提供します

あなたのページ、ドメインは他の何千ものページと一緒に存在します。メタデータが認識とページランキングに影響を与えると想像してください。

覚えておいてください：良いページは常に高くランク付けされています。

Googleがそれらを必要としないのなら、なぜ検索エンジンの「キーワード」メタフィールドについて書いているのか疑問に思うかもしれません。まあ私はグーグルが好きではありません。代替ソリューションを存在させたい場合は、よりシンプルな検索エンジンからページを簡単に見つけることができるはずです。 Open Webをサポートする場合は、キーワードフィールドを提供します。

投票ランキング

データベースは、RSSリンクデータベースとユーザー投票によって管理されます。投票の平均は、リンクごとに計算されます。

輸出

いくつかのエクスポートタイプがあります。毎日データをエクスポートできます。

エクスポートはJSONファイル構造をサポートします。

いくつかのデータを維持していますが、それはarchive.orgの交換ではありません。 Webページに関するメタデータのみを保存します：タイトル、説明、サムネイル。

ほとんどのビューには、jsonとしてビューデータを提供する「show json」ボタンが含まれています。これは、インポート、エクスポートのためにスクリプトで使用できます。

輸出の種類：

毎日のデータ - 毎日に独自のディレクトリがあります
毎年のデータ - 毎年情報を個別に保持しています
データは時間に関連していません - データは別々のディレクトリにあり、時間関連ではありません

輸入

管理パネルによって行われます。 JSONデータファイルは、インポートまたは他のdjango-link-archiveアプリ[構築中]に使用できます。

APIキー

管理者は、内容にアクセスするためにログに記録されていないユーザーのAPIキーを作成できます。

形式：

 https://yourpage.com/your-app/index?key=yourgeneratedkey

歴史

独自のWebブラウジング履歴をローカルに保つことができます。ブラウザの履歴やブックマークを忘れてください。

このサーバーにはすべてが存在するため、この自己採用ソリューションを使用すると、何も同期する必要はありません。

YouTubeビデオブラウジングの履歴、またはサブスクリプションを忘れてください。あなたが見るものといつあなたが見るものを制御することができます！

スクリプト

Djangoなしでは、Webスクラップ機能も使用できます。

Djangoアプリケーションなしで使用できるスクリプトがいくつかあります。

Yafr.py-さらに別のフィードリーダー、コマンドラインクライアント
page_props.py-ページプロパティを表示するコマンドラインツール
example_page_crawler.py-ウェブページを介してクロールできるスクリプトの例
example_compare_crawlers.py-異なるクローラーを実行するのにどれくらいの時間がかかるかを示します
converter.py-JSONファイルをSQLiteテーブルに変換します
dataanalyzer.py- JSONファイル / SQLiteテーブルのデータを分析します。データを照会できます
script_server.py-特定のURLのクローラーをディスパッチし、メタデータを取得するために使用できるサーバー
script_client.py-サーバーへの接続に使用できるクライアント、およびcrawlerスクリプトをデバッグする
workspace.py-ワークスペース管理。プロジェクトの更新に使用できます
backup.py-スクリプトからbackup postgresqlデータ

ナビゲーションの容易さ

このプロジェクトは、ナビゲーションのLibaryに提供するために作成されました。したがって、リンクから他の場所へのナビゲーションが必要です。

グーグル
他の検索エンジン、ウィキペディアなど
インターネットアーカイブなどへのリンク

Googleがインターネットアーカイブにリンクしたり、これらの機能のほとんどを導入している場合でも、Corporationがサポートしないことを決定したことがわからないため、これについての作業を継続する必要があります。

連合[建設中]

このプロジェクトはフェデレーションです。したがって、他のDjang-Link-Archiveインスタンスのデータに依存することができます。

あなたはできる：

他のリンクアーカイブインスタンスから自動インポートのプロキシソースを定義する
別のリンクアーカイブインスタンスからリンクを手動でインポートします

プロキシソース[建設中]

最初にシナリオを定義できます。インスタンスAとインスタンスBがあります。インスタンスBはソースを定義しています。

インスタンスAがインターネットから同じデータを取得する必要はありません。インスタンスBからデータを取得したいと思います。

それをするために：

インスタンスBソースに移動します。
希望のソースを見つけてください。
「show json」をクリックします（そのアドレスの場所をコピー）
インスタンスAをソースに移動します。
新しいソースを追加します
インスタンスBアドレス、JSONアドレスリンクを貼り付けます
システムは、ソースタイプがJSONのものであることを提案する必要があります

ユーザー管理[建設中]

プロジェクトは、デフォルトのユーザー認証モジュールを使用します。

エンドゲームのロードマップ。

最初は、新しいユーザーを追加できます。インスタンスを実行するには、連絡先管理者
パスワードを作成するのではなく、適切な複雑さで生成されます。書き留めてください
他のユーザーに連絡してください、他のユーザーも新しいユーザーを追加することができます、カルマがそれを許可する場合

ユーザーへのカルマ効果：

あなたのカルマが0未満になった場合、あなたのアカウントは禁止されています
特定のしきい値の後、新しいリンクを送信できます
特定のしきい値の後、コメントを送信できます
特定のしきい値の後、コメントを昇進させて下向きにすることができます
特定のしきい値の後、ユーザーを作成します（1日1回）

カルマの変化を引き起こすもの：

管理者、またはモデレーター
リンクへの投票を追加します
upvotes、またはコメントのダウンボット
招待した他のユーザーの禁止

ユーザーアクションは、システムによって追跡されます。

ユーザーはエントリのコメントを投稿できます
ユーザーはエントリにタグを付けることができます
ユーザーはエントリに投票できます
システムは限られた量の検索クエリを保存します。ユーザーはコンボボックスから以前のクエリを選択できます
システムは、エントリの訪問の順序を保存します。これにより、各エントリに「関連」セクションを提供できます。たとえば、「y」の後に「x」を登録すると、「x」が「y」関連セクションに表示されます

根拠

多くのプログラムが存在しますが、それらのほとんどにはいくつかの制限があります。

ライセンス：一部のクライアントは、オープンソースではなく、完全にオープンソース（たとえばReddit）ではありません。一部のプログラムは、ユーザーの観点からのプログラムではなく、サービスです。アカウントが必要です。彼らの条件とサービスは変わる可能性があります
インターフェイス：RSSプログラムのほとんどはGUI：Thunderbird、Feederです。どこからでもアクセスできるウェブページ、アプリが欲しかった
検索機能がありません（NextCloud "News"アプリケーション、Thunderbird、Feeder Androidアプリ、Newsboat Linuxアプリ）
タグサポートがありません（Thunderbird、Android Feederアプリ）
一部のプログラムでは、リンク評価を提供しません
インポート /エクスポート：ほとんどのプログラムはそれを行う簡単な方法を提供しません（JSONファイルが必要です！）
スケール：一部のプロジェクトは大きいです。このプロジェクトは、「単一のユーザー」エクスペリエンスの提供に焦点を当てています。ここには多くの依存関係が必要ありません
目標：Reddit、Lemmy Aimはソーシャルメディアエクスペリエンスを提供することです。このプロジェクトは、リンクのデータベースを作成する能力を付与することを目指しています

追加のメモ

私のギアを粉砕するものは何ですか？

Googleは、archive.orgのようなキャッシュされたサイトを見る簡単な方法を提供しません。彼らはそれを持っています、彼らはあなたにそれにアクセスさせません
インターネット上の新しい場所を発見するのは簡単ではありません。いつ見る価値のある「新しい」サイトを見つけたのはいつですか？ブログ？個人的なサイト？ Googleには数十億ページのインデックスがありますが、インターネットは空に見えます
古いWebページはGoogle検索では最初の場所になることはありません
宛先リンクを翻訳するためにGoogle検索にボタンがありません
YouTubeは、ビデオの「関連」セクションを提供します。 Googleが検索中に「関連する」リンクリストを提供しないのはなぜですか？
Amigaや古い技術について何かを見つけるのは本当に難しいです
最初のページの誤acy。 2番目のGoogle検索結果は重要です。 2番目のGoogle検索ページも重要です。「PHP」を検索すると、何千ものフレームワークがあります。これを見る価値のあるプロジェクトがあります。 Google検索を使用して簡単に見つけることができないのはなぜですか？ Googleの検索があまりにも多くのクレジットを提供します

archive.org：

信頼できません。時には痛みを伴うほど遅くなります。それはまだ何もないよりも優れています
ほとんどの主流メディアRSSがカバーされていますが、カバレッジはむらがあります。すべての日がカバーされているわけではありません
Internet Archive（archive.org）は、すべてのRSSソースに毎日のスナップショットを提供しません。時々かなり遅いことがあります。そのようなスナップショットが行われることを確認したいと思います。したがって、リンクをデイリーレポを自分でエクスポートする必要があります。 django RSSアプリは、スナップショットを作成するためにアーカイブにリクエストを行っています

法律上の

データベース内のすべてのリンクをリンクすることはありません。コンテンツがどれほど悪いかのために、いくつかのリンクが重要になるかもしれません。私は皮肉をよく使うので、注意してください！
誰もが忘れられる権利を持っています。データベースからリンクを削除する必要がある場合は、私に連絡してください
私は、リンクからの金銭的補償やそれに関するデータを取得しません。データリンク情報は、RSSソースによってすでに提供されています。 RSSソースは、彼らが無料で提供するものについて責任を負います