Django link archive

RSS 기능을 갖춘 개인 링크 데이터베이스, 링크 애그리 게이터.

사용 사례

• RSS 리더
• 북마크 관리자
• YouTube 링크 관리자, Frontend
• 매우 간단한 검색 엔진
• 데이터 분석 - 링크 썩음 분석, 다른 소스에서 인용 한 페이지 수, 링크 도메인 분석 등.

특징

일반적인

• 태그가 포함 된 북마크 관리 및 댓글 지원
• '공간'에 대한 지원. '음악', '비디오', '영화'등과 같은 자신의 공간을 정의 할 수 있습니다.
• 트렌드를 찾기위한 키워드 입력 분석
• 광 모드와 다크 모드
• 자동 수출
  • 디렉토리로
  • Github에
• 여러 사용자에 대한 액세스
• 키오스크 모드. URL이 Param "Auto-Refresh"로 추가 될 때 자동 새로 고침 밀리 초 값으로 설정

서비스

• RSS 피드 지원 : YouTube RSS, Reddit RSS, Odysee, Openrss 지원
• Internetarchive 또는 구성된 아카이브 매체를 통한 아카이브 페이지 지원
• Github 지원. 수출. 예를 들어 인터넷 도메인, 사용자, 프로젝트
• YT-DLP 프로젝트를 통한 YouTube 다운로드 지원

크롤링

• 일부 인터넷 크롤링 기능
• 링크 검색. 간단한 구현은 탄성 검색을 사용하지 않습니다
• 프록시 회전을 지원하지 않습니다. 이것은 윤리적 인 웹 스크레이퍼이며 요청이있는 스팸은 안됩니다.
• 구성 가능한 사용자 에이전트, 크롤러, 셀레늄, 요청, 크롬 감지, 크롤리, 쉽게 확장 가능

은둔

• 로컬 데이터, 알고리즘, 광고 없음, 자체 주최
• 사용자 조치 추적. '보기', '검색', '댓글', '기록 탐색'의 역사를 관찰하고 분석 할 수 있습니다.

프로젝트 스위트

• 북마크 된 링크
• 인터넷 도메인, 사용자, 프로젝트
• 2024 년의 일일 RSS git 저장소
• 2023 년의 일일 RSS git 저장소
• 2022 년의 일일 RSS git 저장소
• 2021 년의 일일 RSS git 저장소
• 2020 년의 일일 RSS git 저장소

모래밭

• 스크린 샷
• 설치, 구성
• https://renegat0x0.ddns.net/apps/catalog/- 인스턴스는 YouTube 교체품처럼 보입니다
• https://renegat0x0.ddns.net/apps/various/- 데모 인스턴스는 다양한 것들이 포함되어 있습니다
• 검색 산업에 대한 메모
• 데이터 분석
• 개발

대안

링크 북마크를위한 대체 프로그램이 존재합니다.

Hoarder, Grimoire, Bookmarkos, Raindrop, Linkace, Ggather, Zotero, Onekeep, Lasso, Carrylinks, Zlinky, Wakelet, Booky, Webtag, Historious, Knowies

Github의 Awasome 목록.

어떻게 작동합니까?

• 시스템은 "소스"를 정기적으로 읽습니다
• 각 "소스"는 새로운 데이터에 대해 정기적으로 확인됩니다. RSS 피드는 한 유형의 소스입니다
• 새 링크가 데이터베이스에 삽입됩니다
• 매일 책갈피를 리포지토리로 내보낼 수 있습니다.
• 새로운 링크는 인기있는 "키워드"를 채우는 데 사용됩니다.

순위 알고리즘

각 페이지는 몇 가지 요소로 순위가 매겨집니다.

• 컨텐츠 순위. [0..100] 범위
• 사용자 투표. [-100..100] 범위

결과는 계산에 따라 동일합니다

• 페이지 순위 = 콘텐츠 순위 + 사용자 투표

컨텐츠 순위

좋은 페이지 등급을 받으려면 좋은 표준을 따르는 것이 바람직합니다.

• 스키마 유효성 검사기
• W3C 유효성 검사기
• HTML 메타 정보를 제공하십시오. 열린 그래프 프로토콜의 더 많은 정보
• 간결하지만 너무 짧지는 않지만 유효한 제목을 제공합니다.
• 간결하지만 너무 짧지는 않지만 유효한 설명을 제공합니다.
• 유효한 출판 날짜를 제공하십시오
• 유효한 썸네일, 미디어 이미지를 제공하십시오
• 유효한 HTML 상태 코드를 제공하십시오. 멋진 리디렉션, JavaScript 리디렉션이 없습니다
• RSS 피드를 제공하십시오. IT에 대한 HTML 메타 정보 제공 https://www.petefreitag.com/blog/rss-autodiscovery/
• 검색 엔진 키워드 태그를 제공합니다

귀하의 페이지, 도메인은 수천 개의 다른 페이지와 함께 존재합니다. 메타 데이터가 귀하의 인식 및 페이지 순위에 영향을 미치고 있다고 상상해보십시오.

기억하십시오 : 좋은 페이지는 항상 높은 순위입니다.

Google이 필요하지 않은 경우 검색 엔진 "키워드"메타 필드에 대해 왜 글을 쓰고 있는지 궁금 할 것입니다. 글쎄, 나는 구글을 좋아하지 않는다. 대체 솔루션이 존재하기를 원한다면 더 간단한 검색 엔진에서 페이지를 쉽게 찾을 수 있어야합니다. 오픈 웹을 지원하는 경우 키워드 필드를 제공하십시오.

투표 순위

데이터베이스는 RSS 링크 데이터베이스 및 사용자 투표에서 관리합니다. 각 링크에 대해 평균 투표가 계산됩니다.

내보내다

몇 가지 수출 유형이 있습니다. 매일 데이터를 내보낼 수 있습니다.

내보내기는 JSON 파일 구조를 지원합니다.

우리는 일부 데이터를 유지하지만 Archive.org 교체는 아닙니다. 우리는 웹 페이지에 대한 메타 데이터 만 저장합니다 : 제목, 설명, 썸네일.

대부분의보기에는 "Show JSON"버튼이 포함되어있어보기 데이터를 JSON으로 제공합니다. 이것은 수입, 내보내기에 스크립트에서 사용할 수 있습니다.

수출 유형 :

• 일일 데이터 - 매일 자체 디렉토리가 있습니다
• 연간 데이터 - 매년 정보를 별도로 보유합니다
• 시간 관련이없는 데이터 - 데이터는 별도의 디렉토리에 있으며 시간 관련이 없습니다.

수입

관리자 패널에 의해 수행됩니다. JSON 데이터 파일은 가져 오기 또는 기타 Django-Link-Ararchive 앱 [건설 중]에 사용될 수 있습니다.

API 키

관리자는 기록되지 않은 사용자가 내용에 액세스하도록 API 키를 만들 수 있습니다.

체재:

 https://yourpage.com/your-app/index?key=yourgeneratedkey

역사

자신의 웹 브라우징 기록을 현지에서 유지할 수 있습니다. 브라우저 기록이나 북마크는 잊어 버리십시오.

이 자조 솔루션을 사용하면이 서버의 모든 것이 존재하므로 어떤 것도 동기화 할 필요가 없습니다.

YouTube 비디오 브라우징 기록 또는 구독에 대해서는 잊어 버립니다. 당신은 당신이 보는 것을 제어 할 수 있습니다!

스크립트

Web-Scraping 기능은 Django 없이도 사용할 수 있습니다.

Django 응용 프로그램없이 사용할 수있는 스크립트가 있습니다.

• Yafr.py- 또 다른 피드 리더 인 Commandline Client
• page_props.py- 페이지 속성을 보여주는 CommandLine 도구
• example_page_crawler.py- 웹 페이지를 통해 기어 갈 수있는 예제 스크립트
• example_compare_crawlers.py- 다른 크롤러를 실행하는 데 걸리는 시간을 보여줍니다.
• Converter.py- JSON 파일을 SQLITE 테이블로 변환합니다
• DataAnalyzer.py- JSON 파일 / SQLITE 테이블의 데이터를 분석합니다. 데이터를 쿼리 할 수 ​​있습니다
• script_server.py- 메타 데이터를 얻기 위해 특정 URL의 크롤러를 발송하는 데 사용할 수있는 서버
• script_client.py- 서버에 연결하는 데 사용할 수있는 클라이언트 및 크롤러 스크립트 디버그 클라이언트
• WorkSpace.py- 작업 공간 관리. 프로젝트를 업데이트하는 데 사용할 수 있습니다
• Backup.py- 백업 스크립트 PostgreSQL 데이터

탐색의 용이성

이 프로젝트는 Libary에게 내비게이션을 제공하기 위해 만들어졌습니다. 따라서 링크에서 다른 장소로의 탐색이 있어야합니다.

• Google
• 기타 검색 엔진, 위키 백과 등
• 인터넷 아카이브 링크 등

Google은 인터넷 아카이브에 대한 링크를 구현하거나 이러한 기능의 대부분을 소개하더라도 Corporation이 지원하지 않기로 결정한시기를 알지 못하기 때문에 이에 대한 작업을 계속해야합니다.

연합 [건설 중]

이 프로젝트는 페더레이션되었습니다. 따라서 다른 djang-link-archive 인스턴스의 데이터에 의존 할 수 있습니다.

당신은 할 수 있습니다 :

• 다른 링크 아카이브 인스턴스에서 자동 가져 오기 프록시 소스 정의
• 다른 링크 아카이브 인스턴스에서 링크를 수동으로 가져옵니다

프록시 소스 [건설 중]

먼저 시나리오를 정의 할 수 있습니다. 인스턴스 A와 인스턴스 B가 있습니다. 인스턴스 B는 소스를 정의했습니다.

인스턴스 A가 인터넷에서 동일한 데이터를 가져 오기를 원하지 않습니다. 인스턴스 B에서 데이터를 가져오고 싶습니다.

그렇게하려면 :

• 인스턴스 B 소스로 이동하십시오.
• 원하는 소스를 찾으십시오.
• "JSON 표시"를 클릭하십시오 (주소의 위치 복사)
• 인스턴스 A를 소스로 이동하십시오.
• 새 소스를 추가하십시오
• 인스턴스 B 주소, JSON 주소 링크를 붙여 넣습니다
• 시스템은 소스 유형을 JSON을 제안해야합니다.

사용자 관리 [건설 중]

프로젝트는 기본 사용자 인증 모듈을 사용합니다.

최종 게임을위한 로드맵.

• 처음에는 관리자 만 새 사용자를 추가 할 수 있습니다. 실행중인 경우 관리자에게 문의하십시오
• 당신은 비밀번호를 만들지 않고, 적절한 복잡성으로 당신을 위해 생성됩니다. 적어주세요
• 다른 사용자에게 연락하면 다른 사용자는 Karma가 허용하는 경우 새 사용자를 추가 할 수 있습니다.

사용자에 대한 카르마 효과 :

• 카르마가 0 이하로 올라가면 계정이 금지됩니다.
• 특정 임계 값 후에는 새 링크를 제출할 수 있습니다
• 특정 임계 값 후에 의견을 제출할 수 있습니다
• 일정한 임계 값 후에는 의견을 올릴 수 있습니다
• 특정 임계 값 후에는 사용자를 만듭니다 (하루 1 일)

카르마 변화의 원인 :

• 관리자 또는 중재자
• 링크에 대한 투표 추가
• 댓글에 대한 upvotes 또는 downvotes
• 초대 한 다른 사용자의 금지

사용자 조치는 시스템에 의해 추적되며, 구성된 경우에만 다음과 같습니다.

• 사용자는 항목에 대한 의견을 게시 할 수 있습니다
• 사용자는 항목을 태그 할 수 있습니다
• 사용자는 항목에 투표 할 수 있습니다
• 시스템 저장 제한된 양의 검색 쿼리, 사용자는 Combobox에서 이전 쿼리를 선택할 수 있습니다.
• 시스템은 출입구 방문 순서를 저장합니다. 이를 통해 각 항목에 "관련"섹션을 제공 할 수 있습니다. 예를 들어 "y"이후 "x"를 입력하면 "y"관련 섹션에 "x"가 나타납니다.

이론적 해석

많은 프로그램이 존재하지만 대부분은 몇 가지 제한 사항이 있습니다.

• 라이센스 : 일부 클라이언트는 오픈 소스가 아니거나 완전히 오픈 소스 (예 : Reddit)가 아닙니다. 일부 프로그램은 사용자의 관점에서 프로그램이 아니라 서비스 : 피드, 주머니, 읽기 독자입니다. 그들은 계정이 필요합니다. 그들의 이용 약관과 서비스는 변경 될 수 있습니다
• 인터페이스 : 대부분의 RSS 프로그램은 GUI : Thunderbird, Feeder입니다. 어디서나 액세스 할 수있는 앱인 웹 페이지를 원했습니다.
• 누락 된 검색 능력 (NextCloud "News"응용 프로그램, Thunderbird, Feeder Android 앱, 뉴스 보트 Linux 앱)
• 누락 된 태그 지원 (Thunderbird, Android 피더 앱)
• 일부 프로그램은 링크 등급을 제공하지 않습니다
• 가져 오기 / 내보내기 : 대부분의 프로그램은 쉬운 방법을 제공하지 않습니다 (JSON 파일을 원합니다!)
• 스케일 : 일부 프로젝트는 큽니다. 이 프로젝트는 "단일 사용자"경험을 제공하는 데 중점을 둡니다. 나는 여기에 많은 의존성을 원하지 않습니다
• 목표 : Reddit, Lemmy Aim은 소셜 미디어 경험을 제공하는 것입니다.이 프로젝트는 링크 데이터베이스를 만들 수있는 능력을 부여하는 것을 목표로합니다.

추가 메모

내 기어를 갈아서 무엇이 갈까요?

• Google은 Archive.org와 같이 캐시 된 사이트를 쉽게 볼 수있는 방법을 제공하지 않습니다. 그들은 그것을 가지고 있습니다.
• 인터넷에서 새로운 장소를 발견하는 것은 쉽지 않습니다. 언제 볼 가치가있는 '새로운'사이트를 찾았습니까? 블로그? 개인 사이트? Google에는 수십억 페이지의 색인이 있지만 인터넷은 비어 있습니다.
• 이전 웹 페이지는 Google 검색에서 처음에는 없습니다.
• Google 검색에는 대상 링크를 번역 할 버튼이 없습니다.
• YouTube는 비디오 용 "관련"섹션을 제공합니다. Google이 검색 중에 '관련'링크 목록을 제공하지 않는 이유는 무엇입니까?
• Amiga 또는 Old Tech 물건에 대해 찾는 것은 정말 어렵습니다.
• 첫 페이지 오류. 두 번째 Google 검색 결과는 중요합니다. 두 번째 Google 검색 페이지도 중요합니다. "PHP"를 검색하면 수천 개의 프레임 워크, 볼 가치가있는 프로젝트가 있습니다. Google 검색을 사용하여 쉽게 찾을 수없는 이유는 무엇입니까? 우리는 Google 검색에 너무 많은 크레딧을 제공합니다

archive.org :

• 신뢰할 수 없습니다. 때로는 고통스럽게 느려집니다. 그것은 여전히 ​​아무것도 아닌 것보다 낫습니다
• 대부분의 주류 미디어 RSS는 적용되지만 적용 범위는 스패성입니다. 하루 종일 다루는 것은 아닙니다
• Internet Archive (archive.org)는 모든 RSS 소스에 매일 스냅 샷을 제공하지 않습니다. 때로는 꽤 느립니다. 우리는 그러한 스냅 샷이 이루어 지도록하고 싶습니다. 그러므로 우리는 매일 다시 링크에 링크를 내보내야합니다. Django RSS 앱은 또한 스냅 샷을 만들기 위해 아카이브를 요청합니다.

합법적인

• 데이터베이스의 모든 링크를 보증하지는 않습니다. 콘텐츠가 얼마나 나쁜지 때문에 일부 링크가 중요 할 수 있습니다. 나는 자주 아이러니를 사용하므로 조심하십시오!
• 모든 사람은 잊을 권리가 있습니다. 데이터베이스에서 링크를 제거 해야하는 경우 저에게 연락하십시오.
• 나는 링크 또는 그것에 대한 데이터로부터 어떤 형태의 금전적 보상도 얻지 못한다. 데이터 링크 정보는 이미 RSS 소스에서 제공했습니다. RSS 소스는 무료로 제공하는 것에 대한 책임이 있습니다.

결말 노트

모든 링크는 우리에게 속합니다!