ฐานข้อมูลลิงค์ส่วนบุคคลตัวรวบรวมลิงค์พร้อมฟังก์ชั่น RSS
ใช้เคส
- RSS Reader
- ผู้จัดการบุ๊คมาร์ค
- Youtube Link Manager, Frontend
- เครื่องมือค้นหาที่ง่ายมาก
- การวิเคราะห์ข้อมูล - วิเคราะห์ Link Rot จำนวนหน้าถูกอ้างถึงโดยแหล่งข้อมูลอื่น ๆ วิเคราะห์โดเมนลิงค์ ฯลฯ
คุณสมบัติ
ทั่วไป
- การจัดการบุ๊กมาร์กพร้อมแท็กและการสนับสนุนความคิดเห็น
- สนับสนุน 'ช่องว่าง' คุณสามารถกำหนดช่องว่างของตัวเองเช่น 'เพลง', 'วิดีโอ', 'ภาพยนตร์' ฯลฯ Manged โดยแอพ Django
- การวิเคราะห์รายการคำหลักเพื่อค้นหาแนวโน้ม
- โหมดแสงและโหมดมืด
- การส่งออกอัตโนมัติ
- ไปยังไดเรกทอรี
- ถึง GitHub
- เข้าถึงผู้ใช้หลายคน
- โหมดคีออสก์ รีเฟรชอัตโนมัติเมื่อ URL ถูกผนวกเข้ากับ param "Auto-refresh" ตั้งค่าเป็นค่ามิลลิวินาที
บริการ
- การสนับสนุนฟีด RSS: รองรับ YouTube RSS, Reddit RSS, Odysee, OpenRSS
- รองรับหน้าเก็บถาวรผ่าน Internetarchive หรือสื่อเก็บถาวรที่กำหนดค่าใด ๆ
- สนับสนุน GitHub การส่งออก ตัวอย่างเช่นโดเมนอินเทอร์เน็ตผู้ใช้โครงการ
- YouTube Download Support ผ่านโครงการ YT-DLP
การคลาน
- ความสามารถในการคลานทางอินเทอร์เน็ต
- การค้นหาลิงก์ การใช้งานอย่างง่ายไม่ใช้การค้นหาแบบยืดหยุ่น
- ไม่สนับสนุนการหมุนของพร็อกซี นี่คือเครื่องขูดเว็บที่มีจริยธรรมไม่ควรสแปมกับคำขอ
- ตัวแทนผู้ใช้ที่กำหนดค่าได้, ซอฟต์แวร์รวบรวมข้อมูล, ซีลีเนียม, คำขอ, โครเมี่ยมที่ตรวจไม่พบ, crawlee, ขยายได้ง่าย
ความเป็นส่วนตัว
- ข้อมูลท้องถิ่นไม่มีอัลกอริทึมไม่มีโฆษณาโฮสต์ตัวเอง
- การติดตามการดำเนินการของผู้ใช้ คุณสามารถสังเกตและวิเคราะห์ประวัติของ 'มุมมอง' ของคุณ 'ค้นหา', 'ความคิดเห็น', 'ประวัติการเรียกดู'
ชุดโครงการ
- ลิงก์บุ๊กมาร์ก
- โดเมนอินเทอร์เน็ตผู้ใช้โครงการ
- พื้นที่เก็บข้อมูล RSS Git ประจำวันสำหรับปี 2567
- พื้นที่เก็บข้อมูล RSS Git ประจำวันสำหรับปี 2566
- พื้นที่เก็บข้อมูล RSS Git ประจำวันสำหรับปี 2565
- พื้นที่เก็บข้อมูล RSS Git ประจำวันสำหรับปี 2564
- พื้นที่เก็บข้อมูล RSS Git ประจำวันสำหรับปี 2563
ลิงค์
- ภาพหน้าจอ
- การติดตั้งการกำหนดค่า
- https://renegat0x0.ddns.net/apps/catalog/ - อินสแตนซ์ที่ดูเหมือนการเปลี่ยน YouTube
- https://renegat0x0.ddns.net/apps/various/ - อินสแตนซ์ตัวอย่างซึ่งมีหลายสิ่ง
- หมายเหตุเกี่ยวกับอุตสาหกรรมการค้นหา
- การวิเคราะห์ข้อมูล
- การพัฒนา
ทางเลือก
มีโปรแกรมทางเลือกสำหรับลิงค์บุ๊กมาร์กมีอยู่จริง
Hoarder, Grimoire, Bookmarkos, Raindrop, Linkace, Ggather, Zotero, Onekeep, Lasso, Carrylinks, Zlinky, Wakelet, Booky, Webtag, Historious
รายการ Awasome ที่ GitHub
มันทำงานอย่างไร?
- ระบบอ่าน "แหล่งที่มา" เป็นประจำ
- "แหล่งที่มา" แต่ละรายการจะถูกตรวจสอบอย่างสม่ำเสมอสำหรับข้อมูลใหม่ ฟีด RSS เป็นแหล่งหนึ่งประเภท
- ลิงก์ใหม่จะถูกแทรกลงในฐานข้อมูล
- ทุกวันบุ๊กมาร์กของคุณสามารถส่งออกไปยังที่เก็บหากกำหนดค่า
- ลิงค์ใหม่ใช้เพื่อเติม "คำหลัก" ยอดนิยม
อัลกอริทึมการจัดอันดับ
แต่ละหน้าได้รับการจัดอันดับโดยปัจจัยหลายประการ
- การจัดอันดับเนื้อหา [0..100] ช่วง
- ผู้ใช้โหวต [-100..100] ช่วง
ผลลัพธ์มีค่าเท่ากันตามการคำนวณ
- การจัดอันดับหน้า = การจัดอันดับเนื้อหา + โหวตผู้ใช้
การจัดอันดับเนื้อหา
หากต้องการมีการจัดอันดับหน้าเว็บที่ดีเป็นที่พึงปรารถนาที่จะทำตามมาตรฐานที่ดี:
- ตัวตรวจสอบสคีมา
- ตัวตรวจสอบ W3C
- ให้ข้อมูลเมตา HTML ข้อมูลเพิ่มเติมเกี่ยวกับโปรโตคอล Open Graph
- ให้ชื่อที่ถูกต้องซึ่งกระชับ แต่ไม่สั้นเกินไป
- ให้คำอธิบายที่ถูกต้องซึ่งกระชับ แต่ไม่สั้นเกินไป
- ระบุวันที่สิ่งพิมพ์ที่ถูกต้อง
- ให้ภาพขนาดย่อที่ถูกต้องภาพสื่อ
- ระบุรหัสสถานะ HTML ที่ถูกต้อง ไม่มีการเปลี่ยนเส้นทางแฟนซี JavaScript เปลี่ยนเส้นทาง
- ให้ฟีด RSS ให้ข้อมูล meta html สำหรับมัน https://www.petefreitag.com/blog/rss-autodiscovery/
- ระบุแท็กคำหลักของเครื่องมือค้นหา
หน้าของคุณมีโดเมนอยู่ข้างหน้าอื่น ๆ นับพัน ลองนึกภาพข้อมูลเมตาของคุณมีผลกระทบต่อการรับรู้ของคุณและการจัดอันดับหน้า
ข้อควรจำ: หน้าดีอยู่ในอันดับที่สูงขึ้นเสมอ
คุณอาจสงสัยว่าทำไมฉันถึงเขียนเกี่ยวกับฟิลด์ "คำหลัก" ของเครื่องมือค้นหาหาก Google ไม่ต้องการพวกเขา ฉันไม่ชอบ Google หากเราต้องการให้มีการแก้ปัญหาทางเลือกที่มีอยู่คุณควรค้นหาหน้าเว็บของคุณจากเครื่องมือค้นหาที่ง่ายขึ้นได้อย่างง่ายดาย ระบุฟิลด์คำหลักหากคุณรองรับการเปิดเว็บ
คะแนนโหวต
ฐานข้อมูลได้รับการจัดการโดยฐานข้อมูล RSS Link และการโหวตของผู้ใช้ ค่าเฉลี่ยของคะแนนเสียงจะถูกคำนวณสำหรับแต่ละลิงก์
ส่งออก
มีการส่งออกหลายประเภท ข้อมูลในแต่ละวันสามารถส่งออกได้
การส่งออกสนับสนุนโครงสร้างไฟล์ JSON
เราเก็บรักษาข้อมูลบางอย่างไว้ แต่มันไม่ได้เปลี่ยน archive.org เราจัดเก็บข้อมูลเมตาเท่านั้นเกี่ยวกับหน้าเว็บ: ชื่อเรื่องคำอธิบายภาพขนาดย่อ
มุมมองส่วนใหญ่มีปุ่ม "แสดง JSON" ที่ให้ข้อมูลมุมมองเป็น JSON สคริปต์สามารถใช้งานได้สำหรับการนำเข้าส่งออก
ประเภทของการส่งออก:
- ข้อมูลรายวัน - ในแต่ละวันมีไดเรกทอรีของตัวเอง
- ข้อมูลรายปี - ในแต่ละปีจะมีข้อมูลแยกกัน
- ข้อมูลไม่เกี่ยวข้องกับเวลา - ข้อมูลอยู่ในไดเรกทอรีแยกต่างหากและไม่เกี่ยวข้องกับเวลา
นำเข้า
ทำโดยแผงผู้ดูแลระบบ ไฟล์ข้อมูล JSON สามารถใช้สำหรับการนำเข้าหรือแอพ Django-link-archive อื่น ๆ [กำลังก่อสร้าง]
คีย์ API
ผู้ดูแลระบบสามารถสร้างคีย์ API เพื่อไม่ให้ผู้ใช้เข้าสู่ระบบเพื่อเข้าถึงเนื้อหา
รูปแบบ:
https://yourpage.com/your-app/index?key=yourgeneratedkey
ประวัติศาสตร์
คุณสามารถรักษาประวัติการท่องเว็บของคุณเองได้ ลืมประวัติเบราว์เซอร์หรือบุ๊กมาร์ก
ด้วยการแก้ปัญหาที่เป็นเอกภาพนี้คุณไม่จำเป็นต้องซิงค์อะไรเลยเนื่องจากทุกอย่างอยู่บนเซิร์ฟเวอร์นี้
ลืมเกี่ยวกับประวัติการท่องวิดีโอ YouTube หรือการสมัครสมาชิก คุณสามารถควบคุมสิ่งที่คุณเห็นและเมื่อไหร่!
สคริปต์
ฟังก์ชั่นการสแครปเว็บสามารถใช้งานได้โดยไม่ต้องใช้ django
มีสคริปต์บางอย่างที่สามารถใช้งานได้โดยไม่ต้องใช้แอปพลิเคชัน Django:
- yafr.py - ยังเป็นเครื่องอ่านฟีดอื่นไคลเอนต์ Commandline
- page_props.py - เครื่องมือ commandline ที่แสดงคุณสมบัติหน้า
- example_page_crawler.py - สคริปต์ตัวอย่างที่สามารถรวบรวมข้อมูลผ่านเว็บเพจ
- example_compare_crawlers.py - แสดงเวลาใช้เวลาในการเรียกใช้งานซอฟต์แวร์รวบรวมข้อมูลที่แตกต่างกันมากแค่ไหน
- converter.py - แปลงไฟล์ JSON เป็นตาราง sqlite
- DataAnalyzer.py - วิเคราะห์ข้อมูลในตาราง JSON / SQLite Table คุณสามารถสอบถามข้อมูลได้
- script_server.py - เซิร์ฟเวอร์ที่สามารถใช้ในการจัดส่งตัวรวบรวมข้อมูลสำหรับ URL บางตัวเพื่อรับข้อมูลเมตา
- script_client.py - ไคลเอนต์ที่สามารถใช้ในการเชื่อมต่อกับเซิร์ฟเวอร์
- Workspace.py - การจัดการพื้นที่ทำงาน สามารถใช้เพื่ออัปเดตโครงการ
- backup.py - สคริปต์ข้อมูลสำรองข้อมูล postgreSql
ความสะดวกในการนำทาง
โครงการนี้ถูกสร้างขึ้นเพื่อให้ Libary ของการนำทาง ดังนั้นจากลิงค์ควรมีการนำทางไปยังที่อื่น ๆ :
- Google
- เครื่องมือค้นหาอื่น ๆ วิกิพีเดีย ฯลฯ
- ลิงก์ไปยัง Internet Archive ฯลฯ
แม้ว่า Google จะใช้ลิงก์ไปยัง Internet Archive หรือแนะนำคุณสมบัติเหล่านี้ส่วนใหญ่เราควรทำงานต่อไปตามที่เราไม่เคยรู้เลยว่าเมื่อใดที่ บริษัท ตัดสินใจที่จะไม่สนับสนุน
สหพันธรัฐ [อยู่ระหว่างการก่อสร้าง]
โครงการนี้เป็นสหพันธ์ ดังนั้นคุณสามารถพึ่งพาข้อมูลจากอินสแตนซ์ djang-link-archive อื่น ๆ
คุณสามารถ:
- กำหนดแหล่งพร็อกซีของการนำเข้าอัตโนมัติจากอินสแตนซ์เก็บถาวรลิงค์อื่น ๆ
- นำเข้าลิงค์ด้วยตนเองจากอินสแตนซ์เก็บถาวรลิงค์อื่นหรือ
แหล่งพร็อกซี [กำลังก่อสร้าง]
ก่อนอื่นให้กำหนดสถานการณ์ คุณมีอินสแตนซ์ A และอินสแตนซ์ B. อินสแตนซ์ B ได้กำหนดแหล่งที่มา
คุณไม่ต้องการอินสแตนซ์ A เพื่อดึงข้อมูลเดียวกันจากอินเทอร์เน็ต คุณต้องการดึงข้อมูลจากอินสแตนซ์ B
ที่จะทำเช่นนั้น:
- นำทางไปยังแหล่งข้อมูล B
- ค้นหาแหล่งที่ต้องการของคุณ
- คลิก "แสดง JSON" (คัดลอกตำแหน่งของที่อยู่นั้น)
- นำทางในอินสแตนซ์ A ไปยังแหล่งที่มา
- เพิ่มแหล่งใหม่
- วางที่อยู่อินสแตนซ์ b ลิงค์ที่อยู่ JSON
- ระบบควรแนะนำประเภทต้นทางให้เป็น JSON
การจัดการผู้ใช้ [กำลังก่อสร้าง]
โครงการใช้โมดูล Auth ผู้ใช้เริ่มต้น
ROADMAP สำหรับเกมสิ้นสุด
- ในตอนแรกผู้ดูแลระบบเท่านั้นที่สามารถเพิ่มผู้ใช้ใหม่ได้ สำหรับการรันอินสแตนซ์ผู้ดูแลระบบติดต่อ
- คุณไม่ได้สร้างรหัสผ่านพวกเขาถูกสร้างขึ้นสำหรับคุณด้วยความซับซ้อนที่เหมาะสม กรุณาเขียนลงไป
- ติดต่อผู้ใช้รายอื่นผู้ใช้รายอื่นสามารถเพิ่มผู้ใช้ใหม่ได้หากกรรมอนุญาต
Karma Effect กับผู้ใช้:
- หากกรรมของคุณต่ำกว่า 0 บัญชีของคุณถูกแบน
- หลังจากเกณฑ์บางอย่างคุณสามารถส่งลิงค์ใหม่
- หลังจากเกณฑ์บางอย่างคุณสามารถส่งความคิดเห็น
- หลังจากเกณฑ์บางอย่างคุณสามารถโหวตได้และความคิดเห็น downvote
- หลังจากเกณฑ์บางอย่างคุณสร้างผู้ใช้ (1 ต่อวัน)
อะไรทำให้เกิดการเปลี่ยนแปลงของกรรม:
- ผู้ดูแลระบบหรือผู้ดูแล
- เพิ่มโหวตสำหรับลิงค์
- upvotes หรือ downvotes ในความคิดเห็น
- แบนของผู้ใช้รายอื่นที่คุณเชิญ
การกระทำของผู้ใช้จะถูกติดตามโดยระบบเฉพาะในกรณีที่มีการกำหนดค่า:
- ผู้ใช้สามารถโพสต์ความคิดเห็นสำหรับรายการ
- ผู้ใช้สามารถติดแท็กรายการ
- ผู้ใช้สามารถลงคะแนนสำหรับรายการ
- ระบบจัดเก็บคำค้นหาจำนวน จำกัด ผู้ใช้สามารถเลือกแบบสอบถามก่อนหน้านี้จาก Combobox
- ระบบจัดเก็บคำสั่งของการเข้าชมในรายการ สิ่งนี้ช่วยให้สามารถจัดเตรียมส่วน "ที่เกี่ยวข้อง" สำหรับแต่ละรายการ ตัวอย่างเช่นถ้าคุณใช้รายการ "x" หลังจาก "y" ดังนั้น "x" จะปรากฏในส่วนที่เกี่ยวข้อง "y"
เหตุผล
มีหลายโปรแกรม แต่ส่วนใหญ่มีข้อ จำกัด บางประการ
- ใบอนุญาต: ลูกค้าบางรายไม่ใช่โอเพ่นซอร์สหรือไม่โอเพ่นซอร์สทั้งหมด (เช่น reddit) บางโปรแกรมไม่ใช่โปรแกรมจากมุมมองของผู้ใช้ แต่เป็นบริการ: ป้อน, กระเป๋า, เครื่องอ่านแบบอ่าน พวกเขาต้องการบัญชี ข้อกำหนดและบริการของพวกเขาสามารถเปลี่ยนแปลงได้
- อินเตอร์เฟส: โปรแกรม RSS ส่วนใหญ่คือ GUI: Thunderbird, Feeder ฉันต้องการหน้าเว็บแอพที่สามารถเข้าถึงได้จากทุกที่
- ความสามารถในการค้นหาที่ขาดหายไป (แอปพลิเคชัน "ข่าว" NextCloud, Thunderbird, แอพ Feeder Android, แอพ Newsboat Linux)
- Missing Tag Support (Thunderbird, Android Feeder App)
- บางโปรแกรมไม่มีการจัดอันดับลิงก์
- นำเข้า / ส่งออก: โปรแกรมส่วนใหญ่ไม่มีวิธีที่ง่ายในการทำเช่นนั้น (ฉันต้องการไฟล์ JSON!)
- มาตราส่วน: บางโครงการมีขนาดใหญ่ โครงการนี้มุ่งเน้นไปที่การให้ประสบการณ์ "ผู้ใช้รายเดียว" ฉันไม่ต้องการการพึ่งพามากมายที่นี่
- เป้าหมาย: Reddit, Lemmy AIM คือการมอบประสบการณ์โซเชียลมีเดียโครงการนี้มีวัตถุประสงค์เพื่อให้ความสามารถในการสร้างฐานข้อมูลลิงก์
หมายเหตุเพิ่มเติม
อะไรที่ทำให้เกียร์ของฉันบด?
- Google ไม่ได้ให้วิธีที่ง่ายในการดูไซต์ที่แคชเช่น Archive.org พวกเขามีมันพวกเขาไม่ปล่อยให้คุณเข้าถึงได้
- ไม่ใช่เรื่องง่ายที่จะค้นพบสถานที่ใหม่ ๆ บนอินเทอร์เน็ต คุณพบไซต์ 'ใหม่' ที่ควรค่าแก่การดูเมื่อไหร่? บล็อก? เว็บไซต์ส่วนตัว? Google มีดัชนีหลายพันล้านหน้า แต่อินเทอร์เน็ตก็ดูว่างเปล่า
- หน้าเว็บเก่าจะไม่เคยอยู่ในอันดับแรกในการค้นหาของ Google
- ไม่มีปุ่มใน Google Search เพื่อแปลลิงค์ปลายทาง
- YouTube จัดเตรียมส่วน "ที่เกี่ยวข้อง" สำหรับวิดีโอ ทำไม Google ไม่ให้รายการลิงก์ 'ที่เกี่ยวข้อง' ในการค้นหา
- เป็นเรื่องยากมากที่จะหาอะไรเกี่ยวกับ Amiga หรือ Old Tech
- การเข้าใจผิดหน้าแรก ผลการค้นหาของ Google ครั้งที่สองมีความสำคัญ หน้าค้นหาของ Google ที่สองก็มีความสำคัญเช่นกัน ถ้าฉันค้นหา "PHP" มีกรอบหลายพันเฟรมเวิร์กโครงการที่ควรค่าแก่การดู ทำไมฉันไม่พบพวกเขาโดยใช้การค้นหาของ Google ได้อย่างง่ายดาย เราให้เครดิตกับ Google มากเกินไป
Archive.org:
- ไม่น่าเชื่อถือ บางครั้งมันก็ช้าลงอย่างเจ็บปวด มันยังดีกว่าไม่มีอะไร
- สื่อกระแสหลักส่วนใหญ่ได้รับการคุ้มครอง แต่ความครอบคลุมนั้นไม่แน่นอน ไม่ครอบคลุมทุกวัน
- Internet Archive (Archive.org) ไม่ได้ให้สแน็ปช็อตสำหรับทุก ๆ วันสำหรับแหล่ง RSS ทั้งหมด บางครั้งมันค่อนข้างช้า เราต้องการให้แน่ใจว่าสแน็ปช็อตดังกล่าวเกิดขึ้น ดังนั้นเราจำเป็นต้องส่งออกลิงก์ไปยัง repo ประจำวันด้วยตนเอง แอป Django RSS ยังขอให้มีการเก็บถาวรเพื่อสร้างภาพรวม
ถูกกฎหมาย
- ฉันไม่รับรองลิงก์ใด ๆ ทุกลิงก์ในฐานข้อมูล ฉันอาจลิงก์บางอย่างมีความสำคัญเนื่องจากเนื้อหาแย่แค่ไหน ฉันใช้ประชดบ่อย ๆ ดังนั้นระวัง!
- ทุกคนมีสิทธิ์ที่จะลืม หากลิงค์ใด ๆ ควรถูกลบออกจากฐานข้อมูลโปรดติดต่อฉัน
- ฉันไม่ได้รับรูปแบบการชดเชยทางการเงินจากลิงก์หรือข้อมูลเกี่ยวกับมัน ข้อมูลลิงค์ข้อมูลได้รับการจัดหาโดยแหล่งข้อมูล RSS แล้ว แหล่งที่มาของ RSS รับผิดชอบต่อสิ่งที่พวกเขาให้ไว้โดยไม่เสียค่าใช้จ่าย
ตอนจบหมายเหตุ
ลิงก์ทั้งหมดเป็นของเรา!