Verdant_Search下載Verdant_Search源代碼下載

Verdant_Search

其他源碼

1.0.0

下載

verdant search

目前為了考慮後端的負載量，將搜索引擎的後端改成了flask
但是其臨時存儲結構CubeQL用了fastapi
官網: http://115.29.198.35 作者郵箱：[email protected]

Key Feature

搜索引擎會自動從其他搜索引擎上尋找數據庫缺失的搜索結果，自動更新
直接關聯有道詞典，查詞更方便
搜索沒有廣告，界面更加簡潔
無痕搜索，不會產生大數據殺熟
對csdn等博客網頁實現去相似化，提高了搜索效率(coming)
插件系統即將上線
支持實時在線反饋bug和建議
分佈式爬蟲+自我實現的臨時數據庫(CubeQL)

運行截圖

預覽1

預覽2

CubeQL

用於青荇搜索的臨時存儲結構，實現類似redis的功能，同時還能通過布隆過濾器模塊來過濾已經爬蟲過的網址，用作去重

預計使用vlang進行速度優化

0.1.1更新階段

實現了對數據庫內關鍵詞的網頁動態排序
將後端改成了flask，其他的仍然使用fastapi

0.1.2 更新

對分佈式爬蟲爬取的statuscode出現404仍然收錄的問題進行優化增加了搜索結果網頁排序和權值增加（重定向）

0.1.3 更新

對其他搜索引擎進行爬蟲匯總
修復了一些bug
實現了bloomfilter布隆過濾器的實現，讓篩選直接從mysql中脫離，接下來要實現mysql分庫存儲數據，減輕負擔
並且實現了一個定時保存器
對其他搜索引擎的爬蟲使用了selenium

0.1.4 更新2020/01/30

增加了crisp API方便用戶提交意見
實現了postgresql的轉移（從mysql）
增加了對bing的結果爬蟲（沒實現）
解決了之前對搜素聯想詞的機制優化，現在只要輸入一個新字符就會發送請求
修復了爬蟲和cubeql的已知bug

0.2 更新2020/02/27

發現了二次分詞搜索關鍵詞的bug
發現了postgresql在爬蟲時數據類型的bug
新增了對關鍵詞的必應爬蟲，現在搜不到的關鍵詞爬蟲會自動去必應搜索獲取
修改了爬蟲和搜索主程序的部分邏輯問題

0.2.1 更新2021/08/05

增加了青荇趨勢(/trend)
修改了cubeql的爬蟲處理隊列的規則
修復已知bug

0.3.1 更新2021/09/29

插件系統上線(The extension system is released)
新增一個插件: huyaoiBlog
預計接下來更新會很大一部分和插件相關

0.3.6 更新2021/12/15

優化了很多目錄結構
修復了很多bug
並且新增了每日一詞的功能
好像性能提升了一點

User-agent

Mozilla/5.0 (compatible;VerdantSpider/1.0)

To-do

增加一些必要的搜索引擎權值動態更新的功能(done)
實現中文->拼音的模糊搜索(需要建立新的映射表)
實現分割數據庫存儲
轉換為postgresql(done)
統計每次搜索的細節，方便總結(done)
添加cubeql實現的分佈式鎖
實現搜單詞保存在雲端，服務器不需要多次爬蟲
實現點擊音量圖標後再爬蟲音頻
實現vlang代替大部分python功能，優化性能
實現每日搜索熱點
實現各種搜索引擎的智能匯總
用容器管理環境，實現一鍵部署和一鍵運行
對搜索的每個單條索引進行壽命週期，過一段陣子就會降低權值（需要新的程序來維護）(done)
實現simhash，實現csdn等博客類網站的去重
支持多樣化搜索，更人性化的篩選器

postgresql 參考版本為11.10

Environment

python >= 3.6

flask

fastapi==0.54.1

psycopg2

starlette

requests_html

jieba

demjson

bloomfilter_live

gevent

遷移postgresql遇到的問題

postgresql只支持單引號來包含字符串
用戶名和mysql不一樣
postgresql有模式，但是不需要注意sql修改，因為會自動指向public模式

使用方法

目錄結構

├─.vscode
├─docs
├─resources
│ ├─config
│ ├─CubeQL
│ │ └─__pycache__
│ ├─lib
│ ├─Spider
│ │ └─__pycache __ │ ├─static
│ │ ├─css
│ │ ├─img
│ │ └─music
│ ├─templates
│ └─__pycache __
└─sql

docs : 定期存放文檔

resources ：源碼存放目錄

config：配置文件json的備用存放目錄（真正調用在根目錄，目前尚未完成對目錄結構的優化

CubeQL：存放CubeQL相關源碼的目錄

Spider：存放爬蟲的目錄

lib：存放requirements

static：存放靜態文件

templates：存放模板文件

sql：存放備用的建表sql文件

backend.py - 搜素引擎後端文件

config.json - 配置文件，只有在運行代碼的根目錄的json文件才生效