tlgs

TLGS-完全合法的雙子座搜索

概述

TLGS是雙子座的搜索引擎。它對當前的現狀和使用怪異的技術有些過度設計。我為此感到自豪。當前的代碼basse有點混亂 - 我保證將清理它們。主要特徵/特徵如下：

• 使用ART C ++ 20
• 在Gemninispace上的解析和索引文字內容
• 高度同步和異步
• 在PostgreSQL上存儲索引
• 為Linux開發。但是應該在Windows，OpenBSD，Haikuos，MacOS等上工作。
• 僅獲取文件的標題，它無法索引節省bandwith和時間
• 處理各種源編碼
• 使用莎莎算法的鏈接分析

截至目前，新聞網站，RFC，文檔的索引大多是禁用的。但是，一旦我擁有擴展設置的平均值和資源，就可以啟用。

使用此項目

要求

• 德貢
• Nlohmann-Json
• CLI11
• libfmt
• TBB
• xxhash
• ICONV
• Postgresql

構建和運行該項目

建立項目。您需要一個完全C ++ 20的編譯器。以下編譯器應在撰寫此讀數時工作

• GCC> = 11.2
• MSVC> = 16.25

安裝所有依賴關係。並運行命令：

mkdir build
cd build
cmake ..
make -j

創建和維護索引

創建Inital索引：

1. ./tlgs/tlgs_ctl/tlgs_ctl ../tlgs/config.json populate_schema populate_schema
2. 將種子URL放入seeds.text中。
3. 在構建文件夾中，運行./tlgs/crawler/tlgs_crawler -s seeds.text -c 4 ../tlgs/config.json

現在，爬網將開始爬行雙子座，同時還更新過時的索引（如果有）。更新現有索引。跑步：

./tlgs/crawler/tlgs_crawler -c 2 ../tlgs/config.json
# -c is the maximum concurrent connections the crawler will make

注意： TLGS的爬行者是可以分發的。您可以並行運行多個實例。但是，某些目的可能在結束或爬行。儘管它不影響爬行的結果。

運行膠囊

openssl req -new -subj " /CN=my.host.name.space " -x509 -newkey ec -pkeyopt ec_paramgen_curve:prime256v1 -days 36500 -nodes -out cert.pem -keyout key.pem
cd tlgs/server
./tlgs_server ../../../tlgs/server_config.json

通過SystemD

sudo systemctl start tlgs_server
sudo systemctl start tlgs_crawler

服務器配置

search_config.json中的custom_config.tlgs部分（安裝在/etc/tlgs/server_config.json ）中包含TLGS服務器的濃湯。除了通常的Drogon的配置選項。 custom_config更改了TLGS本身的屬性。當前支持的選項是：

排名_algo

排名算法TLGS在搜索結果中使用排名頁面。然後將排名與文本匹配分數結合使用，以產生最終的搜索級別。當前支持的值是hits和salsa 。指命中和莎莎排名算法。如果沒有提供值，它將默認為salsa 。

Salsa的運行速度略高於較大的搜索結果。文學和不可或缺的經驗都表明莎莎提供了更好的排名。因此，我們從命中切換到莎莎醬。

 "ranking_algo" : " salsa " 

戒酒

• 代碼清理
  • 我真的需要集中爬行邏輯
• 隨機爬行順序。避免敲擊一個膠囊
  • 通過以低百分比對頁表進行抽樣表並增加
• 支持解析降價
• 嘗試索引新聞網站
• 更優化爬行者
  • 在更新索引之前檢查哈希
  • ASCII ART檢測中的Peoper UTF-8處理
  • 使用Trie進行黑名單URL匹配
• 使用莎莎的鏈接分析
• BM25用於文本評分
• DEDEUPERATICE搜索結果
• 效果過濾器
• 適當的（？）遷移模式的方式