tlgs

TLGS-完全合法的双子座搜索

概述

TLGS是双子座的搜索引擎。它对当前的现状和使用怪异的技术有些过度设计。我为此感到自豪。当前的代码basse有点混乱 - 我保证将清理它们。主要特征/特征如下：

• 使用ART C ++ 20
• 在Gemninispace上的解析和索引文字内容
• 高度同步和异步
• 在PostgreSQL上存储索引
• 为Linux开发。但是应该在Windows，OpenBSD，Haikuos，MacOS等上工作。
• 仅获取文件的标题，它无法索引节省bandwith和时间
• 处理各种源编码
• 使用莎莎算法的链接分析

截至目前，新闻网站，RFC，文档的索引大多是禁用的。但是，一旦我拥有扩展设置的平均值和资源，就可以启用。

使用此项目

要求

• 德贡
• Nlohmann-Json
• CLI11
• libfmt
• TBB
• xxhash
• ICONV
• Postgresql

构建和运行该项目

建立项目。您需要一个完全C ++ 20的编译器。以下编译器应在撰写此读数时工作

• GCC> = 11.2
• MSVC> = 16.25

安装所有依赖关系。并运行命令：

mkdir build
cd build
cmake ..
make -j

创建和维护索引

创建Inital索引：

1. 初始化数据库./tlgs/tlgs_ctl/tlgs_ctl ../tlgs/config.json populate_schema
2. 将种子URL放入seeds.text中。
3. 在构建文件夹中，运行./tlgs/crawler/tlgs_crawler -s seeds.text -c 4 ../tlgs/config.json

现在，爬网将开始爬行双子座，同时还更新过时的索引（如果有）。更新现有索引。跑步：

./tlgs/crawler/tlgs_crawler -c 2 ../tlgs/config.json
# -c is the maximum concurrent connections the crawler will make

注意： TLGS的爬行者是可以分发的。您可以并行运行多个实例。但是，某些目的可能在结束或爬行。尽管它不影响爬行的结果。

运行胶囊

openssl req -new -subj " /CN=my.host.name.space " -x509 -newkey ec -pkeyopt ec_paramgen_curve:prime256v1 -days 36500 -nodes -out cert.pem -keyout key.pem
cd tlgs/server
./tlgs_server ../../../tlgs/server_config.json

通过SystemD

sudo systemctl start tlgs_server
sudo systemctl start tlgs_crawler

服务器配置

search_config.json中的custom_config.tlgs部分（安装在/etc/tlgs/server_config.json ）中包含TLGS服务器的浓汤。除了通常的Drogon的配置选项。 custom_config更改了TLGS本身的属性。当前支持的选项是：

排名_algo

排名算法TLGS在搜索结果中使用排名页面。然后将排名与文本匹配分数结合使用，以产生最终的搜索级别。当前支持的值是hits和salsa 。指命中和莎莎排名算法。如果没有提供值，它将默认为salsa 。

Salsa的运行速度略高于较大的搜索结果。文学和不可或缺的经验都表明莎莎提供了更好的排名。因此，我们从命中切换到莎莎酱。

 "ranking_algo" : " salsa " 

戒酒

• 代码清理
  • 我真的需要集中爬行逻辑
• 随机爬行顺序。避免敲击一个胶囊
  • 通过以低百分比对页表进行抽样表并增加
• 支持解析降价
• 尝试索引新闻网站
• 更优化爬行者
  • 在更新索引之前检查哈希
  • ASCII ART检测中的Peoper UTF-8处理
  • 使用Trie进行黑名单URL匹配
• 使用莎莎的链接分析
• BM25用于文本评分
• DEDEUPERATICE搜索结果
• 效果过滤器
• 适当的（？）迁移模式的方式