dawnsearch

Dawnsearch

DawnSearch是一种开源的Web搜索引擎，它以含义进行搜索。它使用语义搜索（在含义上进行搜索），使用All-Minilm-L6-V2。它使用usearch进行矢量搜索。它可以索引通用的爬网数据。 Dawnsearch用生锈写。

可以在Dawnsearch.org上获得公共实例。

项目状态

Dawnsearch当前充当分布式（语义）矢量搜索。启动实例时，它将向跟踪器注册。然后，实例可以通过搜索参与网络。可选地，它可以索引通用的爬网数据集并回答查询。

主要项目仍要做：

1. 更好的错误处理。代码中仍然有很多.unwrap（）。
2. 防止故障或恶意实例的鲁棒性。
3. 数据包加密。
4. 通过将索引页面分配到语义上接近内容的实例中提高搜索效率。

需要帮助！

Dawnsearch正在寻找：

1. 人们在Dawnsearch.org上使用搜索，并就结果的使用和质量提供反馈。
2. 有生锈经验的人可以查看代码库，并提供有关更易于阅读和更多ieshomatic生锈的技巧。
3. UI/UX设计器为主和搜索结果页面创建设计。
4. 可以解决“项目状况”下提到的一些问题的生锈开发人员
5. 想要运行自己的实例的人。

请出于任何疑问或反馈，请打开问题。如果您想贡献大型东西，例如功能或重构，请在开始之前打开问题，以免重复工作！

快速开始

这将在最近的Ubuntu上构建并运行“访问终端” Dawnsearch实例，而无需GPU加速。有关其他配置的示例，请参见模式。

 sudo apt-get update && sudo apt-get install -y build-essential pkg-config

# Install rust if you don't have it already:
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

mv DawnSearch.toml.example DawnSearch.toml
RUSTFLAGS='-C target-cpu=native'  cargo run --release

现在，访问http：// localhost：8080访问您自己的DawnSearch实例。您将能够执行搜索，但是您还不能为网络做出贡献。看一下模式，看看如何做到这一点。

如果您想升级到GPU加速度，请尝试此尝试。您需要安装CUDA：

 RUSTFLAGS='-C target-cpu=native'  cargo run --release --features cuda

请注意，在M1/M2 Mac上，“货物安装”无效。 “货物建造”确实可以！

如果您遇到问题，请随时打开问题！

配置

您可以通过Dawnsearch.toml或通过dawnsearch_index_cc等环境变量配置Dawnsearch。

文档

正在进行中！

• Dawnsearch架构
• 有关Buildling Dawnsearch的其他信息
• 数据 - Dawnsearch存储的数据位置。
• Dawnsearch模式 - 您可以运行DawnSearch的不同方式。
• 选择 - 分析和优化。

参见

• 如何在Rust中构建语义搜索引擎 - 关于如何使用Rust -Bert进行语义搜索的出色教程。