dawnsearch

Dawnsearch

DawnSearch는 의미별로 검색되는 오픈 소스 분산 웹 검색 엔진입니다. All-Minilm-L6-V2를 사용하여 시맨틱 검색 (의미 검색)을 사용합니다. 벡터 검색을 위해 usearch를 사용합니다. 공통 크롤링 데이터를 색인화 할 수 있습니다. DawnSearch는 녹으로 작성되었습니다.

공개 인스턴스는 dawnsearch.org에서 제공됩니다.

프로젝트 상태

DawnSearch는 현재 분산 (시맨틱) 벡터 검색으로 기능합니다. 인스턴스를 시작하면 추적기에 등록됩니다. 그런 다음 인스턴스가 검색하여 네트워크에 참여할 수 있습니다. 선택적으로 공통 크롤링 데이터 세트를 색인화하고 답변 쿼리를 할 수 있습니다.

여전히해야 할 주요 항목 :

1. 더 나은 오류 처리. 코드에는 여전히 .unwrap ()가 여전히 많이 있습니다.
2. 오작동 또는 악의적 인 사례에 대한 견고성.
3. 패킷 암호화.
4. 인덱스 된 페이지를 의미 적으로 컨텐츠에 가까운 인스턴스에 배포하여 검색 효율성을 높이십시오.

도움이 필요합니다!

DawnSearch는 다음을 찾고 있습니다.

1. 사람들은 dawnsearch.org에서 검색을 사용하고 결과의 품질과 품질에 대한 피드백을 제공합니다.
2. Rust 경험이있는 사람들은 Codebase를보고 읽기 쉽고 이념적 인 녹을 수 있도록 팁을 제공합니다.
3. 메인 및 검색 결과 페이지에 대한 디자인을 만드는 UI/UX 디자이너.
4. '프로젝트 상태'에 언급 된 일부 문제를 해결할 수있는 녹 개발자
5. 자신의 사례를 실행하려는 사람들.

질문이나 피드백에 대한 문제를 열어주십시오. 기능이나 리팩터와 같은 큰 무언가를 기여하려면 시작하기 전에 문제를 열어서 작업을 수행하지 않도록하십시오!

빠른 시작

이것은 GPU 가속없이 최근 우분투에 '액세스 터미널'Dawnsearch 인스턴스를 구축하고 실행합니다. 다른 구성의 예는 모드를 참조하십시오.

 sudo apt-get update && sudo apt-get install -y build-essential pkg-config

# Install rust if you don't have it already:
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

mv DawnSearch.toml.example DawnSearch.toml
RUSTFLAGS='-C target-cpu=native'  cargo run --release

이제 http : // localhost : 8080으로 이동하여 자신의 Dawnsearch 인스턴스에 액세스하십시오. 검색을 수행 할 수는 있지만 아직 네트워크에 기여하지 않습니다. 어떻게 할 수 있는지 모드를 살펴보십시오.

GPU 가속으로 업그레이드하려면 이것을 시도하십시오. CUDA를 설치해야합니다.

 RUSTFLAGS='-C target-cpu=native'  cargo run --release --features cuda

M1/M2 Mac에서 '화물 설치'는 작동하지 않습니다. 그래도 '화물 빌드'는!

문제가 발생하면 문제를 자유롭게 열십시오!

구성

Dawnsearch.toml 또는 Dawnsearch_index_cc와 같은 환경 변수를 통해 DawnSearch를 구성 할 수 있습니다.

선적 서류 비치

진행중인 작업!

• Dawnsearch 아키텍처
• DawnSearch 건축에 대한 추가 정보
• 데이터 - DawnSearch에서 저장된 데이터의 위치.
• Dawnsearch Modes- DawnSearch를 실행할 수있는 다양한 방법입니다.
• Optmizing- 프로파일 링 및 최적화.

참조하십시오

• Rust에서 시맨틱 검색 엔진을 구축하는 방법 - Rust -Bert를 사용하여 시맨틱 검색을 수행하는 방법에 대한 훌륭한 자습서.