distributed search engine

분산 검색 엔진

분산 시스템 용 학기 프로젝트 (2017-2018 년 봄)

특정 위치에서 검색어 및 범주의 주파수를 기반으로 동적 복제본을 생성하는 분산 검색 엔진.

문제:

단일 중앙 서버는 처음에 (미국에서) 설정되어 있으며 전 세계 사용자로부터 검색 쿼리를 수신합니다. 이제 특정 주제에 대한 인도의 많은 사용자가 축구라고 말하면 Central Server는 인도에서 축구 및 관련 용어에 관한 데이터를 동적으로 포함하는 복제본을 설정합니다. 인도의 축구 또는 이와 유사한 질문이 포함 된 모든 요청은 이제 인도의 복제본으로갑니다. 이제 인도의 복제본이 오랫동안 관련 쿼리를받지 못하는 경우, 더 많은 지수를 포함 해야하는 경우 마스터 서버는 인도에서 동적으로 생성 된 복제본의 데이터에서 유휴 지수를 삭제합니다. 또한, 마스터 서버는 실패 (고장-방해)의 경우 마스터로 인수하기 위해 백업 서버를 실행해야하므로 동적 복제와 관련된 메타 데이터는 순차적으로 일관성이 있어야합니다.

구현 된 고급 기능 :

1. 검색 쿼리를 생성하는 클라이언트/클라이언트 세트와 관련하여 자주 액세스하는 검색 결과 데이터를 최상의 서버로 복제합니다.
2. 유사한 데이터 항목도 복제해야합니다. 구현을 쉽게하기 위해 유사성 행렬을 하드 코딩 할 수 있습니다.
3. 복제 서버에 저장할 수있는 고정 된 수의 인덱스가 있습니다. 따라서 최근에 가장 적게 액세스 한 복제 된 데이터는 새 데이터가 관련 될 때 교체해야합니다.
4. 메타 데이터는 마스터와 백업간에 순차적으로 일관성이 있습니다.
5. 검색 결과는 건전하고 완전해야합니다

이정표 :

• 고객이 마스터로부터 응답을 받도록하십시오
• 더미 데이터 및 유사성 매트릭스를 준비하십시오
• 마스터 준비를 위해 백업 시스템을 얻으십시오
• Crawler 프로세스에서 마스터 및 백업에 대한 쓰기를 동기화합니다
• 장소와 쿼리를 기반으로 동적 복제품을 설정하고 새로운 쿼리를 전달하십시오.
• 새로운 쿼리를 오랫동안 얻지 못하는 경우 복제품 수축.
• 동적 복제가 실패 할 경우 새로운 복제본을 만드십시오