Unlinked

링크되지 않았습니다

Finted는 StackoverFlow, Medium 및 유사한 포럼과 같은 플랫폼과 같은 커뮤니티 기반 게시물에서 관련없는 링크를 식별하고 감지하도록 설계된 웹 스크레이퍼입니다.

작동 방식

연결되지 않은 것은 벡터 기반 유사성 감지를 활용하여 게시물 내 링크의 관련성을 분석합니다. 핵심 개념은 벡터 데이터베이스 사용을 중심으로 구축되며, 이는 방대한 데이터 코퍼스에서 미리 훈련됩니다. 스크레이퍼는 인기있는 NLP 라이브러리 인 Spacy를 사용하여 단어와 문장 임베딩을 계산합니다.

벡터 공간에서 의미 적으로 관련된 단어 또는 문장은 그 사이에 더 작은 각도를 갖는 경향이있어 코사인 유사성 점수가 높습니다. 반대로, 관련이없는 단어 나 문장은 더 큰 각도를 가지므로 더 낮거나 부정적인 코사인 유사성을 초래합니다. 이를 통해 응용 프로그램은 게시물의 링크가 콘텐츠와 문맥 상 관련되어 있는지 여부를 결정할 수 있습니다.

시작하기

현지에서 실행

로컬 컴퓨터에서 연결되지 않은 실행을하려면 아래 단계를 따르십시오.

1. 저장소 복제 :

   git clone https://github.com/Aashish1-1-1/Unlinked

2. 프로젝트 디렉토리로 이동하십시오.

    cd Unlinked/unlinked

3. Docker 이미지 구축 :

   sudo docker build -t unlinked .

4. 응용 프로그램 실행 :

   sudo docker run -i unlinked