pdf bundle 다운로드 pdf bundle 소스 코드 다운로드

pdf bundle

기타 소스코드

1.0.0

다운로드

PDF 번들

이 테이크 홈 프로젝트는 72 시간 미만의 기간 내에 설계되어 선임 MLOPS 역할을위한 채용 프로세스의 단계 역할을합니다.

PDF 번들은 AWS S3 버킷에 저장된 PDF 문서에서 텍스트를 추출하도록 설계된 도구입니다.이 문서를 작은 조각으로 분류하고 문장 변압기를 사용하여 벡터 임베딩을 생성합니다. 그런 다음 이러한 임베딩은 효율적인 저장 및 검색을 위해 Pinecone 벡터 데이터베이스에 저장됩니다.

PDF 번들은 FastApi를 통해 사용자 친화적 인 인터페이스를 제공합니다. query_search 엔드 포인트는 프롬프트 기반 검색을 용이하게하여 사용자가 쿼리를 입력하고 가장 유사한 벡터 임베딩을 신속하게 검색 할 수 있습니다. 이러한 유사성은 벡터 간의 의미 론적 유사성을 포착하는 코사인 유사성을 사용하여 결정됩니다. 유용성에 대한 응답을 단순화하면서 PDF 번들은 S3 버킷에 대한 자세한 응답을 자동으로 업로드하여 투명성을 보장합니다. PDF 번들은 원활한 통합과 강력한 기능을 통해 가장 유사한 벡터 임베딩을 효율적으로 밝혀냅니다.

특징

AWS S3 버킷에 저장된 PDF 문서에서 텍스트를 추출하십시오.
효율적인 처리를 위해 문서를 작은 조각으로 분할하십시오.
문장 변압기를 사용하여 각 문서 조각에 대한 벡터 임베드를 생성합니다.
FastApi를 사용하여 사용자 정의 프롬프트를 기반으로 유사한 임베딩을 쿼리하기위한 API 엔드 포인트를 만듭니다.
쉽게 관리하고 검색 할 수 있도록 Pinecone Vector 데이터베이스에 벡터 임베드를 저장 및 쿼리하십시오.
사용자가 정수 N_TOP를 할당하여 가장 유사한 k 벡터를 찾을 수 있습니다.

용법

PDF 번들 API 서버가 다음 서버에서 실행 중인지 확인하십시오.
응용 프로그램은 배치 및 접근 가능합니다 : Railway.
경고 : 무료 인스턴스 스핀 다운 지연
렌더가 제공하는 무료 인스턴스는 비 활동으로 인해 스핀 다운을 경험할 수 있습니다. 이로 인해 요청을 처리 할 때 50 초 이상의 지연이 발생할 수 있습니다. 웹 브라우저가 페이지를로드하려고하는 동안 인내하십시오.
다음 JSON 페이로드와 함께 API endpoint /query_search 에 게시물 요청을 보내십시오.
```
{
    "prompt" : " your_user_defined_prompt " ,
    "n_top" : 5
}
```
"your_user_defined_prompt" 사용하려는 프롬프트로 바꾸십시오. "n_top" 코사인 동시성에 따라 검색하려는 유사한 임베드 수를 사용하십시오.
제공된 프롬프트와 가장 유사한 임베딩을 포함하는 응답을받습니다.