fine tune embedding models on sagemaker

Amazon Sagemaker의 미세 조정 임베딩 모델

이 저장소에는 Amazon Sagemaker를 사용하여 미세 조정 임베딩 모델을위한 샘플이 포함되어 있습니다.
임베딩 모델은 시맨틱 유사성, 텍스트 클러스터링 및 정보 검색과 같은 작업에 유용합니다.
대상 도메인 또는 작업을 대표하는 데이터에 미세 조정 모델을 미세 조정 함으로써이 모델은 해당 영역에 중요한 관련 시맨틱, 전문 용어 및 상황에 맞는 관계를 캡처하는 법을 배울 수 있습니다.
도메인 별 임베딩은 벡터 표현의 품질을 크게 향상시켜 벡터 데이터베이스에서 관련 컨텍스트를보다 정확하게 검색 할 수 있습니다. 이는보다 정확하고 관련성있는 응답을 생성하는 측면에서 RAG 시스템의 성능을 향상시킵니다.

내용물

• sentence-transformer/multiple-negatives-ranking-loss/ :이 디렉토리는 훈련 데이터에서 긍정적 인 쌍을 가질 때 권장되는 다중 네거티브 순위 손실 함수를 사용하여 문장 트랜스 폴더 임베딩 모델을 미세 조정하는 방법을 보여주는 Jupyter 노트북이 포함되어 있습니다. 예를 들어 긍정적 인 쌍을 가질 때 권장됩니다. (source_language, target_language).
  우리는 다중 네거티브 순위 손실 함수를 사용하고 있습니다. 왜냐하면 우리는 일련의 질문과 답변으로 구성된 교육 데이터로 기반암 FAQ를 사용하기 때문입니다.
  이 디렉토리의 코드는 AWS 블로그 게시물에 사용됩니다.

보안

우리는 지역 사회의 기여를 환영합니다! Sagemaker에 미세 조정 임베딩 모델을위한 예제 또는 샘플이 있으면 풀 요청을 제출하십시오. 귀하의 기여는 미세 조정 임베딩 모델의 여정에서 다른 사람들에게 도움이 될 것입니다.

자세한 내용은 기여를 참조하십시오.

특허

이 라이브러리는 MIT-0 라이센스에 따라 라이센스가 부여됩니다. 라이센스 파일을 참조하십시오.