rag with amazon opensearch serverless and sagemaker 다운로드 -Amazon rag with amazon opensearch serverless and sagemaker 소스 코드 다운로드

rag with amazon opensearch serverless and sagemaker

기타 소스코드

1.0.0

다운로드

LLM 및 RAG가있는 QA (검색 증강 세대)

이 프로젝트는 LLMS (Large Language Models)와 Amazon OpenSearch Serverless 서비스를 갖춘 응용 프로그램에 대한 질문에 대한 질문입니다. RAG (검색 증강 생성) 접근법을 사용한 응용 프로그램은 Enterprise Knowledge Base 또는 Content의 사용자의 요청과 가장 관련된 정보를 검색하고 사용자의 요청과 함께 프롬프트로 컨텍스트로 묶은 다음 LLM으로 보내 Genai 응답을 얻습니다.

LLM은 입력 프롬프트에 대한 최대 단어 수에 제한이 있으므로 기업의 수천 또는 수백만 문서 중 올바른 구절을 선택하면 LLM의 정확도에 직접적인 영향을 미칩니다.

이 프로젝트에서 Amazon OpenSearch Serverless 서비스는 지식 기반에 사용됩니다.

전체 아키텍처는 다음과 같습니다.

전반적인 워크 플로

CDK 스택을 배포하십시오 (자세한 내용은 여기 참조).
- 텍스트 생성을위한 Sagemaker 엔드 포인트.
- 임베딩을 생성하기위한 Sagemaker 엔드 포인트.
- Amazon은 임베딩을 저장하기위한 서버리스가 없습니다.
Sagemaker Studio에서 jupyterlab을 열고 새 터미널을 엽니 다.
이 프로젝트의 코드 저장소를 복제하려면 터미널에서 다음 명령을 실행하십시오.
```
 git clone https://github.com/aws-samples/rag-with-amazon-opensearch-serverless.git
```
Open data_ingestion_to_opensearch_serverless.ipynb 노트북을 실행하십시오. (자세한 내용은 여기를 참조하십시오)
간단한 응용 프로그램을 실행하십시오. (자세한 내용은 여기를 참조하십시오)

참조

Amazon Sagemaker, Amazon OpenSearch Service, Streamlit 및 Langchain (2023-05-25)과 함께 강력한 질문 응답 봇을 구축하십시오.
Amazon Sagemaker Studio의 Amazon Sagemaker Jumpstart의 독점 기초 모델 사용 (2023-06-27)
Amazon Sagemaker Studio (2023-04-11)에서 Streamlit 앱 구축
Amazon Kendra, Langchain 및 대형 언어 모델 (2023-05-03)을 사용하여 엔터프라이즈 데이터에 대한 고 진수력 생성 AI 응용 프로그램을 신속하게 구축하십시오.
- (Github) Amazon Kendra Retriver 샘플
Amazon Sagemaker Jumpstart (2023-05-02)의 기초 모델과 함께 검색 증강 세대를 사용한 질문 답변
Amazon OpenSearch Service의 벡터 데이터베이스 기능에 대해 설명했습니다
Langchain- 언어 모델로 구동되는 응용 프로그램을 개발하기위한 프레임 워크.
Streamlit- 데이터 앱을 구축하고 공유하는 더 빠른 방법
Amazon OpenSearch Service Workshop에서 ML의 검색 관련성 향상 -Module 7. 증강 생성 검색
Rag-With-Amazon-Kendra- 큰 언어 모델 (LLM) 및 Amazon Kendra를 사용한 응용 프로그램에 대한 질문에 대한 질문
rag-with-Amazon-postgresql-using-pgvector- 큰 언어 모델 (LLM) 및 Amazon Aurora Postgresql을 사용한 응용 프로그램 응용 프로그램
Rag-With-Amazon-Opensearch- LLMS (Langchain)가있는 대형 언어 모델 (LLM) 및 Amazon OpenSearch Service가있는 응용 프로그램에 대한 질문에 대한 질문
rag-with-Haystack and-Amazon-Opensearch- 대형 언어 모델 (LLM)과 Haystack을 사용한 Amazon OpenSearch Service가있는 질문 응답 응용 프로그램