advanced rag router with amazon bedrock

advanced rag router with amazon bedrock

기타 소스코드

1.0.0

다운로드

Amazon Bedrock으로 Advanced Rag Router 기반 어시스턴트 구축

이 저장소에는 참가자들이 Amazon Bedrock과 Amazon OpenSearch Serverless (ASS)를 사용하여 검색 증강 생성 (RAG) 라우터 기반 아키텍처를 사용하는 방법을 배울 수있는 코드 샘플이 포함되어있어 최신 정보를 사용하여 사용자와 대화하는 보안 보조원을 신속하게 구축합니다. 참가자는 또한이 어시스턴트가 대화 유도 정보 검색을 사용하여 사용자에게 응답하는 방법을 배웁니다.

개요

Amazon Bedrock은 단일 API를 통해 액세스 할 수있는 주요 AI 회사에서 고성능 파운데이션 모델 (FMS)을 선택할 수있는 완전한 관리 서비스와 함께 생성 된 AI 응용 프로그램을 구축하는 데 필요한 광범위한 기능 세트와 함께 개인 정보 및 보안을 유지하면서 개발을 단순화하는 데 필요한 광범위한 기능 세트를 제공합니다.

대형 언어 모델 (LLM)은 자연스러운 랑우지를 입력으로 취할 수있는 기초 모델이며,이를 처리하고 이해하고 자연어를 생산하는 능력으로 자연스럽게 생산할 수 있습니다. LLM은 또한 분류, 요약, 단순화, 엔티티 인식 등과 같은 작업을 수행 할 수 있습니다.

LLM은 일반적으로 그 시점까지 사용할 수있는 데이터로 오프라인으로 훈련됩니다. 결과적으로 LLM은 그 날짜 이후에 세계에 대한 지식을 가지고 있지 않을 것입니다. 또한 LLM은 매우 일반적인 도메인 Corpora에 대해 교육을 받으므로 도메인 별 작업에 덜 효과적입니다. 그리고 LLM은 모델이 잘못되었거나 무의미하거나 실제가 아닌 텍스트를 생성하는 곳에서 환각을주는 경향이 있습니다. RAG (Retrieval Augment Generation) 메커니즘을 사용하면 이러한 모든 문제를 완화하는 데 도움이 될 수 있습니다. RAG 아키텍처에는 외부 데이터 소스에서 사용자의 프롬프트의 텍스트와 밀접하게 일치하는 데이터를 검색하고 LLM으로 전송하기 전에 프롬프트를 증대시키는 데 사용합니다. 이 프롬프트 증강은 LLM이 프롬프트에 응답하는 데 사용할 수있는 컨텍스트를 제공합니다.

Mulitple DataSources가있는 경우 실제 검색을 수행하기 전에 Retreival 요청을 적절한 데이터 소스로 전환해야합니다. 이것은 Rag 라우터 패턴입니다.

이 저장소에는 Amazon Bedrock에서 호스팅 된 LLM (Lange Lange Model)을 사용하여 고급 Rag 라우터 기반 어시스턴트를 구축하고 시맨틱 검색을 통해 데이터를 벡터화, 저장 및 검색하기위한 Amazon Bedrock의 지식 기반을 사용하는 프로세스를 안내하는 코드가 포함되어 있습니다. Amazon OpenSearch Serverless는 벡터 인덱스로 사용됩니다.

시작하려면

사용할 AWS 계정을 선택하고 해당 계정의 모든 리소스를 작성하십시오.
인류 클로드 3 및 타이탄 임베딩 G1- 텍스트 모델이있는 Amazon 기반암이있는 AWS 지역을 식별하십시오.
해당 지역에서 새로 만들거나 선택한 기존 Amazon S3 버킷을 사용하십시오. 이 버킷을 AWS CloudFormation에서 읽을 수 있는지 확인하십시오.
다음 절차를 사용하여 py312_opensearch-py_requests_and_requests-aws4auth.zip 이라는 Lambda 레이어 파일을 작성하고 3 단계에서와 동일한 Amazon S3 버킷에 업로드하십시오.
- Windows 10 이상에서 :
  1. Python 3.12 및 PIP가 사용자의 경로 변수에 설치되어 설정되어 있는지 확인하십시오.
  2. 7-zip을 다운로드하고 C:/Program Files/7-Zip/ 에 설치하십시오.
  3. Windows 명령 프롬프트를 엽니 다.
  4. 새 디렉토리와 cd 작성하십시오.
  5. 해당 디렉토리 내부에서 lambda_layer_file_create.bat를 실행하십시오.
  6. 이것은 py312_opensearch-py_requests_and_requests-aws4auth.zip 이라는 Lambda 레이어 파일을 만듭니다.
- Linux :
  1. Python 3.12 및 PIP가 사용자의 경로 변수에 설치되어 설정되어 있는지 확인하십시오.
  2. Linux 명령 프롬프트를 엽니 다.
  3. 새 디렉토리와 cd 작성하십시오.
  4. 해당 디렉토리 내부에서 lambda_layer_file_create.sh를 실행하십시오.
  5. 이것은 py312_opensearch-py_requests_and_requests-aws4auth.zip 이라는 Lambda 레이어 파일을 만듭니다.
제공된 AWS CloudFormation 템플릿 Rag-Router-Cfn.yaml을 사용하여 다음 매개 변수를 업데이트하십시오.
- DeploymentArtifactsS3BucketName- 3 단계에서 Amazon S3 버킷의 이름으로 설정하십시오.
업데이트 된 템플릿으로 AWS CloudFormation 스택을 만듭니다.
Amazon Sagemaker 노트북 인스턴스 인스턴스 콘솔을 탐색하고 Rag-Router -Instance라는 인스턴스의 열린 Jupyter 링크를 클릭하여 Rag- Router.ipynb라는 Jupyter 노트북을 엽니 다.