llm applications

LLM 응용 프로그램

생산을위한 래그 기반 LLM 응용 프로그램 구축에 대한 포괄적 인 안내서.

• 블로그 게시물 : https://www.anyscale.com/blog/a-cormensive-guide-for-building-rag 기반-llm-applications-part-1
• github 저장소 : https://github.com/ray-project/llm-applications
• 대화식 노트 : https://github.com/ray-project/llm-applications/blob/main/notebooks/rag.ipynb
• 모든 스케일 엔드 포인트 : https://endpoints.anyscale.com/
• 레이 문서 : https://docs.ray.io/

이 안내서에서는 다음과 같은 방법을 배웁니다.

• RAG (Retrieval Augmented Generation) 기반 LLM 응용 프로그램을 처음부터 개발하십시오.
• 응용 프로그램에서 주요 구성 요소 (하중, 청크, 임베드, 인덱스, 서빙 등)를 확장하십시오.
• per 모집단 (예 : retrieval_score)과 전반적인 성능 (Quality_Score)에 대해 최적화하기 위해 응용 프로그램의 다른 구성을 평가합니다.
• ? LLM 하이브리드 라우팅 접근 방식을 구현하여 GAP B/W OSS 및 폐쇄 된 LLM을 연결하십시오.
• ? 확장 가능하고 이용 가능한 방식으로 응용 프로그램을 제공하십시오.
• ? LLM 애플리케이션이 당사 제품에 대한 첫 번째 주문 및 2 차 영향을 공유하십시오.

설정

API 키

OpenAI를 사용하여 gpt-3.5-turbo , gpt-4 등과 같은 ChatGpt 모델 및 Llama-2-70b 와 같은 OSS LLM에 액세스하기위한 모든 스케일 엔드 포인트에 액세스 할 것입니다. 둘 다에 대한 계정을 만들고 자격 증명을 준비하십시오.

계산

현지의

로컬 노트북에서이를 실행할 수 있지만 GPU에 액세스 할 수있는 설정을 사용하는 것이 좋습니다. 직접 또는 [모든 스케일] (http://anyscale.com/)에 설정할 수 있습니다.

모든 규모

• 2 개의 GPU 및 32 CPU가있는 g3.8xlarge 헤드 노드를 사용하여 준비에 대한 새로운 스케일 작업 공간을 시작하십시오. 또한 워크로드를 더 빨리 실행하기 위해 GPU 작업자 노드를 추가 할 수도 있습니다. 스케일이 아닌 경우 클라우드에서 유사한 인스턴스를 구성 할 수 있습니다.
• default_cluster_env_2.6.2_py39 클러스터 환경을 사용하십시오.
• 공유 스토리지 (소스 문서, 벡터 DB 덤프 등)에서 아티팩트를 사용하려면 us-west-2 사용하십시오.

저장소

git clone https://github.com/ray-project/llm-applications.git .
git config --global user.name < GITHUB-USERNAME >
git config --global user.email < EMAIL-ADDRESS >

데이터

우리의 us-east-1 /desired/output/directory 이미 /efs/shared_storage/goku/docs.ray.io/en/master/

git clone https://github.com/ray-project/llm-applications.git .

환경

그런 다음 .env 파일의 값을 지정하고 종속성을 설치하여 환경을 올바르게 설정하십시오.

pip install --user -r requirements.txt
export PYTHONPATH= $PYTHONPATH : $PWD
pre-commit install
pre-commit autoupdate

신임장

touch .env
# Add environment variables to .env
OPENAI_API_BASE= " https://api.openai.com/v1 "
OPENAI_API_KEY= " "  # https://platform.openai.com/account/api-keys
ANYSCALE_API_BASE= " https://api.endpoints.anyscale.com/v1 "
ANYSCALE_API_KEY= " "  # https://app.endpoints.anyscale.com/credentials
DB_CONNECTION_STRING= " dbname=postgres user=postgres host=localhost password=postgres "
source .env

이제 우리는 LLM 응용 프로그램을 개발하고 서비스하기 위해 rag.ipynb 대화식 노트북을 통과 할 준비가되었습니다!

자세히 알아보십시오

• 팀이 LLM 애플리케이션 개발에 많은 투자를하고 있다면 Ray와 모든 스케일이 모든 것을 확장하고 제작하는 데 도움이되는 방법에 대해 자세히 알아보십시오.
• 모든 스케일 엔드 포인트 ( Llama-3-70b 의 경우 $ 1/m 토큰)와 요청시 개인 종료점 (1M 무료 토큰 시험)을 갖춘 서빙 (+미세 조정) OSS LLMS를 시작하십시오.
• OpenAi, Netflix, Pinterest, Verizon, Instacart 등과 같은 회사가 샌프란시스코에서 9 월 18 일부터 20 일까지 Ray Summit 2024에서 AI 워크로드에 대해 Ray 및 모든 스케일을 활용하는 방법에 대해 자세히 알아보십시오.