llm ollama llamaindex bootstrap

검색-예방 생성 (RAG) 부트 스트랩 응용 프로그램

오프라인 사용을 위해 설계된이 RAG 응용 프로그램 템플릿은 Andrej Baranovskij의 자습서를 기반으로합니다. 온라인 API 및 OpenAI와 같은 클라우드 기반 LLM 서비스와 무관하게 자신의 로컬 래그 파이프 라인을 구축하기위한 출발점을 제공합니다. 이를 통해 개발자는 통제 된 환경에서 RAG 응용 프로그램을 실험하고 배치 할 수 있습니다.

Create-Llama를 사용하여 생성 되고이 프로젝트에 맞는 FullStack UI 응용 프로그램은 https://github.com/tyrell/llm-llama-llamaindex-bootstrap-ui에서 찾을 수 있습니다.

내 블로그 게시물은 이러한 프로젝트의 더 많은 맥락, 동기 부여 및 사고를 제공합니다.

스택

이 RAG 응용 프로그램은 인터넷 액세스가 필요없이 로컬 CPU를 사용하여 응답을 생성/검색/순위를 생성하기 위해 완전히 오프라인으로 실행됩니다. 이 RAG 배치는 계산을 위해 로컬 CPU에만 의존합니다. 대규모 데이터 세트를 처리하거나 리소스 집약적 인 모델을 사용하면 성능이 느려질 수 있습니다.

1. 큰 언어 모델 - 우리는 Ollama (https://ollama.ai/)를 사용하여 LLM을 로컬로 운영합니다. Ollama에서 지원하는 모든 모델은이 응용 프로그램에서 찾은 config.yml 파일을 사용하여 사용하도록 구성 할 수 있습니다.
2. 벡터 스토어 - 우리는 vector 스토어로 weaviate (https://weaviate.io)를 사용합니다. 우리는 Docker 컨테이너로 weaviate를 실행합니다. config.yml 파일을 사용하여 weaviate 인스턴스의 URL을 구성 할 수 있습니다.
3. 인덱스 - 우리는 Llamaindex (https://www.llamaindex.ai)를 개인 데이터 구조의 색인 역할을하는이 RAG 응용 프로그램의 핵심으로 사용합니다. 템플릿이 제공 한 샘플 코드는 파일을 색인으로 수집합니다.
4. 벡터 임베딩 - 우리는 Langchain (https://www.langchain.com)과 Huggingface (https://huggingface.co)를 사용하여 로컬 임베딩 모델을 유지합니다.

---

QuickStart

1. Docker와 함께 직조 지역 벡터 매장을 실행하십시오.

 docker compose up -d

2. 파이썬 요구 사항 설치 :

 pip install -r requirements.txt

3. Ollama를 설치하고 config.yml에 지정된 선호하는 LLM 모델을 당기십시오.

4. 텍스트 PDF 파일을 data 폴더에 복사하십시오

5. 스크립트를 실행하여 텍스트를 벡터 임베딩으로 변환하고 weaviate를 저장하십시오.

 python ingest.py

1. main.py를 실행하여 Pipeline.py에 정의 된 LLM Rag Pipeline으로 데이터를 처리하고 답을 반환하십시오.

 python main.py "Who are you?"

답변:

 Answer:
I am an AI language model, designed to assist and provide information based on the context provided. In this case, the context is related to an invoice from Chapman, Kim and Green to Rodriguez-Stevens for various items such as wine glasses, stemware storage, corkscrew parts, and stemless wine glasses.

Here are some key details from the invoice:
- Invoice number: 61356291
- Date of issue: 09/06/2012
- Seller: Chapman, Kim and Green
- Buyer: Rodriguez-Stevens
- VAT rate: 10%

The invoice includes several items with their respective quantities, unit measures (UM), net prices, net worth, gross worth, and taxes. The summary section provides the total net worth, VAT amount, and gross worth of the invoice.
==================================================
Time to retrieve answer: 37.36918904201593

Prompts.txt에서 더 많은 프롬프트를 찾아 템플릿 응용 프로그램을 테스트 할 수 있습니다. 코드베이스를 통해 읽은 후에는 헝겊을 특정 요구 사항으로 확장하십시오.

특허

아파치 2.0

~ Tyrell Perera