Build RAGAI

Build RAGAI

타사 구성 요소

1.0.0

다운로드

빌드-라 가이

설명

이 프로젝트는 Langchain 및 Transformers 라이브러리를 사용하여 생성 AI 기능을 사용하여 Python 응용 프로그램을 구축하는 방법을 알려줍니다.

OpenAI에 대한 섹션이 있지만 이전에 존재했던 대부분의 코드는 Langchain 또는 Transformers 라이브러리와 함께 용도 변경 및 통합되었습니다. 이 프로젝트에는 코드 스 니펫, 패키지 예제 및 각각 보강, 복사 또는 배울 수있는 Jupyter 노트북이 포함되어 있습니다.

AI 기반 응용 프로그램을 처음 작성하는 경우 Langchain 노트북에서 코드를 재생하고 실행하여 시작하는 것이 좋습니다. 코드를 실제로보고, 직접 편집하고, 새로운 아이디어를 창의적으로 브레인 스토밍하는 것이 가장 좋은 방법입니다.

코드 스 니펫 : 여기에는 플러그 가능한 파이썬 구성 요소가 있습니다.
- Bufferwindow_memory.py : Langchain 대화에서 사용할 수있는 간단한 메모리 구성 요소.
- Chatopenai.py : 채팅 메시지를 반환하는 데 사용할 수있는 간단한 LLM 구성 요소.
- multi_queryvector_retrieval.py : 다중 정체 및 다중 벡터 검색의 전력을 결합한 고급 리트리버 구성 요소.
노트북 : 여기에는 다양한 랑 체인 클래스의 사용을 안내하는 Jupyter Notebooks가 있습니다.
- MERGEDDATALOADER : MergedDataLoader 통해 여러 데이터 소스를 포함시키고 쿼리하는 방법을 알아보십시오. 이 노트북에서는 Github 리포지토리를 복제하고 웹 문서를 vectorstore에 포함시키기 전에 웹 문서를 긁어내는 방법을 배웁니다. 결국, 당신은 자신의 헝겊 프로젝트에서 어떤 출처를 컨텍스트로 사용하는지 편안해야합니다.
- 맞춤형 도구 : Langchain 에이전트에서 사용자 정의 도구를 작성하고 사용하는 방법을 배우십시오.
- 이미지 생성 및 캡션 + 비디오 생성 : 프롬프트를 기반으로 사용할 생성 도구를 선택하는 에이전트를 만드는 법을 배우십시오. 이 예제는 에이전트가 사용자의 프롬프트를 수정 한 후 이미지를 생성하는 것으로 시작합니다.
- Langsmith Walkthrough : Langsmith 추적을 사용하는 방법을 배우고 Langsmith Hub.
- 검색 증강 생성 : LLM의 성능을 향상시키기 위해 검색 증강 세대를 시작하십시오.
- MongoDB Rag : MongoDB와의 유사성 검색, 메타 데이터 필터링 및 질문 응답을 수행합니다.
- PENECONE 및 ChromADB : 두 개의 다른 vectorstores와 함께 검색 증강 생성을 수행하는보다 기본적이지만 철저한 연습.
- Faiss와 Huggingfacehub : Huggingfacehub Embeddings와 유사성 검색을 위해 Faiss 색인을 사용하는 방법을 알아보십시오. 이 예제는 모든 것이 로컬로 실행되므로 개인 정보 보호 옵션입니다. GPU가 필요하지 않습니다!
- 달리기 및 체인 (Langchain 표현 언어) : Langchain에서 달리기 및 체인을 사용하는 방법과 방법을 배우십시오. 여기서 당신은 그들의 세부 사항에 대해 깊이 뛰어들 것입니다.
END -END 예제 : 여기서는 스크립트가 상자에서 작동하도록 만들어진 스크립트를 찾을 수 있습니다.
- 에이전트가있는 헝겊 : 헝겊에 에이전트를 사용하는 법을 배우십시오.
  - The Streamlit Chatbot : OpenAi를 사용하는 간단한 간단한 챗봇.
  - 디렉토리 로더 : DirectoryLoader 클래스를 사용하여 쿼리를 위해 파일을로드하십시오.
  - PYPDF 디렉토리 로더 : PypdfDirectoryLoader 클래스를 사용하여 파일을로드하여 쿼리를합니다.
  - Facebook AI 유사성 검색 : FacebookAISimilaritySearch 클래스를 사용하여 쿼리를 위해 파일을로드합니다.
  - Vectorstore Rag : Langchain에서 Vectorstores를 사용하는 방법을 배우십시오.
  - PENECONE : Pinecone VECTOR 데이터베이스 "색인"을 리트리버로 사용하고 문서와 채팅하십시오.

Openai :

코드 스 니펫 : 여기에서 OpenAi Python 라이브러리를 사용하여 코드 스 니펫을 찾을 수 있습니다.
- 텍스트 to Speech : Whisper API를 사용하여 텍스트에서 음성을 생성하십시오.
노트북 : 여기에서 Openai Python 라이브러리를 사용하는 방법을 보여주는 Jupyter 노트북이 있습니다.
- 검색 증강 생성 : LLM의 성능을 향상시키기 위해 검색 증강 생성 및 피네콘을 시작하십시오.

변압기 :

코드 스 니펫 : 여기에는 Transformers Python 라이브러리를 사용하여 코드 스 니펫이 있습니다.
- Dolphin Mixtral : pipeline 사용하여 텍스트를 생성하는 간단한 기능.
노트북 : 여기에는 Transformers Python 라이브러리 사용 방법을 보여주는 Jupyter 노트북이 있습니다.
- 자동 음성 인식 : Gradio 데모에서 Whisper-V3을 사용하여 연설을 전사하십시오.
패키지 : 여기 CLI 응용 프로그램이 있습니다.
- 오디오 전사 :
  - Mictranscription : 마이크를 사용하여 오디오를 전사하십시오.
  - 작업 생성 : 전사 된 오디오를 기반으로 작업을 생성합니다.
- 가속으로 훈련하십시오 : 가속을 사용하여 시퀀스 분류 모델을 미세 조정하여 물건을 더 빨리 만들 수 있습니다.

시작하기

설치

로컬 코드 실행 및 테스트

이 프로젝트는 PDM을 사용하여 개발되었습니다. pip 사용하여 PDM을 설치할 수 있습니다.

이 프로젝트의 루트 디렉토리를 탐색하여 시작한 다음 실행하십시오.

pip install -U pdm

그런 다음 PDM을 사용하여 종속성을 설치해야합니다.

pdm install

이 명령은 .venv 에서 가상 환경을 생성하고 해당 환경에 종속성을 설치합니다. MacOS 또는 Linux에있는 경우 source .venv/bin/activate 위해 환경을 활성화 할 수 있습니다. 그렇지 않으면 .venv/Scripts/activate 또는 .venv/Scripts/activate.ps1 명령을 실행하여 환경을 활성화 할 수 있습니다.

가상 환경을 사용함으로써 우리는 전 세계 파이썬 환경을 오염시키는 교차를 피합니다.

가상 환경이 설정되면 Jupyter 노트북의 커널로 선택해야합니다. VSCODE에있는 경우 노트북 오른쪽 상단 에서이 작업을 수행 할 수 있습니다. 다른 IDE를 사용하는 경우 온라인으로 설정 도움말을 찾아야합니다.

커널을 선택할 때는 전역 파이썬 환경이 아닌 .venv 디렉토리 내부에있는 커널을 선택해야합니다.