Mans_Search_For_Meaning_LangChain

의미에 대한 사람의 검색

삶의 의미에 대한 탐구는 인간 존재의 근본적인 추후 중 하나입니다. 단일 데이터 프로젝트를 통해 쉽게 해결할 수없는 복잡한 주제입니다. 그럼에도 불구하고, 심오한 철학적 수수께끼에 대한 결정적인 답을 제공하지 않더라도 의미있는 통찰력을 발견하는 것은 여전히 ​​유익 할 수 있습니다.

이 프로젝트는 Viktor Frankl의 "Man 's Search for Meaning"에 중점을 둡니다.

문제

모든 LLM은 정보 보존 (대화 특성에서 파생 된)으로 유명 했음에도 불구하고 특정 토큰 제한이 있습니다. 이 한계에 도달하면 이전에 얻은 데이터의 컨텍스트가 손실됩니다. 이것은 큰 언어 모델이 한 번에 전체 책을 이해하고 텍스트의 많은 부분에서 정보를 추적하는 것을 방지합니다.

프로젝트 개요

토큰 제한 문제를 우회하기 위해 :

1. 224 페이지의 책은 391 개 부분으로 나뉘 었습니다 (Langchain 사용).
2. 각 부분 (각 텍스트)은 Openai 벡터 임베딩으로 변환되어 Pinecone 데이터베이스에 저장되었습니다.
3. 사용자가 질문 (쿼리)을 제공했습니다.
4. 쿼리는 OpenAI 임베딩으로 변환되었습니다.
5. Pinecone은 쿼리와 각 책 부분 사이의 유사성 점수를 계산했습니다.
6. 관련 (가장 유사한) 책 부분 만 출력으로 반환되었습니다.
7. 그런 다음이 출력은 OpenAI GPT-3.5 모델의 원래 쿼리와 함께 사용하여 사용자가 언급 한 질문에 답했습니다.

개요의 스키마는 일부 기본 데이터베이스 정보와 함께 아래에서 아래에 나와 있습니다.

프로젝트 스키마

데이터베이스 정보 - 아키텍처 #1

포드 유형 : P1- 더 빠른 쿼리 | chunk_size = 1000 | chunk_overlap = 0

데이터베이스 정보 - 아키텍처 #2

포드 유형 : P2- 최저 대기 시간 및 최고 처리량 | chunk_size = 1200 | chunk_overlap = 80