Mans_Search_For_Meaning_LangChain

Поиск человека значения

Стремление к значению жизни является одним из фундаментальных приставок человеческого существования. Это сложная тема, которую нельзя легко решить с помощью одного проекта данных. Тем не менее, раскрытие значимой информации все еще может быть информативным, даже если оно не дает окончательного ответа на глубокую философскую загадку.

Проект фокусируется на книге «Поиск значения человека» Виктора Франкля.

Проблема

Все LLMS, несмотря на то, что они известны своей информацией (полученная от их разговорного характера), имеют конкретный предел токена. Когда этот предел достигнут, контекст ранее полученных данных теряется. Это мешает большим языковым моделям сразу понимать целые книги и отслеживать информацию в больших частях текста.

Проект

Отступить проблему ограничения токена:

1. 224-страничная книга была разделена на 391 детали (с использованием Langchain).
2. Каждая часть (каждый текст) была преобразована в векторные встраивания OpenAI и хранилась в базе данных Pinecone.
3. Вопрос (запрос) был предоставлен пользователем.
4. Запрос был превращен в Openai Enceddings.
5. PineCone рассчитала оценку сходства между запросом и каждой из частей книги.
6. Только соответствующие (наиболее похожие) части книги были возвращены в качестве вывода.
7. Затем этот вывод использовался вместе с оригинальным запросом модели OpenAI GPT-3.5, чтобы ответить на вопрос, указанный пользователем.

Схема контура представлена ​​ниже вместе с некоторой базовой информацией о базе данных.

Проектная схема

Информация о базе данных - Архитектура № 1

Тип POD: P1 - более быстрые запросы | chunk_size = 1000 | chunk_overlap = 0

Информация о базе данных - Архитектура № 2

Тип стручка: P2 - самая низкая задержка и самая высокая пропускная способность | chunk_size = 1200 | chunk_overlap = 80