Mans_Search_For_Meaning_LangChain

男人尋找意義

對生命意義的追求是人類生存的基本障礙之一。這是一個複雜的主題，無法通過單個數據項目輕鬆解決。儘管如此，即使它沒有為深刻的哲學難題提供明確的答案，即使它沒有提供明確的答案，但它仍然可以提供信息。

該項目著重於維克多·弗蘭克（Viktor Frankl）的一本書《人類的搜索意義》。

問題

儘管以其信息保留（源自對話性質）而聞名，但所有LLM都具有特定的令牌限制。當達到此限制時，丟失了先前獲得的數據的上下文。這樣可以防止大型語言模型立即理解整本書，並跟踪大部分文本的信息。

項目大綱

繞過令牌限制的問題：

1. 一本224頁的書分為391個零件（使用蘭班）。
2. 每個部分（每個文本）轉換為OpenAI矢量嵌入，並存儲在Pinecone數據庫中。
3. 用戶提供了一個問題（查詢）。
4. 查詢被轉換為OpenAI嵌入。
5. Pinecone計算了查詢和每個書籍部分之間的相似性分數。
6. 僅返回相關（最相似）的零件作為輸出。
7. 然後，OpenAI GPT-3.5模型將此輸出與原始查詢一起使用，以回答用戶所述的問題。

大綱的模式與一些基本數據庫信息一起在下面介紹。

項目模式

數據庫信息 - 架構＃1

POD類型：P1-更快的查詢| chunk_size = 1000 | chunk_overlap = 0

數據庫信息 - 架構＃2

POD類型：P2-最低延遲和最高吞吐量| chunk_size = 1200 | chunk_overlap = 80