Mans_Search_For_Meaning_LangChain

男の意味の検索

人生の意味の探求は、人間の存在の基本的なストラグルの一つです。これは、単一のデータプロジェクトで簡単に解決できない複雑なトピックです。それにもかかわらず、それが深遠な哲学的難問への決定的な答えを提供していなくても、意味のある洞察を明らかにすることは依然として有益である可能性があります。

このプロジェクトは、Viktor Franklによる「Man's Search for Wange」という本に焦点を当てています。

問題

情報保持で有名であるにもかかわらず、すべてのLLMは（会話の性質から派生した）特定のトークン制限を持っています。この制限に達すると、以前に取得したデータのコンテキストが失われます。これにより、大規模な言語モデルが本全体を一度に理解し、テキストの大部分にわたって情報を追跡することを防ぎます。

プロジェクトの概要

トークン制限の問題をバイパスするには：

1. 224ページの本は391部に分割されました（Langchainを使用）。
2. 各パート（各テキスト）は、OpenAIベクターの埋め込みに変換され、Pineconeデータベースに保存されました。
3. 質問（クエリ）がユーザーによって提供されました。
4. クエリはOpenAI埋め込みに変換されました。
5. Pineconeは、クエリと各本の部分の間の類似性スコアを計算しました。
6. 関連する（最も類似した）本の部品のみが出力として返されました。
7. この出力は、ユーザーが述べた質問に答えるために、Openai GPT-3.5モデルによる元のクエリと一緒に使用されました。

アウトラインのスキーマは、いくつかの基本的なデータベース情報を備えた敷地に沿って以下に表示されます。

プロジェクトスキーマ

データベース情報 - アーキテクチャ＃1

ポッドタイプ：P1-より速いクエリ| chunk_size = 1000 | chunk_overlap = 0

データベース情報 - アーキテクチャ＃2

ポッドタイプ：P2-最低レイテンシと最高スループット| chunk_size = 1200 | chunk_overlap = 80