Mans_Search_For_Meaning_LangChain

La recherche de sens de l'homme

La quête du sens de la vie est l'une des états fondamentaux de l'existence humaine. C'est un sujet complexe qui ne peut pas être facilement résolu via un seul projet de données. Néanmoins, découvrir des informations significatives peut toujours être informative, même si elle n'offre pas une réponse définitive à une énigme philosophique profonde.

Le projet se concentre sur un livre "Man's Search for Signification" par Viktor Frankl.

Le problème

Tous les LLM, bien qu'ils soient célèbres pour leur rétention d'information (dérivé de leur nature conversationnelle) ont une limite de jeton spécifique. Lorsque cette limite est atteinte, le contexte des données précédemment obtenues est perdue. Cela empêche de grands modèles de langage de comprendre entièrement des livres entiers et de garder une trace des informations à travers de grandes parties du texte.

Aperçu du projet

Pour contourner la question de la limitation des jetons:

1. Un livre de 224 pages a été divisé en 391 parties (en utilisant Langchain).
2. Chaque pièce (chaque texte) a été transformée en incorporations de vecteurs OpenAI et stockées dans la base de données de PineCone.
3. Une question (requête) a été fournie par l'utilisateur.
4. La requête a été transformée en intégres Openai.
5. Pinecone a calculé un score de similitude entre la requête et chacune des parties du livre.
6. Seules les pièces de livre pertinentes (les plus similaires) ont été renvoyées comme sortie.
7. Cette sortie a ensuite été utilisée aux côtés de la requête d'origine par le modèle OpenAI GPT-3.5 pour répondre à la question exposée par l'utilisateur.

Le schéma du contour est présenté ci-dessous avec quelques informations de base de base de données.

Schéma de projet

Informations sur la base de données - Architecture n ° 1

Type de pod: P1 - Requêtes plus rapides | chunk_size = 1000 | chunk_overlap = 0

Informations sur la base de données - Architecture n ° 2

Type de pod: P2 - latence la plus basse et le débit le plus élevé | chunk_size = 1200 | chunk_overlap = 80