Mans_Search_For_Meaning_LangChain

Die Suche des Menschen nach Bedeutung

Das Streben nach dem Sinn des Lebens ist eine der grundlegenden Zeugungen der menschlichen Existenz. Es ist ein komplexes Thema, das durch ein einzelnes Datenprojekt nicht leicht aufgelöst werden kann. Dennoch kann es immer noch informativ sein, sinnvolle Erkenntnisse aufzudecken, auch wenn es keine endgültige Antwort auf ein tiefes philosophisches Rätsel bietet.

Das Projekt konzentriert sich auf ein Buch "Manns Suche nach Bedeutung" von Viktor Frankl.

Das Problem

Alle LLMs, obwohl sie für ihre Informationsbindung berühmt sind (abgeleitet aus ihrer Konversation), haben eine bestimmte Token -Grenze. Wenn diese Grenze erreicht ist, geht der Kontext zuvor erhaltener Daten verloren. Dies verhindert, dass große Sprachmodelle ganze Bücher gleichzeitig verstehen und Informationen über große Teile des Textes hinweg verfolgen.

Projektumrisse

Um das Problem der Token-Einschränkung zu unterbinden:

1. Ein 224-seitiges Buch wurde in 391 Teile (unter Verwendung von Langchain) aufgeteilt.
2. Jeder Teil (jeder Text) wurde in OpenAI -Vektor -Einbettungen umgewandelt und in der Pnecone -Datenbank gespeichert.
3. Eine Frage (Abfrage) wurde vom Benutzer gestellt.
4. Die Abfrage wurde in OpenAI -Einbettungen umgewandelt.
5. Pinecone berechnete eine Ähnlichkeitsbewertung zwischen der Abfrage und jedem der Buchteile.
6. Nur die relevanten (ähnlichsten) Buchteile wurden als Ausgabe zurückgegeben.
7. Diese Ausgabe wurde dann neben der ursprünglichen Abfrage vom OpenAI GPT-3.5-Modell verwendet, um die vom Benutzer angegebene Frage zu beantworten.

Das Schema des Umrisss wird unten mit einigen grundlegenden Datenbankinformationen entlang der siehe site dargestellt.

Projektschema

Datenbankinformationen - Architektur Nr. 1

POD -Typ: P1 - schnellere Abfragen | chunk_size = 1000 | chunk_overlap = 0

Datenbankinformationen - Architektur #2

POD -Typ: P2 - Niedrigste Latenz und höchste Durchsatz | chunk_size = 1200 | chunk_overlap = 80