vault ai

OP -Tresor

OP Vault verwendet die OP -Stack (OpenAI + Pinecone Vector -Datenbank), damit Benutzer ihre eigenen benutzerdefinierten KnowledgeBase -Dateien hochladen und Fragen zu ihren Inhalten stellen können.

vault.pash.city

Mit Quick Setup können Sie Ihre eigene Version dieses Golang-Servers zusammen mit einem benutzerfreundlichen React Frontend starten, mit dem Benutzer OpenAI-Fragen zur spezifischen Wissensbasis stellen können. Der Hauptaugenmerk liegt auf menschlich-lesbaren Inhalten wie Büchern, Briefen und anderen Dokumenten, wodurch es zu einem praktischen und wertvollen Instrument für Wissensextraktion und Fragen zur Beantwortung ist. Sie können Bücher und Dokumente einer gesamten Bibliothek hochladen und die Punkte mit dem Namen der Datei und des spezifischen Abschnitts in der Datei, auf die die Antwort basiert!

Was können Sie mit OP Vault tun?

Mit dem Gewölbe können Sie:

• Laden Sie eine Vielzahl beliebter Dokumenttypen über einen einfachen React -Frontend hoch, um eine benutzerdefinierte Wissensbasis zu erstellen
• Rufen Sie genaue und relevante Antworten anhand des Inhalts Ihrer hochgeladenen Dokumente ab
• Siehe die Dateinamen und spezifischen Kontextausschnitte, die die Antwort informieren
• Erkunden Sie die Leistung des OP-Stacks (OpenAI + Pinecone Vector-Datenbank) in einer benutzerfreundlichen Schnittstelle
• Laden Sie Bücher der gesamten Bibliotheken in den Gewölbe

Manuelle Abhängigkeiten

• Knoten: v19
• Go: v1.18.9 Darwin/Arm64
• Poppler

Aufstellen

Installieren Sie manuelle Abhängigkeiten

1. Installieren Sie gehen:

Folgen Sie den Go -Dokumenten hier

2. Installieren Sie den Knoten v19

Ich empfehle, NVM zu installieren und den Knoten V19 zu installieren

3. Poppler installieren

sudo apt-get install -y poppler-utils auf Ubuntu oder brew install poppler auf Mac

Richten Sie Ihre API -Schlüssel und Endpunkte im secret Ordner ein

1. Erstellen Sie eine neue Datei secret/openai_api_key und fügen Sie Ihre OpenAI -API -Taste ein:

echo "your_openai_api_key_here" > secret/openai_api_key

2. Erstellen Sie eine neue Datei secret/pinecone_api_key und fügen Sie Ihre Pinecone -API -Taste in sie ein:

echo "your_pinecone_api_key_here" > secret/pinecone_api_key

Verwenden Sie beim Einrichten Ihres Pnecone -Index eine Vektorgröße von 1536 und führen Sie alle Standardeinstellungen gleich.

3. Erstellen Sie eine neue Datei secret/pinecone_api_endpoint und fügen Sie Ihren Pinecone -API -Endpunkt ein, in das sie:

echo "https://example-50709b5.svc.asia-southeast1-gcp.pinecone.io" > secret/pinecone_api_endpoint

Ausführen der Entwicklungsumgebung

1. Installieren Sie JavaScript -Paketabhängigkeiten:

   npm install

2. Führen Sie den Golang -Webserver aus (Standardport :8100 ):

   npm start

3. Führen Sie in einem anderen Terminalfenster WebPack aus, um den JS -Code zu kompilieren und eine Bündel.js -Datei zu erstellen:

   npm run dev

4. Besuchen Sie die lokale Version der Website unter http: // localhost: 8100

Screenshots:

In den Beispiel -Screenshots habe ich ein paar Bücher von Platon und einige Briefe von Alexander Hamilton hochgeladen, um die Fähigkeit des OP -Vault zu präsentieren, Fragen basierend auf dem hochgeladenen Inhalt zu beantworten.

Dateien hochladen

Fragen stellen

Unter der Motorhaube

Der Golang -Server verwendet Post -APIs, um eingehende Uploads zu verarbeiten und auf Fragen zu antworten:

1. /upload zum Hochladen von Dateien hoch

2. /api/question zur Beantwortung von Fragen

Alle API-Endpunkte werden in der Datei Vault-Web-Server/Main.go deklariert.

Hochladen von Dateien und Verarbeitung in Einbettungen

Die Datei Vault-Web-Server/Postapi/FileUpload.go enthält die UploadHandler -Logik zum Umgang mit eingehenden Uploads im Backend. Die UploadHandler -Funktion im Postapi -Paket ist für die Bearbeitung von Dateien -Uploads (mit einer maximalen Gesamt -Upload -Größe von 300 MB) verantwortlich und verarbeitet sie in Einbettungsdings, um sie in Tinecone zu speichern. Es akzeptiert PDF-, EPUB-, .docx- und Klartextdateien, extrahiert Text von ihnen und unterteilt den Inhalt in Stücke. Unter Verwendung von OpenAI -API erhalten die Einbettungen für jeden Stücke und den Störungen (Einfügungen oder Aktualisierungen) die Einbettungen in Tinecone. Die Funktion gibt eine JSON -Antwort mit Informationen zu den hochgeladenen Dateien und ihrem Verarbeitungsstatus zurück.

1. Beschränken Sie die Größe des Anforderungskörpers auf max_total_upload_size (300 MB).
2. Analysieren Sie die eingehenden mehrteiligen Formulardaten mit einer maximal zulässigen Größe von 300 MB.
3. Initialisieren Sie die Antwortdaten mit Feldern für erfolgreiche und fehlgeschlagene Dateien -Uploads.
4. Iterieren Sie die hochgeladenen Dateien und für jede Datei: a. Überprüfen Sie, ob die Dateigröße innerhalb des zulässigen Limits (max_file_size, 300 MB) liegt. B. Lesen Sie die Datei in den Speicher. C. Wenn die Datei ein PDF ist, extrahieren Sie den Text daraus. Andernfalls lesen Sie den Inhalt als einfacher Text. D. Teilen Sie die Dateiinhalte in Stücke. e. Verwenden Sie die OpenAI -API, um Einbettungen für jeden Stück zu erhalten. F. Upsert (einfügen oder aktualisieren), die Einbetten in Tinecone. G. Aktualisieren Sie die Antwortdaten mit Informationen zu erfolgreichen und fehlgeschlagenen Uploads.
5. Geben Sie eine JSON -Antwort mit Informationen zu den hochgeladenen Dateien und ihrem Verarbeitungsstatus zurück.

Speichern von Einbettungen in Tinecone DB aufbewahren

Nachdem der Server für jeden Stück einer hochgeladenen Datei OpenAI -Einbettungen erhalten hat, speichert der Server alle Einbettungen zusammen mit Metadaten, die für jede Einbettung in Tinecone DB zugeordnet sind. Die Metadaten für jede Einbettung erzeugt in der upsertembeddingStopinecone -Funktion mit den folgenden Schlüssel und Werten:

• file_name : Der Name der Datei, aus der der Textanteil extrahiert wurde.
• start : Die Startcharakterposition des Textanteils in der Originaldatei.
• end : Die Endcharakterposition des Textanteils in der Originaldatei.
• title : Der Titel des Chunk, der in diesem Fall auch der Dateiname ist.
• text : Der Text des Stücks.

Diese Metadaten sind nützlich, um den Einbettungsdings einen Kontext bereitzustellen, und wird verwendet, um zusätzliche Informationen über die übereinstimmenden Einbettungsdings anzuzeigen, wenn die Ergebnisse aus der Pinecone -Datenbank abgerufen werden.

Fragen beantworten

Die QuestionHandler in Vault-Web-Server/Postapi/Fragen.go ist für die Bearbeitung aller eingehenden Fragen verantwortlich. Wenn in der Frontend eine Frage eingegeben wird und der Benutzer "Suche" (oder Eingabetaste) drückt, verwendet der Server die OpenAI -Einbettungs -API erneut, um eine Einbettung für die Frage zu erhalten (auch bekannt als Abfragevektor). Dieser Abfragetektor wird verwendet, um Pinecone DB abzufragen, um den relevantesten Kontext für die Frage zu erhalten. Schließlich wird eine Eingabeaufforderung erstellt, indem der relevanteste Kontext + die Frage in einer Eingabeaufforderungszeichenfolge gepackt wird, in der die Token -Grenzwerte geöffnet werden (die Go Tiktoken -Bibliothek wird zur Schätzung der Token -Anzahl) verwendet).

Frontend Info

Das Frontend wird mit React.js und less zum Styling gebaut.

Generative Frage mit dem Langzeitgedächtnis

Wenn Sie mehr über dieses Thema erfahren möchten, empfehle ich diesen Beitrag im Pinecone -Blog:

• https://www.pinecone.io/learn/openai-gen-qa/

Ich hoffe es gefällt euch (::

Hochladen größerer Dateien

Derzeit habe ich die maxorische Dateigröße auf 3 MB eingestellt. Wenn Sie diese Grenze erhöhen möchten, bearbeiten Sie die Konstanten MAX_FILE_SIZE und MAX_TOTAL_UPLOAD_SIZE in FileUpload.go.

Unterstützte Filetypen

Pdfs, .txt, .rtf, .docx, .epub und plelligtext.

Neue Tinecone -freie Stufenbeschränkungen

Vor kurzem begrenzte PineCone die Verwendung von Namespaces für kostenlose Benutzer -Benutzer. Wenn Sie eine neu erstellte kostenlose Stufe haben, gelten diese Einschränkungen für Sie.