pdf bundle -Download - pdf bundle -Quellcode herunterladen

pdf bundle

Anderer Quellcode

1.0.0

Herunterladen

PDF -Bündel

Dieses Take-Home-Projekt wurde innerhalb eines Zeitrahmens von weniger als 72 Stunden entwickelt und dient als Schritt im Einstellungsprozess für eine hochrangige MLOPS-Rolle.

PDF -Bundle ist ein Werkzeug, mit dem Text aus PDF -Dokumenten extrahiert wurde, die in einem AWS -S3 -Eimer gespeichert sind, diese Dokumente in kleinere Stücke zerlegen und Vektoreinbettungen unter Verwendung von Satztransformator erzeugen. Diese Einbettungen werden dann in einer Pnecone -Vektor -Datenbank für effizientes Speicher und Abruf gespeichert.

PDF Bundle bietet eine benutzerfreundliche Oberfläche über Fastapi. Der Endpunkt query_search erleichtert die Eingangssuche und ermöglicht es Benutzern, Abfragen einzugeben und die ähnlichsten Vektor-Einbettungen schnell abzurufen. Diese Ähnlichkeit wird unter Verwendung von Cosinus -Ähnlichkeit bestimmt, eine Maßnahme, die die semantische Ähnlichkeit zwischen Vektoren erfasst. Während der Vereinfachung der Reaktion auf Usability sorgt PDF -Bundle durch die Transparenz, indem detaillierte Antworten auf den S3 -Eimer automatisch hochgeladen werden. Mit seiner nahtlosen Integration und robusten Funktionalität deckt PDF -Bundle die ähnlichsten Vektor -Einbettungen effizient auf.

Merkmale

Text aus PDF -Dokumenten extrahieren, die im AWS S3 -Eimer gespeichert sind.
Teilen Sie Dokumente in kleinere Stücke zur effizienten Verarbeitung auf.
Verwenden Sie den Satztransformator, um Vektoreinbettungen für jedes Dokumentstück zu generieren.
Verwenden Sie Fastapi, um einen API-Endpunkt für die Abfrage ähnlicher Einbettungen basierend auf benutzerdefinierten Eingabeaufforderungen zu erstellen.
Speichern und Abfragen von Vektor -Einbettungen in einer Pnecone -Vektor -Datenbank für das einfache Management und Abruf.
Ermöglichen Sie den Benutzern, die ähnlichsten K -Vektoren zu finden, indem Sie einen Ganzzahl n_top zuweisen.

Verwendung

Stellen Sie sicher, dass der PDF -Bundle -API -Server auf dem folgenden Server ausgeführt wird:
Die Anwendung ist eingesetzt und zugänglich unter: Eisenbahn.
WARNUNG: Free Instance Spin-Down-Verzögerung
Bitte beachten Sie, dass die von Render bereitgestellte kostenlose Instanz aufgrund von Inaktivität möglicherweise Spin-Down-Down-Down erlebt. Dies kann bei Bearbeitungsanforderungen zu Verzögerungen von 50 Sekunden oder mehr führen. Bitte seien Sie geduldig, während Ihr Webbrowser versucht, die Seite zu laden.
Senden Sie eine Postanforderung an den API -Endpunkt /query_search mit der folgenden JSON -Nutzlast:
```
{
    "prompt" : " your_user_defined_prompt " ,
    "n_top" : 5
}
```
Ersetzen Sie "your_user_defined_prompt" durch die Eingabeaufforderung, die Sie verwenden möchten, "n_top" durch die Anzahl der ähnlichen Einbettungen, die Sie basierend auf Cosinus -ähnlich abrufen möchten.
Erhalten Sie eine Antwort, die die ähnlichsten Einbettungen für die bereitgestellte Eingabeaufforderung enthält.

Beitragen

Beiträge sind willkommen! Bitte zögern Sie nicht, eine Pull -Anfrage einzureichen oder ein Problem zu öffnen, wenn Sie auf Fehler stoßen oder Vorschläge für Verbesserungen haben.