vector based semantic text search

Vektorbasierte semantische Suche mit Amazon OpenSearch-Dienst

Dies ist ein vektorbasiertes semantisches Textsuchprojekt.

Die cdk.json -Datei gibt dem CDK -Toolkit mit, wie Sie Ihre App ausführen.

Dieses Projekt ist wie ein Standard -Python -Projekt eingerichtet. Der Initialisierungsprozess erstellt auch ein Virtualenv innerhalb dieses Projekts, das im Verzeichnis .venv gespeichert ist. Um das Virtualenv zu erstellen, wird davon ausgegangen, dass es einen python3 (oder python für Windows) gibt, der auf Ihrem Pfad ausführbar ist und Zugriff auf das venv -Paket ausführt. Wenn aus irgendeinem Grund die automatische Erstellung des Virtualenv fehlschlägt, können Sie den Virtulenenv manuell erstellen.

So erstellen Sie manuell ein Virtualenv auf MacOS und Linux:

 $ python3 -m venv .venv

Nach Abschluss des Init -Vorgangs und des Virtualenv erstellt, können Sie den folgenden Schritt verwenden, um Ihr Virtualenv zu aktivieren.

 $ source .venv/bin/activate

Wenn Sie eine Windows -Plattform sind, aktivieren Sie das Virtualenv wie folgt:

 % .venvScriptsactivate.bat

Sobald der Virtualenv aktiviert ist, können Sie die erforderlichen Abhängigkeiten installieren.

 (.venv) $ pip install -r requirements.txt

Zu diesem Zeitpunkt können Sie jetzt die CloudFormation -Vorlage für diesen Code synthetisieren.

 (.venv) $ cdk synth 
              -Parameters SagemakernotebookInstancetype = " Your-Instance-Typ " 
              -Parameters opensearchdomainname = " your-openensearch-domain-name " 
              -Parameters EC2KEYPARNAME = " YOUR-EC2-KEY-PAIR-NAME " "

Verwenden Sie den Befehl cdk deploy , um den oben gezeigten Stapel zu erstellen.

 (.Venv) $ cdk Deployming 
              -Parameters SagemakernotebookInstancetype = " Your-Instance-Typ " 
              -Parameters opensearchdomainname = " your-openensearch-domain-name " 
              -Parameters EC2KEYPARNAME = " YOUR-EC2-KEY-PAIR-NAME " "

Um zusätzliche Abhängigkeiten hinzuzufügen, z. B. weitere CDK -Bibliotheken, fügen Sie sie einfach Ihrer Datei setup.py hinzu und leiten Sie den Befehl pip install -r requirements.txt .

Verwendung

Öffnen Sie nach Abschluss cdk deploy das Jupyter -Notebook in Ihrer Amazon Sagemaker Notebook -Instanz. Laden Sie dann die *.ipynb -Dateien in Ihr Sagemaker -Notizbuch hoch, mit dem Sie den Rest des Labors abschließen.

*.Ipynb -Datei	Kernel Spec
Semantische Text-Search-tf.ipynb	conda_tensorflow_p36
Semantische Text-Search-tf2.ipynb	conda_tensorflow2_p36

Nützliche Befehle

• cdk ls listen Sie alle Stapel in der App auf
• Der cdk synth
• cdk deploy diesen Stack bereit
• cdk diff -Vergleichen des bereitgestellten Stacks mit dem aktuellen Zustand
• cdk docs Open CDK -Dokumentation

Genießen!

Referenzen

• Versuchen Sie die semantische Suche mit der Amazon OpenSearch Service Vector Engine (2023-08-21)
• Textähnlichkeitssuche mit Vektorfeldern
• Vektorbasierte semantische Suche mit Elasticsearch
• Universeller Satz Encoder (TF2.0 Version 4)
• OpenSearch K-nn