vector based semantic text search

Pencarian Semantik Berbasis Vektor Menggunakan Layanan Amazon OpenSearch

Ini adalah proyek pencarian teks semantik berbasis vektor.

File cdk.json memberi tahu Toolkit CDK cara menjalankan aplikasi Anda.

Proyek ini diatur seperti proyek Python standar. Proses inisialisasi juga menciptakan VirtualEnv dalam proyek ini, disimpan di bawah direktori .venv . Untuk membuat virtualEnv, ia mengasumsikan bahwa ada python3 (atau python for windows) yang dapat dieksekusi di jalur Anda dengan akses ke paket venv . Jika karena alasan apa pun pembuatan otomatis VirtualEnv gagal, Anda dapat membuat virtualEnv secara manual.

Untuk secara manual membuat virtualEnv di macOS dan linux:

 $ python3 -m venv .venv

Setelah proses init selesai dan VirtualEnv dibuat, Anda dapat menggunakan langkah berikut untuk mengaktifkan VirtualEnv Anda.

 $ source .venv/bin/activate

Jika Anda adalah platform Windows, Anda akan mengaktifkan VirtualEnv seperti ini:

 % .venvScriptsactivate.bat

Setelah VirtualEnv diaktifkan, Anda dapat menginstal dependensi yang diperlukan.

 (.venv) $ pip install -r requirements.txt

Pada titik ini Anda sekarang dapat mensintesis templat CloudFormation untuk kode ini.

 (.venv) $ cdk synth 
              --Parameter sagemakernotebookInstanceType = " your-instance-type " 
              --Parameter OpenSearchDomainName = " Anda-Opensearch-Domain-Name " 
              --Parameter ec2keypairname = " Anda-ec2-key-pair-name "

Gunakan perintah cdk deploy untuk membuat tumpukan yang ditunjukkan di atas.

 (.venv) $ CDK Deploy 
              --Parameter sagemakernotebookInstanceType = " your-instance-type " 
              --Parameter OpenSearchDomainName = " Anda-Opensearch-Domain-Name " 
              --Parameter ec2keypairname = " Anda-ec2-key-pair-name "

Untuk menambahkan dependensi tambahan, misalnya pustaka CDK lainnya, cukup tambahkannya ke file setup.py Anda dan rerun pip install -r requirements.txt perintah.

Penggunaan

Setelah cdk deploy selesai, buka jupyter notebook di instance notebook Amazon Sagemaker Anda. Kemudian, unggah file *.ipynb ke dalam buku catatan sagemaker Anda yang Anda gunakan untuk menyelesaikan sisa lab.

*.IPYNB file	spesifikasi kernel
semantik-text-search-tf.ipynb	conda_tensorflow_p36
semantik-text-search-tf2.ipynb	conda_tensorflow2_p36

Perintah yang berguna

• Daftar cdk ls Semua tumpukan di aplikasi
• cdk synth memancarkan template Cloudformation yang disintesis
• cdk deploy menggunakan tumpukan ini ke akun/wilayah AWS default Anda
• cdk diff Compare Deployed Stack dengan keadaan saat ini
• cdk docs Buka Dokumentasi CDK

Menikmati!

Referensi

• Coba Pencarian Semantik dengan Amazon OpenSearch Service Vector Engine (2023-08-21)
• Pencarian kesamaan teks dengan bidang vektor
• Pencarian Semantik Berbasis Vektor Menggunakan Elasticsearch
• Encoder Kalimat Universal (TF2.0 Versi 4)
• OpenSearch k-nn