typesense eks

TypeSense-EKS

Panduan Solusi Lengkap untuk Database Pencarian Elastic TypeSense Self-Hosting di Amazon EKS (Layanan Elastic Kubernetes)

Instruksi Pengaturan Cluster EKS

README ini memberikan instruksi langkah demi langkah untuk menyiapkan cluster Amazon EKS (elastis Kubernetes) menggunakan skrip setup_eks_cluster.sh .

Prasyarat

• AWS CLI diinstal dan dikonfigurasi dengan kredensial yang sesuai
• eksctl terpasang
• kubectl terpasang (pastikan itu mendukung kustomize)
• helm terpasang

Tangga

1. Tetapkan variabel lingkungan

   • Buka setup_eks_cluster.sh dan perbarui variabel berikut:

     • CLUSTER_NAME : Tetapkan nama cluster yang Anda inginkan (misalnya, "sampel")
     • REGION : Tetapkan wilayah AWS yang Anda inginkan (misalnya, "US-East-1")
     • ACCOUNT_ID : Ganti dengan ID Akun AWS Anda (misalnya, "12345678")
     • VERSION : Set Versi Kubernetes (misalnya, "1.31")

   • Pengaturan Grup Node:

     • WORKER_NODE_TYPE : Jenis instance untuk node pekerja (misalnya, "r6i.xlarge")
     • WORKER_NODES : Jumlah awal node (misalnya, 2)
     • WORKER_NODES_MIN : node minimum untuk autoscaling (misalnya, 1)
     • WORKER_NODES_MAX : node maksimum untuk autoscaling (misalnya, 5)
     • NODE_GROUP_NAME : Nama grup simpul (misalnya, "pekerja standar")

2. Buat EKS Cluster

   • Konfigurasi cluster termasuk:
     • VPC dengan subnet publik dan swasta
     • Grup simpul yang dikelola
     • Cluster Addons (Coredns, Kube-Proxy, VPC-CNI)
     • IAM Peran dan Kebijakan
   • Tinjau cluster.yaml yang dihasilkan sebelum melanjutkan

3. Konfigurasikan grup node

   • Konfigurasi grup simpul termasuk:
     • Tipe instan ( WORKER_NODE_TYPE )
     • Pengaturan Scaling Auto (Min: WORKER_NODES_MIN , Max: WORKER_NODES_MAX )
     • Label simpul dan noda
     • Profil instance iam
   • Grup simpul akan dibuat sebagai bagian dari penyebaran cluster

4. Associate IAM OIDC Provider

   • Langkah ini mengaitkan penyedia IAM OIDC dengan cluster Anda

5. Siapkan EBS CSI Driver

   • Membuat Akun Layanan IAM untuk Driver EBS CSI
   • Membuat addon driver CSI

6. Mengatur AWS Load Balancer Controller

   • Membuat kebijakan IAM untuk ALB
   • Membuat Akun Layanan IAM untuk Alb
   • Pasang pengontrol penyeimbang beban AWS menggunakan helm

7. Verifikasi instalasi

   • Skrip akan mencari grafik helm alb
   • Ini juga akan memverifikasi bahwa pengontrol penyeimbang beban AWS dipasang dengan benar

Penggunaan

1. Membuat skrip dapat dieksekusi:

    chmod +x setup_eks_cluster.sh
   

2. Jalankan skrip:

    ./setup_eks_cluster.sh
   

3. Ikuti output untuk memastikan setiap langkah berhasil diselesaikan

Pengaturan Basis Data

Ikuti langkah -langkah ini untuk menggunakan TypeSense menggunakan Kustomize:

1. Tinjau konfigurasi

   • Arahkan ke direktori application
   • Periksa file berikut:
     • kustomization.yaml : file konfigurasi utama

2. Konfigurasikan Pengaturan TypeSense

   • Ubah Nilai di Kustomization.YAML agar sesuai dengan konfigurasi yang Anda inginkan untuk setiap lingkungan

3. Mengatur rahasia

   • Periksa file YAML yang diperbarui dengan menjalankan kubectl kustomize environment/development/. atau kubectl kustomize environment/production/.
   • Verifikasi konfigurasi YAML udpated sesuai kebutuhan Anda

4. Menyebarkan typesense

 # Deploy to development environment
 kubectl apply -k environment/development/.
 
 # Deploy to production environment
 kubectl apply -k environment/production/.
 
 # Verify the deployment
 kubectl get pods -n your-namespace       # Check pod status
 kubectl get pvc -n your-namespace        # Verify storage provisioning
 kubectl get svc -n your-namespace        # Check service creation
 kubectl get ingress -n your-namespace    # Verify ingress configuration

5. Akses TypeSense

   • Layanan akan diekspos melalui penyeimbang beban AWS
   • Periksa file ingress.yaml untuk mendapatkan titik akhir

6. Pemantauan

   • Periksa Kesehatan Cluster:

     kubectl exec -it typesense-0 -n your-namespace -- curl http://localhost:8108/health

   • Lihat Log:

     kubectl logs -f typesense-0 -n your-namespace

7. Pengaturan pipa CI/CD

   • Repositori mencakup alur kerja tindakan gitub dalam .github/workflows/aws.yml
   • Pipa secara otomatis menyebarkan TypeSense saat perubahan didorong:

      name : Deploy to EKS
     
     on :
      push :
         branches : [ development, main  ]
     
     jobs :
     
       build :
     
         name : Deployment
         runs-on : ubuntu-latest
         environment : ${{ github.ref == 'refs/heads/main' && 'production' || 'development' }}
         
         steps :
     
         - name : Set short git commit SHA
            id : commit
            uses : prompt/actions-commit-hash@v2
     
         - name : Check out code
            uses : actions/checkout@v2
         
         - name : Configure AWS credentials
            uses : aws-actions/configure-aws-credentials@v1
            with :
            aws-access-key-id : ${{ secrets.AWS_ACCESS_KEY_ID }}
            aws-secret-access-key : ${{ secrets.AWS_SECRET_ACCESS_KEY }}
            aws-region : ${{ secrets.AWS_REGION }}
     
         - name : Login to Amazon ECR
            id : login-ecr
            uses : aws-actions/amazon-ecr-login@v1
     
         - name : Update kube config
            env :
            EKS_CLUSTER_NAME : ${{ secrets.EKS_CLUSTER_NAME }}
            AWS_REGION : ${{ secrets.AWS_REGION }}
            
            run : aws eks update-kubeconfig --name $EKS_CLUSTER_NAME --region $AWS_REGION
     
         - name : Deploy to EKS
            run : |
            kubectl apply -k  environments/${{ github.ref == 'refs/heads/main' && 'production' || 'development' }}/.

   Diperlukan Rahasia GitHub:

   • AWS_ACCESS_KEY_ID : Kunci akses pengguna AWS IAM
   • AWS_SECRET_ACCESS_KEY : AWS IAM Kunci Rahasia Pengguna
   • EKS_CLUSTER_NAME : nama cluster EKS
   • AWS_REGION : Wilayah AWS

   Fitur Pipa:

   • Penempatan otomatis pada dorongan ke cabang utama
   • Penyebaran berbasis lingkungan (pengembangan/produksi)
   • Manajemen Kredensial AWS
   • Pembaruan Konfigurasi Kubernetes

   Untuk mengatur pipa:

   1. Konfigurasikan pengguna AWS IAM dengan izin yang diperlukan
   2. Tambahkan kredensial AWS ke rahasia repositori gitub
   3. Perbarui variabel lingkungan dalam file alur kerja
   4. Aktifkan tindakan github di repositori Anda

Pemecahan masalah

• Jika ada langkah yang gagal, tinjau pesan kesalahan dan pastikan semua prasyarat terpenuhi
• Periksa apakah kredensial AWS Anda memiliki izin yang diperlukan
• Pastikan semua alat yang diperlukan (Eksctl, Kubectl, Helm) diinstal dan mutakhir

Membersihkan

Untuk menghapus cluster EKS dan sumber daya terkait saat tidak lagi diperlukan:

Berkontribusi

Kami menyambut kontribusi untuk meningkatkan proyek TypeSense-ECS! Begini cara Anda dapat berkontribusi:

1. Garpu repositori

   • Buat garpu proyek Anda sendiri
   • Kloning ke mesin lokal Anda

2. Buat cabang

   • Buat cabang baru untuk fitur atau perbaikan bug Anda
   • Gunakan nama deskriptif (misalnya, feature/add-monitoring atau fix/nodegroup-scaling )

3. Membuat perubahan Anda

   • Ikuti gaya dan konvensi kode yang ada
   • Tambah atau perbarui dokumentasi sesuai kebutuhan
   • Uji perubahan Anda secara menyeluruh

4. Kirimkan permintaan tarik

   • Dorong perubahan Anda ke garpu Anda
   • Buat permintaan tarik dari cabang Anda ke cabang utama kami
   • Memberikan deskripsi yang jelas tentang perubahan tersebut
   • Referensi masalah terkait

5. Ulasan Kode

   • Tunggu agar pemelihara meninjau PR Anda
   • Melakukan perubahan yang diminta
   • Setelah disetujui, PR Anda akan digabungkan

Pedoman Pengembangan

• Ikuti Praktik Terbaik Infrastruktur-As-Code
• Dokumentasikan opsi konfigurasi baru
• Perbarui readme untuk perubahan signifikan
• Uji perubahan dalam cluster EKS terpisah sebelum mengirimkan

Masalah pelaporan

Jika Anda menemukan bug atau memiliki permintaan fitur:

1. Periksa masalah yang ada terlebih dahulu
2. Buat masalah baru dengan:
   • Deskripsi masalah yang jelas
   • Langkah untuk mereproduksi
   • Perilaku yang diharapkan vs sebenarnya
   • Detail Lingkungan Anda

Untuk pertanyaan atau diskusi, silakan gunakan bagian Diskusi Repositori.

Ruang lingkup masa depan

• Siapkan cadangan dan kembalikan untuk TypeSense
• Siapkan Pemantauan dan Peringatan untuk TypeSense
• Mengatur Autoscaling untuk TypeSense