typesense eks

Typesense-eks

Un guide de solution complet pour la base de données de recherche élastique de type auto-hébergement sur Amazon EKS (service Kubernetes élastique)

Instructions de configuration du cluster EKS

Cette lecture fournit des instructions étape par étape pour configurer un cluster Amazon EKS (Elastic Kubernetes Service) à l'aide du script setup_eks_cluster.sh .

Condition préalable

• AWS CLI installé et configuré avec des informations d'identification appropriées
• eksctl installé
• kubectl installé (assurez-vous qu'il prend en charge Kustomalise)
• helm installée

Mesures

1. Définir les variables d'environnement

   • Ouvrir setup_eks_cluster.sh et mettre à jour les variables suivantes:

     • CLUSTER_NAME : définissez le nom du cluster souhaité (par exemple, "exemple")
     • REGION : Définissez votre région AWS souhaitée (par exemple, "US-East-1")
     • ACCOUNT_ID : Remplacez par votre ID de compte AWS (par exemple, "12345678")
     • VERSION : Définissez la version Kubernetes (par exemple, "1.31")

   • Paramètres de groupe de nœuds:

     • WORKER_NODE_TYPE : type d'instance pour les nœuds de travail (par exemple, "r6i.xlarge")
     • WORKER_NODES : Nombre initial de nœuds (par exemple, 2)
     • WORKER_NODES_MIN : nœuds minimum pour l'automate (par exemple, 1)
     • WORKER_NODES_MAX : nœuds maximaux pour l'automate (par exemple, 5)
     • NODE_GROUP_NAME : nom du groupe de nœuds (par exemple, "standard-workers")

2. Créer un cluster EKS

   • La configuration du cluster comprend:
     • VPC avec sous-réseaux publics et privés
     • Groupes de nœuds gérés
     • Addons de cluster (coredns, kube-proxy, VPC-CNI)
     • IAM Rôles et politiques
   • Passez en revue le cluster.yaml généré.yaml avant de continuer

3. Configurer les groupes de nœuds

   • La configuration du groupe de nœuds comprend:
     • Type d'instance ( WORKER_NODE_TYPE )
     • Paramètres de mise à l'échelle automatique (min: WORKER_NODES_MIN , max: WORKER_NODES_MAX )
     • Étiquettes et tenons de nœuds
     • IAM Instance Profil
   • Le groupe de nœuds sera créé dans le cadre du déploiement du cluster

4. Associé IAM OIDC Provider

   • Cette étape associe un fournisseur IAM OIDC avec votre cluster

5. Configurer le pilote EBS CSI

   • Crée un compte de service IAM pour le pilote EBS CSI
   • Crée l'addon de pilote CSI

6. Configurer le contrôleur d'équilibreur de chargement AWS

   • Crée une politique IAM pour l'ALB
   • Crée un compte de service IAM pour l'ALB
   • Installe le contrôleur d'équilibreur AWS Load à l'aide de Helm

7. Vérifiez l'installation

   • Le script recherche le graphique de la barre ALB
   • Il vérifiera également que le contrôleur d'équilibreur AWS est installé correctement

Usage

1. Rendre le script exécutable:

    chmod +x setup_eks_cluster.sh
   

2. Exécutez le script:

    ./setup_eks_cluster.sh
   

3. Suivez la sortie pour vous assurer que chaque étape se termine avec succès

Configuration de la base de données

Suivez ces étapes pour déploier de typeSense à l'aide de Kustomalize:

1. Examiner la configuration

   • Accédez au répertoire application
   • Vérifiez les fichiers suivants:
     • kustomization.yaml : fichier de configuration principale

2. Configurer les paramètres de typeSense

   • Modifiez les valeurs dans kustomation.yaml pour correspondre à la configuration souhaitée pour chaque environnement

3. Configurer des secrets

   • Vérifiez les fichiers YAML mis à jour en exécutant kubectl kustomize environment/development/. ou kubectl kustomize environment/production/.
   • Vérifiez la configuration YAML udpated selon vos exigences

4. Déployer de type

 # Deploy to development environment
 kubectl apply -k environment/development/.
 
 # Deploy to production environment
 kubectl apply -k environment/production/.
 
 # Verify the deployment
 kubectl get pods -n your-namespace       # Check pod status
 kubectl get pvc -n your-namespace        # Verify storage provisioning
 kubectl get svc -n your-namespace        # Check service creation
 kubectl get ingress -n your-namespace    # Verify ingress configuration

5. Accès à la type

   • Le service sera exposé via AWS Load Balancer
   • Vérifiez le fichier Ingress.yaml pour obtenir le point final

6. Surveillance

   • Vérifiez la santé du cluster:

     kubectl exec -it typesense-0 -n your-namespace -- curl http://localhost:8108/health

   • Afficher les journaux:

     kubectl logs -f typesense-0 -n your-namespace

7. Configuration du pipeline CI / CD

   • Le référentiel comprend un flux de travail GitHub Actions dans .github/workflows/aws.yml
   • Le pipeline déploie automatiquement TypeSense lorsque les modifications sont poussées:

      name : Deploy to EKS
     
     on :
      push :
         branches : [ development, main  ]
     
     jobs :
     
       build :
     
         name : Deployment
         runs-on : ubuntu-latest
         environment : ${{ github.ref == 'refs/heads/main' && 'production' || 'development' }}
         
         steps :
     
         - name : Set short git commit SHA
            id : commit
            uses : prompt/actions-commit-hash@v2
     
         - name : Check out code
            uses : actions/checkout@v2
         
         - name : Configure AWS credentials
            uses : aws-actions/configure-aws-credentials@v1
            with :
            aws-access-key-id : ${{ secrets.AWS_ACCESS_KEY_ID }}
            aws-secret-access-key : ${{ secrets.AWS_SECRET_ACCESS_KEY }}
            aws-region : ${{ secrets.AWS_REGION }}
     
         - name : Login to Amazon ECR
            id : login-ecr
            uses : aws-actions/amazon-ecr-login@v1
     
         - name : Update kube config
            env :
            EKS_CLUSTER_NAME : ${{ secrets.EKS_CLUSTER_NAME }}
            AWS_REGION : ${{ secrets.AWS_REGION }}
            
            run : aws eks update-kubeconfig --name $EKS_CLUSTER_NAME --region $AWS_REGION
     
         - name : Deploy to EKS
            run : |
            kubectl apply -k  environments/${{ github.ref == 'refs/heads/main' && 'production' || 'development' }}/.

   Secrets GitHub requis:

   • AWS_ACCESS_KEY_ID : AWS IAM ENTERS ENCORT UTILISATEUR
   • AWS_SECRET_ACCESS_KEY : AWS IAM User Secret Key
   • EKS_CLUSTER_NAME : nom du cluster eks
   • AWS_REGION : Région AWS

   Caractéristiques du pipeline:

   • Déploiement automatique sur Push to Main Branch
   • Déploiement basé sur l'environnement (développement / production)
   • Gestion des informations d'identification AWS
   • Mises à jour de la configuration de Kubernetes

   Pour configurer le pipeline:

   1. Configurer l'utilisateur AWS IAM avec les autorisations requises
   2. Ajoutez des informations d'identification AWS aux secrets du référentiel GitHub
   3. Mettre à jour les variables d'environnement dans le fichier de flux de travail
   4. Activer les actions GitHub dans votre référentiel

Dépannage

• Si une étape échoue, examinez les messages d'erreur et assurez-vous que toutes les conditions préalables sont remplies
• Vérifiez que vos informations d'identification AWS ont les autorisations nécessaires
• Vérifiez que tous les outils requis (EksCTL, Kubectl, Helm) sont installés et à jour

Nettoyer

Pour supprimer le cluster EKS et les ressources associées lorsqu'ils ne sont plus nécessaires:

Contributif

Nous accueillons des contributions pour améliorer le projet TypeSense-Eks! Voici comment vous pouvez contribuer:

1. Fourchez le référentiel

   • Créez votre propre fourche du projet
   • Clone à votre machine locale

2. Créer une branche

   • Créez une nouvelle branche pour votre fonctionnalité ou votre bugfix
   • Utilisez un nom descriptif (par exemple, feature/add-monitoring ou fix/nodegroup-scaling )

3. Apporter vos modifications

   • Suivez le style de code et les conventions existantes
   • Ajouter ou mettre à jour la documentation au besoin
   • Testez vos modifications soigneusement

4. Soumettre une demande de traction

   • Poussez vos modifications à votre fourchette
   • Créez une demande de traction de votre branche à notre branche principale
   • Fournir une description claire des modifications
   • Référencer tous les problèmes connexes

5. Revue de code

   • Attendez que les mainteneurs examinent votre PR
   • Apporter des modifications demandées
   • Une fois approuvé, votre PR sera fusionné

Lignes directrices de développement

• Suivez les meilleures pratiques de l'infrastructure comme code
• Documenter toutes les nouvelles options de configuration
• Mettez à jour le ReadMe pour des changements importants
• Test des modifications dans un cluster EKS distinct avant de soumettre

Problèmes de rapport

Si vous trouvez un bogue ou si vous avez une demande de fonctionnalité:

1. Vérifiez d'abord les problèmes existants
2. Créez un nouveau problème avec:
   • Description claire du problème
   • Étapes pour reproduire
   • Comportement attendu vs réel
   • Vos détails d'environnement

Pour des questions ou des discussions, veuillez utiliser la section Discortés du référentiel.

Portée future

• Configuration de la sauvegarde et de la restauration pour TYPESSENSE
• Configuration de la surveillance et de l'alerte pour Typesense
• Configuration automatique