solutions genai llm workshop

Aperçu

Cela fait partie de l'atelier technique de l'AI Japac QwikLabs. L'atelier parcourt le public:

• Offres de langue Générative sur Google
• Intégration de Langchain

Provision Ressources cloud

1. Configurer Google Cloud Environment

   Si vous exécutez le laboratoire dans un environnement QwikLabs, vous pouvez sauter l'étape 2.

Pour configurer manuellement le projet Google Cloud:

2. Utilisez Terraform pour créer et configurer les ressources requises.

• Folder Goto terraform/qwiklabs .

   cd terraform/qwiklabs

• Créer un fichier terraform.tfvars avec le contenu suivant

   gcp_project_id = <YOUR GCP PROJECT ID>
  gcp_region = <DEFAULT GCP PROJECT ID> 
  gcp_zone = <DEFAULT GCP PROJECT ID> 

• Appliquez Terraform à la privation Google Cloud Resources.

  terraform init
  terraform plan -var-file=terraform.tfvars
  terraform apply -var-file=terraform.tfvars

  Cela créera les ressources suivantes: 1. Un VPC avec des règles de pare-feu qui permettent 80, 8080, 23 trafic entrants TCP. 2. Service Network Regoteur avec le VPC.

À ce stade, vous avez fourni des ressources cloud requises.

Créez des soelets Vertex AI comme environnement de laboratoire.

Dans ce laboratoire, nous utilisons Vertex AI Workbench comme environnement de laboratoire.

1. Suivez l'instruction pour provisionner le sommet AI Workbench Instance.

2. Une fois l'instance Workbench créée. Ouvrez le cahier.

   

3. Terminal ouvert.

   

4. Exécutez les commandes suivantes dans le terminal.

    export GOOGLE_CLOUD_PROJECT= $( gcloud config get project )
   export GOOGLE_CLOUD_REGION=us-central1
   export GOOGLE_CLOUD_ZONE=us-central1-a
   
   git clone https://github.com/GoogleCloudPlatform/solutions-genai-llm-workshop
   
   cd solutions-genai-llm-workshop
   
   python3 -m venv .venv
   
   curl -sSL https://raw.githubusercontent.com/python-poetry/install.python-poetry.org/385616cd90816622a087450643fba971d3b46d8c/install-poetry.py | python3 -
   
   source .venv/bin/activate
   curl -sS https://bootstrap.pypa.io/get-pip.py | python3
   
   pip install -r requirements.in

5. S'authentifiez au projet Google Cloud

   gcloud auth login # Login with project owner account
   gcloud auth application-default login # Login with project owner account
   

6. Attribuer des rôles requis à l'utilisateur.

    export USER_EMAIL= < USE ACCOUNT EMAIL >
   gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT --member=user: $USER_EMAIL --role=roles/ml.admin
   
   gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT --member=user: $USER_EMAIL --role=roles/aiplatform.admin
   
   gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT --member=user: $USER_EMAIL --role=roles/aiplatform.user
   
   gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT --member=user: $USER_EMAIL --role=roles/serviceusage.serviceUsageConsumer
   

7. Créer un ensemble de données BigQuery

   python3 1-create-and-copy-bq-data.py

8. Créer un moteur de correspondance de sommets, cela peut prendre environ 60 minutes.

   curl -L https://tinyurl.com/genai-202307-dataset --output dataset.zip
   unzip dataset.zip
   rm dataset.zip
   
   python3 0-setup-matching-enging.py