solutions genai llm workshop

概述

這是JAPAC生成AI技術研討會的一部分。研討會遍歷觀眾：

• Google生成的AI語言產品
• Langchain集成

提供雲資源

1. 配置Google雲環境

   如果您在Qwiklabs環境中運行實驗室，則可以跳過步驟2。

手動配置Google Cloud項目：

2. 使用Terraform創建和配置所需的資源。

• Goto terraform/qwiklabs文件夾。

   cd terraform/qwiklabs

• 使用以下內容創建terraform.tfvars文件

   gcp_project_id = <YOUR GCP PROJECT ID>
  gcp_region = <DEFAULT GCP PROJECT ID> 
  gcp_zone = <DEFAULT GCP PROJECT ID> 

• 將Terraform應用於私有Google Cloud Resources。

  terraform init
  terraform plan -var-file=terraform.tfvars
  terraform apply -var-file=terraform.tfvars

  這將創建以下資源：1。具有防火牆規則的VPC，允許80、8080、23 TCP入站販運。 2。服務網絡凝視VPC。

此時，您已經提供了所需的雲資源。

創建頂點AI工作台作為實驗室環境。

在本實驗室中，我們將頂點AI工作台用作實驗室環境。

1. 請按照指令進行“配置頂點AI Workbench實例”。

2. 一旦創建了工作台實例。打開筆記本。

   

3. 開放式終端。

   

4. 在終端中運行以下命令。

    export GOOGLE_CLOUD_PROJECT= $( gcloud config get project )
   export GOOGLE_CLOUD_REGION=us-central1
   export GOOGLE_CLOUD_ZONE=us-central1-a
   
   git clone https://github.com/GoogleCloudPlatform/solutions-genai-llm-workshop
   
   cd solutions-genai-llm-workshop
   
   python3 -m venv .venv
   
   curl -sSL https://raw.githubusercontent.com/python-poetry/install.python-poetry.org/385616cd90816622a087450643fba971d3b46d8c/install-poetry.py | python3 -
   
   source .venv/bin/activate
   curl -sS https://bootstrap.pypa.io/get-pip.py | python3
   
   pip install -r requirements.in

5. 對Google Cloud項目進行身份驗證

   gcloud auth login # Login with project owner account
   gcloud auth application-default login # Login with project owner account
   

6. 為用戶分配所需的角色。

    export USER_EMAIL= < USE ACCOUNT EMAIL >
   gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT --member=user: $USER_EMAIL --role=roles/ml.admin
   
   gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT --member=user: $USER_EMAIL --role=roles/aiplatform.admin
   
   gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT --member=user: $USER_EMAIL --role=roles/aiplatform.user
   
   gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT --member=user: $USER_EMAIL --role=roles/serviceusage.serviceUsageConsumer
   

7. 創建BigQuery數據集

   python3 1-create-and-copy-bq-data.py

8. 創建頂點匹配引擎，這可能需要60分鐘。

   curl -L https://tinyurl.com/genai-202307-dataset --output dataset.zip
   unzip dataset.zip
   rm dataset.zip
   
   python3 0-setup-matching-enging.py