使用 Cloud SQL 数据库和 LangChain 构建基于 LLM 和 RAG 的聊天应用

1. 简介

在此 Codelab 中，您将学习如何部署 GenAI Retrieval Service，并使用部署的环境创建示例交互式应用。

您可以点击此处，详细了解 GenAI Retrieval Service 和示例应用。

前提条件

• 对 Google Cloud 控制台有基本的了解
• 具备命令行界面和 Google Cloud Shell 方面的基本技能

学习内容

• 如何创建 Cloud SQL 实例
• 如何连接到实例
• 如何配置和部署 GenAI Databases Retrieval Service
• 如何使用已部署的服务来部署示例应用

所需条件

• Google Cloud 账号和 Google Cloud 项目
• 网络浏览器，例如 Chrome

2. 设置和要求

自定进度的环境设置

1. 登录 Google Cloud 控制台，然后创建一个新项目或重复使用现有项目。如果您还没有 Gmail 或 Google Workspace 账号，则必须创建一个。

• 项目名称是此项目参与者的显示名称。它是 Google API 尚未使用的字符串。您可以随时对其进行更新。
• 项目 ID 在所有 Google Cloud 项目中是唯一的，并且是不可变的（一经设置便无法更改）。Cloud 控制台会自动生成一个唯一字符串；通常情况下，您无需关注该字符串。在大多数 Codelab 中，您都需要引用项目 ID（通常用 PROJECT_ID 标识）。如果您不喜欢生成的 ID，可以再随机生成一个 ID。或者，您也可以尝试自己的项目 ID，看看是否可用。完成此步骤后便无法更改该 ID，并且此 ID 在项目期间会一直保留。
• 此外，还有第三个值，即部分 API 使用的项目编号，供您参考。如需详细了解所有这三个值，请参阅文档。

注意：项目 ID 具有全局唯一性，您选择它后，其他任何人都不能再使用。您是此 ID 的唯一用户。即使项目被删除，相应 ID 也无法再次使用

注意：如果您使用的是 Gmail 账号，可以将默认位置设置为无组织。如果您使用的是 Google Workspace 账号，请选择对贵组织来说合理的位置。

2. 接下来，您需要在 Cloud 控制台中启用结算功能，以便使用 Cloud 资源/API。运行此 Codelab 应该不会产生太多的费用（如果有的话）。若要关闭资源以避免产生超出本教程范围的结算费用，您可以删除自己创建的资源或删除项目。Google Cloud 新用户符合参与 300 美元免费试用计划的条件。

启动 Cloud Shell

虽然可以通过笔记本电脑对 Google Cloud 进行远程操作，但在此 Codelab 中，您将使用 Google Cloud Shell，这是一个在云端运行的命令行环境。

在 Google Cloud 控制台 中，点击右上角工具栏中的 Cloud Shell 图标：

预配和连接到环境应该只需要片刻时间。完成后，您应该会看到如下内容：

这个虚拟机已加载了您需要的所有开发工具。它提供了一个持久的 5 GB 主目录，并且在 Google Cloud 中运行，大大增强了网络性能和身份验证功能。您在此 Codelab 中的所有工作都可以在浏览器中完成。您无需安装任何程序。

3. 准备工作

启用 API

请注意，如果您未使用促销方案，您启用的某些资源将会产生一些费用。在正常情况下，如果在实验完成后即销毁所有资源，则所有资源的费用不会超过 5 美元。我们建议您查看结算信息，并确保您可接受该练习。

在 Cloud Shell 中，确保项目 ID 已设置：

通常，项目 ID 会显示在 Cloud Shell 命令提示符中的括号内，如下图所示：

gcloud config set project [YOUR-PROJECT-ID]

然后，将 PROJECT_ID 环境变量设置为您的 Google Cloud 项目 ID：

PROJECT_ID=$(gcloud config get-value project)

启用所有必要的服务：

gcloud services enable sqladmin.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com

预期的控制台输出：

student@cloudshell:~ (gleb-test-short-004)$ gcloud services enable sqladmin.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com
Operation "operations/acf.p2-404051529011-664c71ad-cb2b-4ab4-86c1-1f3157d70ba1" finished successfully.

4. 创建 Cloud SQL 实例

创建启用了矢量支持的 Cloud SQL 实例。

创建密码

为默认数据库用户定义密码。您可以定义自己的密码，也可以使用随机函数生成密码

export CLOUDSQL_PASSWORD=`openssl rand -hex 12`

记下生成的密码值

echo $CLOUDSQL_PASSWORD

MySQL

您可以在创建实例时启用 cloudsql_vector 标志。目前，MySQL 8.0.36 和8.0.37.

export region=us-central1
gcloud sql instances create my-cloudsql-instance --region=$region --database-version=MYSQL_8_0_36 --database-flags=cloudsql_vector=ON --root-password=$CLOUDSQL_PASSWORD

预期的控制台输出（已隐去 IP 地址）：

student@cloudshell:~ export region=us-central1
gcloud sql instances create my-cloudsql-instance --region=$region --database-version=MYSQL_8_0_36 --database-flags=cloudsql_vector=ON --root-password=$CLOUDSQL_PASSWORD
Creating Cloud SQL instance for MYSQL_8_0_36...done.                                                                                                                                 
Created [https://sqladmin.googleapis.com/sql/v1beta4/projects/test-project-402417/instances/my-cloudsql-instance].
NAME                   DATABASE_VERSION  LOCATION       TIER             PRIMARY_ADDRESS  PRIVATE_ADDRESS  STATUS
my-cloudsql-instance  MYSQL_8_0_36      us-central1-a  db-n1-standard-1  00.000.00.00   -                RUNNABLE

PostgreSQL

11 及更高版本提供 pgvector 扩展。

export region=us-central1
gcloud sql instances create my-cloudsql-instance --region=$region --database-version=POSTGRES_15 --tier=db-g1-small

预期的控制台输出（已隐去 IP 地址）：

student@cloudshell:~ export region=us-central1
gcloud sql instances create my-cloudsql-instance --region=$region --database-version=POSTGRES_15 --tier=db-g1-small
Creating Cloud SQL instance for POSTGRES_15...done.                                                                                                                                  
Created [https://sqladmin.googleapis.com/sql/v1beta4/projects/test-project-402417/instances/my-cloudsql-instance].
NAME                   DATABASE_VERSION  LOCATION       TIER         PRIMARY_ADDRESS  PRIVATE_ADDRESS  STATUS
my-cloudsql-instance  POSTGRES_15       us-central1-a  db-g1-small  00.000.00.00     -                RUNNABLE

创建实例后，我们需要为实例中的默认用户定义密码，并检查我们能否使用该密码进行连接。准备好进行连接时，请在提示中输入您的密码。

gcloud sql users set-password postgres \
    --instance=my-cloudsql-instance \
    --password=$CLOUDSQL_PASSWORD
gcloud sql connect my-cloudsql-instance --user=postgres

预期的控制台输出：

student@cloudshell:~ (test-project-402417)$ gcloud sql users set-password postgres \
    --instance=my-cloudsql-instance \
    --password=$CLOUDSQL_PASSWORD
gcloud sql connect my-cloudsql-instance --user=postgres
Updating Cloud SQL user...done.                                                                                                                                                                                                                                            
Allowlisting your IP for incoming connection for 5 minutes...done.                                                                                                                                                                                                         
Connecting to database with SQL user [postgres].Password: 
psql (16.3 (Ubuntu 16.3-1.pgdg22.04+1), server 15.7)
SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, compression: off)
Type "help" for help.

postgres=>

退出 psql 会话：

exit

5. 准备 GCE 虚拟机

创建服务账号

由于我们将使用虚拟机部署 GenAI Databases Retrieval Service 并托管示例应用，因此第一步是创建 Google 服务账号 (GSA)。GSA 将由 GCE 虚拟机使用，我们需要授予它与其他服务协同工作的必要权限。

在 Cloud Shell 中，执行以下命令：

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create compute-aip --project $PROJECT_ID
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/cloudbuild.builds.editor"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/artifactregistry.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/storage.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/run.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/cloudsql.viewer"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/cloudsql.client"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"

部署 GCE 虚拟机

在 Cloud SQL 实例所在的区域和 VPC 中创建 GCE 虚拟机。

在 Cloud Shell 中，执行以下命令：

export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
  --service-account=compute-aip@$PROJECT_ID.iam.gserviceaccount.com

预期的控制台输出：

student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform

Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/zones/us-central1-a/instances/instance-1].
NAME: instance-1
ZONE: us-central1-a
MACHINE_TYPE: n1-standard-1
PREEMPTIBLE: 
INTERNAL_IP: 10.128.0.2
EXTERNAL_IP: 34.71.192.233
STATUS: RUNNING

授权虚拟机连接到 Cloud SQL

我们需要将虚拟机公共 IP 添加到 Cloud SQL 实例的授权网络列表中。在 Cloud Shell 中，执行以下命令：

请注意，以下命令会将创建的实例中的所有授权网络替换为您的虚拟机外部 IP

VM_EXTERNAL_IP=$(gcloud compute instances describe instance-1 --zone=us-central1-a --format='get(networkInterfaces[0].accessConfigs[0].natIP)')
gcloud sql instances patch my-cloudsql-instance --authorized-networks=$VM_EXTERNAL_IP

预期的控制台输出：

student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
student@cloudshell:~ (test-project-402417)$ VM_EXTERNAL_IP=$(gcloud compute instances describe instance-1 --zone=us-central1-a --format='get(networkInterfaces[0].accessConfigs[0].natIP)')
gcloud sql instances patch my-cloudsql-instance --authorized-networks=$VM_EXTERNAL_IP
When adding a new IP address to authorized networks, make sure to also include any IP addresses that have already been authorized. Otherwise, they will be overwritten and de-authorized.

Do you want to continue (Y/n)?  Y

The following message will be used for the patch API method.
{"name": "my-cloudsql-instance", "project": "test-project-402417", "settings": {"ipConfiguration": {"authorizedNetworks": [{"value": "34.71.252.173"}]}}}
Patching Cloud SQL instance...done.                                                                                                                                                                                     
Updated [https://sqladmin.googleapis.com/sql/v1beta4/projects/test-project-402417/instances/my-cloudsql-instance].

安装数据库客户端

MySQL

在已部署的虚拟机上安装 MySQL 客户端软件。

连接到虚拟机：

注意：首次通过 SSH 连接到虚拟机可能需要更长时间，因为此过程包括创建用于安全连接的 RSA 密钥，以及将该密钥的公共部分传播到项目

gcloud compute ssh instance-1 --zone=us-central1-a

预期的控制台输出：

student@cloudshell:~ (test-project-402417)$ gcloud compute ssh instance-1 --zone=us-central1-a
Updating project ssh metadata...working..Updated [https://www.googleapis.com/compute/v1/projects/test-project-402417].                                                                                                                                                         
Updating project ssh metadata...done.                                                                                                                                                                                                                                              
Waiting for SSH key to propagate.
Warning: Permanently added 'compute.5110295539541121102' (ECDSA) to the list of known hosts.
Linux instance-1 5.10.0-26-cloud-amd64 #1 SMP Debian 5.10.197-1 (2023-09-29) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$ 

在虚拟机内运行以下命令来安装软件：

sudo apt-get update
sudo apt-get install --yes default-mysql-client

预期的控制台输出：

student@instance-1:~$ sudo apt-get update
sudo apt-get install --yes mysql-client
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
The following additional packages will be installed:
  libconfig-inifiles-perl libdbd-mariadb-perl libdbi-perl libgdbm-compat4 libperl5.32 libterm-readkey-perl mariadb-client-10.5 mariadb-client-core-10.5 perl perl-modules-5.32
Suggested packages:
  libclone-perl libmldbm-perl libnet-daemon-perl libsql-statement-perl perl-doc libterm-readline-gnu-perl | libterm-readline-perl-perl make libtap-harness-archive-perl
The following NEW packages will be installed:
  default-mysql-client libconfig-inifiles-perl libdbd-mariadb-perl libdbi-perl libgdbm-compat4 libperl5.32 libterm-readkey-perl mariadb-client-10.5 mariadb-client-core-10.5 perl
  Perl-modules-5.32
...redacted...
Processing triggers for libc-bin (2.31-13+deb11u10) ...

PostgreSQL

在已部署的虚拟机上安装 PostgreSQL 客户端软件。

连接到虚拟机：

注意：首次通过 SSH 连接到虚拟机可能需要更长时间，因为此过程包括创建用于安全连接的 RSA 密钥，以及将该密钥的公共部分传播到项目

gcloud compute ssh instance-1 --zone=us-central1-a

预期的控制台输出：

student@cloudshell:~ (test-project-402417)$ gcloud compute ssh instance-1 --zone=us-central1-a
Updating project ssh metadata...working..Updated [https://www.googleapis.com/compute/v1/projects/test-project-402417].                                                                                                                                                         
Updating project ssh metadata...done.                                                                                                                                                                                                                                              
Waiting for SSH key to propagate.
Warning: Permanently added 'compute.5110295539541121102' (ECDSA) to the list of known hosts.
Linux instance-1 5.10.0-26-cloud-amd64 #1 SMP Debian 5.10.197-1 (2023-09-29) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$ 

在虚拟机内运行以下命令来安装软件：

sudo apt-get update
sudo apt-get install --yes postgresql-client

预期的控制台输出：

student@instance-1:~$ sudo apt-get update
sudo apt-get install --yes postgresql-client
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
Get:4 file:/etc/apt/mirrors/debian-security.list Mirrorlist [39 B]
Hit:7 https://packages.cloud.google.com/apt google-compute-engine-bookworm-stable InRelease
Get:8 https://packages.cloud.google.com/apt cloud-sdk-bookworm InRelease [1652 B]
Get:2 https://deb.debian.org/debian bookworm InRelease [151 kB]
Get:3 https://deb.debian.org/debian bookworm-updates InRelease [55.4 kB]
...redacted...
update-alternatives: using /usr/share/postgresql/15/man/man1/psql.1.gz to provide /usr/share/man/man1/psql.1.gz (psql.1.gz) in auto mode
Setting up postgresql-client (15+248) ...
Processing triggers for man-db (2.11.2-2) ...
Processing triggers for libc-bin (2.36-9+deb12u7) ...

连接到实例

MySQL

使用 MySQL 从虚拟机连接到主实例。

使用已打开的 SSH 会话继续连接到虚拟机。如果您已断开连接，请使用与上面相同的命令重新连接。

使用前面记下的 $CLOUDSQL_PASSWORD 和实例名称从 GCE 虚拟机连接到 Cloud SQL：

export CLOUDSQL_PASSWORD=<Noted password>

export PROJECT_ID=$(gcloud config get-value project)
export REGION=us-central1
export INSTANCE_NAME=my-cloudsql-instance
export INSTANCE_IP=$(gcloud sql instances list --filter=name:$INSTANCE_NAME --format="value(PRIMARY_ADDRESS)")
mysql --host=$INSTANCE_IP --user=root --password=$CLOUDSQL_PASSWORD

预期的控制台输出：

student@instance-1:~$ export CLOUDSQL_PASSWORD=P9...
student@instance-1:~$ export REGION=us-central1
student@instance-1:~$ export INSTANCE_NAME=my-cloud-sql-instance
student@instance-1:~$ export INSTANCE_IP=$(gcloud sql instances list --filter=name:$INSTANCE_NAME --format="value(PRIMARY_ADDRESS)")
student@instance-1:~$ mysql  –host=$INSTANCE_IP –user=root –password=$CLOUDSQL_PASSWORD –sslmode=require 
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 2824706
Server version: 8.0.36-google (Google)

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [(none)]>

退出 MySQL 会话，同时保持 SSH 连接：

exit

预期的控制台输出：

MySQL [(none)]> exit
Bye
student@instance-1:~$ 

PostgreSQL

使用 psql 从虚拟机连接到主实例。

使用已打开的 SSH 会话继续连接到虚拟机。如果您已断开连接，请使用与上面相同的命令重新连接。

使用前面记下的 $CLOUDSQL_PASSWORD 和实例名称从 GCE 虚拟机连接到 PostgreSQL：

export PGPASSWORD=<Noted password (CLOUDSQL_PASSWORD)>
export CLOUDSQL_PASSWORD=$PGPASSWORD

export PROJECT_ID=$(gcloud config get-value project)
export REGION=us-central1
export INSTANCE_NAME=my-cloudsql-instance
export INSTANCE_IP=$(gcloud sql instances list --filter=name:$INSTANCE_NAME --format="value(PRIMARY_ADDRESS)")
psql "host=$INSTANCE_IP user=postgres sslmode=require"

预期的控制台输出：

student@instance-1:~$ export CLOUDSQL_PASSWORD=P9...
student@instance-1:~$ export REGION=us-central1
student@instance-1:~$ export INSTANCE_IP=$(gcloud sql instances list --filter=name:$INSTANCE_NAME --format="value(PRIMARY_ADDRESS)")
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres sslmode=require"
psql (13.11 (Debian 13.11-0+deb11u1), server 14.7)
WARNING: psql major version 13, server major version 14.
         Some psql features might not work.
SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, bits: 256, compression: off)
Type "help" for help.

postgres=> 

退出 psql 会话，同时保持 SSH 连接：

exit

预期的控制台输出：

postgres=> exit
student@instance-1:~$ 

6. 初始化数据库

我们将使用客户端虚拟机作为平台，向数据库填充数据并托管应用。第一步是创建数据库并为其填充数据。

创建数据库

MySQL

创建一个名为“assistantdemo”的数据库。

在 GCE 虚拟机会话中，执行以下命令：

注意：如果 SSH 会话终止，您需要重置环境变量，例如：

export CLOUDSQL_PASSWORD=<所述 Cloud SQL 密码>

export INSTANCE_IP=<Cloud SQL 实例 IP>

mysql --host=$INSTANCE_IP  --user=root --password=$CLOUDSQL_PASSWORD -e "CREATE DATABASE assistantdemo"

预期的控制台输出（无输出）：

student@instance-1:~$ mysql --host=$INSTANCE_IP  --user=root --password=$CLOUDSQL_PASSWORD -e "CREATE DATABASE assistantdemo"
student@instance-1:~$  

PostgreSQL

创建一个名为“assistantdemo”的数据库。

在 GCE 虚拟机会话中，执行以下命令：

注意：如果 SSH 会话终止，您需要重置环境变量，例如：

export CLOUDSQL_PASSWORD=<所述 Cloud SQL 密码>

export INSTANCE_IP=<Cloud SQL 实例 IP>

psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"  

预期的控制台输出：

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"
CREATE DATABASE
student@instance-1:~$  

启用 pgvector 扩展程序。

psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"  

预期的控制台输出（无输出）：

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"
CREATE EXTENSION
student@instance-1:~$

准备 Python 环境

如要继续，我们将使用 GitHub 代码库中已准备好的 Python 脚本，但在此之前，我们需要安装所需的软件。

在 GCE 虚拟机中，执行以下命令：

sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip

预期的控制台输出：

student@instance-1:~$ sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
The following additional packages will be installed:
  git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl
Suggested packages:
  git-daemon-run | git-daemon-sysvinit git-doc git-email git-gui gitk gitweb git-cvs git-mediawiki git-svn ed diffutils-doc
The following NEW packages will be installed:
  git git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl python3.11-venv
0 upgraded, 9 newly installed, 0 to remove and 2 not upgraded.
Need to get 12.4 MB of archives.
After this operation, 52.2 MB of additional disk space will be used.
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
...redacted...
Installing collected packages: pip
  Attempting uninstall: pip
    Found existing installation: pip 23.0.1
    Uninstalling pip-23.0.1:
      Successfully uninstalled pip-23.0.1
Successfully installed pip-24.0
(.venv) student@instance-1:~$

验证 Python 版本。

在 GCE 虚拟机中，执行以下命令：

python -V

预期的控制台输出：

(.venv) student@instance-1:~$ python -V
Python 3.11.2
(.venv) student@instance-1:~$ 

准备配置文件

克隆包含检索服务和示例应用代码的 GitHub 代码库。

在 GCE 虚拟机中，执行以下命令：

git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git

预期的控制台输出：

student@instance-1:~$ git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git
Cloning into 'genai-databases-retrieval-app'...
remote: Enumerating objects: 525, done.
remote: Counting objects: 100% (336/336), done.
remote: Compressing objects: 100% (201/201), done.
remote: Total 525 (delta 224), reused 179 (delta 135), pack-reused 189
Receiving objects: 100% (525/525), 46.58 MiB | 16.16 MiB/s, done.
Resolving deltas: 100% (289/289), done.

MySQL

在 GCE 虚拟机中，执行以下命令：

注意：如果 SSH 会话终止，您需要设置环境变量，例如：

export CLOUDSQL_PASSWORD=<记下的密码>

REGION=us-central1

INSTANCE_NAME=my-cloud-sql-instance

INSTANCE_IP=$(gcloud sql instances list –filter=name:$INSTANCE_NAME –format="value(PRIMARY_ADDRESS)")

导出 PROJECT_ID=$(gcloud config get-value project)

cd ~/genai-databases-retrieval-app/retrieval_service
cp example-config-cloudsql.yml config.yml
cp example-config-cloudsql.yml config.yml
sed -i s/engine/mysql/g config.yml
sed -i s/my-project/$PROJECT_ID/g config.yml
sed -i s/my-region/$REGION/g config.yml
sed -i s/my-instance/$INSTANCE_NAME/g config.yml
sed -i s/my-password//g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/root/g config.yml
cat config.yml

预期的控制台输出：

student@instance-1:~$ cd genai-databases-retrieval-app/retrieval_service
cp example-config-cloudsql.yml config.yml
sed -i s/127.0.0.1/$INSTANCE_IP/g config.yml
sed -i s/my-password/$CLOUDSQL_PASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml
host: 0.0.0.0
# port: 8080
datastore:
  # Example for MySQL
  kind: "cloudsql-mysql"
  host: 10.65.0.2
  # port: 5432
  database: "assistantdemo"
  user: "root"
  password: "P9..."

Postgres

在 GCE 虚拟机中，执行以下命令：

注意：如果 SSH 会话终止，您需要设置环境变量，例如：

export PGPASSWORD=<记下的密码>

REGION=us-central1

INSTANCE_NAME=my-cloud-sql-instance

INSTANCE_IP=$(gcloud sql instances list –filter=name:$INSTANCE_NAME –format="value(PRIMARY_ADDRESS)")

导出 PROJECT_ID=$(gcloud config get-value project)

cd ~/genai-databases-retrieval-app/retrieval_service
cp example-config-cloudsql.yml config.yml
sed -i s/engine/postgres/g config.yml
sed -i s/my-project/$PROJECT_ID/g config.yml
sed -i s/my-region/$REGION/g config.yml
sed -i s/my-instance/$INSTANCE_NAME/g config.yml
sed -i s/my-password/$PGPASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml

预期的控制台输出：

student@instance-1:~$ cd genai-databases-retrieval-app/retrieval_service
cp example-config-cloudsql.yml config.yml
sed -i s/engine/postgres/g config.yml
sed -i s/my-project/$PROJECT_ID/g config.yml
sed -i s/my-region/$REGION/g config.yml
sed -i s/my-instance/$INSTANCE_NAME/g config.yml
sed -i s/my-password/$CLOUDSQL_PASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml
host: 0.0.0.0
# port: 8080
datastore:
  # Example for Postgres
  kind: "cloudsql-postgres"
  host: 10.65.0.2
  # port: 5432
  database: "assistantdemo"
  user: "postgres"
  password: "P9..."

填充数据库

使用示例数据集填充数据库。第一个命令是将所有必需的软件包添加到 Python 虚拟环境中，第二个命令是用数据填充我们的数据库。

在 GCE 虚拟机中，执行以下命令：

cd ~/genai-databases-retrieval-app/retrieval_service
pip install -r requirements.txt
python run_database_init.py

预期的控制台输出（已隐去部分信息）：

student@instance-1:~/genai-databases-retrieval-app/retrieval_service$ pip install -r requirements.txt
python run_database_init.py
Collecting asyncpg==0.28.0 (from -r requirements.txt (line 1))
  Obtaining dependency information for asyncpg==0.28.0 from https://files.pythonhosted.org/packages/77/a4/88069f7935b14c58534442a57be3299179eb46aace2d3c8716be199ff6a6/asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata
  Downloading asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata (4.3 kB)
Collecting fastapi==0.101.1 (from -r requirements.txt (line 2))
...
database init done.
student@instance-1:~/genai-databases-retrieval-app/retrieval_service$

7. 将检索服务部署到 Cloud Run

现在，我们可以将检索服务部署到 Cloud Run。该服务负责与数据库合作，并根据 AI 应用的请求从数据库中提取必要的信息。

创建服务账号

为检索服务创建服务账号并授予必要的权限。

使用顶部的“+”号打开另一个 Cloud Shell 标签页。

在新的 Cloud Shell 标签页中，执行以下命令：

export PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create retrieval-identity
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member="serviceAccount:retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/cloudsql.client"

预期的控制台输出：

student@cloudshell:~ (gleb-test-short-003)$ gcloud iam service-accounts create retrieval-identity
Created service account [retrieval-identity].

在标签页中执行命令“exit”，关闭该标签页：

exit

部署检索服务

在通过 SSH 连接到虚拟机的第一个标签页中，继续部署该服务。

在虚拟机 SSH 会话中，执行以下命令：

cd ~/genai-databases-retrieval-app
gcloud alpha run deploy retrieval-service \
    --source=./retrieval_service/\
    --no-allow-unauthenticated \
    --service-account retrieval-identity \
    --region us-central1 \
    --network=default \
    --quiet

预期的控制台输出：

student@instance-1:~/genai-databases-retrieval-app$ gcloud alpha run deploy retrieval-service \
    --source=./retrieval_service/\
    --no-allow-unauthenticated \
    --service-account retrieval-identity \
    --region us-central1 \
    --network=default
This command is equivalent to running `gcloud builds submit --tag [IMAGE] ./retrieval_service/` and `gcloud run deploy retrieval-service --image [IMAGE]`

Building using Dockerfile and deploying container to Cloud Run service [retrieval-service] in project [gleb-test-short-003] region [us-central1]
X Building and deploying... Done.
  ✓ Uploading sources...
  ✓ Building Container... Logs are available at [https://console.cloud.google.com/cloud-build/builds/6ebe74bf-3039-4221-b2e9-7ca8fa8dad8e?project=1012713954588].
  ✓ Creating Revision...
  ✓ Routing traffic...
    Setting IAM Policy...
Completed with warnings:
  Setting IAM policy failed, try "gcloud beta run services remove-iam-policy-binding --region=us-central1 --member=allUsers --role=roles/run.invoker retrieval-service"
Service [retrieval-service] revision [retrieval-service-00002-4pl] has been deployed and is serving 100 percent of traffic.
Service URL: https://retrieval-service-onme64eorq-uc.a.run.app
student@instance-1:~/genai-databases-retrieval-app$

验证服务

现在，我们可以检查服务是否正常运行，以及虚拟机是否有权访问端点。我们使用 gcloud 实用程序获取检索服务端点。或者，您可以在 Cloud 控制台中查看相关信息，然后在 curl 命令中将 "$(gcloud run services list –filter="retrieve-service)" 替换为其中的值。

在虚拟机 SSH 会话中，执行以下命令：

curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

预期的控制台输出：

student@instance-1:~/genai-databases-retrieval-app$ curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")
{"message":"Hello World"}student@instance-1:~/genai-databases-retrieval-app$

如果我们看到“Hello World”消息，则表示我们的服务已启动并正在处理请求。

8. 部署示例应用

现在，在启动并运行检索服务后，我们可以部署将使用该服务的示例应用。该应用可以部署在虚拟机或任何其他服务（如 Cloud Run、Kubernetes）上，甚至可以在本地部署到笔记本电脑上。下面我们将介绍如何在虚拟机上部署该应用。

准备好环境

我们将继续使用同一 SSH 会话在虚拟机上执行操作。如需运行我们的应用，我们需要添加一些 Python 模块。该命令将从同一 Python 虚拟环境中的应用目录执行。

在虚拟机 SSH 会话中，执行以下命令：

cd ~/genai-databases-retrieval-app/llm_demo
pip install -r requirements.txt

预期输出（已隐去部分信息）：

student@instance-1:~$ cd ~/genai-databases-retrieval-app/llm_demo
pip install -r requirements.txt
Collecting fastapi==0.104.0 (from -r requirements.txt (line 1))
  Obtaining dependency information for fastapi==0.104.0 from https://files.pythonhosted.org/packages/db/30/b8d323119c37e15b7fa639e65e0eb7d81eb675ba166ac83e695aad3bd321/fastapi-0.104.0-py3-none-any.whl.metadata
  Downloading fastapi-0.104.0-py3-none-any.whl.metadata (24 kB)
...

准备客户端 ID

如需使用应用的预订功能，我们需要使用 Cloud 控制台准备 OAuth 2.0 客户端 ID。我们将登录应用，因为预订会使用客户端凭据将预订数据记录在数据库中。

在 Cloud 控制台中，前往“API 和服务”，然后点击“OAuth 同意屏幕”然后选择“内部”用户。

然后推送“创建”然后按照下一个屏幕中的说明操作

您需要填写“应用名称”等必填字段和“用户支持电子邮件地址”此外，您还可以添加要在同意屏幕上显示的域名，最后添加“开发者联系信息”

然后按提示点击“保存并继续”按钮，即可转到下一页。

您无需在此处进行任何更改，除非您想指定范围。最后，请点击“保存并继续”按钮。这将设置应用同意屏幕。

下一步是创建客户端 ID。在左侧面板中，点击“凭据”系统会将您转到 OAuth2 的凭据。

在这里点击“Create Credentials”然后选择“OAuth ClientID”。然后，系统会打开另一个屏幕。

选择“Web 应用”应用类型下拉列表，然后将应用 URI（和端口 - 可选）作为“已获授权的 JavaScript 来源”。此外，您需要将“已获授权的重定向 URI”添加到输入“/login/google”以便能够使用授权弹出屏幕。在上图中，您可以看到我已使用 http://localhost 作为基础应用 URI。

推送“创建”按钮，系统会显示一个包含您客户端凭据的弹出式窗口。

稍后我们需要将客户端 ID（以及可选的客户端密钥）用于我们的应用

运行助理应用

在启动应用之前，我们需要设置一些环境变量。该应用的基本功能（例如查询航班和机场设施）仅需要 BASE_URL，它将应用指向检索服务。我们可以使用 gcloud 命令获取它。

在虚拟机 SSH 会话中，执行以下命令：

export BASE_URL=$(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

预期输出（已隐去部分信息）：

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export BASE_URL=$(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

要使用应用程序的更高级功能（如预订和更改航班），我们需要使用 Google 账号登录应用程序，为此，我们需要使用“准备客户端 ID”一章中的 OAuth 客户端 ID 提供 CLIENT_ID 环境变量：

export CLIENT_ID=215....apps.googleusercontent.com

预期输出（已隐去部分信息）：

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export CLIENT_ID=215....apps.googleusercontent.com

现在，我们可以运行应用：

python run_app.py

预期输出：

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ python main.py
INFO:     Started server process [28565]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8081 (Press CTRL+C to quit)

连接到应用

您可以通过多种方式连接到虚拟机上运行的应用。例如，您可以在 VPC 中使用防火墙规则打开虚拟机上的端口 8081，或创建具有公共 IP 的负载均衡器。在这里，我们将使用通向虚拟机的 SSH 隧道将本地端口 8080 转换为虚拟机端口 8081。

从本地机器连接

当我们需要从本地机器建立连接时，需要运行 SSH 隧道。您可以使用 gcloud compute ssh 完成此操作：

gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8081:localhost:8081

预期输出：

student-macbookpro:~ student$ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081
Warning: Permanently added 'compute.7064281075337367021' (ED25519) to the list of known hosts.
Linux instance-1.us-central1-c.c.gleb-test-001.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$

现在，我们可以打开浏览器，并使用 http://localhost:8081 连接到我们的应用。我们应该会看到应用屏幕。

从 Cloud Shell 连接

我们也可以使用 Cloud Shell 进行连接。使用顶部的“+”号打开另一个 Cloud Shell 标签页。

在新 Cloud Shell 标签页中执行 gcloud 命令，启动通向虚拟机的隧道：

gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081

系统会显示“Cannot assign requested address”错误，请忽略该错误。

预期输出如下：

student@cloudshell:~ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081
bind [::1]:8081: Cannot assign requested address
inux instance-1.us-central1-a.c.gleb-codelive-01.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Sat May 25 19:15:46 2024 from 35.243.235.73
student@instance-1:~$

此操作会在您的 Cloud Shell 上打开端口 8080，该端口可用于“网页预览”。

点击“网页预览”按钮，然后从下拉菜单中选择“在端口 8080 上预览”。

系统会在网络浏览器中打开一个包含应用界面的新标签页。您应该能看到“Cymbal Air Customer Service Assistant”页面。在网页的地址栏中，我们可以看到预览页的 URI。我们需要删除“/?authuser=0&redirectedPreviously=true”部分末尾

并使用 URI 的第一部分，例如“https://8080-cs-35704030349-default.cs-us-east1-vpcf.cloudshell.dev/”留在浏览器窗口中，并以“已获授权的 JavaScript 来源”的形式提供和“已获授权的重定向 URI”在“Prepare Client ID”部分创建的章节替换或添加最初提供的 http://localhost:8080 值。上限值类似于“https://8080-cs-35704030349-default.cs-us-east1-vpcf.cloudshell.dev”位于较低的位置是“https://8080-cs-35704030349-default.cs-us-east1-vpcf.cloudshell.dev/login/google”

登录应用

当一切设置完毕且您的应用已打开时，我们就可以使用“登录”按钮，提供我们的凭据。这是可选的，且仅当您想尝试应用的预订功能时才是必需的。

系统会打开一个弹出式窗口，供我们选择凭据。

登录后，应用已准备就绪，您可以开始将请求发布到窗口底部的字段中。

此演示展示了 Cymbal Air 客户服务助理。Cymbal Air 是一家虚构的客运航空公司。该助理是一个 AI 聊天机器人，可帮助旅客管理航班，以及查询 Cymbal Air 位于旧金山国际机场 (SFO) 的航空枢纽的相关信息。

在不登录（不登录 CLIENT_ID）的情况下，该选项可以帮助回答用户的问题，例如：

飞往丹佛的下一趟航班是什么时候？

C28 号登机口附近有没有奢侈品商店？

A6 号登机口附近在哪里可以喝杯咖啡？

我可以在哪里购买礼物？

请预订上午 10:35 起飞的飞往丹佛的航班

登录该应用后，您可以尝试其他功能，例如预订航班或查看分配给您的座位是否为靠窗或过道座位。

该应用使用最新的 Google 基础模型来生成回答，并通过 Cloud SQL 运营数据库中有关航班和酒店设施的信息扩充回答内容。如需详细了解此演示版应用，请访问项目的 GitHub 页面。

9. 清理环境

完成所有任务后，我们就可以清理环境了。

删除 Cloud Run 服务

在 Cloud Shell 中，执行以下命令：

gcloud run services delete retrieval-service --region us-central1

预期的控制台输出：

student@cloudshell:~ (gleb-test-short-004)$ gcloud run services delete retrieval-service --region us-central1
Service [retrieval-service] will be deleted.

Do you want to continue (Y/n)?  Y

Deleting [retrieval-service]...done.                                                                                                                                                                                                                 
Deleted service [retrieval-service].

删除 Cloud Run 服务的服务账号

在 Cloud Shell 中，执行以下命令：

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet

预期的控制台输出：

student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project)
Your active configuration is: [cloudshell-222]
student@cloudshell:~ (gleb-test-short-004)$ gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet
deleted service account [[e-mail]]
student@cloudshell:~ (gleb-test-short-004)$

删除 Cloud SQL 实例

完成实验后销毁 Cloud SQL 实例

如果您已断开连接且之前的所有设置都已丢失，请在 Cloud Shell 中定义项目和环境变量：

export INSTANCE_NAME=my-cloudsql-instance
export PROJECT_ID=$(gcloud config get-value project)

删除实例：

gcloud sql instances delete $INSTANCE_NAME --project=$PROJECT_ID

注意：该命令需要 3-5 分钟才能执行完毕

预期的控制台输出：

student@cloudshell:~$ gcloud sql instances delete $INSTANCE_NAME --project=$PROJECT_ID
All of the instance data will be lost when the instance is deleted.

Do you want to continue (Y/n)?  y

Deleting Cloud SQL instance...done.                                                                                                                
Deleted [https://sandbox.googleapis.com/v1beta4/projects/test-project-001-402417/instances/my-cloudsql-instance].

现在我们可以销毁虚拟机了

删除 GCE 虚拟机

在 Cloud Shell 中，执行以下命令：

export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
    --zone=$ZONE \
    --quiet

预期的控制台输出：

student@cloudshell:~ (test-project-001-402417)$ export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
    --zone=$ZONE \
    --quiet
Deleted 

删除 GCE 虚拟机和检索服务的服务账号

在 Cloud Shell 中，执行以下命令：

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet

预期的控制台输出：

student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet
Your active configuration is: [cloudshell-222]
deleted service account [[e-mail]]
student@cloudshell:~ (gleb-test-short-004)$ 

10. 恭喜

恭喜您完成此 Codelab。

所学内容

• 如何创建 Cloud SQL 实例
• 如何连接到 Cloud SQL 实例
• 如何配置和部署 GenAI Databases Retrieval Service
• 如何使用已部署的服务来部署示例应用

11. 调查问卷

您打算如何使用本教程？

仅通读 阅读并完成练习