1. Introducción
En este codelab, aprenderás a implementar el servicio de recuperación de bases de datos de IA generativa y a crear una aplicación interactiva de muestra con el entorno implementado.
Puedes obtener más información sobre el servicio de recuperación de IA generativa y la aplicación de muestra aquí.
Requisitos previos
- Conocimientos básicos sobre la consola de Google Cloud
- Habilidades básicas de la interfaz de línea de comandos y de Google Cloud Shell
Qué aprenderás
- Cómo crear una instancia de Cloud SQL
- Cómo conectarse a la instancia
- Cómo configurar y, luego, implementar el servicio de recuperación de bases de datos de IA generativa
- Cómo implementar una aplicación de muestra a través del servicio implementado
Requisitos
- Una cuenta de Google Cloud y un proyecto de Google Cloud
- Un navegador web, como Chrome
2. Configuración y requisitos
Configuración del entorno de autoaprendizaje
- Accede a Google Cloud Console y crea un proyecto nuevo o reutiliza uno existente. Si aún no tienes una cuenta de Gmail o de Google Workspace, debes crear una.
- El Nombre del proyecto es el nombre visible de los participantes de este proyecto. Es una cadena de caracteres que no se utiliza en las APIs de Google. Puedes actualizarla cuando quieras.
- El ID del proyecto es único en todos los proyectos de Google Cloud y es inmutable (no se puede cambiar después de configurarlo). La consola de Cloud genera automáticamente una cadena única. Por lo general, no importa cuál sea. En la mayoría de los codelabs, deberás hacer referencia al ID de tu proyecto (suele identificarse como
PROJECT_ID). Si no te gusta el ID que se generó, podrías generar otro aleatorio. También puedes probar uno propio y ver si está disponible. No se puede cambiar después de este paso y se usa el mismo durante todo el proyecto. - Recuerda que hay un tercer valor, un número de proyecto, que usan algunas APIs. Obtén más información sobre estos tres valores en la documentación.
- A continuación, deberás habilitar la facturación en la consola de Cloud para usar las APIs o los recursos de Cloud. Ejecutar este codelab no costará mucho, tal vez nada. Para cerrar recursos y evitar que se generen cobros más allá de este instructivo, puedes borrar los recursos que creaste o borrar el proyecto. Los usuarios nuevos de Google Cloud son aptos para participar en el programa Prueba gratuita de $300.
Inicia Cloud Shell
Si bien Google Cloud y Spanner se pueden operar de manera remota desde tu laptop, en este codelab usarás Google Cloud Shell, un entorno de línea de comandos que se ejecuta en la nube.
En Google Cloud Console, haz clic en el ícono de Cloud Shell en la barra de herramientas en la parte superior derecha:
El aprovisionamiento y la conexión al entorno deberían tomar solo unos minutos. Cuando termine el proceso, debería ver algo como lo siguiente:
Esta máquina virtual está cargada con todas las herramientas de desarrollo que necesitarás. Ofrece un directorio principal persistente de 5 GB y se ejecuta en Google Cloud, lo que permite mejorar considerablemente el rendimiento de la red y la autenticación. Todo tu trabajo en este codelab se puede hacer en un navegador. No es necesario que instales nada.
3. Antes de comenzar
Habilitar API
En Cloud Shell, asegúrate de que tu ID del proyecto esté configurado:
Por lo general, el ID del proyecto aparece entre paréntesis en el símbolo del sistema en Cloud Shell, como se muestra en la siguiente imagen:
gcloud config set project [YOUR-PROJECT-ID]
Luego, configura la variable de entorno PROJECT_ID para tu ID del proyecto de Google Cloud:
PROJECT_ID=$(gcloud config get-value project)
Habilita todos los servicios necesarios con el siguiente comando:
gcloud services enable sqladmin.googleapis.com \
compute.googleapis.com \
cloudresourcemanager.googleapis.com \
servicenetworking.googleapis.com \
vpcaccess.googleapis.com \
aiplatform.googleapis.com \
cloudbuild.googleapis.com \
artifactregistry.googleapis.com \
run.googleapis.com \
iam.googleapis.com
Resultado esperado en la consola:
student@cloudshell:~ (gleb-test-short-004)$ gcloud services enable sqladmin.googleapis.com \
compute.googleapis.com \
cloudresourcemanager.googleapis.com \
servicenetworking.googleapis.com \
vpcaccess.googleapis.com \
aiplatform.googleapis.com \
cloudbuild.googleapis.com \
artifactregistry.googleapis.com \
run.googleapis.com \
iam.googleapis.com
Operation "operations/acf.p2-404051529011-664c71ad-cb2b-4ab4-86c1-1f3157d70ba1" finished successfully.
4. Cree una instancia de Cloud SQL
Crear una instancia de Cloud SQL que admita vectores compatibles
Crea una contraseña
Define una contraseña para el usuario predeterminado de la base de datos. Puedes definir tu propia contraseña o usar una función aleatoria para generar una
export CLOUDSQL_PASSWORD=`openssl rand -hex 12`
Anota el valor generado para la contraseña
echo $CLOUDSQL_PASSWORD
MySQL
Puedes habilitar la marca cloudsql_vector durante la creación de la instancia. Actualmente, la compatibilidad con vectores está disponible en MySQL 8.0.36 y 8.0.37.
export region=us-central1
gcloud sql instances create my-cloudsql-instance --region=$region --database-version=MYSQL_8_0_36 --database-flags=cloudsql_vector=ON --root-password=$CLOUDSQL_PASSWORD
Resultado esperado de la consola (dirección IP oculta):
student@cloudshell:~ export region=us-central1 gcloud sql instances create my-cloudsql-instance --region=$region --database-version=MYSQL_8_0_36 --database-flags=cloudsql_vector=ON --root-password=$CLOUDSQL_PASSWORD Creating Cloud SQL instance for MYSQL_8_0_36...done. Created [https://sqladmin.googleapis.com/sql/v1beta4/projects/test-project-402417/instances/my-cloudsql-instance]. NAME DATABASE_VERSION LOCATION TIER PRIMARY_ADDRESS PRIVATE_ADDRESS STATUS my-cloudsql-instance MYSQL_8_0_36 us-central1-a db-n1-standard-1 00.000.00.00 - RUNNABLE
PostgreSQL
La extensión pgvector se ofrece en versiones >= 11.
export region=us-central1
gcloud sql instances create my-cloudsql-instance --region=$region --database-version=POSTGRES_15 --tier=db-g1-small
Resultado esperado de la consola (dirección IP oculta):
student@cloudshell:~ export region=us-central1 gcloud sql instances create my-cloudsql-instance --region=$region --database-version=POSTGRES_15 --tier=db-g1-small Creating Cloud SQL instance for POSTGRES_15...done. Created [https://sqladmin.googleapis.com/sql/v1beta4/projects/test-project-402417/instances/my-cloudsql-instance]. NAME DATABASE_VERSION LOCATION TIER PRIMARY_ADDRESS PRIVATE_ADDRESS STATUS my-cloudsql-instance POSTGRES_15 us-central1-a db-g1-small 00.000.00.00 - RUNNABLE
Después de crear la instancia, debemos definir una contraseña para el usuario predeterminado de la instancia y comprobar si podemos conectarnos con la contraseña. Ingresa tu contraseña en el mensaje cuando esté lista para conectarte.
gcloud sql users set-password postgres \
--instance=my-cloudsql-instance \
--password=$CLOUDSQL_PASSWORD
gcloud sql connect my-cloudsql-instance --user=postgres
Resultado esperado en la consola:
student@cloudshell:~ (test-project-402417)$ gcloud sql users set-password postgres \
--instance=my-cloudsql-instance \
--password=$CLOUDSQL_PASSWORD
gcloud sql connect my-cloudsql-instance --user=postgres
Updating Cloud SQL user...done.
Allowlisting your IP for incoming connection for 5 minutes...done.
Connecting to database with SQL user [postgres].Password:
psql (16.3 (Ubuntu 16.3-1.pgdg22.04+1), server 15.7)
SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, compression: off)
Type "help" for help.
postgres=>
Sal de la sesión de psql:
exit
5. Prepara la máquina virtual de GCE
Crea una cuenta de servicio
Como usaremos la VM para implementar el servicio de recuperación de bases de datos de IA generativa y alojar una aplicación de muestra, el primer paso es crear una cuenta de servicio de Google (GSA). La VM de GCE utilizará la GPU y tendremos que otorgarle los privilegios necesarios para trabajar con otros servicios.
En Cloud Shell, ejecuta lo siguiente:
PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create compute-aip --project $PROJECT_ID
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
--role="roles/cloudbuild.builds.editor"
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
--role="roles/artifactregistry.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
--role="roles/storage.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
--role="roles/run.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
--role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
--role="roles/cloudsql.viewer"
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
--role="roles/cloudsql.client"
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
--role="roles/aiplatform.user"
Implementa la VM de GCE
Crear una VM de GCE en la misma región y VPC que la instancia de Cloud SQL
En Cloud Shell, ejecuta el siguiente comando:
export ZONE=us-central1-a
gcloud compute instances create instance-1 \
--zone=$ZONE \
--create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
--scopes=https://www.googleapis.com/auth/cloud-platform \
--service-account=compute-aip@$PROJECT_ID.iam.gserviceaccount.com
Resultado esperado en la consola:
student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
gcloud compute instances create instance-1 \
--zone=$ZONE \
--create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
--scopes=https://www.googleapis.com/auth/cloud-platform
Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/zones/us-central1-a/instances/instance-1].
NAME: instance-1
ZONE: us-central1-a
MACHINE_TYPE: n1-standard-1
PREEMPTIBLE:
INTERNAL_IP: 10.128.0.2
EXTERNAL_IP: 34.71.192.233
STATUS: RUNNING
Autoriza a la VM para que se conecte a Cloud SQL
Debemos agregar la IP pública de la VM a la lista de redes autorizadas para nuestra instancia de Cloud SQL. En Cloud Shell, ejecuta lo siguiente:
VM_EXTERNAL_IP=$(gcloud compute instances describe instance-1 --zone=us-central1-a --format='get(networkInterfaces[0].accessConfigs[0].natIP)')
gcloud sql instances patch my-cloudsql-instance --authorized-networks=$VM_EXTERNAL_IP
Resultado esperado en la consola:
student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
student@cloudshell:~ (test-project-402417)$ VM_EXTERNAL_IP=$(gcloud compute instances describe instance-1 --zone=us-central1-a --format='get(networkInterfaces[0].accessConfigs[0].natIP)')
gcloud sql instances patch my-cloudsql-instance --authorized-networks=$VM_EXTERNAL_IP
When adding a new IP address to authorized networks, make sure to also include any IP addresses that have already been authorized. Otherwise, they will be overwritten and de-authorized.
Do you want to continue (Y/n)? Y
The following message will be used for the patch API method.
{"name": "my-cloudsql-instance", "project": "test-project-402417", "settings": {"ipConfiguration": {"authorizedNetworks": [{"value": "34.71.252.173"}]}}}
Patching Cloud SQL instance...done.
Updated [https://sqladmin.googleapis.com/sql/v1beta4/projects/test-project-402417/instances/my-cloudsql-instance].
Instala el cliente de base de datos
MySQL
Instalar el software del cliente MySQL en la VM implementada
Conéctate a la VM:
gcloud compute ssh instance-1 --zone=us-central1-a
Resultado esperado en la consola:
student@cloudshell:~ (test-project-402417)$ gcloud compute ssh instance-1 --zone=us-central1-a Updating project ssh metadata...working..Updated [https://www.googleapis.com/compute/v1/projects/test-project-402417]. Updating project ssh metadata...done. Waiting for SSH key to propagate. Warning: Permanently added 'compute.5110295539541121102' (ECDSA) to the list of known hosts. Linux instance-1 5.10.0-26-cloud-amd64 #1 SMP Debian 5.10.197-1 (2023-09-29) x86_64 The programs included with the Debian GNU/Linux system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright. Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law. student@instance-1:~$
Instala el comando de ejecución de software dentro de la VM:
sudo apt-get update
sudo apt-get install --yes default-mysql-client
Resultado esperado en la consola:
student@instance-1:~$ sudo apt-get update sudo apt-get install --yes mysql-client Reading package lists... Done Building dependency tree... Done Reading state information... Done The following additional packages will be installed: libconfig-inifiles-perl libdbd-mariadb-perl libdbi-perl libgdbm-compat4 libperl5.32 libterm-readkey-perl mariadb-client-10.5 mariadb-client-core-10.5 perl perl-modules-5.32 Suggested packages: libclone-perl libmldbm-perl libnet-daemon-perl libsql-statement-perl perl-doc libterm-readline-gnu-perl | libterm-readline-perl-perl make libtap-harness-archive-perl The following NEW packages will be installed: default-mysql-client libconfig-inifiles-perl libdbd-mariadb-perl libdbi-perl libgdbm-compat4 libperl5.32 libterm-readkey-perl mariadb-client-10.5 mariadb-client-core-10.5 perl Perl-modules-5.32 ...redacted... Processing triggers for libc-bin (2.31-13+deb11u10) ...
PostgreSQL
Instalar el software de cliente PostgreSQL en la VM implementada
Conéctate a la VM:
gcloud compute ssh instance-1 --zone=us-central1-a
Resultado esperado en la consola:
student@cloudshell:~ (test-project-402417)$ gcloud compute ssh instance-1 --zone=us-central1-a Updating project ssh metadata...working..Updated [https://www.googleapis.com/compute/v1/projects/test-project-402417]. Updating project ssh metadata...done. Waiting for SSH key to propagate. Warning: Permanently added 'compute.5110295539541121102' (ECDSA) to the list of known hosts. Linux instance-1 5.10.0-26-cloud-amd64 #1 SMP Debian 5.10.197-1 (2023-09-29) x86_64 The programs included with the Debian GNU/Linux system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright. Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law. student@instance-1:~$
Instala el comando de ejecución de software dentro de la VM:
sudo apt-get update
sudo apt-get install --yes postgresql-client
Resultado esperado en la consola:
student@instance-1:~$ sudo apt-get update sudo apt-get install --yes postgresql-client Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B] Get:4 file:/etc/apt/mirrors/debian-security.list Mirrorlist [39 B] Hit:7 https://packages.cloud.google.com/apt google-compute-engine-bookworm-stable InRelease Get:8 https://packages.cloud.google.com/apt cloud-sdk-bookworm InRelease [1652 B] Get:2 https://deb.debian.org/debian bookworm InRelease [151 kB] Get:3 https://deb.debian.org/debian bookworm-updates InRelease [55.4 kB] ...redacted... update-alternatives: using /usr/share/postgresql/15/man/man1/psql.1.gz to provide /usr/share/man/man1/psql.1.gz (psql.1.gz) in auto mode Setting up postgresql-client (15+248) ... Processing triggers for man-db (2.11.2-2) ... Processing triggers for libc-bin (2.36-9+deb12u7) ...
Conéctate a la instancia
MySQL
Conéctate a la instancia principal desde la VM mediante MySQL.
Continúa con la sesión abierta de SSH en tu VM. Si te desconectaste, vuelve a conectarte con el mismo comando que usaste anteriormente.
Usa la $CLOUDSQL_PASSWORD que se indicó anteriormente y el nombre de la instancia para conectarte a Cloud SQL desde la VM de GCE:
export CLOUDSQL_PASSWORD=<Noted password>
export PROJECT_ID=$(gcloud config get-value project)
export REGION=us-central1
export INSTANCE_NAME=my-cloudsql-instance
export INSTANCE_IP=$(gcloud sql instances list --filter=name:$INSTANCE_NAME --format="value(PRIMARY_ADDRESS)")
mysql --host=$INSTANCE_IP --user=root --password=$CLOUDSQL_PASSWORD
Resultado esperado en la consola:
student@instance-1:~$ export CLOUDSQL_PASSWORD=P9... student@instance-1:~$ export REGION=us-central1 student@instance-1:~$ export INSTANCE_NAME=my-cloud-sql-instance student@instance-1:~$ export INSTANCE_IP=$(gcloud sql instances list --filter=name:$INSTANCE_NAME --format="value(PRIMARY_ADDRESS)") student@instance-1:~$ mysql –host=$INSTANCE_IP –user=root –password=$CLOUDSQL_PASSWORD –sslmode=require Welcome to the MariaDB monitor. Commands end with ; or \g. Your MySQL connection id is 2824706 Server version: 8.0.36-google (Google) Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. MySQL [(none)]>
Sal de la sesión de MySQL y mantén activa la conexión SSH:
exit
Resultado esperado en la consola:
MySQL [(none)]> exit Bye student@instance-1:~$
PostgreSQL
Conéctate a la instancia principal desde la VM usando psql.
Continúa con la sesión abierta de SSH en tu VM. Si te desconectaste, vuelve a conectarte con el mismo comando anterior.
Usa la $CLOUDSQL_PASSWORD que se indicó anteriormente y el nombre de la instancia para conectarte a PostgreSQL desde la VM de GCE:
export PGPASSWORD=<Noted password (CLOUDSQL_PASSWORD)>
export CLOUDSQL_PASSWORD=$PGPASSWORD
export PROJECT_ID=$(gcloud config get-value project)
export REGION=us-central1
export INSTANCE_NAME=my-cloudsql-instance
export INSTANCE_IP=$(gcloud sql instances list --filter=name:$INSTANCE_NAME --format="value(PRIMARY_ADDRESS)")
psql "host=$INSTANCE_IP user=postgres sslmode=require"
Resultado esperado en la consola:
student@instance-1:~$ export CLOUDSQL_PASSWORD=P9...
student@instance-1:~$ export REGION=us-central1
student@instance-1:~$ export INSTANCE_IP=$(gcloud sql instances list --filter=name:$INSTANCE_NAME --format="value(PRIMARY_ADDRESS)")
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres sslmode=require"
psql (13.11 (Debian 13.11-0+deb11u1), server 14.7)
WARNING: psql major version 13, server major version 14.
Some psql features might not work.
SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, bits: 256, compression: off)
Type "help" for help.
postgres=>
Sal de la sesión de psql y mantén la conexión SSH activa:
exit
Resultado esperado en la consola:
postgres=> exit student@instance-1:~$
6. Inicializa la base de datos
Vamos a usar la VM del cliente como una plataforma para completar la base de datos con datos y alojar la aplicación. El primer paso es crear una base de datos y completarla con datos.
Crea la base de datos
MySQL
Crea una base de datos con el nombre "assistantdemo".
En la sesión de la VM de GCE, ejecuta lo siguiente:
mysql --host=$INSTANCE_IP --user=root --password=$CLOUDSQL_PASSWORD -e "CREATE DATABASE assistantdemo"
Resultado esperado de la consola (sin resultado):
student@instance-1:~$ mysql --host=$INSTANCE_IP --user=root --password=$CLOUDSQL_PASSWORD -e "CREATE DATABASE assistantdemo" student@instance-1:~$
PostgreSQL
Crea una base de datos con el nombre "assistantdemo".
En la sesión de la VM de GCE, ejecuta lo siguiente:
psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"
Resultado esperado en la consola:
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo" CREATE DATABASE student@instance-1:~$
Habilitar la extensión pgvector
psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"
Resultado esperado de la consola (sin resultado):
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector" CREATE EXTENSION student@instance-1:~$
Prepara el entorno de Python
Para continuar, usaremos secuencias de comandos de Python preparadas del repositorio de GitHub, pero, antes de hacerlo, debemos instalar el software requerido.
En la VM de GCE, ejecuta lo siguiente:
sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip
Resultado esperado en la consola:
student@instance-1:~$ sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
The following additional packages will be installed:
git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl
Suggested packages:
git-daemon-run | git-daemon-sysvinit git-doc git-email git-gui gitk gitweb git-cvs git-mediawiki git-svn ed diffutils-doc
The following NEW packages will be installed:
git git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl python3.11-venv
0 upgraded, 9 newly installed, 0 to remove and 2 not upgraded.
Need to get 12.4 MB of archives.
After this operation, 52.2 MB of additional disk space will be used.
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
...redacted...
Installing collected packages: pip
Attempting uninstall: pip
Found existing installation: pip 23.0.1
Uninstalling pip-23.0.1:
Successfully uninstalled pip-23.0.1
Successfully installed pip-24.0
(.venv) student@instance-1:~$
Verifica la versión de Python.
En la VM de GCE, ejecuta lo siguiente:
python -V
Resultado esperado en la consola:
(.venv) student@instance-1:~$ python -V Python 3.11.2 (.venv) student@instance-1:~$
Prepara el archivo de configuración
Clona el repositorio de GitHub con el código del servicio de recuperación y la aplicación de muestra.
En la VM de GCE, ejecuta lo siguiente:
git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git
Resultado esperado en la consola:
student@instance-1:~$ git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git Cloning into 'genai-databases-retrieval-app'... remote: Enumerating objects: 525, done. remote: Counting objects: 100% (336/336), done. remote: Compressing objects: 100% (201/201), done. remote: Total 525 (delta 224), reused 179 (delta 135), pack-reused 189 Receiving objects: 100% (525/525), 46.58 MiB | 16.16 MiB/s, done. Resolving deltas: 100% (289/289), done.
MySQL
En la VM de GCE, ejecuta lo siguiente:
cd ~/genai-databases-retrieval-app/retrieval_service
cp example-config-cloudsql.yml config.yml
cp example-config-cloudsql.yml config.yml
sed -i s/engine/mysql/g config.yml
sed -i s/my-project/$PROJECT_ID/g config.yml
sed -i s/my-region/$REGION/g config.yml
sed -i s/my-instance/$INSTANCE_NAME/g config.yml
sed -i s/my-password//g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/root/g config.yml
cat config.yml
Resultado esperado en la consola:
student@instance-1:~$ cd genai-databases-retrieval-app/retrieval_service cp example-config-cloudsql.yml config.yml sed -i s/127.0.0.1/$INSTANCE_IP/g config.yml sed -i s/my-password/$CLOUDSQL_PASSWORD/g config.yml sed -i s/my_database/assistantdemo/g config.yml sed -i s/my-user/postgres/g config.yml cat config.yml host: 0.0.0.0 # port: 8080 datastore: # Example for MySQL kind: "cloudsql-mysql" host: 10.65.0.2 # port: 5432 database: "assistantdemo" user: "root" password: "P9..."
Postgres
En la VM de GCE, ejecuta lo siguiente:
cd ~/genai-databases-retrieval-app/retrieval_service
cp example-config-cloudsql.yml config.yml
sed -i s/engine/postgres/g config.yml
sed -i s/my-project/$PROJECT_ID/g config.yml
sed -i s/my-region/$REGION/g config.yml
sed -i s/my-instance/$INSTANCE_NAME/g config.yml
sed -i s/my-password/$PGPASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml
Resultado esperado en la consola:
student@instance-1:~$ cd genai-databases-retrieval-app/retrieval_service cp example-config-cloudsql.yml config.yml sed -i s/engine/postgres/g config.yml sed -i s/my-project/$PROJECT_ID/g config.yml sed -i s/my-region/$REGION/g config.yml sed -i s/my-instance/$INSTANCE_NAME/g config.yml sed -i s/my-password/$CLOUDSQL_PASSWORD/g config.yml sed -i s/my_database/assistantdemo/g config.yml sed -i s/my-user/postgres/g config.yml cat config.yml host: 0.0.0.0 # port: 8080 datastore: # Example for Postgres kind: "cloudsql-postgres" host: 10.65.0.2 # port: 5432 database: "assistantdemo" user: "postgres" password: "P9..."
Propagar base de datos
Completa la base de datos con el conjunto de datos de muestra El primer comando agregará todos los paquetes requeridos a nuestro entorno virtual de Python y el segundo comando propagará la base de datos con los datos.
En la VM de GCE, ejecuta lo siguiente:
cd ~/genai-databases-retrieval-app/retrieval_service
pip install -r requirements.txt
python run_database_init.py
Resultado esperado de la consola (oculto):
student@instance-1:~/genai-databases-retrieval-app/retrieval_service$ pip install -r requirements.txt python run_database_init.py Collecting asyncpg==0.28.0 (from -r requirements.txt (line 1)) Obtaining dependency information for asyncpg==0.28.0 from https://files.pythonhosted.org/packages/77/a4/88069f7935b14c58534442a57be3299179eb46aace2d3c8716be199ff6a6/asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata Downloading asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata (4.3 kB) Collecting fastapi==0.101.1 (from -r requirements.txt (line 2)) ... database init done. student@instance-1:~/genai-databases-retrieval-app/retrieval_service$
7. Implementa el servicio de recuperación en Cloud Run
Ahora podemos implementar el servicio de recuperación en Cloud Run. El servicio es responsable de trabajar con la base de datos y extraer la información necesaria en función de la solicitud de una aplicación de IA.
Crea una cuenta de servicio
Crear una cuenta de servicio para el servicio de recuperación y otorgar los privilegios necesarios
Abre otra pestaña de Cloud Shell con el signo "+" en la parte superior.
En la nueva pestaña de Cloud Shell, ejecuta lo siguiente:
export PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create retrieval-identity
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member="serviceAccount:retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com" \
--role="roles/aiplatform.user"
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member="serviceAccount:retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com" \
--role="roles/cloudsql.client"
Resultado esperado en la consola:
student@cloudshell:~ (gleb-test-short-003)$ gcloud iam service-accounts create retrieval-identity Created service account [retrieval-identity].
Cierra la pestaña con el comando de ejecución “exit” en la pestaña:
exit
Implementa el servicio de recuperación
Implementa el servicio para continuar en la primera pestaña en la que te conectaste a la VM a través de SSH.
En la sesión SSH de la VM, ejecuta lo siguiente:
cd ~/genai-databases-retrieval-app
gcloud alpha run deploy retrieval-service \
--source=./retrieval_service/\
--no-allow-unauthenticated \
--service-account retrieval-identity \
--region us-central1 \
--network=default \
--quiet
Resultado esperado en la consola:
student@instance-1:~/genai-databases-retrieval-app$ gcloud alpha run deploy retrieval-service \
--source=./retrieval_service/\
--no-allow-unauthenticated \
--service-account retrieval-identity \
--region us-central1 \
--network=default
This command is equivalent to running `gcloud builds submit --tag [IMAGE] ./retrieval_service/` and `gcloud run deploy retrieval-service --image [IMAGE]`
Building using Dockerfile and deploying container to Cloud Run service [retrieval-service] in project [gleb-test-short-003] region [us-central1]
X Building and deploying... Done.
✓ Uploading sources...
✓ Building Container... Logs are available at [https://console.cloud.google.com/cloud-build/builds/6ebe74bf-3039-4221-b2e9-7ca8fa8dad8e?project=1012713954588].
✓ Creating Revision...
✓ Routing traffic...
Setting IAM Policy...
Completed with warnings:
Setting IAM policy failed, try "gcloud beta run services remove-iam-policy-binding --region=us-central1 --member=allUsers --role=roles/run.invoker retrieval-service"
Service [retrieval-service] revision [retrieval-service-00002-4pl] has been deployed and is serving 100 percent of traffic.
Service URL: https://retrieval-service-onme64eorq-uc.a.run.app
student@instance-1:~/genai-databases-retrieval-app$
Verifica el servicio
Ahora podemos verificar si el servicio se ejecuta correctamente y si la VM tiene acceso al extremo. Usamos la utilidad gcloud para obtener el extremo del servicio de recuperación. También puedes verificarlo en la consola de Cloud y reemplazar en el comando curl "$(gcloud run services list –filter\">retrieval-service)" por el valor que se encuentra allí.
En la sesión SSH de la VM, ejecuta lo siguiente:
curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud run services list --filter="(retrieval-service)" --format="value(URL)")
Resultado esperado en la consola:
student@instance-1:~/genai-databases-retrieval-app$ curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud run services list --filter="(retrieval-service)" --format="value(URL)")
{"message":"Hello World"}student@instance-1:~/genai-databases-retrieval-app$
Si vemos el mensaje "Hello World", significa que nuestro servicio está funcionando y entregando las solicitudes.
8. Implementa la aplicación de muestra
Ahora, cuando el servicio de recuperación está en funcionamiento, podemos implementar una aplicación de ejemplo que utilizará el servicio. La aplicación se puede implementar en la VM o en cualquier otro servicio, como Cloud Run o Kubernetes, o incluso de forma local en una laptop. Aquí mostramos cómo implementarlo en la VM.
Prepara el entorno
Seguimos trabajando en nuestra VM con la misma sesión de SSH. Para ejecutar la aplicación, debemos agregar algunos módulos de Python. El comando se ejecutará desde el directorio de la aplicación en el mismo entorno virtual de Python.
En la sesión SSH de la VM, ejecuta lo siguiente:
cd ~/genai-databases-retrieval-app/llm_demo
pip install -r requirements.txt
Resultado esperado (oculto):
student@instance-1:~$ cd ~/genai-databases-retrieval-app/llm_demo pip install -r requirements.txt Collecting fastapi==0.104.0 (from -r requirements.txt (line 1)) Obtaining dependency information for fastapi==0.104.0 from https://files.pythonhosted.org/packages/db/30/b8d323119c37e15b7fa639e65e0eb7d81eb675ba166ac83e695aad3bd321/fastapi-0.104.0-py3-none-any.whl.metadata Downloading fastapi-0.104.0-py3-none-any.whl.metadata (24 kB) ...
Prepara el ID de cliente
Para usar la función de reserva de la aplicación, debemos preparar el ID de cliente de OAuth 2.0 con la consola de Cloud. Será cuando accedamos a la aplicación, ya que la reserva utiliza las credenciales de los clientes para registrar los datos de reserva en la base de datos.
En la consola de Cloud, ve a APIs y servicios y haz clic en "Pantalla de consentimiento de OAuth". y elige "Interno" usuario.
Luego, envía “Crear” y continúa en la siguiente pantalla.
Debes completar campos obligatorios, como "Nombre de la app" y "Correo electrónico de asistencia al usuario". También puedes agregar el dominio que quieras mostrar en la pantalla de consentimiento y, por último, la sección "Información de contacto del desarrollador"
Luego, presiona el botón "Save And Continue" en la parte inferior de la página y te llevará a la página siguiente.
No necesitas cambiar nada, a menos que desees especificar los alcances. Por último, presiona el botón “Save And Continue” para confirmarlo. de nuevo. Eso configurará la pantalla de consentimiento de la aplicación.
El siguiente paso es crear el ID de cliente. En el panel izquierdo, haz clic en "Credenciales". lo que te llevará a las credenciales de OAuth2.
Aquí, haz clic en "Create Credentials" en la parte superior y elige "ID de cliente de OAuth". Luego, se abrirá otra pantalla.
Selecciona “Aplicación web” de la lista desplegable para el tipo de aplicación y coloca el URI de tu aplicación (y el puerto, opcionalmente) como “Orígenes autorizados de JavaScript”. Debes agregarlos a los “URI de redireccionamiento autorizados”. el host de tu aplicación con “/login/google” al final para poder usar la pantalla emergente de autorización. En la imagen anterior, puedes ver que usé http://localhost como mi URI de aplicación base.
Después de enviar el botón “Crear” se abrirá una ventana emergente con las credenciales de tus clientes.
Necesitaremos el ID de cliente (y, opcionalmente, el secreto del cliente) más adelante para usarlo con nuestra aplicación
Ejecuta la aplicación del asistente
Antes de iniciar la aplicación, debemos configurar algunas variables de entorno. La funcionalidad básica de la aplicación, como consultar vuelos y comodidades de aeropuertos, solo requiere BASE_URL que dirige la aplicación al servicio de recuperación. Podemos obtenerlo con el comando de gcloud .
En la sesión SSH de la VM, ejecuta lo siguiente:
export BASE_URL=$(gcloud run services list --filter="(retrieval-service)" --format="value(URL)")
Resultado esperado (oculto):
student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export BASE_URL=$(gcloud run services list --filter="(retrieval-service)" --format="value(URL)")
Para usar las funciones más avanzadas de la aplicación, como reservar y cambiar vuelos, debemos acceder a la aplicación con nuestra Cuenta de Google y, para ello, debemos proporcionar la variable de entorno CLIENT_ID con el ID de cliente de OAuth del capítulo Preparar ID de cliente:
export CLIENT_ID=215....apps.googleusercontent.com
Resultado esperado (oculto):
student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export CLIENT_ID=215....apps.googleusercontent.com
Ahora podemos ejecutar nuestra aplicación:
python run_app.py
Resultado esperado:
student@instance-1:~/genai-databases-retrieval-app/llm_demo$ python main.py INFO: Started server process [28565] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:8081 (Press CTRL+C to quit)
Conéctate a la aplicación
Tienes varias formas de conectarte a la aplicación que se ejecuta en la VM. Por ejemplo, puedes abrir el puerto 8081 en la VM usando reglas de firewall en la VPC o crear un balanceador de cargas con una IP pública. Aquí usaremos un túnel SSH para la VM que traduce el puerto local 8080 al puerto 8081 de la VM.
Conéctate desde una máquina local
Cuando queremos conectarnos desde una máquina local, debemos ejecutar un túnel SSH. Esto se puede hacer con gcloud compute ssh:
gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8081:localhost:8081
Resultado esperado:
student-macbookpro:~ student$ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081 Warning: Permanently added 'compute.7064281075337367021' (ED25519) to the list of known hosts. Linux instance-1.us-central1-c.c.gleb-test-001.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64 The programs included with the Debian GNU/Linux system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright. Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law. student@instance-1:~$
Ahora podemos abrir el navegador y usar http://localhost:8081 para conectarnos a nuestra aplicación. Deberíamos ver la pantalla de la aplicación.
Conéctate desde Cloud Shell
De forma alternativa, podemos usar Cloud Shell para conectarnos. Abre otra pestaña de Cloud Shell con el signo "+" en la parte superior.
En la pestaña nueva de Cloud Shell, ejecuta el comando de gcloud para iniciar el túnel hacia tu VM:
gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081
Se mostrará un error que dice que no se puede asignar la dirección solicitada. Ignóralo.
Este es el resultado esperado:
student@cloudshell:~ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081 bind [::1]:8081: Cannot assign requested address inux instance-1.us-central1-a.c.gleb-codelive-01.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64 The programs included with the Debian GNU/Linux system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright. Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law. Last login: Sat May 25 19:15:46 2024 from 35.243.235.73 student@instance-1:~$
Abre el puerto 8080 en Cloud Shell, que puede usarse para la “Vista previa en la Web”.
Haz clic en "Vista previa en la Web". en la parte superior derecha de Cloud Shell y, en el menú desplegable, elige “Vista previa en el puerto 8080”.
Se abrirá una pestaña nueva en tu navegador web con la interfaz de la aplicación. Deberías poder ver el “Asistente de atención al cliente de Cymbal Air” . En la barra de direcciones de la página, vemos el URI de la página de vista previa. Debemos quitar la parte "/?authuser=0&redirectedPreviously=true" al final
Y usa la primera parte del URI, como “https://8080-cs-35704030349-default.cs-us-east1-vpcf.cloudshell.dev/”. se dejará en la ventana del navegador y se proporcionará como los "Orígenes autorizados de JavaScript". y "URI de redireccionamiento autorizados" para las credenciales que creamos en "Prepare Client ID" reemplazando el capítulo o agregando elementos a los valores http://localhost:8080 proporcionados originalmente. El valor superior se vería de esta forma: “https://8080-cs-35704030349-default.cs-us-east1-vpcf.cloudshell.dev” y la de abajo sería “https://8080-cs-35704030349-default.cs-us-east1-vpcf.cloudshell.dev/login/google”
Accede a la aplicación
Cuando todo esté configurado y tu aplicación esté abierta, podemos usar "Acceder" en la esquina superior derecha de la pantalla de la postulación para proporcionar las credenciales. Es opcional y solo se requiere si quieres probar la función de reservas de la aplicación.
Se abrirá una ventana emergente en la que podemos elegir nuestras credenciales.
Después de acceder, la aplicación estará lista y podrás comenzar a publicar tus solicitudes en el campo que se encuentra en la parte inferior de la ventana.
En esta demostración, se muestra el asistente de atención al cliente de Cymbal Air. Cymbal Air es una aerolínea de pasajeros ficticia. El asistente es un chatbot de IA que ayuda a los viajeros a administrar vuelos y buscar información sobre el centro de Cymbal Air en el Aeropuerto Internacional de San Francisco (SFO).
Sin acceder (sin CLIENT_ID), puede ayudar a responder preguntas de los usuarios como:
¿Cuándo es el próximo vuelo a Denver?
¿Hay tiendas de lujo cerca de la puerta C28?
¿Dónde puedo comprar un café cerca de la puerta A6?
¿Dónde puedo comprar un regalo?
Reserva el vuelo a Denver que sale a las 10:35 a.m.
Cuando accedes a la app, puedes probar otras funciones, como reservar vuelos o verificar si el asiento que se te asignó es una ventana o un pasillo.
La aplicación usa los modelos de base de Google más recientes para generar respuestas y mejorarlas con información sobre vuelos y comodidades de la base de datos operativa de Cloud SQL. Puedes leer más sobre esta aplicación de demostración en la página de GitHub del proyecto.
9. Limpia el entorno
Cuando se completan todas las tareas, podemos limpiar nuestro entorno.
Borra el servicio de Cloud Run
En Cloud Shell, ejecuta el siguiente comando:
gcloud run services delete retrieval-service --region us-central1
Resultado esperado en la consola:
student@cloudshell:~ (gleb-test-short-004)$ gcloud run services delete retrieval-service --region us-central1 Service [retrieval-service] will be deleted. Do you want to continue (Y/n)? Y Deleting [retrieval-service]...done. Deleted service [retrieval-service].
Borra la cuenta de servicio del servicio de Cloud Run
En Cloud Shell, ejecuta el siguiente comando:
PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet
Resultado esperado en la consola:
student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project) Your active configuration is: [cloudshell-222] student@cloudshell:~ (gleb-test-short-004)$ gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet deleted service account [retrieval-identity@gleb-test-short-004.iam.gserviceaccount.com] student@cloudshell:~ (gleb-test-short-004)$
Borra la instancia de Cloud SQL.
Destruye la instancia de Cloud SQL cuando termines el lab.
En Cloud Shell, define el proyecto y las variables de entorno si te desconectaste y se perdieron todos los parámetros de configuración anteriores:
export INSTANCE_NAME=my-cloudsql-instance
export PROJECT_ID=$(gcloud config get-value project)
Borra la instancia:
gcloud sql instances delete $INSTANCE_NAME --project=$PROJECT_ID
Resultado esperado en la consola:
student@cloudshell:~$ gcloud sql instances delete $INSTANCE_NAME --project=$PROJECT_ID All of the instance data will be lost when the instance is deleted. Do you want to continue (Y/n)? y Deleting Cloud SQL instance...done. Deleted [https://sandbox.googleapis.com/v1beta4/projects/test-project-001-402417/instances/my-cloudsql-instance].
Ahora podemos destruir nuestra VM
Borra la VM de GCE
En Cloud Shell, ejecuta el siguiente comando:
export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
--zone=$ZONE \
--quiet
Resultado esperado en la consola:
student@cloudshell:~ (test-project-001-402417)$ export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
--zone=$ZONE \
--quiet
Deleted
Borra la cuenta de servicio para la VM de GCE y el servicio de recuperación
En Cloud Shell, ejecuta el siguiente comando:
PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet
Resultado esperado en la consola:
student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project) gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet Your active configuration is: [cloudshell-222] deleted service account [compute-aip@gleb-test-short-004.iam.gserviceaccount.com] student@cloudshell:~ (gleb-test-short-004)$
10. Felicitaciones
Felicitaciones por completar el codelab.
Temas abordados
- Cómo crear una instancia de Cloud SQL
- Cómo conectarse a la instancia de Cloud SQL
- Cómo configurar y, luego, implementar el servicio de recuperación de bases de datos de IA generativa
- Cómo implementar una aplicación de muestra a través del servicio implementado