דף זה תורגם על ידי Cloud Translation API.

פיתוח אפליקציית צ'אט מבוססת-LLM ו-RAG באמצעות AlloyDB AI ו-LangChain

1. מבוא

בשיעור ה-Codelab הזה תלמדו איך לפרוס את שירות אחזור מסדי נתונים של AI גנרטיבי וליצור אפליקציה אינטראקטיבית לדוגמה באמצעות הסביבה שנפרסה.

מידע נוסף על שירות אחזור AI גנרטיבי ועל האפליקציה לדוגמה זמין כאן.

דרישות מוקדמות

הבנה בסיסית של מסוף Google Cloud
מיומנויות בסיסיות בממשק שורת הפקודה וב-Google Cloud Shell

מה תלמדו

איך פורסים את אשכול AlloyDB
איך מתחברים ל- AlloyDB
איך להגדיר ולפרוס שירות אחזור של מסדי נתונים של AI גנרטיבי
איך לפרוס אפליקציה לדוגמה באמצעות השירות שנפרס

מה צריך להכין

חשבון Google Cloud ופרויקט ב-Google Cloud
דפדפן אינטרנט כמו Chrome

2. הגדרה ודרישות

הגדרת סביבה בקצב עצמאי

נכנסים למסוף Google Cloud ויוצרים פרויקט חדש או עושים שימוש חוזר בפרויקט קיים. אם אין לכם עדיין חשבון Gmail או חשבון Google Workspace, עליכם ליצור חשבון.

Project name הוא השם המוצג של המשתתפים בפרויקט. זו מחרוזת תווים שלא משמשת את Google APIs. תמיד אפשר לעדכן.
Project ID הוא ייחודי בכל הפרויקטים ב-Google Cloud ואי אפשר לשנות אותו (אי אפשר לשנות אותו אחרי שמגדירים אותו). מסוף Cloud יוצר מחרוזת ייחודית באופן אוטומטי; בדרך כלל לא מעניין אותך מה זה. ברוב ה-codelabs תצטרכו להפנות למזהה הפרויקט שלכם (בדרך כלל מזוהה כ-PROJECT_ID). אם המזהה שנוצר לא מוצא חן בעיניכם, אתם יכולים ליצור מזהה אקראי אחר. לחלופין, אפשר לנסות שם משלך ולראות אם הוא זמין. לא ניתן לשנות אותו אחרי השלב הזה, והוא נשאר למשך הפרויקט.
לידיעתך, יש ערך שלישי, Project Number, שבו משתמשים בחלק מממשקי ה-API. מידע נוסף על כל שלושת הערכים האלה זמין במסמכי התיעוד.

בשלב הבא צריך להפעיל את החיוב במסוף Cloud כדי להשתמש במשאבים או בממשקי API של Cloud. מעבר ב-Codelab הזה לא יעלה הרבה כסף, אם בכלל. כדי להשבית משאבים ולא לצבור חיובים מעבר למדריך הזה, אתם יכולים למחוק את המשאבים שיצרתם או למחוק את הפרויקט. משתמשים חדשים ב-Google Cloud זכאים להשתתף בתוכנית תקופת ניסיון בחינם בשווי 1,200 ש"ח.

הפעלת Cloud Shell

אומנם אפשר להפעיל את Google Cloud מרחוק מהמחשב הנייד, אבל ב-Codelab הזה משתמשים ב-Google Cloud Shell, סביבת שורת הפקודה שפועלת ב-Cloud.

במסוף Google Cloud, לוחצים על הסמל של Cloud Shell בסרגל הכלים שבפינה השמאלית העליונה:

נדרשים רק כמה דקות כדי להקצות את הסביבה ולהתחבר אליה. בסיום התהליך, אתם אמורים לראות משהו כזה:

למכונה הווירטואלית הזו נטען כל כלי הפיתוח הדרושים. יש בה ספריית בית בנפח מתמיד של 5GB והיא פועלת ב-Google Cloud, מה שמשפר משמעותית את ביצועי הרשת והאימות. כל העבודה ב-Codelab הזה יכולה להתבצע בתוך דפדפן. אתה לא צריך להתקין שום דבר.

3. לפני שמתחילים

להפעלת ה-API

פלט:

ב-Inside Cloud Shell, מוודאים שמזהה הפרויקט מוגדר:

בדרך כלל מזהה הפרויקט מופיע בסוגריים בשורת הפקודה ב-Cloud Shell, כפי שהוא מוצג בתמונה:

gcloud config set project [YOUR-PROJECT-ID]

לאחר מכן מגדירים את משתנה הסביבה PROJECT_ID למזהה הפרויקט ב-Google Cloud:

PROJECT_ID=$(gcloud config get-value project)

מפעילים את כל השירותים הנחוצים:

gcloud services enable alloydb.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com

הפלט הצפוי:

student@cloudshell:~ (gleb-test-short-004)$ gcloud services enable alloydb.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com
Operation "operations/acf.p2-404051529011-664c71ad-cb2b-4ab4-86c1-1f3157d70ba1" finished successfully.

4. פריסה של אשכול AlloyDB

כדי ליצור אשכול AlloyDB, אנחנו צריכים טווח IP פרטי זמין ב-VPC שלנו, שישמש את מכונת AlloyDB העתיד. אם אין לנו אותו, עלינו ליצור אותו, להקצות אותו לשימוש של שירותי Google פנימיים ולאחר מכן נוכל ליצור את האשכול ואת המכונה.

יצירת טווח כתובות IP פרטי

אנחנו צריכים להגדיר את הגישה לשירות פרטי ב-VPC שלנו עבור AlloyDB. ההנחה כאן היא שיש לנו את 'ברירת המחדל' רשת ה-VPC בפרויקט ותשתמש בה לכל הפעולות.

יוצרים את טווח ה-IP הפרטי:

gcloud compute addresses create psa-range \
    --global \
    --purpose=VPC_PEERING \
    --prefix-length=24 \
    --description="VPC private service access" \
    --network=default

יצירת חיבור פרטי באמצעות טווח ה-IP שהוקצה:

gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=psa-range \
    --network=default

הפלט הצפוי של המסוף:

student@cloudshell:~ (test-project-402417)$ gcloud compute addresses create psa-range \
    --global \
    --purpose=VPC_PEERING \
    --prefix-length=24 \
    --description="VPC private service access" \
    --network=default
Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/global/addresses/psa-range].

student@cloudshell:~ (test-project-402417)$ gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=psa-range \
    --network=default
Operation "operations/pssn.p24-4470404856-595e209f-19b7-4669-8a71-cbd45de8ba66" finished successfully.

student@cloudshell:~ (test-project-402417)$

יצירת אשכול AlloyDB

יוצרים אשכול AlloyDB באזור us-central1.

הגדרת סיסמה למשתמש שמפרסם פוסט. אתם יכולים להגדיר סיסמה משלכם או להשתמש בפונקציה אקראית כדי ליצור אותה

export PGPASSWORD=`openssl rand -hex 12`

הפלט הצפוי של המסוף:

student@cloudshell:~ (test-project-402417)$ export PGPASSWORD=`openssl rand -hex 12`

חשוב לשים לב לסיסמה של PostgreSQL לשימוש עתידי:

echo $PGPASSWORD

הפלט הצפוי של המסוף:

student@cloudshell:~ (test-project-402417)$ echo $PGPASSWORD
bbefbfde7601985b0dee5723

הגדרת האזור והשם של אשכול AlloyDB. אנחנו נשתמש באזור us-central1 וב-alloydb-aip-01 בתור שם האשכול:

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01

מריצים את הפקודה כדי ליצור את האשכול:

gcloud alloydb clusters create $ADBCLUSTER \
    --password=$PGPASSWORD \
    --network=default \
    --region=$REGION

הפלט הצפוי של המסוף:

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
gcloud alloydb clusters create $ADBCLUSTER \
    --password=$PGPASSWORD \
    --network=default \
    --region=$REGION
Operation ID: operation-1697655441138-6080235852277-9e7f04f5-2012fce4
Creating cluster...done.

יצירת מכונה ראשית של AlloyDB

יוצרים מכונה ראשית מסוג AlloyDB לאשכול שלנו באותו סשן של Cloud Shell. אם אתם מנותקים, תצטרכו להגדיר שוב את משתני הסביבה של שמות האזור והאשכול.

gcloud alloydb instances create $ADBCLUSTER-pr \
    --instance-type=PRIMARY \
    --cpu-count=2 \
    --region=$REGION \
    --cluster=$ADBCLUSTER

הפלט הצפוי של המסוף:

student@cloudshell:~ (test-project-402417)$ gcloud alloydb instances create $ADBCLUSTER-pr \
    --instance-type=PRIMARY \
    --cpu-count=2 \
    --region=$REGION \
    --availability-type ZONAL \
    --cluster=$ADBCLUSTER
Operation ID: operation-1697659203545-6080315c6e8ee-391805db-25852721
Creating instance...done.

5. הכנת מכונה וירטואלית של GCE

יצירת חשבון שירות

מכיוון שנשתמש ב-VM שלנו כדי לפרוס את שירות האחזור של מסדי נתונים ב-GenAI ולארח אפליקציה לדוגמה, השלב הראשון הוא ליצור חשבון שירות של Google (Google GSA). המכונה הווירטואלית ב-GCE תשתמש ב-Google Analytics, ונצטרך להעניק לה את ההרשאות הדרושות כדי לעבוד עם שירותים אחרים.

ב-Cloud Shell מבצעים:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create compute-aip --project $PROJECT_ID
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/cloudbuild.builds.editor"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/artifactregistry.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/storage.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/run.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/alloydb.viewer"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"

פריסת VM של GCE

יצירת מכונה וירטואלית ב-GCE באותו אזור ו-VPC שבו נמצא אשכול AlloyDB.

ב-Cloud Shell, מריצים את:

export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
  --service-account=compute-aip@$PROJECT_ID.iam.gserviceaccount.com

הפלט הצפוי של המסוף:

student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform

Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/zones/us-central1-a/instances/instance-1].
NAME: instance-1
ZONE: us-central1-a
MACHINE_TYPE: n1-standard-1
PREEMPTIBLE: 
INTERNAL_IP: 10.128.0.2
EXTERNAL_IP: 34.71.192.233
STATUS: RUNNING

התקנת לקוח Postgres

התקנת תוכנת הלקוח PostgreSQL במכונה הווירטואלית שנפרסה

מתחברים ל-VM:

gcloud compute ssh instance-1 --zone=us-central1-a

הפלט הצפוי של המסוף:

student@cloudshell:~ (test-project-402417)$ gcloud compute ssh instance-1 --zone=us-central1-a
Updating project ssh metadata...working..Updated [https://www.googleapis.com/compute/v1/projects/test-project-402417].                                                                                                                                                         
Updating project ssh metadata...done.                                                                                                                                                                                                                                              
Waiting for SSH key to propagate.
Warning: Permanently added 'compute.5110295539541121102' (ECDSA) to the list of known hosts.
Linux instance-1 5.10.0-26-cloud-amd64 #1 SMP Debian 5.10.197-1 (2023-09-29) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$

מתקינים את התוכנה שמריצה בתוך ה-VM:

sudo apt-get update
sudo apt-get install --yes postgresql-client

הפלט הצפוי של המסוף:

student@instance-1:~$ sudo apt-get update
sudo apt-get install --yes postgresql-client
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
Get:4 file:/etc/apt/mirrors/debian-security.list Mirrorlist [39 B]
Hit:7 https://packages.cloud.google.com/apt google-compute-engine-bookworm-stable InRelease
Get:8 https://packages.cloud.google.com/apt cloud-sdk-bookworm InRelease [1652 B]
Get:2 https://deb.debian.org/debian bookworm InRelease [151 kB]
Get:3 https://deb.debian.org/debian bookworm-updates InRelease [55.4 kB]
...redacted...
update-alternatives: using /usr/share/postgresql/15/man/man1/psql.1.gz to provide /usr/share/man/man1/psql.1.gz (psql.1.gz) in auto mode
Setting up postgresql-client (15+248) ...
Processing triggers for man-db (2.11.2-2) ...
Processing triggers for libc-bin (2.36-9+deb12u7) ...

התחברות למכונה

מתחברים למכונה הראשית מה-VM באמצעות psql.

ממשיכים בפעילות ה-SSH הפתוחה אל ה-VM. אם התנתקת, אפשר להתחבר שוב באמצעות אותה פקודה כמו שלמעלה.

משתמשים בשם $PGASSWORD ובשם האשכול שצוינו קודם כדי להתחבר ל- AlloyDB מה-VM של GCE:

export PGPASSWORD=<Noted password>

export PROJECT_ID=$(gcloud config get-value project)
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
psql "host=$INSTANCE_IP user=postgres sslmode=require"

הפלט הצפוי של המסוף:

student@instance-1:~$ export PGPASSWORD=P9...
student@instance-1:~$ export REGION=us-central1
student@instance-1:~$ export ADBCLUSTER=alloydb-aip-01
student@instance-1:~$ export INSTANCE_IP=export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres sslmode=require"
psql (13.11 (Debian 13.11-0+deb11u1), server 14.7)
WARNING: psql major version 13, server major version 14.
         Some psql features might not work.
SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, bits: 256, compression: off)
Type "help" for help.

postgres=>

יוצאים מסשן ה-psql שבו חיבור ה-SSH לא פעיל:

exit

הפלט הצפוי של המסוף:

postgres=> exit
student@instance-1:~$

6. אתחול מסד הנתונים

נשתמש ב-VM של הלקוח כפלטפורמה כדי לאכלס את מסד הנתונים שלנו בנתונים ולארח את האפליקציה שלנו. השלב הראשון הוא ליצור מסד נתונים ולאכלס אותו בנתונים.

יצירת מסד נתונים

יצירת מסד נתונים בשם 'assistantdemo'.

בסשן של ה-VM ב-GCE, מבצעים את הפעולות הבאות:

psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"

הפלט הצפוי של המסוף:

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"
CREATE DATABASE
student@instance-1:~$

הפעלת התוסף pgVector.

psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"

הפלט הצפוי של המסוף:

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"
CREATE EXTENSION
student@instance-1:~$

הכנת סביבת Python

כדי להמשיך, נשתמש בסקריפטים מוכנים של Python ממאגר GitHub, אבל לפני שנעשה את זה אנחנו צריכים להתקין את התוכנה הנדרשת.

ב-GCE VM מריצים:

sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip

הפלט הצפוי של המסוף:

student@instance-1:~$ sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
The following additional packages will be installed:
  git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl
Suggested packages:
  git-daemon-run | git-daemon-sysvinit git-doc git-email git-gui gitk gitweb git-cvs git-mediawiki git-svn ed diffutils-doc
The following NEW packages will be installed:
  git git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl python3.11-venv
0 upgraded, 9 newly installed, 0 to remove and 2 not upgraded.
Need to get 12.4 MB of archives.
After this operation, 52.2 MB of additional disk space will be used.
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
...redacted...
Installing collected packages: pip
  Attempting uninstall: pip
    Found existing installation: pip 23.0.1
    Uninstalling pip-23.0.1:
      Successfully uninstalled pip-23.0.1
Successfully installed pip-24.0
(.venv) student@instance-1:~$

מאמתים את גרסת Python.

ב-GCE VM מריצים:

python -V

הפלט הצפוי של המסוף:

(.venv) student@instance-1:~$ python -V
Python 3.11.2
(.venv) student@instance-1:~$

אכלוס מסד נתונים

משכפלים את המאגר של GitHub עם הקוד של שירות השליפה והאפליקציה לדוגמה.

ב-GCE VM מריצים:

git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git

הפלט הצפוי של המסוף:

student@instance-1:~$ git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git
Cloning into 'genai-databases-retrieval-app'...
remote: Enumerating objects: 525, done.
remote: Counting objects: 100% (336/336), done.
remote: Compressing objects: 100% (201/201), done.
remote: Total 525 (delta 224), reused 179 (delta 135), pack-reused 189
Receiving objects: 100% (525/525), 46.58 MiB | 16.16 MiB/s, done.
Resolving deltas: 100% (289/289), done.

הכנת קובץ תצורה

ב-GCE VM מריצים:

cd genai-databases-retrieval-app/retrieval_service
cp example-config.yml config.yml
sed -i s/127.0.0.1/$INSTANCE_IP/g config.yml
sed -i s/my-password/$PGPASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml

הפלט הצפוי של המסוף:

student@instance-1:~$ cd genai-databases-retrieval-app/retrieval_service
cp example-config.yml config.yml
sed -i s/127.0.0.1/$INSTANCE_IP/g config.yml
sed -i s/my-password/$PGPASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml
host: 0.0.0.0
# port: 8080
datastore:
  # Example for AlloyDB
  kind: "postgres"
  host: 10.65.0.2
  # port: 5432
  database: "assistantdemo"
  user: "postgres"
  password: "P9..."

לאכלס את מסד הנתונים במערך הנתונים לדוגמה. הפקודה הראשונה היא הוספה של כל החבילות הנדרשות לסביבה הווירטואלית של Python, והפקודה השנייה מאוכלסת בנתונים האלה במסד הנתונים שלנו.

ב-GCE VM מריצים:

pip install -r requirements.txt
python run_database_init.py

הפלט הצפוי של המסוף(צונזר):

student@instance-1:~/genai-databases-retrieval-app/retrieval_service$ pip install -r requirements.txt
python run_database_init.py
Collecting asyncpg==0.28.0 (from -r requirements.txt (line 1))
  Obtaining dependency information for asyncpg==0.28.0 from https://files.pythonhosted.org/packages/77/a4/88069f7935b14c58534442a57be3299179eb46aace2d3c8716be199ff6a6/asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata
  Downloading asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata (4.3 kB)
Collecting fastapi==0.101.1 (from -r requirements.txt (line 2))
...
database init done.
student@instance-1:~/genai-databases-retrieval-app/retrieval_service$

7. פריסת שירות האחזור ב-Cloud Run

עכשיו אנחנו יכולים לפרוס את שירות האחזור ל-Cloud Run. השירות אחראי לעבוד עם מסד הנתונים ולחלץ את המידע הנדרש ממסד הנתונים על סמך בקשה מאפליקציית AI.

יצירת חשבון שירות

יוצרים חשבון שירות לשירות השליפה ומעניקים את ההרשאות הדרושות.

פותחים כרטיסייה נוספת ב-Cloud Shell באמצעות הסימן '+'. למעלה.

בכרטיסייה החדשה של Cloud Shell, מריצים את הפקודה:

export PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create retrieval-identity
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"

הפלט הצפוי של המסוף:

student@cloudshell:~ (gleb-test-short-003)$ gcloud iam service-accounts create retrieval-identity
Created service account [retrieval-identity].

סגירת הכרטיסייה באמצעות פקודת הביצוע 'exit' בכרטיסייה:

exit

פריסה של שירות האחזור

ממשיכים בכרטיסייה הראשונה שבה מתחברים ל-VM באמצעות SSH על ידי פריסת השירות.

בסשן של VM SSH, מריצים:

cd ~/genai-databases-retrieval-app
gcloud alpha run deploy retrieval-service \
    --source=./retrieval_service/\
    --no-allow-unauthenticated \
    --service-account retrieval-identity \
    --region us-central1 \
    --network=default \
    --quiet

הפלט הצפוי של המסוף:

student@instance-1:~/genai-databases-retrieval-app$ gcloud alpha run deploy retrieval-service \
    --source=./retrieval_service/\
    --no-allow-unauthenticated \
    --service-account retrieval-identity \
    --region us-central1 \
    --network=default
This command is equivalent to running `gcloud builds submit --tag [IMAGE] ./retrieval_service/` and `gcloud run deploy retrieval-service --image [IMAGE]`

Building using Dockerfile and deploying container to Cloud Run service [retrieval-service] in project [gleb-test-short-003] region [us-central1]
X Building and deploying... Done.
  ✓ Uploading sources...
  ✓ Building Container... Logs are available at [https://console.cloud.google.com/cloud-build/builds/6ebe74bf-3039-4221-b2e9-7ca8fa8dad8e?project=1012713954588].
  ✓ Creating Revision...
  ✓ Routing traffic...
    Setting IAM Policy...
Completed with warnings:
  Setting IAM policy failed, try "gcloud beta run services remove-iam-policy-binding --region=us-central1 --member=allUsers --role=roles/run.invoker retrieval-service"
Service [retrieval-service] revision [retrieval-service-00002-4pl] has been deployed and is serving 100 percent of traffic.
Service URL: https://retrieval-service-onme64eorq-uc.a.run.app
student@instance-1:~/genai-databases-retrieval-app$

אימות השירות

עכשיו אנחנו יכולים לבדוק אם השירות פועל בצורה תקינה ולמכונה הווירטואלית יש גישה לנקודת הקצה. אנחנו משתמשים בכלי העזר של gcloud כדי לקבל את נקודת הקצה של שירות האחזור. אפשר גם לבדוק במסוף Cloud ולהחליף באמצעות פקודת ה-curl את הערך "$(gcloud running services list –filter="(retrieval-service)" לפי הערך שמופיע משם.

בסשן של VM SSH, מריצים:

curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

הפלט הצפוי של המסוף:

student@instance-1:~/genai-databases-retrieval-app$ curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")
{"message":"Hello World"}student@instance-1:~/genai-databases-retrieval-app$

אם אנחנו רואים את ההודעה "Hello World" המשמעות היא שהשירות שלנו פועל ומטפל בבקשות.

8. פריסת אפליקציה לדוגמה

עכשיו, כששירות האחזור יתחיל לפעול, נוכל לפרוס אפליקציה לדוגמה שאמורה להשתמש בשירות. אפשר לפרוס את האפליקציה ב-VM או בכל שירות אחר כמו Cloud Run, Kubernetes או אפילו באופן מקומי במחשב נייד. כאן נראה איך לפרוס אותו ב-VM.

מכינים את הסביבה

אנחנו ממשיכים לעבוד על המכונה הווירטואלית שלנו באמצעות אותה סשן SSH. כדי להריץ את האפליקציה שלנו, אנחנו צריכים להוסיף כמה מודולים של Python. הפקודה תבוצע מספריית האפליקציה באותה סביבה וירטואלית של Python.

בסשן של VM SSH, מריצים:

cd ~/genai-databases-retrieval-app/llm_demo
pip install -r requirements.txt

הפלט הצפוי (צונזר):

student@instance-1:~$ cd ~/genai-databases-retrieval-app/llm_demo
pip install -r requirements.txt
Collecting fastapi==0.104.0 (from -r requirements.txt (line 1))
  Obtaining dependency information for fastapi==0.104.0 from https://files.pythonhosted.org/packages/db/30/b8d323119c37e15b7fa639e65e0eb7d81eb675ba166ac83e695aad3bd321/fastapi-0.104.0-py3-none-any.whl.metadata
  Downloading fastapi-0.104.0-py3-none-any.whl.metadata (24 kB)
...

הכנת Client-ID

כדי להשתמש בפונקציונליות של ההזמנות באפליקציה, צריך להכין מזהה לקוח ב-OAuth 2.0 באמצעות Cloud Console. זה יקרה כשנכנס לאפליקציה, כי ההזמנה משתמשת בפרטי הכניסה של הלקוח כדי לתעד את נתוני ההזמנה במסד הנתונים.

במסוף Cloud, נכנסים לממשקי ה-API והשירותים ולוחצים על 'מסך ההסכמה של OAuth'. ובוחרים באפשרות 'פנימי' משתמש.

לאחר מכן לוחצים על 'יצירה' ולעקוב אחריהם במסך הבא.

עליך למלא שדות חובה, כמו 'שם האפליקציה' ו'אימייל לתמיכת משתמשים'. אפשר גם להוסיף דומיין שיוצג במסך ההסכמה, ולבסוף את 'פרטים ליצירת קשר של המפתח'

לאחר מכן לוחצים על הלחצן 'שמירה והמשך' שבתחתית הדף, והוא יוביל אתכם לדף הבא.

אין צורך לשנות שום דבר, אלא אם רוצים לציין את ההיקפים. בסיום, לוחצים על הלחצן 'שמירה והמשך' כדי לאשר את השינוי. שוב. פעולה זו תגדיר את מסך ההסכמה של האפליקציה.

השלב הבא הוא יצירת מזהה הלקוח. בחלונית השמאלית לוחצים על "Credentials" שמובילים לפרטי הכניסה ל-OAuth2.

כאן לוחצים על 'יצירת פרטי כניסה' למעלה, ובוחרים באפשרות OAuth ClientID. לאחר מכן ייפתח מסך נוסף.

בוחרים באפשרות 'אפליקציית אינטרנט'. מהרשימה הנפתחת עבור סוג האפליקציה, ומציבים את ה-URI של האפליקציה (והיציאה - אופציונלי) בתור "Authorized JavaScript Sources" (מקורות JavaScript מורשים). וצריך להוסיף ל'מזהי URI מורשים להפניה אוטומטית' מארח האפליקציה שלך באמצעות "/login/google" בסוף כדי שיהיה אפשר להשתמש במסך הקופץ של ההרשאה. בתמונה שלמעלה אפשר לראות שהשתמשתי ב-http://localhost בתור ה-URI של אפליקציית הבסיס שלי.

לאחר לחיצה על הלחצן 'יצירה' מופיע חלון קופץ עם פרטי הכניסה של הלקוחות.

יהיה צורך במזהה הלקוח (ואופציונלי) גם בסוד הלקוח) בהמשך כדי להשתמש בו באפליקציה.

הפעלת אפליקציית Assistant

לפני הפעלת האפליקציה, עלינו להגדיר כמה משתני סביבה. לפונקציונליות הבסיסית של האפליקציה, כמו שאילתות חיפוש ושירותי שדה תעופה, נדרשת רק BASE_URL שמפנה לשירות האחזור. נוכל לקבל אותו באמצעות הפקודה gcloud .

בסשן של VM SSH, מריצים:

export BASE_URL=$(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

הפלט הצפוי (צונזר):

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export BASE_URL=$(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

כדי להשתמש ביכולות מתקדמות יותר של האפליקציה, כמו הזמנה והחלפת טיסות, עלינו להיכנס לאפליקציה באמצעות חשבון Google שלנו. לשם כך, עלינו לספק את משתנה הסביבה CLIENT_ID באמצעות מזהה הלקוח של OAuth מהפרק הכנת מזהה הלקוח:

export CLIENT_ID=215....apps.googleusercontent.com

הפלט הצפוי (צונזר):

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export CLIENT_ID=215....apps.googleusercontent.com

עכשיו אנחנו יכולים להריץ את האפליקציה שלנו:

python run_app.py

הפלט אמור להיראות כך:

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ python main.py
INFO:     Started server process [28565]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8081 (Press CTRL+C to quit)

התחברות לאפליקציה

יש כמה דרכים להתחבר לאפליקציה שפועלת ב-VM. לדוגמה, אתם יכולים לפתוח את היציאה 8081 ב-VM באמצעות כללי חומת אש ב-VPC, או ליצור מאזן עומסים עם כתובת IP ציבורית. כאן נשתמש במנהרת SSH למכונה הווירטואלית, שתתרגם את היציאה המקומית 8080 ליציאת ה-VM 8081.

התחברות ממכונה מקומית

כשאנחנו רוצים להתחבר ממכונה מקומית, אנחנו צריכים להריץ מנהרת SSH. אפשר לעשות זאת באמצעות gcloud compute ssh:

gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8081:localhost:8081

הפלט אמור להיראות כך:

student-macbookpro:~ student$ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081
Warning: Permanently added 'compute.7064281075337367021' (ED25519) to the list of known hosts.
Linux instance-1.us-central1-c.c.gleb-test-001.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$

עכשיו אנחנו יכולים לפתוח את הדפדפן ולהשתמש ב-http://localhost:8081 כדי להתחבר לאפליקציה שלנו. אנחנו אמורים לראות את המסך של האפליקציה.

התחברות מ-Cloud Shell

לחלופין, אפשר להשתמש ב-Cloud Shell כדי להתחבר. פותחים כרטיסייה נוספת ב-Cloud Shell באמצעות הסימן '+'. למעלה.

בכרטיסייה החדשה של המעטפת החדשה של Cloud Shell, מריצים את הפקודה gcloud כדי להתחיל את המנהרה ל-VM:

gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081

תופיע השגיאה "לא ניתן להקצות את הכתובת המבוקשת" - אפשר להתעלם ממנו.

זה הפלט הצפוי:

student@cloudshell:~ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081
bind [::1]:8081: Cannot assign requested address
inux instance-1.us-central1-a.c.gleb-codelive-01.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Sat May 25 19:15:46 2024 from 35.243.235.73
student@instance-1:~$

היא פותחת את היציאה 8080 במעטפת הענן, שבה אפשר להשתמש בשביל 'תצוגה מקדימה באינטרנט'.

לוחצים על 'תצוגה מקדימה של האתר' בפינה השמאלית העליונה של Cloud Shell, ובתפריט הנפתח בוחרים באפשרות Preview ביציאה 8080.

תיפתח כרטיסייה חדשה בדפדפן האינטרנט עם ממשק האפליקציה. אמורה להופיע האפשרות Cymbal Air Customer Service Assistant הדף הזה. בסרגל הכתובות של הדף אנו רואים את ה-URI של דף התצוגה המקדימה. עלינו להסיר את החלק "/?authuser=0&redirectedPreviously=true" בסוף

ומשתמשים בחלק הראשון של ה-URI, למשל https://8080-cs-35704030349-default.cs-us-east1-vpcf.cloudshell.dev/ . צריך להישאר בחלון הדפדפן ולספק את הנתונים בתור "מקורות מורשים של JavaScript" ו'מזהי URI מורשים להפניה אוטומטית' עבור פרטי הכניסה שלנו שנוצרו בקטע Prepare Client ID החלפת פרק או הוספה לערכי http://localhost:8080 שסופקו במקור. הערך העליון ייראה כך: https://8080-cs-35704030349-default.cs-us-east1-vpcf.cloudshell.dev והמספר התחתון יהיה https://8080-cs-35704030349-default.cs-us-east1-vpcf.cloudshell.dev/login/google"

כניסה לאפליקציה

לאחר שהכול מוכן והאפליקציה פתוחה, אנחנו יכולים להשתמש בלחצן 'כניסה' בפינה הימנית העליונה של מסך האפליקציה כדי לספק את פרטי הכניסה שלנו. זוהי אופציונלית וחובה רק אם ברצונך לנסות את פונקציות ההזמנה של האפליקציה.

ייפתח חלון קופץ שבו נוכל לבחור את פרטי הכניסה שלנו.

לאחר הכניסה לאפליקציה, תוכלו להתחיל לפרסם את הבקשות שלכם בשדה שבתחתית החלון.

בהדגמה הזו מוצג העוזר הדיגיטלי לשירות לקוחות של Cymbal Air. Cymbal Air היא חברת תעופה בדיונית לנוסעים. העוזר הדיגיטלי הוא צ'אט בוט מבוסס-AI שעוזר לנוסעים לנהל טיסות ולחפש מידע על המרכז של Cymbal Air בנמל התעופה הבינלאומי של סן פרנסיסקו (SFO).

מבלי להיכנס לחשבון (בלי CLIENT_ID), הוא יכול לעזור לענות על שאלות של המשתמשים, למשל:

מתי הטיסה הבאה לדנוור?

האם יש חנויות יוקרה מסביב לשער C28?

איפה אפשר למצוא קפה ליד שער A6?

איפה אפשר לקנות מתנה?

יש להזמין טיסה לדנוור שיוצאות בשעה 10:35

אחרי הכניסה לאפליקציה, אפשר לנסות יכולות אחרות כמו הזמנת טיסות או לבדוק אם המושב שהוקצה לך הוא מושב בחלון או במעבר.

האפליקציה משתמשת במודלים העדכניים ביותר של Google כדי ליצור תשובות ולהרחיב אותה בעזרת מידע על טיסות ושירותים אחרים ממסד הנתונים התפעולי של AlloyDB. מידע נוסף על אפליקציית ההדגמה זמין בדף GitHub של הפרויקט.

9. ניקוי הסביבה

עכשיו, אחרי שנשלים את כל המשימות, נוכל לנקות את הסביבה

מחיקת שירות Cloud Run

ב-Cloud Shell, מריצים את:

gcloud run services delete retrieval-service --region us-central1

הפלט הצפוי של המסוף:

student@cloudshell:~ (gleb-test-short-004)$ gcloud run services delete retrieval-service --region us-central1
Service [retrieval-service] will be deleted.

Do you want to continue (Y/n)?  Y

Deleting [retrieval-service]...done.                                                                                                                                                                                                                 
Deleted service [retrieval-service].

מחיקת חשבון השירות לשירות Cloud Run

ב-Cloud Shell, מריצים את:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet

הפלט הצפוי של המסוף:

student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project)
Your active configuration is: [cloudshell-222]
student@cloudshell:~ (gleb-test-short-004)$ gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet
deleted service account [retrieval-identity@gleb-test-short-004.iam.gserviceaccount.com]
student@cloudshell:~ (gleb-test-short-004)$

להשמיד את המכונות והאשכולות של AlloyDB בסיום שיעור ה-Lab

מחיקת אשכול AlloyDB וכל המופעים

האשכול מושמד באמצעות כוח אופציונלי שמוחק גם את כל המכונות ששייכות לאשכול.

ב-Cloud Shell, מגדירים את משתני הפרויקט והסביבה אם נותקתם וכל ההגדרות הקודמות אבדו:

gcloud config set project <your project id>

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export PROJECT_ID=$(gcloud config get-value project)

מוחקים את האשכול:

gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force

הפלט הצפוי של המסוף:

student@cloudshell:~ (test-project-001-402417)$ gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force
All of the cluster data will be lost when the cluster is deleted.

Do you want to continue (Y/n)?  Y

Operation ID: operation-1697820178429-6082890a0b570-4a72f7e4-4c5df36f
Deleting cluster...done.

מחיקת הגיבויים של AlloyDB

מוחקים את כל הגיבויים של AlloyDB לאשכול:

for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done

הפלט הצפוי של המסוף:

student@cloudshell:~ (test-project-001-402417)$ for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done
Operation ID: operation-1697826266108-60829fb7b5258-7f99dc0b-99f3c35f
Deleting backup...done.

עכשיו אפשר להשמיד את ה-VM שלנו

מחיקת VM של GCE

ב-Cloud Shell, מריצים את:

export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
    --zone=$ZONE \
    --quiet

הפלט הצפוי של המסוף:

student@cloudshell:~ (test-project-001-402417)$ export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
    --zone=$ZONE \
    --quiet
Deleted

מחיקת חשבון השירות ל-VM של GCE ולשירות האחזור

ב-Cloud Shell, מריצים את:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet

הפלט הצפוי של המסוף:

student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet
Your active configuration is: [cloudshell-222]
deleted service account [compute-aip@gleb-test-short-004.iam.gserviceaccount.com]
student@cloudshell:~ (gleb-test-short-004)$

10. מזל טוב

ברכות על השלמת ה-Codelab.

אילו נושאים דיברנו?

איך פורסים את אשכול AlloyDB
איך מתחברים ל- AlloyDB
איך להגדיר ולפרוס שירות אחזור של מסדי נתונים של AI גנרטיבי
איך לפרוס אפליקציה לדוגמה באמצעות השירות שנפרס

11. סקר

פלט:

איך תשתמשו במדריך הזה?

לקריאה בלבד

לקרוא אותו ולבצע את התרגילים