इस पेज का अनुवाद Cloud Translation API से किया गया है.

AlloyDB AI और LangChain का इस्तेमाल करके एलएलएम और आरएजी पर आधारित चैट ऐप्लिकेशन बनाना

1. परिचय

इस कोडलैब में, आपको जनरेटिव एआई के डेटाबेस की मदद से डेटा वापस पाने की सेवा को डिप्लॉय करने का तरीका पता चलेगा. साथ ही, डिप्लॉय किए गए एनवायरमेंट का इस्तेमाल करके, सैंपल इंटरैक्टिव ऐप्लिकेशन बनाने का तरीका भी बताया जाएगा.

आपको जनरेटिव एआई की मदद से डेटा वापस पाने की सेवा और सैंपल आवेदन के बारे में ज़्यादा जानकारी यहां मिल सकती है.

ज़रूरी शर्तें

Google Cloud Console की बुनियादी समझ
कमांड-लाइन इंटरफ़ेस और Google Cloud शेल में इस्तेमाल होने वाले बुनियादी कौशल

आपको इनके बारे में जानकारी मिलेगी

AlloyDB Cluster डिप्लॉय करने का तरीका
AlloyDB से कैसे कनेक्ट करें
जनरेटिव एआई के डेटाबेस को वापस पाने की सेवा को कॉन्फ़िगर और डिप्लॉय करने का तरीका
डिप्लॉय की गई सेवा का इस्तेमाल करके, सैंपल ऐप्लिकेशन को डिप्लॉय करने का तरीका

आपको इन चीज़ों की ज़रूरत होगी

Google Cloud खाता और Google Cloud प्रोजेक्ट
Chrome जैसा कोई वेब ब्राउज़र

2. सेटअप और ज़रूरी शर्तें

अपने हिसाब से एनवायरमेंट सेटअप करना

Google Cloud Console में साइन इन करें और नया प्रोजेक्ट बनाएं या किसी मौजूदा प्रोजेक्ट का फिर से इस्तेमाल करें. अगर आपके पास पहले से Gmail या Google Workspace खाता नहीं है, तो आपको नया खाता बनाना होगा.

प्रोजेक्ट का नाम, इस प्रोजेक्ट में हिस्सा लेने वाले लोगों का डिसप्ले नेम होता है. यह एक वर्ण स्ट्रिंग है, जिसका इस्तेमाल Google API नहीं करता. इसे कभी भी अपडेट किया जा सकता है.
प्रोजेक्ट आईडी, Google Cloud के सभी प्रोजेक्ट के लिए यूनीक होता है. साथ ही, इसे बदला नहीं जा सकता. इसे सेट करने के बाद बदला नहीं जा सकता. Cloud Console, एक यूनीक स्ट्रिंग अपने-आप जनरेट करता है; आम तौर पर, आपको उसके होने की कोई परवाह नहीं होती. ज़्यादातर कोडलैब में, आपको अपना प्रोजेक्ट आईडी बताना होगा. आम तौर पर, इसकी पहचान PROJECT_ID के रूप में की जाती है. अगर आपको जनरेट किया गया आईडी पसंद नहीं है, तो किसी भी क्रम में एक और आईडी जनरेट किया जा सकता है. दूसरा तरीका यह है कि आप खुद भी आज़माकर देखें कि वह उपलब्ध है या नहीं. इस चरण के बाद, इसे बदला नहीं जा सकता. साथ ही, यह प्रोजेक्ट के खत्म होने तक बना रहता है.
आपकी जानकारी के लिए, प्रोजेक्ट नंबर नाम की एक तीसरी वैल्यू दी गई है. इसका इस्तेमाल कुछ एपीआई करते हैं. दस्तावेज़ में इन तीनों वैल्यू के बारे में ज़्यादा जानें.

इसके बाद, आपको क्लाउड संसाधनों/एपीआई का इस्तेमाल करने के लिए, Cloud Console में बिलिंग चालू करनी होगी. इस कोडलैब का इस्तेमाल करने पर, आपको ज़्यादा पैसे नहीं चुकाने होंगे. इस ट्यूटोरियल के अलावा, बिलिंग से बचने के लिए संसाधनों को बंद करें. इसके लिए, अपने बनाए गए संसाधनों को मिटाएं या प्रोजेक्ट को मिटाएं. Google Cloud के नए उपयोगकर्ता, 300 डॉलर के मुफ़्त ट्रायल वाले प्रोग्राम में हिस्सा ले सकते हैं.

Cloud Shell शुरू करना

Google Cloud को आपके लैपटॉप से, कहीं से भी ऑपरेट किया जा सकता है. हालांकि, इस कोडलैब में Google Cloud Shell का इस्तेमाल किया जा रहा है. यह क्लाउड में चलने वाला कमांड लाइन एनवायरमेंट है.

Google Cloud Console में जाकर, सबसे ऊपर दाईं ओर मौजूद टूलबार पर क्लाउड शेल आइकॉन पर क्लिक करें:

प्रावधान करने और एनवायरमेंट से कनेक्ट होने में कुछ ही समय लगेगा. उसके पूरा हो जाने पर, आपको कुछ ऐसा दिखाई देगा:

इस वर्चुअल मशीन में ऐसे सभी डेवलपमेंट टूल मौजूद हैं जिनकी आपको ज़रूरत पड़ेगी. यह पांच जीबी की स्थायी होम डायरेक्ट्री उपलब्ध कराता है और Google Cloud पर चलता है. यह नेटवर्क की परफ़ॉर्मेंस और पुष्टि करने की प्रक्रिया को बेहतर बनाता है. इस कोडलैब (कोड बनाना सीखना) में आपका सारा काम ब्राउज़र में किया जा सकता है. आपको कुछ भी इंस्टॉल करने की ज़रूरत नहीं है.

3. शुरू करने से पहले

एपीआई चालू करें

आउटपुट:

कृपया ध्यान रखें कि अगर आपने प्रमोशन वाले टीयर का इस्तेमाल नहीं किया है, तो आपके चालू किए गए कुछ संसाधनों के लिए आपसे कुछ पैसे लिए जा सकते हैं. सामान्य परिस्थितियों में, अगर लैब पूरा होने पर सभी संसाधन खत्म हो जाते हैं, तो सभी संसाधनों की लागत 50 रुपये से ज़्यादा नहीं होगी. हमारा सुझाव है कि आप अपनी बिलिंग की जांच करें और यह पक्का करें कि यह कसरत आपके हिसाब से सही है.

Cloud Shell में, पक्का करें कि आपका प्रोजेक्ट आईडी सेट अप हो:

आम तौर पर, प्रोजेक्ट आईडी क्लाउड शेल के कमांड प्रॉम्प्ट में ब्रैकेट में दिखता है, जैसा कि इमेज में दिखाया गया है:

gcloud config set project [YOUR-PROJECT-ID]

इसके बाद, PROJECT_ID एनवायरमेंट वैरिएबल को अपने Google Cloud प्रोजेक्ट आईडी पर सेट करें:

PROJECT_ID=$(gcloud config get-value project)

सभी ज़रूरी सेवाएं चालू करना:

gcloud services enable alloydb.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com

अनुमानित आउटपुट

student@cloudshell:~ (gleb-test-short-004)$ gcloud services enable alloydb.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com
Operation "operations/acf.p2-404051529011-664c71ad-cb2b-4ab4-86c1-1f3157d70ba1" finished successfully.

4. AlloyDB क्लस्टर डिप्लॉय करें

AlloyDB क्लस्टर बनाने से पहले, हमें अपने VPC में एक उपलब्ध निजी आईपी रेंज की ज़रूरत होगी, ताकि आने वाले समय में AlloyDB के इंस्टेंस में इसका इस्तेमाल किया जा सके. अगर हमारे पास वह नहीं है, तो हमें उसे बनाना होगा और उसे Google की इंटरनल सेवाओं के लिए असाइन करना होगा. इसके बाद, हम क्लस्टर और इंस्टेंस बना पाएंगे.

निजी आईपी रेंज बनाना

हमें AlloyDB के लिए अपने VPC में, निजी सेवा ऐक्सेस का कॉन्फ़िगरेशन कॉन्फ़िगर करना होगा. यहां यह माना जा रहा है कि हमारे पास "डिफ़ॉल्ट" प्रोजेक्ट में VPC नेटवर्क और इसका इस्तेमाल सभी कार्रवाइयों के लिए किया जाएगा.

निजी आईपी रेंज बनाएं:

gcloud compute addresses create psa-range \
    --global \
    --purpose=VPC_PEERING \
    --prefix-length=24 \
    --description="VPC private service access" \
    --network=default

तय की गई आईपी रेंज का इस्तेमाल करके निजी कनेक्शन बनाएं:

gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=psa-range \
    --network=default

कंसोल का अनुमानित आउटपुट:

student@cloudshell:~ (test-project-402417)$ gcloud compute addresses create psa-range \
    --global \
    --purpose=VPC_PEERING \
    --prefix-length=24 \
    --description="VPC private service access" \
    --network=default
Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/global/addresses/psa-range].

student@cloudshell:~ (test-project-402417)$ gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=psa-range \
    --network=default
Operation "operations/pssn.p24-4470404856-595e209f-19b7-4669-8a71-cbd45de8ba66" finished successfully.

student@cloudshell:~ (test-project-402417)$

AllyDB क्लस्टर बनाएं

us-central1 क्षेत्र में AlloyDB क्लस्टर बनाएं.

पोस्टग्रेज़ उपयोगकर्ता के लिए पासवर्ड तय करें. अपना पासवर्ड खुद तय किया जा सकता है या किसी रैंडम फ़ंक्शन का इस्तेमाल करके, पासवर्ड जनरेट किया जा सकता है

export PGPASSWORD=`openssl rand -hex 12`

कंसोल का अनुमानित आउटपुट:

student@cloudshell:~ (test-project-402417)$ export PGPASSWORD=`openssl rand -hex 12`

आने वाले समय में इस्तेमाल करने के लिए, PostgreSQL पासवर्ड को नोट करें:

echo $PGPASSWORD

कंसोल का अनुमानित आउटपुट:

student@cloudshell:~ (test-project-402417)$ echo $PGPASSWORD
bbefbfde7601985b0dee5723

क्षेत्र और AlloyDB क्लस्टर का नाम तय करें. हम क्लस्टर के नाम के तौर पर us-central1 क्षेत्र और alloydb-aip-01 का इस्तेमाल करेंगे:

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01

क्लस्टर बनाने के लिए निर्देश चलाएं:

gcloud alloydb clusters create $ADBCLUSTER \
    --password=$PGPASSWORD \
    --network=default \
    --region=$REGION

कंसोल का अनुमानित आउटपुट:

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
gcloud alloydb clusters create $ADBCLUSTER \
    --password=$PGPASSWORD \
    --network=default \
    --region=$REGION
Operation ID: operation-1697655441138-6080235852277-9e7f04f5-2012fce4
Creating cluster...done.

AlloyDB प्राइमरी इंस्टेंस बनाना

एक ही क्लाउड शेल सेशन में हमारे क्लस्टर के लिए, AlloyDB का प्राइमरी इंस्टेंस बनाएं. अगर आपका खाता डिसकनेक्ट कर दिया गया है, तो आपको क्षेत्र और क्लस्टर के नाम के एनवायरमेंट वैरिएबल फिर से तय करने होंगे.

gcloud alloydb instances create $ADBCLUSTER-pr \
    --instance-type=PRIMARY \
    --cpu-count=2 \
    --region=$REGION \
    --cluster=$ADBCLUSTER

कंसोल का अनुमानित आउटपुट:

student@cloudshell:~ (test-project-402417)$ gcloud alloydb instances create $ADBCLUSTER-pr \
    --instance-type=PRIMARY \
    --cpu-count=2 \
    --region=$REGION \
    --availability-type ZONAL \
    --cluster=$ADBCLUSTER
Operation ID: operation-1697659203545-6080315c6e8ee-391805db-25852721
Creating instance...done.

5. GCE (जीसीई) वर्चुअल मशीन तैयार करें

सेवा खाता बनाना

हम जनरेटिव एआई के डेटाबेस की मदद से डेटा वापस पाने की सेवा को डिप्लॉय करने और सैंपल ऐप्लिकेशन को होस्ट करने के लिए, वर्चुअल मशीन का इस्तेमाल करते हैं. इसलिए, सबसे पहले Google सेवा खाता (जीएसए) बनाना होता है. GSA का इस्तेमाल GCE (जीसीई) वीएम से किया जाएगा. साथ ही, दूसरी सेवाओं के साथ काम करने के लिए हमें इसे ज़रूरी खास अधिकार देने होंगे.

Cloud Shell में:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create compute-aip --project $PROJECT_ID
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/cloudbuild.builds.editor"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/artifactregistry.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/storage.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/run.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/alloydb.viewer"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"

GCE वीएम डिप्लॉय करना

उसी क्षेत्र में GCE वीएम बनाएं और VPC को AlloyDB क्लस्टर की तरह बनाएं.

Cloud Shell में ये काम करें:

export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
  --service-account=compute-aip@$PROJECT_ID.iam.gserviceaccount.com

कंसोल का अनुमानित आउटपुट:

student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform

Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/zones/us-central1-a/instances/instance-1].
NAME: instance-1
ZONE: us-central1-a
MACHINE_TYPE: n1-standard-1
PREEMPTIBLE: 
INTERNAL_IP: 10.128.0.2
EXTERNAL_IP: 34.71.192.233
STATUS: RUNNING

Postgres क्लाइंट इंस्टॉल करना

डिप्लॉय की गई वीएम पर PostgreSQL क्लाइंट सॉफ़्टवेयर इंस्टॉल करें

वर्चुअल मशीन (वीएम) से कनेक्ट करें:

gcloud compute ssh instance-1 --zone=us-central1-a

कंसोल का अनुमानित आउटपुट:

student@cloudshell:~ (test-project-402417)$ gcloud compute ssh instance-1 --zone=us-central1-a
Updating project ssh metadata...working..Updated [https://www.googleapis.com/compute/v1/projects/test-project-402417].                                                                                                                                                         
Updating project ssh metadata...done.                                                                                                                                                                                                                                              
Waiting for SSH key to propagate.
Warning: Permanently added 'compute.5110295539541121102' (ECDSA) to the list of known hosts.
Linux instance-1 5.10.0-26-cloud-amd64 #1 SMP Debian 5.10.197-1 (2023-09-29) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$

वर्चुअल मशीन (वीएम) के अंदर चल रहे सॉफ़्टवेयर का कमांड इंस्टॉल करें:

sudo apt-get update
sudo apt-get install --yes postgresql-client

कंसोल का अनुमानित आउटपुट:

student@instance-1:~$ sudo apt-get update
sudo apt-get install --yes postgresql-client
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
Get:4 file:/etc/apt/mirrors/debian-security.list Mirrorlist [39 B]
Hit:7 https://packages.cloud.google.com/apt google-compute-engine-bookworm-stable InRelease
Get:8 https://packages.cloud.google.com/apt cloud-sdk-bookworm InRelease [1652 B]
Get:2 https://deb.debian.org/debian bookworm InRelease [151 kB]
Get:3 https://deb.debian.org/debian bookworm-updates InRelease [55.4 kB]
...redacted...
update-alternatives: using /usr/share/postgresql/15/man/man1/psql.1.gz to provide /usr/share/man/man1/psql.1.gz (psql.1.gz) in auto mode
Setting up postgresql-client (15+248) ...
Processing triggers for man-db (2.11.2-2) ...
Processing triggers for libc-bin (2.36-9+deb12u7) ...

इंस्टेंस से कनेक्ट करना

psql का इस्तेमाल करके, वीएम से मुख्य इंस्टेंस से कनेक्ट करें.

अपनी वर्चुअल मशीन (वीएम) के लिए, खुले हुए एसएसएच सेशन के साथ जारी रखें. अगर आपका डिवाइस डिसकनेक्ट हो गया है, तो ऊपर दिए गए निर्देश का इस्तेमाल करके, फिर से कनेक्ट करें.

GCE (जीसीई) वीएम से AlloyDB से कनेक्ट करने के लिए, पहले बताए गए $PGASSWORD और क्लस्टर के नाम का इस्तेमाल करें:

export PGPASSWORD=<Noted password>

export PROJECT_ID=$(gcloud config get-value project)
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
psql "host=$INSTANCE_IP user=postgres sslmode=require"

कंसोल का अनुमानित आउटपुट:

student@instance-1:~$ export PGPASSWORD=P9...
student@instance-1:~$ export REGION=us-central1
student@instance-1:~$ export ADBCLUSTER=alloydb-aip-01
student@instance-1:~$ export INSTANCE_IP=export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres sslmode=require"
psql (13.11 (Debian 13.11-0+deb11u1), server 14.7)
WARNING: psql major version 13, server major version 14.
         Some psql features might not work.
SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, bits: 256, compression: off)
Type "help" for help.

postgres=>

एसएसएच कनेक्शन बनाए रखते हुए, psql सेशन से बाहर निकलें:

exit

कंसोल का अनुमानित आउटपुट:

postgres=> exit
student@instance-1:~$

6. डेटाबेस को शुरू करना

हम अपने डेटाबेस में डेटा भरने और अपने ऐप्लिकेशन को होस्ट करने के लिए, क्लाइंट वीएम का इस्तेमाल एक प्लैटफ़ॉर्म के तौर पर करेंगे. सबसे पहले एक डेटाबेस बनाएं और उसमें डेटा अपने-आप भर दें.

डेटाबेस बनाएं

"assistantdemo" नाम से एक डेटाबेस बनाएं.

GCE (जीसीई) वीएम सेशन में ये काम करें:

psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"

कंसोल का अनुमानित आउटपुट:

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"
CREATE DATABASE
student@instance-1:~$

pgवेक्टर एक्सटेंशन चालू करें.

psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"

कंसोल का अनुमानित आउटपुट:

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"
CREATE EXTENSION
student@instance-1:~$

Python एनवायरमेंट तैयार करना

आगे बढ़ने के लिए, हम GitHub रिपॉज़िटरी से तैयार की गई Python स्क्रिप्ट इस्तेमाल करेंगे. हालांकि, ऐसा करने से पहले हमें ज़रूरी सॉफ़्टवेयर इंस्टॉल करना होगा.