इस पेज का अनुवाद Cloud Translation API से किया गया है.

HEY के साथ Vertex AI की ऑनलाइन अनुमान लगाने के लिए बेसलाइन टेस्टिंग

1. परिचय

इस ट्यूटोरियल में आपको बताया जाएगा कि HEY वेब परफ़ॉर्मेंस टूल का इस्तेमाल करके, us-central1 और us-west1 से जुड़े अनुमान वाले एंडपॉइंट तक बेसलाइन टेस्टिंग करते समय, क्लाउड मॉनिटरिंग की सुविधा से ऑनलाइन अनुमान लगाने वाली मेट्रिक बनाने और उनका आकलन करने का तरीका कैसे बताया गया है.

ध्यान दें: लैब सुझाव कनेक्टिविटी की पुष्टि करने के लिए, मौजूदा मॉडल और ऑनलाइन अनुमान वाले एंडपॉइंट कोडलैब का इस्तेमाल करता है, ताकि नोटबुक बनाते समय यह पक्का किया जा सके कि आपने ट्यूटोरियल के टारगेट-वीपीसी नेटवर्क और वर्कबेंच-सबनेट सबनेटवर्क वाले हिस्से का इस्तेमाल किया है. आपसे 'मॉडल और ऑनलाइन अनुमान लागू करें' चरण में कोडलैब डिप्लॉय करने के लिए कहा जाएगा.

आपको क्या बनाना होगा

आपको Target-vpc नाम से एक VPC नेटवर्क सेट अप करना होगा. इसमें us-west1 और us-central1 के सबनेट और इंस्टेंस शामिल हैं. इनका इस्तेमाल, us-central1 में डिप्लॉय किए गए HEY को टारगेट करने वाले ऑनलाइन अनुमान और मॉडल का इस्तेमाल करके ट्रैफ़िक जनरेट करने के लिए किया जाएगा.

ट्यूटोरियल में Private Service Connect और Private DNS को भी शामिल किया जाता है. इसमें दिखाया जाता है कि किस तरह कंपनी की इमारत और मल्टी क्लाउड एनवायरमेंट, googleapis को ऐक्सेस करने के लिए PSC का फ़ायदा ले सकते हैं.

ट्यूटोरियल में क्लाउड मॉनिटरिंग और Network Intelligence का इस्तेमाल किया जाएगा, ताकि HEY से ऑनलाइन अनुमान में जनरेट हुए ट्रैफ़िक की पुष्टि की जा सके. ट्यूटोरियल में बताए गए चरणों को VPC में डिप्लॉय किया जा सकता है. हालांकि, अपनी कंपनी की इमारत या मल्टी क्लाउड एनवायरमेंट में Vertex APIS की बेसलाइन को डिप्लॉय करने और पाने के लिए, इन चरणों का इस्तेमाल किया जा सकता है. नेटवर्क आर्किटेक्चर में नीचे दिए गए कॉम्पोनेंट शामिल हैं:

इस्तेमाल के उदाहरण के बारे में यहां जानकारी दी गई है:

HEY का इस्तेमाल करके, us-west1 पर GCE (जीसीई) इंस्टेंस से us-central1 में ऑनलाइन अनुमान ऐक्सेस करें
पुष्टि करें कि Vertex API को ऐक्सेस करने के लिए, PSC का इस्तेमाल किया जा रहा है या नहीं
HEY का इस्तेमाल करके 5 मिनट तक कर्ल करें
क्लाउड मॉनिटरिंग का इस्तेमाल करके, इंतज़ार के समय की पुष्टि करें
Network Intelligence का इस्तेमाल करके, अलग-अलग इलाकों के हिसाब से इंतज़ार के समय की पुष्टि करना
HEY का इस्तेमाल करके, us-central1 में GCE इंस्टेंस से us-central1 में ऑनलाइन अनुमान ऐक्सेस करें
पुष्टि करें कि Vertex API को ऐक्सेस करने के लिए, PSC का इस्तेमाल किया जा रहा है या नहीं
HEY का इस्तेमाल करके 5 मिनट तक कर्ल करें
क्लाउड मॉनिटरिंग का इस्तेमाल करके, इंतज़ार के समय की पुष्टि करें
Network Intelligence का इस्तेमाल करके इंट्रा-रीजनल इंतज़ार के समय की पुष्टि करना

आपको इनके बारे में जानकारी मिलेगी

Private Service Connect एंडपॉइंट को सेट अप करने का तरीका
HEY का इस्तेमाल करके, ऑनलाइन अनुमान के लिए लोड जनरेट करने का तरीका
क्लाउड मॉनिटरिंग का इस्तेमाल करके Vertex AI मेट्रिक बनाने का तरीका
इंट्रा और अलग-अलग क्षेत्रों के हिसाब से इंतज़ार का समय

आपको इन चीज़ों की ज़रूरत होगी

Google Cloud प्रोजेक्ट

IAM अनुमतियां

Compute Network एडमिन

सर्विस डायरेक्ट्री एडिटर

डीएनएस एडमिन

नेटवर्क मैनेजमेंट व्यूअर

2. शुरू करने से पहले

ट्यूटोरियल की मदद करने के लिए, प्रोजेक्ट अपडेट करना

यह ट्यूटोरियल, Cloud Shell में gcloud कॉन्फ़िगरेशन लागू करने में मदद करने के लिए $variables का इस्तेमाल करता है.

Cloud Shell के अंदर, यह तरीका अपनाएं:

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid

3. Target-vpc सेटअप

target-vpc बनाएं

gcloud सेवाएं Networkmanagement.googleapis.com को चालू करती हैं

Cloud Shell के अंदर, यह तरीका अपनाएं:

gcloud compute networks create aiml-vpc --project=$projectid --subnet-mode=custom

Cloud Shell में, Network Intelligence के लिए Network Management API को चालू करें

gcloud services enable networkmanagement.googleapis.com

उपयोगकर्ता से मैनेज किया जाने वाला notebook सबनेट बनाना

Cloud Shell के अंदर, वर्कबेंच-सबनेट बनाएं.

gcloud compute networks subnets create workbench-subnet --project=$projectid --range=172.16.10.0/28 --network=aiml-vpc --region=us-central1 --enable-private-ip-google-access

Cloud Shell के अंदर, us-west1-सबनेट बनाएं.

gcloud compute networks subnets create us-west1-subnet --project=$projectid --range=192.168.10.0/28 --network=aiml-vpc --region=us-west1

Cloud Shell के अंदर, us-central1-सबनेट बनाएं.

gcloud compute networks subnets create us-central1-subnet --project=$projectid --range=192.168.20.0/28 --network=aiml-vpc --region=us-central1

Cloud राऊटर और NAT का कॉन्फ़िगरेशन

ट्यूटोरियल में Cloud NAT का इस्तेमाल सॉफ़्टवेयर पैकेज डाउनलोड करने के लिए किया जाता है, क्योंकि GCE (जीसीई) इंस्टेंस में कोई बाहरी आईपी पता नहीं होता. Cloud NAT, इग्रेस डेटा ट्रैफ़िक जांच की सुविधाएं (एनएटी) उपलब्ध कराता है. इसका मतलब है कि इंटरनेट होस्ट, उपयोगकर्ता से मैनेज की जाने वाली नोटबुक के साथ कम्यूनिकेशन शुरू नहीं कर सकते. इससे नोटबुक ज़्यादा सुरक्षित होती है.

Cloud Shell के अंदर, रीजनल क्लाउड राऊटर बनाएं, us-west1.

gcloud compute routers create cloud-router-us-west1-aiml-nat --network aiml-vpc --region us-west1

Cloud Shell के अंदर, रीजनल क्लाउड नट गेटवे बनाएं, us-west1.

gcloud compute routers nats create cloud-nat-us-west1 --router=cloud-router-us-west1-aiml-nat --auto-allocate-nat-external-ips --nat-all-subnet-ip-ranges --region us-west1

Cloud Shell के अंदर, रीजनल क्लाउड राऊटर, us-central1 बनाएं.

gcloud compute routers create cloud-router-us-central1-aiml-nat --network aiml-vpc --region us-central1

Cloud Shell के अंदर, रीजनल क्लाउड नट गेटवे, us-central1 बनाएं.

gcloud compute routers nats create cloud-nat-us-central1 --router=cloud-router-us-central1-aiml-nat --auto-allocate-nat-external-ips --nat-all-subnet-ip-ranges --region us-central1

4. Private Service Connect का एंडपॉइंट बनाना

नीचे दिए गए सेक्शन में, आपको एक Private Service Connect (PSC) एंडपॉइंट बनाना होगा. इसका इस्तेमाल, स्टैंडर्ड-vpc से Vertex API को ऐक्सेस करने के लिए किया जाएगा.

Cloud Shell से

gcloud compute addresses create psc-ip \
    --global \
    --purpose=PRIVATE_SERVICE_CONNECT \
    --addresses=100.100.10.10 \
    --network=aiml-vpc

‘pscendpointip' स्टोर करें लैब की अवधि के लिए

pscendpointip=$(gcloud compute addresses list --filter=name:psc-ip --format="value(address)")

echo $pscendpointip

PSC एंडपॉइंट बनाएं

Cloud Shell से

gcloud compute forwarding-rules create pscvertex \
    --global \
    --network=aiml-vpc \
    --address=psc-ip \
    --target-google-apis-bundle=all-apis

कॉन्फ़िगर किए गए Private Service Connect एंडपॉइंट की सूची बनाएं

Cloud Shell से

gcloud compute forwarding-rules list  \
--filter target="(all-apis OR vpc-sc)" --global

कॉन्फ़िगर किए गए Private Service Connect एंडपॉइंट के बारे में बताएं

Cloud Shell से

gcloud compute forwarding-rules describe \
    pscvertex --global

5. GCE (जीसीई) इंस्टेंस के लिए सेवा खाता बनाना

Vertex API को बेहतर तरीके से कंट्रोल करने के लिए, उपयोगकर्ता के मैनेज किए जाने वाले सेवा खाते की ज़रूरत होती है. यह खाता, पश्चिम और सेंट्रल इंस्टेंस पर लागू होगा. जनरेट होने के बाद, सेवा खाते की अनुमतियों में, कारोबार की ज़रूरी शर्तों के आधार पर बदलाव किया जा सकता है. ट्यूटोरियल में, उपयोगकर्ता की ओर से मैनेज किए जाने वाले सेवा खाते, Verex-sa में ये भूमिकाएं लागू होंगी:

आगे बढ़ने से पहले, आपको सेवा खाता एपीआई को करना होगा.

Cloud Shell में, सेवा खाता बनाएं.

gcloud iam service-accounts create vertex-gce-sa \
    --description="service account for vertex" \
    --display-name="vertex-sa"

Cloud Shell में, सेवा खाते को रोल कंप्यूट इंस्टेंस एडमिन की मदद से अपडेट करें

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:vertex-gce-sa@$projectid.iam.gserviceaccount.com" --role="roles/compute.instanceAdmin.v1"

Cloud Shell में, सेवा खाते को Vertex AI User की भूमिका के साथ अपडेट करें

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:vertex-gce-sa@$projectid.iam.gserviceaccount.com" --role="roles/aiplatform.user"

6. उपयोगकर्ता की ओर से मैनेज किया जाने वाला सेवा खाता बनाना (नोटबुक)

नीचे दिए गए सेक्शन में, आपको उपयोगकर्ता की ओर से मैनेज किया जाने वाला सेवा खाता बनाना है, जो ट्यूटोरियल में इस्तेमाल किए गए Vertex Workbench (Notebook) से जुड़ा होगा.

ट्यूटोरियल में, सेवा खाते पर ये नियम लागू होंगे:

Cloud Shell में, सेवा खाता बनाएं.

gcloud iam service-accounts create user-managed-notebook-sa \
    --display-name="user-managed-notebook-sa"

Cloud Shell में, सेवा खाते को स्टोरेज एडमिन की भूमिका के साथ अपडेट करें.

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/storage.admin"

Cloud Shell में, सेवा खाते को Vertex AI User की भूमिका के साथ अपडेट करें.

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/aiplatform.user"

Cloud Shell में, सेवा खाते को Artifact Registry के एडमिन की भूमिका के साथ अपडेट करें.

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/artifactregistry.admin"

Cloud Shell में, सेवा खाते की सूची बनाएं और वह ईमेल पता नोट करें जिसका इस्तेमाल, उपयोगकर्ता से मैनेज की जाने वाली नोटबुक को बनाते समय किया जाएगा.

gcloud iam service-accounts list

7. टेस्ट इंस्टेंस बनाना

नीचे दिए गए सेक्शन में, us-west1 और us-central1 की मदद से बेसलाइन टेस्टिंग करने के लिए टेस्ट इंस्टेंस बनाएं.

Cloud Shell के अंदर वेस्ट-क्लाइंट बनाएं.

gcloud compute instances create west-client \
    --zone=us-west1-a \
    --image-family=debian-11 \
    --image-project=debian-cloud \
    --subnet=us-west1-subnet \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
    --no-address \
    --shielded-secure-boot --service-account=vertex-gce-sa@$projectid.iam.gserviceaccount.com \
    --metadata startup-script="#! /bin/bash
      sudo apt-get update
      sudo apt-get install tcpdump dnsutils -y"

Cloud Shell के अंदर सेंट्रल-क्लाइंट बनाएं.

gcloud compute instances create central-client \
    --zone=us-central1-a \
    --image-family=debian-11 \
    --image-project=debian-cloud \
    --subnet=us-central1-subnet \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
    --no-address \
    --shielded-secure-boot --service-account=vertex-gce-sa@$projectid.iam.gserviceaccount.com \
    --metadata startup-script="#! /bin/bash
      sudo apt-get update
      sudo apt-get install tcpdump dnsutils -y"

आईएपी को अपने वीएम इंस्टेंस से कनेक्ट करने की अनुमति देने के लिए, फ़ायरवॉल का नियम बनाएं:

यह उन सभी वीएम इंस्टेंस पर लागू होता है जिन्हें आपको आईएपी का इस्तेमाल करके ऐक्सेस करना है.
आईपी रेंज 35.235.240.0/20 से, इन्ग्रेस डेटा ट्रैफ़िक की अनुमति देता है. इस रेंज में वे सभी आईपी पते शामिल होते हैं जिनका इस्तेमाल आईएपी, टीसीपी फ़ॉरवर्ड करने के लिए करता है.

Cloud Shell के अंदर, IAP फ़ायरवॉल का नियम बनाएं.

gcloud compute firewall-rules create ssh-iap-vpc \
    --network aiml-vpc \
    --allow tcp:22 \
    --source-ranges=35.235.240.0/20

8. उपयोगकर्ता की ओर से मैनेज की जाने वाली नोटबुक बनाएं

Notebook API को

नीचे दिए गए सेक्शन में, उपयोगकर्ता के ज़रिए मैनेज की जाने वाली नोटबुक बनाएं. इसमें पहले बनाए गए सेवा खाते, user-managed-notebook-sa, को शामिल करें.

Cloud Shell के अंदर निजी-क्लाइंट इंस्टेंस बनाएं.

gcloud notebooks instances create workbench-tutorial \
      --vm-image-project=deeplearning-platform-release \
      --vm-image-family=common-cpu-notebooks \
      --machine-type=n1-standard-4 \
      --location=us-central1-a \
      --subnet-region=us-central1 \
      --shielded-secure-boot \
      --subnet=workbench-subnet \
      --no-public-ip    --service-account=user-managed-notebook-sa@$projectid.iam.gserviceaccount.com

डिप्लॉय की गई नोटबुक देखने के लिए, Vertex AI → वर्कबेंच पर जाएं.

9. मॉडल और ऑनलाइन अनुमान डिप्लॉय करें

नीचे दिए गए सेक्शन में, दिए गए कोडलैबVertex AI का इस्तेमाल करें:अनुमान के लिए, प्रोसेस डेटा को प्रीप्रोसेस और पोस्ट करने के लिए, Sklearn के साथ पसंद के मुताबिक अनुमान लगाने वाले रूटीन का इस्तेमाल करना सेक्शन 7 से शुरू करें, क्योंकि आपने पिछले चरण में नोटबुक बना ली है. मॉडल लागू होने के बाद, अगला सेक्शन शुरू करने के लिए ट्यूटोरियल पर वापस जाएं.

10. ऑनलाइन अनुमान के लिए कस्टम मॉनिटरिंग डैशबोर्ड बनाएं

ऑनलाइन अनुमान, VERTEX AI → Online PREDICTION → ENDPOINT NAME (diamonds-cpr_endpoint) में डिफ़ॉल्ट मॉनिटरिंग डैशबोर्ड बनाता है. हालांकि, हमारी टेस्टिंग के लिए हमें शुरू और खत्म होने का समय तय करना होगा, इसलिए एक कस्टम डैशबोर्ड की ज़रूरत होती है.

नीचे दिए गए सेक्शन में, ऑनलाइन अनुमान एंडपॉइंट के क्षेत्रीय ऐक्सेस के आधार पर, इंतज़ार के समय का मेज़रमेंट पाने के लिए क्लाउड मॉनिटरिंग मेट्रिक बनाई जाएंगी. इससे us-west1 और us-central में डिप्लॉय किए गए GCE इंस्टेंस से, us-central1 में एंडपॉइंट को ऐक्सेस करते समय अलग-अलग इंतज़ार के समय की पुष्टि की जा सकेगी.

ट्यूटोरियल के लिए हम notebook_latencies मेट्रिक का इस्तेमाल करेंगे. इसके अलावा, aiplatform पर अन्य मेट्रिक उपलब्ध हैं

मेट्रिक	ब्यौरा
prediction/online/prediction_latencies	डिप्लॉय किए गए मॉडल के ऑनलाइन अनुमान में लगने वाला समय.

prediction_latencies मेट्रिक के लिए चार्ट बनाएं

Cloud Console से मॉनिटर करने पर जाएं → मेट्रिक्स एक्सप्लोरर

मेट्रिक का prediction/online/prediction_latencies शामिल करें और नीचे दिए गए विकल्प चुनें और 'लागू करें' चुनें.

नीचे दिए गए विकल्प के आधार पर, 'इसके हिसाब से ग्रुप करें' को अपडेट करें, 'चार्ट सेव करें' चुनें.

'सेव करें' पर क्लिक करने के बाद, आपको डैशबोर्ड चुनने के लिए कहा जाएगा. नया डैशबोर्ड चुनें और एक नाम दें.

Vertex कस्टम डैशबोर्ड

नीचे दिए गए सेक्शन में, पुष्टि करें कि Vertex कस्टम डैशबोर्ड सही समय दिखा रहा है.

निगरानी करना → डैशबोर्ड पर जाएं और Vertex कस्टम डैशबोर्ड चुनें और समय चुनें. पक्का करें कि आपका टाइम ज़ोन सही हो.

टेबल व्यू पाने के लिए, लेजेंड को बड़ा करना न भूलें.

बड़े किए गए व्यू का उदाहरण:

11. PSC एंडपॉइंट के लिए निजी डीएनएस बनाना

सभी googleapis को PSC एंडपॉइंट आईपी पते 100.100.10.10 से रिज़ॉल्व करने के लिए, clear-vpc में निजी डीएनएस ज़ोन बनाएं.

Cloud Shell से, निजी डीएनएस ज़ोन बनाएं.

gcloud dns --project=$projectid managed-zones create psc-googleapis --description="Private Zone to resolve googleapis to a PSC endpoint" --dns-name="googleapis.com." --visibility="private" --networks="https://www.googleapis.com/compute/v1/projects/$projectid/global/networks/aiml-vpc"

Cloud Shell से, * को जोड़ने वाला A रिकॉर्ड बनाएं. googleapis.com को PSC आईपी में ले जाएं.

gcloud dns --project=$projectid record-sets create *.googleapis.com. --zone="psc-googleapis" --type="A" --ttl="300" --rrdatas="100.100.10.10"

12. हे टेस्टिंग वैरिएबल

Hey, असली उपयोगकर्ताओं को नेटवर्क और ऐप्लिकेशन की ज़रूरी शर्तों के हिसाब से टेस्टिंग की सुविधा देता है. ट्यूटोरियल के लिए, हम सैंपल एक्ज़ीक्यूशन स्ट्रिंग के साथ नीचे दिए गए विकल्प का इस्तेमाल करेंगे:

c == एक वर्कर

z == अवधि

m == एचटीटीपी तरीका POST

D == फ़ाइल से एचटीटीपी अनुरोध का मुख्य हिस्सा, example.json

n == चलाए जाने वाले अनुरोधों की संख्या. डिफ़ॉल्ट संख्या 200 है.

HEY के साथ कर्ल स्ट्रिंग का उदाहरण (लागू करने की ज़रूरत नहीं है)

user@us-central$ ./hey_linux_amd64 -c 1 -z 1m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid$}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

13. अनुमान आईडी पाना

Cloud Console से अपना ऑनलाइन अनुमान एंडपॉइंट आईडी पाएं. इसका इस्तेमाल आगे के चरणों में किया जाएगा.

VERTEX AI → ऑनलाइन पूर्वानुमान पर जाएं

14. HEY (us-west1) डाउनलोड करें और उसे एक्ज़ीक्यूट करें

नीचे दिए गए सेक्शन में, us-central1 में मौजूद ऑनलाइन अनुमान से HEY डाउनलोड करने और उसे लागू करने के लिए पश्चिम-क्लाइंट में लॉग इन करना होगा.

Cloud Shell से, वेस्ट-क्लाइंट में लॉग इन करें और HEY डाउनलोड करें

gcloud compute ssh west-client --project=$projectid --zone=us-west1-a --tunnel-through-iap

ओएस से, HEY ऐप्लिकेशन डाउनलोड करें और अनुमतियां अपडेट करें.

wget https://hey-release.s3.us-east-2.amazonaws.com/hey_linux_amd64
chmod +x hey_linux_amd64

ओएस से, ये वैरिएबल बनाएं:

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid
ENDPOINT_ID="insert-your-endpoint-id-here"

उदाहरण:

ENDPOINT_ID="2706243362607857664"

नीचे दिए गए सेक्शन में, vi Editor या नैनो का इस्तेमाल करके example.json फ़ाइल बनाई जाएगी. इसके बाद, डिप्लॉय किए गए मॉडल से अनुमान लगाने के लिए इस्तेमाल की गई डेटा स्ट्रिंग को शामिल किया जाएगा.

वेस्ट-क्लाइंट ओएस से, नीचे दी गई डेटा स्ट्रिंग की मदद से instances.json फ़ाइल बनाएं:

{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

उदाहरण:

user@west-client:$ more instances.json 
{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

user@west-client:$

प्री-टेस्ट

ओएस से, यह पुष्टि करने के लिए कर्ल एक्ज़ीक्यूट करें कि मॉडल और अनुमान एंडपॉइंट सही तरीके से काम कर रहा है या नहीं. वर्बोस लॉग में PSC एंडपॉइंट आईपी पते और कामयाब होने का संकेत देने वाले एचटीटीपी/2 200 पर ध्यान दें.

curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json

उदाहरण के लिए, सुझाव को ऐक्सेस करने के लिए इस्तेमाल किए जाने वाले PSC आईपी पते को नोट करें और नतीजा मिल सकता है.

user@west-client:$ curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json
Note: Unnecessary use of -X or --request, POST is already inferred.
*   Trying 100.100.10.10:443...
* Connected to us-central1-aiplatform.googleapis.com (100.100.10.10) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*  CAfile: /etc/ssl/certs/ca-certificates.crt
*  CApath: /etc/ssl/certs
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
* TLSv1.3 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Certificate (11):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384
* ALPN, server accepted to use h2
* Server certificate:
*  subject: CN=upload.video.google.com
*  start date: Jul 31 08:22:19 2023 GMT
*  expire date: Oct 23 08:22:18 2023 GMT
*  subjectAltName: host "us-central1-aiplatform.googleapis.com" matched cert's "*.googleapis.com"
*  issuer: C=US; O=Google Trust Services LLC; CN=GTS CA 1C3
*  SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* Using Stream ID: 1 (easy handle 0x55a9f38b42c0)
> POST /v1/projects/new-test-project-396322/locations/us-central1/endpoints/2706243362607857664:predict HTTP/2
> Host: us-central1-aiplatform.googleapis.com
> user-agent: curl/7.74.0
> accept: */*
> authorization: Bearer ya29.c.b0Aaekm1LqrcaOlWFFwuEOWX_tZVXXvJgN_K-u5_hFyEAYXAi3AnBEBwwtHS8dweW_P2QGfdyFfa31nMT_6BaKBI0mC9IsfzfIiUwXc8u2yJt01gTUSJpCmGAFKZKidRMgkPYivVYCnuymzdYbRAWacIe__StkRzI9UeQOGN3jNIeESr80AdH12goaxCFXWaNWxoYRfGVhekEgUcsKs7t1OhOM-937gy4YGkXcXa8sGuHWRqF5bnulYlTqlxqQ2aAxMTrQg2lwUWRGCmGhPrym7rXJq7oim0DkAJSbAarl1qFuz0PPfNXeHGbs13zY2r1giV7u8_w4Umj_Q5M7H9fTkq7EiqnLzqRkOHXismYL368P1jOUBYM__krFQt4M3X9RJa0g01tOw3FnOh27BmUqlFQ1J2h14JZpx215Q3xzRvgfJ5iW5YYSkv67uZRQk4V04naOUXyc0plzWuVOjj4nor3fYvkS_oW0IyxJoBjeXR16Vnvln8c04svWX9dt7eobczFvBOm9nVdh4lVp8qxbp__2WtMvc1QVg6y-2i6lRpbvmyp1oadxVRjxV1e0wiQFSe-qqsinJu3bnnaMbxdU2cu5j26o8o8Xpgo0SF1UM0b1WX84iatbWpdFSphZm1llwmRagMzcFBW0aBk-i35_bXSbzwURgMfY6Qbyb9Rv9y0F-Maf34I0WxiMldv2uc57nej7dVl9OSm_Ohnro-i9zcpq9fxo9soYVB8WjaZOUjauk4znstc2_6y4atcVVsQBkeU674biR567Ri3M74Jfv4MrrF02ObfrJRdB7UJ4MU_9kWW-kYeeJzoci15UqYV0f_yJgReBwQa66Supmebee2Sn2nku6xZkRMu5Mz55mXuva0XWrpIbor7WckSsXwUFbf7rj5ipa4mOOyf2hJe1Rq0x6yeBaariRzXrhfm5bBpFBU73-zd-IekvOji0ZJQSkk0o6gpX_794Jny7j14aQJ8VxezcFpZUztimYhMnRhlO2lqms1h0h48
> content-type: application/json
> content-length: 158
> 
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
* We are completely uploaded and fine
< HTTP/2 200 
< x-vertex-ai-internal-prediction-backend: harpoon
< content-type: application/json; charset=UTF-8
< date: Sun, 20 Aug 2023 03:51:54 GMT
< vary: X-Origin
< vary: Referer
< vary: Origin,Accept-Encoding
< server: scaffolding on HTTPServer2
< cache-control: private
< x-xss-protection: 0
< x-frame-options: SAMEORIGIN
< x-content-type-options: nosniff
< accept-ranges: none
< 
{
  "predictions": [
    "$479.0",
    "$586.0"
  ],
  "deployedModelId": "3587550310781943808",
  "model": "projects/884291964428/locations/us-central1/models/6829574694488768512",
  "modelDisplayName": "diamonds-cpr",
  "modelVersionId": "1"
}
* Connection #0 to host us-central1-aiplatform.googleapis.com left intact

HEY लागू करें

ओएस से, 10 मिनट का बेसलाइन टेस्ट चालू करके HEY लागू करें.

./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

15. नमस्ते पुष्टि (us-west1)

अब जब आपने us-west1 पर कंप्यूट इंस्टेंस से Hey को चलाया, तो इन नतीजों से मिलने वाले नतीजों का आकलन करें:

HEY नतीजे
Vertex कस्टम डैशबोर्ड
Network Intelligence

HEY नतीजे

ओएस से, हमें 10 मिनट की एक्ज़ीक्यूशन के आधार पर HEY के नतीजों की पुष्टि करने की सुविधा मिलती है.

17.5826 अनुरोध हर सेकंड

0.0686 सेकंड में 99% | 68 मिलीसेकंड

200 स्टेटस कोड के साथ 10,550 जवाब

user@west-client:$ ./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

Summary:
  Total:        600.0243 secs
  Slowest:      0.3039 secs
  Fastest:      0.0527 secs
  Average:      0.0569 secs
  Requests/sec: 17.5826
  

Response time histogram:
  0.053 [1]     |
  0.078 [10514] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
  0.103 [16]    |
  0.128 [4]     |
  0.153 [3]     |
  0.178 [1]     |
  0.203 [0]     |
  0.229 [2]     |
  0.254 [1]     |
  0.279 [5]     |
  0.304 [3]     |


Latency distribution:
  10% in 0.0546 secs
  25% in 0.0551 secs
  50% in 0.0559 secs
  75% in 0.0571 secs
  90% in 0.0596 secs
  95% in 0.0613 secs
  99% in 0.0686 secs

Details (average, fastest, slowest):
  DNS+dialup:   0.0000 secs, 0.0527 secs, 0.3039 secs
  DNS-lookup:   0.0000 secs, 0.0000 secs, 0.0116 secs
  req write:    0.0000 secs, 0.0000 secs, 0.0002 secs
  resp wait:    0.0567 secs, 0.0526 secs, 0.3038 secs
  resp read:    0.0001 secs, 0.0001 secs, 0.0696 secs

Status code distribution:
  [200] 10550 responses

Vertex कस्टम डैशबोर्ड

निगरानी करना → डैशबोर्ड पर जाएं और Vertex कस्टम डैशबोर्ड चुनें. 10 मीटर डालें या अपने शुरू और खत्म होने का समय बताएं. पक्का करें कि आपका टाइम ज़ोन सही हो.

अनुमान की प्रतीक्षा अवधि की परिभाषा पर नज़र डालने से यह पता चलता है कि सर्वर साइड मेट्रिक है, जो मॉडल से जवाब मिलने के बाद क्लाइंट के अनुरोध का जवाब देने में लगने वाले कुल समय को मापती है.

इंतज़ार का कुल समय: किसी अनुरोध के लिए सेवा में बिताया गया कुल समय. इसमें मॉडल के इंतज़ार के समय और ओवरहेड के इंतज़ार का समय शामिल होता है.

वहीं दूसरी ओर, HEY क्लाइंट साइड की एक मेट्रिक है, जो इन पैरामीटर का ध्यान रखती है:

क्लाइंट का अनुरोध + कुल इंतज़ार का समय (मॉडल इंतज़ार का समय शामिल है) + क्लाइंट का जवाब

Network Intelligence

आइए, अब उन अलग-अलग इलाकों के नेटवर्क के इंतज़ार के समय पर नज़र डालते हैं, जिसे Network Intelligence ने रिपोर्ट किया है. इससे हमें Google Cloud Platform की ओर से रिपोर्ट किए गए us-west1 के बारे में us-central1 के इंतज़ार के समय के बारे में जानकारी मिलेगी.

Cloud Console Network Intelligence → परफ़ॉर्मेंस डैशबोर्ड पर जाएं और नीचे दिए गए स्क्रीनशॉट में दिए गए विकल्पों को चुनें. इनमें 32 से 39 मि॰से॰ के इंतज़ार का समय दिखता है.

HEY us-west1 बेसलाइन की खास जानकारी

जांच वाले टूल से 'इंतज़ार का कुल समय' रिपोर्ट की तुलना करने पर HEY की तरफ़ से रिपोर्ट की गई इंतज़ार के समय जैसी जानकारी मिलती है. अलग-अलग क्षेत्रों के हिसाब से इंतज़ार का समय, ज़्यादातर इंतज़ार के समय की वजह से होता है. आइए देखते हैं कि टेस्ट की अगली सीरीज़ में सेंट्रल-क्लाइंट कैसा परफ़ॉर्म करता है.

लेटेंसी टूल	कुल समय
नेटवर्क इंटेलिजेंस: us-west1 से us-central1 लेटेंसी	~32 से 39 मि॰से॰
क्लाउड मॉनिटरिंग: इंतज़ार का कुल समय [99वां%]	34.58 मि॰से॰ (99 पिक्सल)
Google की ओर से रिपोर्ट किया गया कुल इंतज़ार का समय	~ 66.58 से 73.58 मि॰से॰
HEY क्लाइंट साइड इंतज़ार के समय का बंटवारा	68 मि॰से॰ (99 पिक्सल)

16. HEY (us-central1) डाउनलोड करना और लागू करना

नीचे दिए गए सेक्शन में, आपको us-central1 में मौजूद ऑनलाइन अनुमान से HEY डाउनलोड करने और उसे एक्ज़ीक्यूट करने के लिए सेंट्रल-क्लाइंट में लॉग इन करना होगा.

Cloud Shell से, सेंट्रल-क्लाइंट में लॉग इन करें और HEY डाउनलोड करें

gcloud compute ssh central-client --project=$projectid --zone=us-central1-a --tunnel-through-iap

ओएस से, HEY ऐप्लिकेशन डाउनलोड करें और अनुमतियां अपडेट करें.

wget https://hey-release.s3.us-east-2.amazonaws.com/hey_linux_amd64
chmod +x hey_linux_amd64

ओएस से, ये वैरिएबल बनाएं:

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid
ENDPOINT_ID="insert-your-endpoint-id-here"

उदाहरण:

ENDPOINT_ID="2706243362607857664"

वेस्ट-क्लाइंट ओएस से, नीचे दी गई डेटा स्ट्रिंग की मदद से instances.json फ़ाइल बनाएं:

{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

उदाहरण:

user@west-client:$ more instances.json 
{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

user@west-client:$

प्री-टेस्ट

curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json

user@central-client:~$ curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json
Note: Unnecessary use of -X or --request, POST is already inferred.
*   Trying 100.100.10.10:443...
* Connected to us-central1-aiplatform.googleapis.com (100.100.10.10) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*  CAfile: /etc/ssl/certs/ca-certificates.crt
*  CApath: /etc/ssl/certs
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
* TLSv1.3 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Certificate (11):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384
* ALPN, server accepted to use h2
* Server certificate:
*  subject: CN=upload.video.google.com
*  start date: Jul 31 08:22:19 2023 GMT
*  expire date: Oct 23 08:22:18 2023 GMT
*  subjectAltName: host "us-central1-aiplatform.googleapis.com" matched cert's "*.googleapis.com"
*  issuer: C=US; O=Google Trust Services LLC; CN=GTS CA 1C3
*  SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* Using Stream ID: 1 (easy handle 0x559b57adc2c0)
> POST /v1/projects/new-test-project-396322/locations/us-central1/endpoints/2706243362607857664:predict HTTP/2
> Host: us-central1-aiplatform.googleapis.com
> user-agent: curl/7.74.0
> accept: */*
> authorization: Bearer ya29.c.b0Aaekm1KWqq-CIXuL6f1cx9d9jHHquQq9tlSV1oVZ1y3TACi82JFFZRwsagVY7MMovycsU4PLkt9MDMkNngxZE5RzXcS-AoaUaQf1tPT9-_JMTlFI6wCcR7Yr9MeRF5AZblr_k52ZZgEZKeYGcrXoGiqGQcAAwFtHiEVAkUhLuyukteXbMoep1JM9E0zFblJj7Z0yOCMJYBH-6XHcIDYnOKpStMVBR2wcTDbnFrCE08HXbvRnQVcENatTBoI9FzSVL1ORwqUiCcdfnTSjpIXcyD-W82d6ZHjGX_RUhfnH7RPfOJqkuU8pOovwoCjq_jvM_wJUfPuQnBKHp5rxbYxPE349DMBql62po2SWFguuFo-a2eoUnb8-FQeBZqan65zgV0lexR73gZlm071y9grlXv3fmJUo7vlj5W-7_-FJXaWWg8iWc6rmjYeO1Wz2h_8qnmojkX9xSUciI6JfmwdgMWwtvwJb63ppSmdwf8oagrYiQlpMzgRI6rekbRzg-1WOBeOf5nRg5vtxUMSc9iRaoarO5XwFX8vt7rxOUBvbXYVWmo3bsdhzsS9VopMwgMlxgcIJg7bq7_F3iapB-nRjfjfhZWpR83cWIkI2Wb9f89inpsxtYjZbbzdWkZvRB8FYSsY8F8tcpiVoWWyQWZiph9z7O59fF9irWY2gtUnbFcJJ_ZcYztjlMQaR45y42ZflkM3Qn668bzge3Y3hmVI1s6ZSmxxq6m27hoMwVn21R07Y613jwljmaFJ5V8MwkR6yvFhYngrh_JrhRUQtSSMh02Rz25wMfv7g8Fiqymr-12viM4btIFjXZBM3XFqzvso_rw1omI1yYWofmbaBYggpegpJBzSeqVUZe791agjVtiMUkyjXFy__9gI0Qk9ZUarI4p25SvS4I1hX4YyBk6ol32Z5zIsVr1Seff__aklm6M2Mlkumd7nurm46hjOIoOhFpfFxrQ6yivnhYapBOJMYirgbZvigvI3dom1fnmt0-ktmRxp69w7Uzzy
> content-type: application/json
> content-length: 158
> 
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
* We are completely uploaded and fine
< HTTP/2 200 
< x-vertex-ai-internal-prediction-backend: harpoon
< date: Sun, 20 Aug 2023 22:25:31 GMT
< content-type: application/json; charset=UTF-8
< vary: X-Origin
< vary: Referer
< vary: Origin,Accept-Encoding
< server: scaffolding on HTTPServer2
< cache-control: private
< x-xss-protection: 0
< x-frame-options: SAMEORIGIN
< x-content-type-options: nosniff
< accept-ranges: none
< 
{
  "predictions": [
    "$479.0",
    "$586.0"
  ],
  "deployedModelId": "3587550310781943808",
  "model": "projects/884291964428/locations/us-central1/models/6829574694488768512",
  "modelDisplayName": "diamonds-cpr",
  "modelVersionId": "1"
}
* Connection #0 to host us-central1-aiplatform.googleapis.com left intact

HEY लागू करें

ओएस से, 10 मिनट का बेसलाइन टेस्ट चालू करके HEY लागू करें.

./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

17. नमस्ते पुष्टि (us-central1)

अब जब आपने us-central1 में कंप्यूट इंस्टेंस से Hey को एक्ज़ीक्यूट किया, तो इन नतीजों से मिलने वाले नतीजों का आकलन करें:

HEY नतीजे
Vertex कस्टम डैशबोर्ड
Network Intelligence

HEY नतीजे

44.9408 अनुरोध हर सेकंड

0.0353 सेकंड में 99% | 35 मिलीसेकंड

200 स्थिति कोड के साथ 26965 जवाब

devops_user_1_deepakmichael_alto@central-client:~$ ./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

Summary:
  Total:        600.0113 secs
  Slowest:      0.3673 secs
  Fastest:      0.0184 secs
  Average:      0.0222 secs
  Requests/sec: 44.9408
  

Response time histogram:
  0.018 [1]     |
  0.053 [26923] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
  0.088 [25]    |
  0.123 [4]     |
  0.158 [0]     |
  0.193 [1]     |
  0.228 [9]     |
  0.263 [1]     |
  0.298 [0]     |
  0.332 [0]     |
  0.367 [1]     |


Latency distribution:
  10% in 0.0199 secs
  25% in 0.0205 secs
  50% in 0.0213 secs
  75% in 0.0226 secs
  90% in 0.0253 secs
  95% in 0.0273 secs
  99% in 0.0353 secs

Details (average, fastest, slowest):
  DNS+dialup:   0.0000 secs, 0.0184 secs, 0.3673 secs
  DNS-lookup:   0.0000 secs, 0.0000 secs, 0.0079 secs
  req write:    0.0000 secs, 0.0000 secs, 0.0007 secs
  resp wait:    0.0220 secs, 0.0182 secs, 0.3672 secs
  resp read:    0.0002 secs, 0.0001 secs, 0.0046 secs

Status code distribution:
  [200] 26965 responses

Vertex कस्टम डैशबोर्ड

निगरानी करना → डैशबोर्ड पर जाएं और Vertex कस्टम डैशबोर्ड चुनकर 10 मीटर डालें. इसके अलावा, शुरू और खत्म होने का समय भी तय किया जा सकता है. पक्का करें कि आपका टाइम ज़ोन सही हो.

पिछले 10 मीटर के लिए अनुमान के इंतज़ार का समय 30.533 मि॰से॰ होता है.

इंतज़ार का कुल समय: किसी अनुरोध के लिए सेवा में बिताया गया कुल समय. इसमें मॉडल के इंतज़ार के समय और ओवरहेड के इंतज़ार के समय का पता चलता है.

Network Intelligence

आइए, अब Google Cloud Platform की ओर से रिपोर्ट किए गए us-central1 के इंतज़ार के समय के बारे में जानने के लिए, Network Intelligence की ओर से रिपोर्ट की गई इंट्रा रीजन नेटवर्क के इंतज़ार के समय पर नज़र डालते हैं.

Cloud Console Network Intelligence → परफ़ॉर्मेंस डैशबोर्ड पर जाएं और नीचे दिए गए स्क्रीनशॉट में दिए गए विकल्पों को चुनें. इनमें .2 से .8 मि॰से॰ के इंतज़ार का समय दिखता है.

HEY us-central1 बेसलाइन की खास जानकारी

जांच करने वाले टूल की मदद से डेटा मिलने में लगने वाला कुल समय की तुलना करने पर, पश्चिम-क्लाइंट के डेटा की तुलना में इंतज़ार का समय कम होता है. ऐसा एक ही क्षेत्र में, कंप्यूट (सेंट्रल-क्लाइंट) और Vertex एंडपॉइंट (मॉडल और ऑनलाइन अनुमान) की वजह से होता है.

लेटेंसी टूल	कुल समय
नेटवर्क इंटेलिजेंस: us-central1 इंट्रा रीजन लेटेंसी	~.2 से .8 मि॰से॰
क्लाउड मॉनिटरिंग: इंतज़ार का कुल समय [99वां%]	30.533 मि॰से॰ (99 पिक्सल)
Google की ओर से रिपोर्ट किया गया कुल इंतज़ार का समय	~30.733 से 31.333 मि॰से॰
HEY क्लाइंट-साइड इंतज़ार का समय	35 मि॰से॰ (99 पिक्सल)

18. बधाई हो

बधाई हो, आपने क्लाउड मॉनिटरिंग और नेटवर्क इंटेलिजेंस के कॉम्बिनेशन का इस्तेमाल करके क्लाइंट साइड अनुमान के बेसलाइन डेटा को पाने के लिए, HEY को डिप्लॉय और पुष्टि कर लिया है. टेस्टिंग के आधार पर, आपको यह पता चला कि us-central में एक अनुमान एंडपॉइंट को अलग-अलग इलाकों में दिखाया जा सकता है. हालांकि, इस दौरान इंतज़ार का समय देखा गया.

Cosmopup को लगता है कि ट्यूटोरियल शानदार हैं!!

19. व्यवस्थित करें

Cloud Shell से, ट्यूटोरियल कॉम्पोनेंट मिटाएं.

gcloud compute instances delete central-client --zone=us-central1-a -q

gcloud compute instances delete west-client --zone=us-west1-a -q

gcloud compute instances delete workbench-tutorial --zone=us-central1-a -q

gcloud compute forwarding-rules delete pscvertex --global --quiet 

gcloud compute addresses delete psc-ip --global --quiet

gcloud compute networks subnets delete workbench-subnet --region=us-central1 --quiet 

gcloud compute networks subnets delete us-west1-subnet --region=us-west1 --quiet

gcloud compute networks subnets delete us-central1-subnet --region=us-central1 --quiet

gcloud compute routers delete cloud-router-us-west1-aiml-nat --region=us-west1 --quiet

gcloud compute routers delete cloud-router-us-central1-aiml-nat --region=us-central1 --quiet

gcloud compute firewall-rules delete  ssh-iap-vpc --quiet

gcloud dns record-sets delete *.googleapis.com. --zone=psc-googleapis --type=A --quiet

gcloud dns managed-zones delete psc-googleapis --quiet

gcloud compute networks delete aiml-vpc --quiet

gcloud storage rm -r gs://$projectid-cpr-bucket

Cloud Console से, यह डेटा मिटा दिया गया है:

Artifact Registry का फ़ोल्डर

Vertex AI Model Registry से, इस मॉडल को डिप्लॉय न करें:

Vertex AI Online अनुमान से, एंडपॉइंट को मिटाएं

आगे क्या होगा?

इनमें से कुछ ट्यूटोरियल देखें...

HEY के साथ Vertex AI की ऑनलाइन अनुमान लगाने के लिए बेसलाइन टेस्टिंग

1. परिचय

आपको क्या बनाना होगा

आपको इनके बारे में जानकारी मिलेगी

आपको इन चीज़ों की ज़रूरत होगी

IAM अनुमतियां

2. शुरू करने से पहले

ट्यूटोरियल की मदद करने के लिए, प्रोजेक्ट अपडेट करना

3. Target-vpc सेटअप

target-vpc बनाएं

उपयोगकर्ता से मैनेज किया जाने वाला notebook सबनेट बनाना

Cloud राऊटर और NAT का कॉन्फ़िगरेशन

4. Private Service Connect का एंडपॉइंट बनाना

5. GCE (जीसीई) इंस्टेंस के लिए सेवा खाता बनाना

6. उपयोगकर्ता की ओर से मैनेज किया जाने वाला सेवा खाता बनाना (नोटबुक)

7. टेस्ट इंस्टेंस बनाना

8. उपयोगकर्ता की ओर से मैनेज की जाने वाली नोटबुक बनाएं

9. मॉडल और ऑनलाइन अनुमान डिप्लॉय करें

10. ऑनलाइन अनुमान के लिए कस्टम मॉनिटरिंग डैशबोर्ड बनाएं

prediction_latencies मेट्रिक के लिए चार्ट बनाएं

Vertex कस्टम डैशबोर्ड

11. PSC एंडपॉइंट के लिए निजी डीएनएस बनाना

12. हे टेस्टिंग वैरिएबल

13. अनुमान आईडी पाना

14. HEY (us-west1) डाउनलोड करें और उसे एक्ज़ीक्यूट करें

प्री-टेस्ट

HEY लागू करें

15. नमस्ते पुष्टि (us-west1)

HEY नतीजे

Vertex कस्टम डैशबोर्ड

Network Intelligence

HEY us-west1 बेसलाइन की खास जानकारी

16. HEY (us-central1) डाउनलोड करना और लागू करना

प्री-टेस्ट

HEY लागू करें

17. नमस्ते पुष्टि (us-central1)

HEY नतीजे

Vertex कस्टम डैशबोर्ड

Network Intelligence

HEY us-central1 बेसलाइन की खास जानकारी

18. बधाई हो

19. व्यवस्थित करें

आगे क्या होगा?

आगे पढ़ें और वीडियो

पहचान फ़ाइलें