HEY এর সাথে Vertex AI অনলাইন ভবিষ্যদ্বাণী বেসলাইন পরীক্ষা

1. ভূমিকা

এই টিউটোরিয়ালটি আপনাকে দেখাবে কিভাবে ক্লাউড মনিটরিং অনলাইন ভবিষ্যদ্বাণী মেট্রিক্স তৈরি এবং মূল্যায়ন করতে হয় যখন HEY ওয়েব পারফরম্যান্স টুল ব্যবহার করে us-central1 এবং us-west1 জুড়ে একটি ভবিষ্যদ্বাণী শেষ পয়েন্টে স্থাপন করা হয়।

আপনি কি নির্মাণ করবেন

আপনি aiml-vpc নামে একটি VPC নেটওয়ার্ক সেট আপ করবেন যা us-west1 এবং us-central1-এ সাবনেট এবং দৃষ্টান্তগুলি নিয়ে গঠিত যা HEY ব্যবহার করে ট্র্যাফিক তৈরি করতে ব্যবহার করা হবে একটি অনলাইন ভবিষ্যদ্বাণী এবং us-সেন্ট্রাল1 এ স্থাপন করা মডেল।

প্রাইভেট সার্ভিস কানেক্ট এবং প্রাইভেট ডিএনএসও টিউটোরিয়ালে অন্তর্ভুক্ত করা হয়েছে তা দেখানোর জন্য যে কীভাবে অন-প্রিমিসেস এবং মাল্টি ক্লাউড পরিবেশগুলি googleapis অ্যাক্সেস করতে PSC-এর সুবিধা নিতে পারে।

HEY থেকে অনলাইন ভবিষ্যদ্বাণী পর্যন্ত উত্পন্ন ট্র্যাফিক যাচাই করতে টিউটোরিয়ালে ক্লাউড মনিটরিং এবং নেটওয়ার্ক ইন্টেলিজেন্স ব্যবহার করা হবে। যদিও টিউটোরিয়ালে বর্ণিত পদক্ষেপগুলি একটি VPC-তে স্থাপন করা হয়েছে, আপনি অন-প্রিমিসেস বা মাল্টি ক্লাউড পরিবেশ থেকে Vertex APIS-এর একটি বেসলাইন স্থাপন এবং প্রাপ্ত করার পদক্ষেপগুলিকে কাজে লাগাতে পারেন। নেটওয়ার্ক আর্কিটেকচার নীচের উপাদানগুলি নিয়ে গঠিত:

dd5c102ce1ab0150.png

নীচে ব্যবহারের ক্ষেত্রে বিস্তারিত আছে:

  1. HEY ব্যবহার করে us-west1-এ একটি GCE উদাহরণ থেকে us-central1-এ অনলাইন ভবিষ্যদ্বাণী অ্যাক্সেস করুন
  2. Vertex API অ্যাক্সেস করতে PSC ব্যবহার করা হচ্ছে তা যাচাই করুন
  3. 5 মিনিটের জন্য HEY ব্যবহার করে কার্ল করুন
  4. ক্লাউড মনিটরিং ব্যবহার করে বিলম্বিতা যাচাই করুন
  5. নেটওয়ার্ক ইন্টেলিজেন্স ব্যবহার করে আন্তঃ-অঞ্চল বিলম্বিতা যাচাই করুন
  6. HEY ব্যবহার করে us-central1-এ একটি GCE দৃষ্টান্ত থেকে us-central1-এ অনলাইন পূর্বাভাস অ্যাক্সেস করুন
  7. Vertex API অ্যাক্সেস করতে PSC ব্যবহার করা হচ্ছে তা যাচাই করুন
  8. 5 মিনিটের জন্য HEY ব্যবহার করে কার্ল করুন
  9. ক্লাউড মনিটরিং ব্যবহার করে বিলম্বিতা যাচাই করুন
  10. নেটওয়ার্ক ইন্টেলিজেন্স ব্যবহার করে আন্তঃ-অঞ্চল লেটেন্সি যাচাই করুন

আপনি কি শিখবেন

  • কিভাবে একটি প্রাইভেট সার্ভিস কানেক্ট এন্ডপয়েন্ট স্থাপন করবেন
  • HEY ব্যবহার করে কিভাবে একটি অনলাইন ভবিষ্যদ্বাণীতে লোড জেনারেট করা যায়
  • ক্লাউড মনিটরিং ব্যবহার করে কীভাবে ভার্টেক্স এআই মেট্রিক্স তৈরি করবেন
  • আন্তঃ এবং আন্তঃ আঞ্চলিক লেটেন্সি যাচাই করতে নেটওয়ার্ক ইন্টেলিজেন্স কিভাবে ব্যবহার করবেন

আপনি কি প্রয়োজন হবে

  • গুগল ক্লাউড প্রকল্প

আইএএম অনুমতি

কম্পিউট নেটওয়ার্ক অ্যাডমিন

কম্পিউট নেটওয়ার্ক অ্যাডমিন

পরিষেবা ডিরেক্টরি সম্পাদক

DNS প্রশাসক

নেটওয়ার্ক ম্যানেজমেন্ট ভিউয়ার

2. আপনি শুরু করার আগে

টিউটোরিয়াল সমর্থন করার জন্য প্রকল্পটি আপডেট করুন

এই টিউটোরিয়ালটি ক্লাউড শেল-এ gcloud কনফিগারেশন বাস্তবায়নে সহায়তা করার জন্য $variables ব্যবহার করে।

ক্লাউড শেলের ভিতরে, নিম্নলিখিতগুলি সম্পাদন করুন:

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid

3. aiml-vpc সেটআপ

aiml-vpc তৈরি করুন

gcloud পরিষেবাগুলি networkmanagement.googleapis.com সক্ষম করে৷

ক্লাউড শেলের ভিতরে, নিম্নলিখিতগুলি সম্পাদন করুন:

gcloud compute networks create aiml-vpc --project=$projectid --subnet-mode=custom

ক্লাউড শেলের ভিতরে, নেটওয়ার্ক বুদ্ধিমত্তার জন্য নেটওয়ার্ক পরিচালনা API সক্ষম করুন

gcloud services enable networkmanagement.googleapis.com

ব্যবহারকারী-পরিচালিত নোটবুক সাবনেট তৈরি করুন

ক্লাউড শেলের ভিতরে, ওয়ার্কবেঞ্চ-সাবনেট তৈরি করুন।

gcloud compute networks subnets create workbench-subnet --project=$projectid --range=172.16.10.0/28 --network=aiml-vpc --region=us-central1 --enable-private-ip-google-access

ক্লাউড শেলের ভিতরে, us-west1-সাবনেট তৈরি করুন।

gcloud compute networks subnets create us-west1-subnet --project=$projectid --range=192.168.10.0/28 --network=aiml-vpc --region=us-west1

ক্লাউড শেলের ভিতরে, us-central1-সাবনেট তৈরি করুন।

gcloud compute networks subnets create us-central1-subnet --project=$projectid --range=192.168.20.0/28 --network=aiml-vpc --region=us-central1

ক্লাউড রাউটার এবং NAT কনফিগারেশন

সফ্টওয়্যার প্যাকেজগুলি ডাউনলোড করার জন্য টিউটোরিয়ালটিতে ক্লাউড NAT ব্যবহার করা হয় কারণ GCE উদাহরণের একটি বহিরাগত IP ঠিকানা নেই। ক্লাউড NAT এগ্রেস NAT ক্ষমতা প্রদান করে, যার মানে হল যে ইন্টারনেট হোস্টগুলিকে ব্যবহারকারী-পরিচালিত নোটবুকের সাথে যোগাযোগ শুরু করার অনুমতি দেওয়া হয় না, এটিকে আরও সুরক্ষিত করে তোলে।

ক্লাউড শেলের ভিতরে, আঞ্চলিক ক্লাউড রাউটার তৈরি করুন, us-west1।

gcloud compute routers create cloud-router-us-west1-aiml-nat --network aiml-vpc --region us-west1

ক্লাউড শেলের ভিতরে, আঞ্চলিক ক্লাউড ন্যাট গেটওয়ে তৈরি করুন, us-west1।

gcloud compute routers nats create cloud-nat-us-west1 --router=cloud-router-us-west1-aiml-nat --auto-allocate-nat-external-ips --nat-all-subnet-ip-ranges --region us-west1

ক্লাউড শেলের ভিতরে, আঞ্চলিক ক্লাউড রাউটার তৈরি করুন, us-central1।

gcloud compute routers create cloud-router-us-central1-aiml-nat --network aiml-vpc --region us-central1

ক্লাউড শেলের ভিতরে, আঞ্চলিক ক্লাউড ন্যাট গেটওয়ে তৈরি করুন, us-central1। 

gcloud compute routers nats create cloud-nat-us-central1 --router=cloud-router-us-central1-aiml-nat --auto-allocate-nat-external-ips --nat-all-subnet-ip-ranges --region us-central1

4. প্রাইভেট সার্ভিস কানেক্ট এন্ডপয়েন্ট তৈরি করুন

নিম্নলিখিত বিভাগে, আপনি একটি প্রাইভেট সার্ভিস কানেক্ট (PSC) এন্ডপয়েন্ট তৈরি করবেন যা aiml-vpc থেকে Vertex API অ্যাক্সেস করতে ব্যবহার করা হবে।

ক্লাউড শেল থেকে 

gcloud compute addresses create psc-ip \
    --global \
    --purpose=PRIVATE_SERVICE_CONNECT \
    --addresses=100.100.10.10 \
    --network=aiml-vpc

ল্যাবের সময়কালের জন্য 'pscendpointip' সংরক্ষণ করুন 

pscendpointip=$(gcloud compute addresses list --filter=name:psc-ip --format="value(address)")

echo $pscendpointip

PSC এন্ডপয়েন্ট তৈরি করুন

ক্লাউড শেল থেকে 

gcloud compute forwarding-rules create pscvertex \
    --global \
    --network=aiml-vpc \
    --address=psc-ip \
    --target-google-apis-bundle=all-apis

কনফিগার করা প্রাইভেট সার্ভিস কানেক্ট এন্ডপয়েন্ট তালিকা করুন

ক্লাউড শেল থেকে 

gcloud compute forwarding-rules list  \
--filter target="(all-apis OR vpc-sc)" --global

কনফিগার করা প্রাইভেট সার্ভিস কানেক্ট এন্ডপয়েন্ট বর্ণনা করুন

ক্লাউড শেল থেকে 

gcloud compute forwarding-rules describe \
    pscvertex --global

5. GCE দৃষ্টান্তগুলির জন্য একটি পরিষেবা অ্যাকাউন্ট তৈরি করুন৷

Vertex API-এ একটি সূক্ষ্ম স্তরের নিয়ন্ত্রণ প্রদানের জন্য একটি ব্যবহারকারী পরিচালিত পরিষেবা অ্যাকাউন্ট প্রয়োজন যা পশ্চিম এবং কেন্দ্রীয় উদাহরণগুলিতে প্রয়োগ করা হবে। একবার তৈরি হয়ে গেলে, পরিষেবা অ্যাকাউন্টের অনুমতিগুলি ব্যবসার প্রয়োজনীয়তার উপর ভিত্তি করে পরিবর্তন করা যেতে পারে। টিউটোরিয়ালে, ব্যবহারকারী পরিচালিত পরিষেবা অ্যাকাউন্ট, vertex-sa-তে নিম্নলিখিত ভূমিকাগুলি প্রয়োগ করা হবে:

এগিয়ে যাওয়ার আগে আপনাকে অবশ্যই পরিষেবা অ্যাকাউন্ট API ৷

ক্লাউড শেলের ভিতরে, পরিষেবা অ্যাকাউন্ট তৈরি করুন। 

gcloud iam service-accounts create vertex-gce-sa \
    --description="service account for vertex" \
    --display-name="vertex-sa"

ক্লাউড শেলের ভিতরে, ভূমিকা কম্পিউট ইনস্ট্যান্স অ্যাডমিনের সাথে পরিষেবা অ্যাকাউন্ট আপডেট করুন 

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:vertex-gce-sa@$projectid.iam.gserviceaccount.com" --role="roles/compute.instanceAdmin.v1"

ক্লাউড শেলের ভিতরে, Vertex AI ব্যবহারকারীর ভূমিকা সহ পরিষেবা অ্যাকাউন্ট আপডেট করুন 

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:vertex-gce-sa@$projectid.iam.gserviceaccount.com" --role="roles/aiplatform.user"

6. একটি ব্যবহারকারী পরিচালিত পরিষেবা অ্যাকাউন্ট তৈরি করুন (নোটবুক)

নিম্নলিখিত বিভাগে, আপনি একটি ব্যবহারকারী পরিচালিত পরিষেবা অ্যাকাউন্ট তৈরি করবেন যা টিউটোরিয়ালটিতে ব্যবহৃত ভার্টেক্স ওয়ার্কবেঞ্চ (নোটবুক) এর সাথে যুক্ত হবে।

টিউটোরিয়ালে, পরিষেবা অ্যাকাউন্টে নিম্নলিখিত নিয়মগুলি প্রয়োগ করা হবে:

ক্লাউড শেলের ভিতরে, পরিষেবা অ্যাকাউন্ট তৈরি করুন। 

gcloud iam service-accounts create user-managed-notebook-sa \
    --display-name="user-managed-notebook-sa"

ক্লাউড শেলের ভিতরে, স্টোরেজ অ্যাডমিনের ভূমিকা সহ পরিষেবা অ্যাকাউন্ট আপডেট করুন। 

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/storage.admin"

ক্লাউড শেলের ভিতরে, Vertex AI ব্যবহারকারীর ভূমিকা সহ পরিষেবা অ্যাকাউন্ট আপডেট করুন। 

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/aiplatform.user"

ক্লাউড শেলের ভিতরে, আর্টিফ্যাক্ট রেজিস্ট্রি অ্যাডমিনের ভূমিকা সহ পরিষেবা অ্যাকাউন্ট আপডেট করুন। 

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/artifactregistry.admin"

ক্লাউড শেলের ভিতরে, পরিষেবা অ্যাকাউন্টের তালিকা করুন এবং ব্যবহারকারী-পরিচালিত নোটবুক তৈরি করার সময় যে ইমেল ঠিকানাটি ব্যবহার করা হবে তা নোট করুন। 

gcloud iam service-accounts list

7. পরীক্ষার উদাহরণ তৈরি করুন

নিম্নলিখিত বিভাগে, আপনি us-west1 এবং us-central1 থেকে বেসলাইন পরীক্ষা করার জন্য পরীক্ষার উদাহরণ তৈরি করবেন।

ক্লাউড শেলের ভিতরে ওয়েস্ট-ক্লায়েন্ট তৈরি করুন। 

gcloud compute instances create west-client \
    --zone=us-west1-a \
    --image-family=debian-11 \
    --image-project=debian-cloud \
    --subnet=us-west1-subnet \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
    --no-address \
    --shielded-secure-boot --service-account=vertex-gce-sa@$projectid.iam.gserviceaccount.com \
    --metadata startup-script="#! /bin/bash
      sudo apt-get update
      sudo apt-get install tcpdump dnsutils -y"

ক্লাউড শেলের ভিতরে কেন্দ্রীয়-ক্লায়েন্ট তৈরি করুন। 

gcloud compute instances create central-client \
    --zone=us-central1-a \
    --image-family=debian-11 \
    --image-project=debian-cloud \
    --subnet=us-central1-subnet \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
    --no-address \
    --shielded-secure-boot --service-account=vertex-gce-sa@$projectid.iam.gserviceaccount.com \
    --metadata startup-script="#! /bin/bash
      sudo apt-get update
      sudo apt-get install tcpdump dnsutils -y"

IAP কে আপনার VM দৃষ্টান্তের সাথে সংযোগ করার অনুমতি দিতে, একটি ফায়ারওয়াল নিয়ম তৈরি করুন যা:

  • আপনি IAP ব্যবহার করে অ্যাক্সেসযোগ্য হতে চান এমন সমস্ত VM দৃষ্টান্তগুলিতে প্রযোজ্য।
  • IP পরিসর 35.235.240.0/20 থেকে ট্র্যাফিক প্রবেশের অনুমতি দেয়। এই পরিসরে সমস্ত আইপি ঠিকানা রয়েছে যা IAP TCP ফরওয়ার্ডিংয়ের জন্য ব্যবহার করে।

ক্লাউড শেলের ভিতরে, IAP ফায়ারওয়াল নিয়ম তৈরি করুন। 

gcloud compute firewall-rules create ssh-iap-vpc \
    --network aiml-vpc \
    --allow tcp:22 \
    --source-ranges=35.235.240.0/20

8. একটি ব্যবহারকারী পরিচালিত নোটবুক তৈরি করুন৷

নোটবুক API

নিম্নলিখিত বিভাগে, একটি ব্যবহারকারী-পরিচালিত নোটবুক তৈরি করুন যা পূর্বে তৈরি পরিষেবা অ্যাকাউন্ট, ব্যবহারকারী-পরিচালিত-নোটবুক-সা অন্তর্ভুক্ত করে।

ক্লাউড শেলের ভিতরে ব্যক্তিগত-ক্লায়েন্ট উদাহরণ তৈরি করুন। 

gcloud notebooks instances create workbench-tutorial \
      --vm-image-project=deeplearning-platform-release \
      --vm-image-family=common-cpu-notebooks \
      --machine-type=n1-standard-4 \
      --location=us-central1-a \
      --subnet-region=us-central1 \
      --shielded-secure-boot \
      --subnet=workbench-subnet \
      --no-public-ip    --service-account=user-managed-notebook-sa@$projectid.iam.gserviceaccount.com

আপনার নিয়োজিত নোটবুক দেখতে Vertex AI → Workbench-এ নেভিগেট করুন।

b02fcb9b07dca06a.png

9. মডেল এবং অনলাইন ভবিষ্যদ্বাণী স্থাপন করুন

নিম্নলিখিত বিভাগে, প্রদত্ত কোডল্যাব, Vertex AI ব্যবহার করুন: পূর্বাভাসের জন্য প্রিপ্রসেস এবং পোস্ট প্রক্রিয়া ডেটার জন্য Sklearn-এর সাথে কাস্টম ভবিষ্যদ্বাণী রুটিন ব্যবহার করুন বিভাগ 7 দিয়ে শুরু করুন যেহেতু আপনি ইতিমধ্যেই পূর্ববর্তী ধাপে একটি নোটবুক তৈরি করেছেন। একবার মডেলটি স্থাপন করা হলে, পরবর্তী বিভাগ শুরু করতে টিউটোরিয়ালটিতে ফিরে যান।

ee68b7ba0cfd2746.png

10. অনলাইন পূর্বাভাসের জন্য একটি কাস্টম মনিটরিং ড্যাশবোর্ড তৈরি করুন৷

অনলাইন ভবিষ্যদ্বাণী VERTEX AI → ONLINE PREDICTION → ENDPOINT NAME (diamonds-cpr_endpoint) এর অধীনে একটি ডিফল্ট মনিটরিং ড্যাশবোর্ড তৈরি করে। যাইহোক, আমাদের পরীক্ষার জন্য আমাদের একটি শুরু এবং থামার সময় নির্ধারণ করতে হবে তাই একটি কাস্টম ড্যাশবোর্ড প্রয়োজন।

নিম্নলিখিত বিভাগে, আপনি ক্লাউড মনিটরিং মেট্রিক্স তৈরি করবেন যাতে আপনি অনলাইন ভবিষ্যদ্বাণী এন্ডপয়েন্টে আঞ্চলিক অ্যাক্সেসের উপর ভিত্তি করে লেটেন্সি পরিমাপ পেতে পারেন যাতে us-west1 এবং us-সেন্ট্রালে নিয়োজিত GCE দৃষ্টান্ত থেকে us-central1-এ একটি এন্ডপয়েন্ট অ্যাক্সেস করার সময় বিভিন্ন লেটেন্সি যাচাই করা যায়।

টিউটোরিয়ালের জন্য আমরা prediction_latencies মেট্রিক্স ব্যবহার করব, অতিরিক্ত মেট্রিক্স aipplatform এ উপলব্ধ

মেট্রিক

বর্ণনা

ভবিষ্যদ্বাণী/অনলাইন/ভবিষ্যদ্বাণী_লেটেন্সি

স্থাপন করা মডেলের অনলাইন ভবিষ্যদ্বাণী লেটেন্সি।

prediction_latencies মেট্রিকের জন্য একটি চার্ট তৈরি করুন

ক্লাউড কনসোল থেকে মনিটরিং → মেট্রিক্স এক্সপ্লোরারে নেভিগেট করুন

536668ab0b29d77.png

Metric prediction/online/prediction_latencies সন্নিবেশ করুন এবং নিম্নলিখিত বিকল্পগুলি নির্বাচন করুন, প্রয়োগ করুন নির্বাচন করুন।

c1edd34208cb5ee2.png

নিম্নলিখিত বিকল্পের উপর ভিত্তি করে গ্রুপ আপডেট করুন, চার্ট সংরক্ষণ করুন নির্বাচন করুন।

e180a5d8a044b6e1.png

d2ecd6677a3b34e0.png

সংরক্ষণ নির্বাচন করুন, আপনাকে একটি ড্যাশবোর্ড নির্বাচন করতে বলা হবে। নতুন ড্যাশবোর্ড নির্বাচন করুন এবং একটি নাম দিন।

e29a39dc941c8599.png

ভার্টেক্স কাস্টম ড্যাশবোর্ড

নিম্নলিখিত বিভাগে, যাচাই করুন Vertex কাস্টম ড্যাশবোর্ড সঠিক সময় প্রদর্শন করছে।

মনিটরিং → ড্যাশবোর্ডে নেভিগেট করুন এবং সময় নির্বাচন করে Vertex কাস্টম ড্যাশবোর্ড নির্বাচন করুন। আপনার টাইম জোন সঠিক কিনা তা নিশ্চিত করুন।

f43ebed798ce1147.png

একটি টেবিল ভিউ পেতে কিংবদন্তি প্রসারিত করা নিশ্চিত করুন।

61ffeef22e067ca9.png

প্রসারিত দৃশ্যের উদাহরণ:

9027e8785c023129.png

11. PSC এন্ডপয়েন্টের জন্য ব্যক্তিগত DNS তৈরি করুন

PSC এন্ডপয়েন্ট আইপি অ্যাড্রেস 100.100.10.10-এ সমস্ত googleapis সমাধান করতে aiml-vpc-এ একটি ব্যক্তিগত DNS জোন তৈরি করুন।

ক্লাউড শেল থেকে, একটি ব্যক্তিগত DNS জোন তৈরি করুন। 

gcloud dns --project=$projectid managed-zones create psc-googleapis --description="Private Zone to resolve googleapis to a PSC endpoint" --dns-name="googleapis.com." --visibility="private" --networks="https://www.googleapis.com/compute/v1/projects/$projectid/global/networks/aiml-vpc"

ক্লাউড শেল থেকে, একটি রেকর্ড তৈরি করুন যা * সংযুক্ত করে। googleapis.com থেকে পিএসসি আইপি। 

gcloud dns --project=$projectid record-sets create *.googleapis.com. --zone="psc-googleapis" --type="A" --ttl="300" --rrdatas="100.100.10.10"

12. আরে টেস্টিং ভেরিয়েবল

হেই শেষ ব্যবহারকারীদের নেটওয়ার্ক এবং অ্যাপ্লিকেশন প্রয়োজনীয়তার উপর ভিত্তি করে পরীক্ষা কাস্টমাইজ করার ক্ষমতা প্রদান করে। টিউটোরিয়ালের উদ্দেশ্যে আমরা একটি নমুনা এক্সিকিউশন স্ট্রিং এর নিচে বিস্তারিত বিকল্প ব্যবহার করব:

c == 1 জন কর্মী

z == সময়কাল

m == HTTP পদ্ধতি পোস্ট

D == ফাইল থেকে HTTP অনুরোধ বডি, instances.json

n == চালানোর জন্য অনুরোধের সংখ্যা। ডিফল্ট হল 200।

HEY সহ কার্ল স্ট্রিংয়ের উদাহরণ (নির্বাহের প্রয়োজন নেই) 

user@us-central$ ./hey_linux_amd64 -c 1 -z 1m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid$}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

13. ভবিষ্যদ্বাণী আইডি পান

ক্লাউড কনসোল থেকে আপনার অনলাইন পূর্বাভাস এন্ডপয়েন্ট আইডি প্রাপ্ত করুন যা পরবর্তী ধাপে ব্যবহার করা হবে।

VERTEX AI → ONLINE PREDICTION- এ নেভিগেট করুন৷

ce4d4a88a3fa2345.png

14. ডাউনলোড করুন এবং HEY (us-west1) চালান

নিম্নলিখিত বিভাগে, আপনি us-central1-এ অবস্থিত অনলাইন ভবিষ্যদ্বাণীর বিপরীতে HEY ডাউনলোড এবং কার্যকর করতে ওয়েস্ট-ক্লায়েন্টে লগ ইন করবেন।

ক্লাউড শেল থেকে, ওয়েস্ট-ক্লায়েন্টে লগ ইন করুন এবং হেই ডাউনলোড করুন 

gcloud compute ssh west-client --project=$projectid --zone=us-west1-a --tunnel-through-iap

OS থেকে, HEY ডাউনলোড করুন এবং অনুমতিগুলি আপডেট করুন৷ 

wget https://hey-release.s3.us-east-2.amazonaws.com/hey_linux_amd64
chmod +x hey_linux_amd64

OS থেকে, নিম্নলিখিত ভেরিয়েবলগুলি তৈরি করুন: 

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid
ENDPOINT_ID="insert-your-endpoint-id-here"

উদাহরণ: 

ENDPOINT_ID="2706243362607857664"

নিম্নলিখিত বিভাগে, আপনি vi এডিটর বা ন্যানো ব্যবহার করে একটি instance.json ফাইল তৈরি করবেন এবং স্থাপন করা মডেল থেকে একটি পূর্বাভাস পেতে ব্যবহৃত ডেটা স্ট্রিংটি সন্নিবেশ করাবেন।

ওয়েস্ট-ক্লায়েন্ট ওএস থেকে, নীচের ডেটা স্ট্রিং সহ একটি instance.json f ile তৈরি করুন: 

{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

উদাহরণ: 

user@west-client:$ more instances.json 
{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

user@west-client:$

প্রাক-পরীক্ষা

OS থেকে, মডেলটি যাচাই করতে একটি কার্ল চালান এবং ভবিষ্যদ্বাণীর শেষ পয়েন্ট সফল হিসাবে কাজ করছে। ভার্বোস লগে PSC এন্ডপয়েন্ট আইপি এবং HTTP/2 200 সাফল্য নির্দেশ করে নোট করুন। 

curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json

উদাহরণ, পূর্বাভাস এবং সফল ফলাফল অ্যাক্সেস করতে ব্যবহৃত PSC IP ঠিকানাটি নোট করুন। 

user@west-client:$ curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json
Note: Unnecessary use of -X or --request, POST is already inferred.
*   Trying 100.100.10.10:443...
* Connected to us-central1-aiplatform.googleapis.com (100.100.10.10) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*  CAfile: /etc/ssl/certs/ca-certificates.crt
*  CApath: /etc/ssl/certs
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
* TLSv1.3 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Certificate (11):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384
* ALPN, server accepted to use h2
* Server certificate:
*  subject: CN=upload.video.google.com
*  start date: Jul 31 08:22:19 2023 GMT
*  expire date: Oct 23 08:22:18 2023 GMT
*  subjectAltName: host "us-central1-aiplatform.googleapis.com" matched cert's "*.googleapis.com"
*  issuer: C=US; O=Google Trust Services LLC; CN=GTS CA 1C3
*  SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* Using Stream ID: 1 (easy handle 0x55a9f38b42c0)
> POST /v1/projects/new-test-project-396322/locations/us-central1/endpoints/2706243362607857664:predict HTTP/2
> Host: us-central1-aiplatform.googleapis.com
> user-agent: curl/7.74.0
> accept: */*
> authorization: Bearer ya29.c.b0Aaekm1LqrcaOlWFFwuEOWX_tZVXXvJgN_K-u5_hFyEAYXAi3AnBEBwwtHS8dweW_P2QGfdyFfa31nMT_6BaKBI0mC9IsfzfIiUwXc8u2yJt01gTUSJpCmGAFKZKidRMgkPYivVYCnuymzdYbRAWacIe__StkRzI9UeQOGN3jNIeESr80AdH12goaxCFXWaNWxoYRfGVhekEgUcsKs7t1OhOM-937gy4YGkXcXa8sGuHWRqF5bnulYlTqlxqQ2aAxMTrQg2lwUWRGCmGhPrym7rXJq7oim0DkAJSbAarl1qFuz0PPfNXeHGbs13zY2r1giV7u8_w4Umj_Q5M7H9fTkq7EiqnLzqRkOHXismYL368P1jOUBYM__krFQt4M3X9RJa0g01tOw3FnOh27BmUqlFQ1J2h14JZpx215Q3xzRvgfJ5iW5YYSkv67uZRQk4V04naOUXyc0plzWuVOjj4nor3fYvkS_oW0IyxJoBjeXR16Vnvln8c04svWX9dt7eobczFvBOm9nVdh4lVp8qxbp__2WtMvc1QVg6y-2i6lRpbvmyp1oadxVRjxV1e0wiQFSe-qqsinJu3bnnaMbxdU2cu5j26o8o8Xpgo0SF1UM0b1WX84iatbWpdFSphZm1llwmRagMzcFBW0aBk-i35_bXSbzwURgMfY6Qbyb9Rv9y0F-Maf34I0WxiMldv2uc57nej7dVl9OSm_Ohnro-i9zcpq9fxo9soYVB8WjaZOUjauk4znstc2_6y4atcVVsQBkeU674biR567Ri3M74Jfv4MrrF02ObfrJRdB7UJ4MU_9kWW-kYeeJzoci15UqYV0f_yJgReBwQa66Supmebee2Sn2nku6xZkRMu5Mz55mXuva0XWrpIbor7WckSsXwUFbf7rj5ipa4mOOyf2hJe1Rq0x6yeBaariRzXrhfm5bBpFBU73-zd-IekvOji0ZJQSkk0o6gpX_794Jny7j14aQJ8VxezcFpZUztimYhMnRhlO2lqms1h0h48
> content-type: application/json
> content-length: 158
> 
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
* We are completely uploaded and fine
< HTTP/2 200 
< x-vertex-ai-internal-prediction-backend: harpoon
< content-type: application/json; charset=UTF-8
< date: Sun, 20 Aug 2023 03:51:54 GMT
< vary: X-Origin
< vary: Referer
< vary: Origin,Accept-Encoding
< server: scaffolding on HTTPServer2
< cache-control: private
< x-xss-protection: 0
< x-frame-options: SAMEORIGIN
< x-content-type-options: nosniff
< accept-ranges: none
< 
{
  "predictions": [
    "$479.0",
    "$586.0"
  ],
  "deployedModelId": "3587550310781943808",
  "model": "projects/884291964428/locations/us-central1/models/6829574694488768512",
  "modelDisplayName": "diamonds-cpr",
  "modelVersionId": "1"
}
* Connection #0 to host us-central1-aiplatform.googleapis.com left intact

আরে চালান

OS থেকে, 10 মিনিটের বেসলাইন পরীক্ষা সক্ষম করে HEY চালান। 

./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

15. আরে বৈধকরণ (us-west1)

এখন আপনি us-west1-এ একটি গণনা উদাহরণ থেকে Hey কার্যকর করেছেন নিম্নলিখিত ফলাফলগুলি মূল্যায়ন করুন:

  • হেই ফলাফল
  • ভার্টেক্স কাস্টম ড্যাশবোর্ড
  • নেটওয়ার্ক ইন্টেলিজেন্স

হেই ফলাফল

OS থেকে, 10 মিনিটের এক্সিকিউশনের উপর ভিত্তি করে HEY ফলাফল যাচাই করা যাক,

প্রতি সেকেন্ডে 17.5826 অনুরোধ

0.0686 সেকেন্ডে 99% | 68 ms

200টি স্ট্যাটাস কোড সহ 10,550টি প্রতিক্রিয়া 

user@west-client:$ ./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

Summary:
  Total:        600.0243 secs
  Slowest:      0.3039 secs
  Fastest:      0.0527 secs
  Average:      0.0569 secs
  Requests/sec: 17.5826
  

Response time histogram:
  0.053 [1]     |
  0.078 [10514] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
  0.103 [16]    |
  0.128 [4]     |
  0.153 [3]     |
  0.178 [1]     |
  0.203 [0]     |
  0.229 [2]     |
  0.254 [1]     |
  0.279 [5]     |
  0.304 [3]     |


Latency distribution:
  10% in 0.0546 secs
  25% in 0.0551 secs
  50% in 0.0559 secs
  75% in 0.0571 secs
  90% in 0.0596 secs
  95% in 0.0613 secs
  99% in 0.0686 secs

Details (average, fastest, slowest):
  DNS+dialup:   0.0000 secs, 0.0527 secs, 0.3039 secs
  DNS-lookup:   0.0000 secs, 0.0000 secs, 0.0116 secs
  req write:    0.0000 secs, 0.0000 secs, 0.0002 secs
  resp wait:    0.0567 secs, 0.0526 secs, 0.3038 secs
  resp read:    0.0001 secs, 0.0001 secs, 0.0696 secs

Status code distribution:
  [200] 10550 responses

ভার্টেক্স কাস্টম ড্যাশবোর্ড

মনিটরিং → ড্যাশবোর্ডে নেভিগেট করুন এবং ভার্টেক্স কাস্টম ড্যাশবোর্ড নির্বাচন করুন। 10মি লিখুন বা আপনার শুরু এবং থামার সময় নির্দিষ্ট করুন। আপনার টাইম জোন সঠিক কিনা তা নিশ্চিত করুন।

4102b1d0438c78e3.png

ভবিষ্যদ্বাণী লেটেন্সিগুলির সংজ্ঞাটি দেখে নেওয়া একটি সার্ভার সাইড মেট্রিক নির্দেশ করে যা মডেল থেকে প্রতিক্রিয়া পাওয়ার পরে ক্লায়েন্টদের অনুরোধের প্রতিক্রিয়া জানাতে মোট সময় পরিমাপ করে।

  • মোট বিলম্বের সময়কাল : একটি অনুরোধ পরিষেবাতে ব্যয় করা মোট সময়, যা মডেল লেটেন্সি এবং ওভারহেড লেটেন্সি।

বিপরীতে HEY হল একটি ক্লায়েন্ট সাইড মেট্রিক্স যা নিম্নলিখিত প্যারামিটারগুলিকে বিবেচনা করে:

ক্লায়েন্ট অনুরোধ + মোট বিলম্বিতা (মডেল লেটেন্সি সহ) + ক্লায়েন্ট প্রতিক্রিয়া

নেটওয়ার্ক ইন্টেলিজেন্স

এখন Google ক্লাউড প্ল্যাটফর্ম দ্বারা রিপোর্ট করা us-west1 থেকে us-central1 লেটেন্সি সম্পর্কে ধারণা পেতে নেটওয়ার্ক ইন্টেলিজেন্স দ্বারা রিপোর্ট করা আন্তঃ-অঞ্চল নেটওয়ার্ক লেটেন্সি একবার দেখে নেওয়া যাক।

ক্লাউড কনসোল নেটওয়ার্ক ইন্টেলিজেন্স → পারফরম্যান্স ড্যাশবোর্ডে নেভিগেট করুন এবং 32 - 39 ms থেকে লেটেন্সি নির্দেশ করে নীচের স্ক্রিনশটে বিস্তারিত নিম্নলিখিত বিকল্পগুলি নির্বাচন করুন৷

aade5f757115721.png

হেই us-west1 বেসলাইন সারাংশ

পরীক্ষার সরঞ্জামগুলির দ্বারা মোট লেটেন্সি রিপোর্টের তুলনা করলে HEY দ্বারা রিপোর্ট করা প্রায় একই লেটেন্সি পাওয়া যায়৷ আন্তঃ-অঞ্চল লেটেন্সি বিলম্বের বেশিরভাগ ক্ষেত্রে অবদান রাখে। দেখা যাক কেন্দ্রীয়-ক্লায়েন্টরা পরবর্তী সিরিজের পরীক্ষায় কেমন পারফর্ম করে।

লেটেন্সি টুল

সময়কাল

নেটওয়ার্ক ইন্টেলিজেন্স: us-west1 থেকে us-central1 লেটেন্সি

~32 থেকে 39 ms

ক্লাউড মনিটরিং: মোট ভবিষ্যদ্বাণী বিলম্ব [99%]

34.58 ms (99p)

Google দ্বারা রিপোর্ট করা মোট লেটেন্সি

~ 66.58 থেকে 73.58 ms

হেই ক্লায়েন্ট সাইড লেটেন্সি ডিস্ট্রিবিউশন

68ms (99p)

16. ডাউনলোড করুন এবং চালান HEY (us-central1)

নিম্নলিখিত বিভাগে, আপনি us-central1-এ অবস্থিত অনলাইন ভবিষ্যদ্বাণীর বিপরীতে HEY ডাউনলোড এবং কার্যকর করতে কেন্দ্রীয়-ক্লায়েন্টে লগ ইন করবেন।

ক্লাউড শেল থেকে, কেন্দ্রীয়-ক্লায়েন্টে লগ ইন করুন এবং হেই ডাউনলোড করুন 

gcloud compute ssh central-client --project=$projectid --zone=us-central1-a --tunnel-through-iap

OS থেকে, HEY ডাউনলোড করুন এবং অনুমতিগুলি আপডেট করুন৷ 

wget https://hey-release.s3.us-east-2.amazonaws.com/hey_linux_amd64
chmod +x hey_linux_amd64

OS থেকে, নিম্নলিখিত ভেরিয়েবলগুলি তৈরি করুন: 

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid
ENDPOINT_ID="insert-your-endpoint-id-here"

উদাহরণ: 

ENDPOINT_ID="2706243362607857664"

নিম্নলিখিত বিভাগে, আপনি vi এডিটর বা ন্যানো ব্যবহার করে একটি instance.json ফাইল তৈরি করবেন এবং স্থাপন করা মডেল থেকে একটি পূর্বাভাস পেতে ব্যবহৃত ডেটা স্ট্রিংটি সন্নিবেশ করাবেন।

ওয়েস্ট-ক্লায়েন্ট ওএস থেকে, নীচের ডেটা স্ট্রিং সহ একটি instance.json f ile তৈরি করুন: 

{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

উদাহরণ: 

user@west-client:$ more instances.json 
{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

user@west-client:$

প্রাক-পরীক্ষা

OS থেকে, মডেলটি যাচাই করতে একটি কার্ল চালান এবং ভবিষ্যদ্বাণীর শেষ পয়েন্ট সফল হিসাবে কাজ করছে। ভার্বোস লগে PSC এন্ডপয়েন্ট আইপি এবং HTTP/2 200 সাফল্য নির্দেশ করে নোট করুন। 

curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json

উদাহরণ, পূর্বাভাস এবং সফল ফলাফল অ্যাক্সেস করতে ব্যবহৃত PSC IP ঠিকানাটি নোট করুন। 

user@central-client:~$ curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json
Note: Unnecessary use of -X or --request, POST is already inferred.
*   Trying 100.100.10.10:443...
* Connected to us-central1-aiplatform.googleapis.com (100.100.10.10) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*  CAfile: /etc/ssl/certs/ca-certificates.crt
*  CApath: /etc/ssl/certs
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
* TLSv1.3 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Certificate (11):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384
* ALPN, server accepted to use h2
* Server certificate:
*  subject: CN=upload.video.google.com
*  start date: Jul 31 08:22:19 2023 GMT
*  expire date: Oct 23 08:22:18 2023 GMT
*  subjectAltName: host "us-central1-aiplatform.googleapis.com" matched cert's "*.googleapis.com"
*  issuer: C=US; O=Google Trust Services LLC; CN=GTS CA 1C3
*  SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* Using Stream ID: 1 (easy handle 0x559b57adc2c0)
> POST /v1/projects/new-test-project-396322/locations/us-central1/endpoints/2706243362607857664:predict HTTP/2
> Host: us-central1-aiplatform.googleapis.com
> user-agent: curl/7.74.0
> accept: */*
> authorization: Bearer ya29.c.b0Aaekm1KWqq-CIXuL6f1cx9d9jHHquQq9tlSV1oVZ1y3TACi82JFFZRwsagVY7MMovycsU4PLkt9MDMkNngxZE5RzXcS-AoaUaQf1tPT9-_JMTlFI6wCcR7Yr9MeRF5AZblr_k52ZZgEZKeYGcrXoGiqGQcAAwFtHiEVAkUhLuyukteXbMoep1JM9E0zFblJj7Z0yOCMJYBH-6XHcIDYnOKpStMVBR2wcTDbnFrCE08HXbvRnQVcENatTBoI9FzSVL1ORwqUiCcdfnTSjpIXcyD-W82d6ZHjGX_RUhfnH7RPfOJqkuU8pOovwoCjq_jvM_wJUfPuQnBKHp5rxbYxPE349DMBql62po2SWFguuFo-a2eoUnb8-FQeBZqan65zgV0lexR73gZlm071y9grlXv3fmJUo7vlj5W-7_-FJXaWWg8iWc6rmjYeO1Wz2h_8qnmojkX9xSUciI6JfmwdgMWwtvwJb63ppSmdwf8oagrYiQlpMzgRI6rekbRzg-1WOBeOf5nRg5vtxUMSc9iRaoarO5XwFX8vt7rxOUBvbXYVWmo3bsdhzsS9VopMwgMlxgcIJg7bq7_F3iapB-nRjfjfhZWpR83cWIkI2Wb9f89inpsxtYjZbbzdWkZvRB8FYSsY8F8tcpiVoWWyQWZiph9z7O59fF9irWY2gtUnbFcJJ_ZcYztjlMQaR45y42ZflkM3Qn668bzge3Y3hmVI1s6ZSmxxq6m27hoMwVn21R07Y613jwljmaFJ5V8MwkR6yvFhYngrh_JrhRUQtSSMh02Rz25wMfv7g8Fiqymr-12viM4btIFjXZBM3XFqzvso_rw1omI1yYWofmbaBYggpegpJBzSeqVUZe791agjVtiMUkyjXFy__9gI0Qk9ZUarI4p25SvS4I1hX4YyBk6ol32Z5zIsVr1Seff__aklm6M2Mlkumd7nurm46hjOIoOhFpfFxrQ6yivnhYapBOJMYirgbZvigvI3dom1fnmt0-ktmRxp69w7Uzzy
> content-type: application/json
> content-length: 158
> 
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
* We are completely uploaded and fine
< HTTP/2 200 
< x-vertex-ai-internal-prediction-backend: harpoon
< date: Sun, 20 Aug 2023 22:25:31 GMT
< content-type: application/json; charset=UTF-8
< vary: X-Origin
< vary: Referer
< vary: Origin,Accept-Encoding
< server: scaffolding on HTTPServer2
< cache-control: private
< x-xss-protection: 0
< x-frame-options: SAMEORIGIN
< x-content-type-options: nosniff
< accept-ranges: none
< 
{
  "predictions": [
    "$479.0",
    "$586.0"
  ],
  "deployedModelId": "3587550310781943808",
  "model": "projects/884291964428/locations/us-central1/models/6829574694488768512",
  "modelDisplayName": "diamonds-cpr",
  "modelVersionId": "1"
}
* Connection #0 to host us-central1-aiplatform.googleapis.com left intact

আরে চালান

OS থেকে, 10 মিনিটের বেসলাইন পরীক্ষা সক্ষম করে HEY চালান। 

./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

17. আরে বৈধকরণ (us-central1)

এখন যেহেতু আপনি us-central1-এ একটি গণনা দৃষ্টান্ত থেকে Hey কার্যকর করেছেন নিম্নলিখিত ফলাফলগুলি মূল্যায়ন করুন:

  • হেই ফলাফল
  • ভার্টেক্স কাস্টম ড্যাশবোর্ড
  • নেটওয়ার্ক ইন্টেলিজেন্স

হেই ফলাফল

OS থেকে, 10 মিনিটের এক্সিকিউশনের উপর ভিত্তি করে HEY ফলাফল যাচাই করা যাক,

প্রতি সেকেন্ডে 44.9408 অনুরোধ

0.0353 সেকেন্ডে 99% | 35 মি.সে

200টি স্ট্যাটাস কোড সহ 26965টি প্রতিক্রিয়া 

devops_user_1_deepakmichael_alto@central-client:~$ ./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

Summary:
  Total:        600.0113 secs
  Slowest:      0.3673 secs
  Fastest:      0.0184 secs
  Average:      0.0222 secs
  Requests/sec: 44.9408
  

Response time histogram:
  0.018 [1]     |
  0.053 [26923] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
  0.088 [25]    |
  0.123 [4]     |
  0.158 [0]     |
  0.193 [1]     |
  0.228 [9]     |
  0.263 [1]     |
  0.298 [0]     |
  0.332 [0]     |
  0.367 [1]     |


Latency distribution:
  10% in 0.0199 secs
  25% in 0.0205 secs
  50% in 0.0213 secs
  75% in 0.0226 secs
  90% in 0.0253 secs
  95% in 0.0273 secs
  99% in 0.0353 secs

Details (average, fastest, slowest):
  DNS+dialup:   0.0000 secs, 0.0184 secs, 0.3673 secs
  DNS-lookup:   0.0000 secs, 0.0000 secs, 0.0079 secs
  req write:    0.0000 secs, 0.0000 secs, 0.0007 secs
  resp wait:    0.0220 secs, 0.0182 secs, 0.3672 secs
  resp read:    0.0002 secs, 0.0001 secs, 0.0046 secs

Status code distribution:
  [200] 26965 responses

ভার্টেক্স কাস্টম ড্যাশবোর্ড

মনিটরিং → ড্যাশবোর্ডে নেভিগেট করুন এবং ভার্টেক্স কাস্টম ড্যাশবোর্ড নির্বাচন করুন, 10 মি লিখুন। অথবা আপনার শুরু এবং থামার সময়। আপনার টাইম জোন সঠিক কিনা তা নিশ্চিত করুন।

শেষ 10m-এর জন্য ভবিষ্যদ্বাণী লেটেন্সি 30.533 ms।

ভবিষ্যদ্বাণী লেটেন্সিগুলির সংজ্ঞাটি দেখে নেওয়া একটি সার্ভার সাইড মেট্রিক নির্দেশ করে যা মডেল থেকে প্রতিক্রিয়া পাওয়ার পরে ক্লায়েন্টদের অনুরোধের প্রতিক্রিয়া জানাতে মোট সময় পরিমাপ করে।

  • মোট বিলম্বের সময়কাল : একটি অনুরোধ পরিষেবাতে ব্যয় করা মোট সময়, যা মডেল লেটেন্সি এবং ওভারহেড লেটেন্সি।

বিপরীতে HEY হল একটি ক্লায়েন্ট সাইড মেট্রিক্স যা নিম্নলিখিত প্যারামিটারগুলিকে বিবেচনা করে:

ক্লায়েন্ট অনুরোধ + মোট বিলম্বিতা (মডেল লেটেন্সি সহ) + ক্লায়েন্ট প্রতিক্রিয়া

নেটওয়ার্ক ইন্টেলিজেন্স

এখন Google ক্লাউড প্ল্যাটফর্ম দ্বারা রিপোর্ট করা us-central1 লেটেন্সি সম্পর্কে ধারণা পেতে নেটওয়ার্ক ইন্টেলিজেন্স দ্বারা রিপোর্ট করা ইন্ট্রা রিজিওন নেটওয়ার্ক লেটেন্সি একবার দেখে নেওয়া যাক৷

ক্লাউড কনসোল নেটওয়ার্ক ইন্টেলিজেন্স → পারফরম্যান্স ড্যাশবোর্ডে নেভিগেট করুন এবং .2 থেকে .8 ms পর্যন্ত লেটেন্সি নির্দেশ করে নীচের স্ক্রিনশটে বিস্তারিত নিম্নলিখিত বিকল্পগুলি নির্বাচন করুন৷

eaa84848c3185fde.png

হেই us-central1 বেসলাইন সারাংশ

একই অঞ্চলে কম্পিউট (কেন্দ্রীয়-ক্লায়েন্ট) এবং ভার্টেক্স এন্ডপয়েন্ট (মডেল এবং অনলাইন ভবিষ্যদ্বাণী) এর কারণে পরীক্ষার সরঞ্জামগুলির দ্বারা রিপোর্ট করা মোট লেটেন্সি তুলনা করলে ওয়েস্ট-ক্লায়েন্টের তুলনায় কম বিলম্ব হয়।

লেটেন্সি টুল

সময়কাল

নেটওয়ার্ক বুদ্ধিমত্তা: us-central1 ইন্ট্রা রিজিয়ন লেটেন্সি

~.2 থেকে .8 ms

ক্লাউড মনিটরিং: মোট ভবিষ্যদ্বাণী বিলম্ব [99%]

30.533 ms (99p)

Google দ্বারা রিপোর্ট করা মোট লেটেন্সি

~30.733 থেকে 31.333 ms

হেই ক্লায়েন্ট সাইড লেটেন্সি

35 ms (99p)

18. অভিনন্দন

অভিনন্দন, আপনি ক্লাউড মনিটরিং এবং নেটওয়ার্ক ইন্টেলিজেন্সের সংমিশ্রণ ব্যবহার করে ক্লায়েন্ট সাইড প্রেডিকশন বেসলাইন লেটেন্সি পেতে HEY সফলভাবে স্থাপন করেছেন এবং যাচাই করেছেন৷ পরীক্ষার উপর ভিত্তি করে আপনি একটি ভবিষ্যদ্বাণীর শেষ বিন্দু চিহ্নিত করতে চেয়েছিলেন-কেন্দ্রীয় আন্তঃ-অঞ্চলে পরিবেশন করা যেতে পারে তবে লেটেন্সি পরিলক্ষিত হয়েছে।

কসমোপআপ মনে করে টিউটোরিয়ালগুলি দুর্দান্ত!!

e6d3675ca7c6911f.jpeg

19. পরিষ্কার করুন

ক্লাউড শেল থেকে, টিউটোরিয়াল উপাদানগুলি মুছুন। 

gcloud compute instances delete central-client --zone=us-central1-a -q

gcloud compute instances delete west-client --zone=us-west1-a -q

gcloud compute instances delete workbench-tutorial --zone=us-central1-a -q

gcloud compute forwarding-rules delete pscvertex --global --quiet 

gcloud compute addresses delete psc-ip --global --quiet

gcloud compute networks subnets delete workbench-subnet --region=us-central1 --quiet 

gcloud compute networks subnets delete us-west1-subnet --region=us-west1 --quiet

gcloud compute networks subnets delete us-central1-subnet --region=us-central1 --quiet

gcloud compute routers delete cloud-router-us-west1-aiml-nat --region=us-west1 --quiet

gcloud compute routers delete cloud-router-us-central1-aiml-nat --region=us-central1 --quiet

gcloud compute firewall-rules delete  ssh-iap-vpc --quiet

gcloud dns record-sets delete *.googleapis.com. --zone=psc-googleapis --type=A --quiet

gcloud dns managed-zones delete psc-googleapis --quiet

gcloud compute networks delete aiml-vpc --quiet

gcloud storage rm -r gs://$projectid-cpr-bucket

ক্লাউড কনসোল থেকে নিম্নলিখিতগুলি মুছে ফেলা হয়েছে:

আর্টিফ্যাক্ট রেজিস্ট্রি ফোল্ডার

99c17044e2f80919.png

Vertex AI মডেল রেজিস্ট্রি থেকে, মডেলটি আনডিপ্লয় করুন:

f5b315f089ae6283.png

Vertex AI অনলাইন ভবিষ্যদ্বাণী থেকে, শেষ পয়েন্টটি মুছুন

9b58688a5037de84.png

এরপর কি?

এই টিউটোরিয়ালগুলির কয়েকটি দেখুন...

আরও পড়া এবং ভিডিও

রেফারেন্স ডক্স