การทดสอบพื้นฐานการคาดการณ์ออนไลน์ Vertex AI ด้วย HEY

1. บทนำ

บทแนะนำนี้จะแสดงวิธีสร้างและประเมินเมตริกการคาดการณ์ออนไลน์ของ Cloud Monitoring เมื่อทำการทดสอบพื้นฐานทั่วทั้ง us-central1 และ us-west1 กับปลายทางการคาดการณ์ที่ทำให้ใช้งานได้ใน us-central1 โดยใช้เครื่องมือประสิทธิภาพเว็บ HEY

สิ่งที่คุณจะสร้าง

คุณจะตั้งค่าเครือข่าย VPC ชื่อ API ที่มีซับเน็ตและอินสแตนซ์ใน us-west1 และ us-central1 ที่จะใช้ในการสร้างการรับส่งข้อมูลโดยใช้ HEY ที่กำหนดเป้าหมายไปยังการคาดการณ์ออนไลน์และโมเดลที่ทำให้ใช้งานได้ใน us-central1

Private Service Connect และ DNS ส่วนตัวรวมอยู่ในบทแนะนำเพื่อแสดงให้เห็นว่าสภาพแวดล้อมภายในองค์กรและมัลติคลาวด์จะใช้ประโยชน์จาก PSC เพื่อเข้าถึง googleapis ได้อย่างไร

ระบบจะใช้ Cloud Monitoring และ Network Intelligence ในบทแนะนำเพื่อตรวจสอบการรับส่งข้อมูลที่สร้างจาก HEY ไปยังการคาดการณ์ออนไลน์ แม้ว่าขั้นตอนที่สรุปไว้ในบทแนะนำจะใช้งานใน VPC แต่คุณก็สามารถใช้ประโยชน์จากขั้นตอนการติดตั้งใช้งานและรับข้อมูลพื้นฐานของ Vertex APIS จากสภาพแวดล้อมภายในองค์กรหรือหลายระบบคลาวด์ได้ สถาปัตยกรรมเครือข่ายประกอบด้วยองค์ประกอบต่อไปนี้:

dd5c102ce1ab0150.png

โดยรายละเอียดกรณีการใช้งานมีดังนี้

  1. เข้าถึงการคาดการณ์ออนไลน์ใน us-central1 จากอินสแตนซ์ GCE ใน us-west1 โดยใช้ HEY
  2. ยืนยันว่ามีการใช้ PSC เพื่อเข้าถึง Vertex API
  3. ดัดผมโดยใช้ HEY เป็นเวลา 5 นาที
  4. ตรวจสอบเวลาในการตอบสนองโดยใช้ Cloud Monitoring
  5. ตรวจสอบเวลาในการตอบสนองระหว่างภูมิภาคโดยใช้ Network Intelligence
  6. เข้าถึงการคาดการณ์ออนไลน์ใน us-central1 จากอินสแตนซ์ GCE ใน us-central1 โดยใช้ HEY
  7. ยืนยันว่ามีการใช้ PSC เพื่อเข้าถึง Vertex API
  8. ดัดผมโดยใช้ HEY เป็นเวลา 5 นาที
  9. ตรวจสอบเวลาในการตอบสนองโดยใช้ Cloud Monitoring
  10. ตรวจสอบเวลาในการตอบสนองภายในภูมิภาคโดยใช้ Network Intelligence

สิ่งที่คุณจะได้เรียนรู้

  • วิธีสร้างปลายทาง Private Service Connect
  • วิธีสร้างภาระงานไปยังการคาดการณ์ออนไลน์โดยใช้ HEY
  • วิธีสร้างเมตริก Vertex AI โดยใช้ Cloud Monitoring
  • วิธีใช้ Network Intelligence เพื่อตรวจสอบภายในและ เวลาในการตอบสนองระหว่างภูมิภาค

สิ่งที่คุณต้องมี

  • โปรเจ็กต์ Google Cloud

สิทธิ์ IAM

ผู้ดูแลระบบเครือข่ายคอมพิวเตอร์

ผู้ดูแลระบบเครือข่ายคอมพิวเตอร์

ผู้แก้ไข Service Directory

ผู้ดูแลระบบ DNS

ผู้ดูการจัดการเครือข่าย

2. ก่อนเริ่มต้น

อัปเดตโปรเจ็กต์เพื่อรองรับบทแนะนำ

บทแนะนำนี้ใช้ $variables เพื่อช่วยในการติดตั้งใช้งานการกำหนดค่า gcloud ใน Cloud Shell

ภายใน Cloud Shell ให้ดำเนินการต่อไปนี้

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid

3. การตั้งค่า ANRL-VPC

สร้าง SPM-vpc

บริการ gcloud เปิดใช้งาน networkmanagement.googleapis.com

ภายใน Cloud Shell ให้ดำเนินการต่อไปนี้

gcloud compute networks create aiml-vpc --project=$projectid --subnet-mode=custom

Inside Cloud Shell เปิดใช้งาน API การจัดการเครือข่ายสำหรับ Network Intelligence

gcloud services enable networkmanagement.googleapis.com

สร้างซับเน็ตของสมุดบันทึกที่จัดการโดยผู้ใช้

สร้างซับเน็ต Workbench ใน Cloud Shell

gcloud compute networks subnets create workbench-subnet --project=$projectid --range=172.16.10.0/28 --network=aiml-vpc --region=us-central1 --enable-private-ip-google-access

สร้างซับเน็ต us-west1 ใน Cloud Shell

gcloud compute networks subnets create us-west1-subnet --project=$projectid --range=192.168.10.0/28 --network=aiml-vpc --region=us-west1

สร้างซับเน็ต us-central1 ใน Cloud Shell

gcloud compute networks subnets create us-central1-subnet --project=$projectid --range=192.168.20.0/28 --network=aiml-vpc --region=us-central1

การกำหนดค่า Cloud Router และ NAT

Cloud NAT ใช้ในบทแนะนำเพื่อดาวน์โหลดแพ็กเกจซอฟต์แวร์เนื่องจากอินสแตนซ์ GCE ไม่มีที่อยู่ IP ภายนอก Cloud NAT มีความสามารถของ NAT ขาออก ซึ่งหมายความว่าโฮสต์อินเทอร์เน็ตจะไม่ได้รับอนุญาตให้เริ่มการสื่อสารกับสมุดบันทึกที่ผู้ใช้จัดการ ซึ่งทำให้มีความปลอดภัยมากยิ่งขึ้น

สร้างเราเตอร์ระบบคลาวด์ระดับภูมิภาค us-west1 ใน Cloud Shell

gcloud compute routers create cloud-router-us-west1-aiml-nat --network aiml-vpc --region us-west1

สร้างเกตเวย์ Cloud Nat ระดับภูมิภาคใน Cloud Shell ซึ่งก็คือ us-west1

gcloud compute routers nats create cloud-nat-us-west1 --router=cloud-router-us-west1-aiml-nat --auto-allocate-nat-external-ips --nat-all-subnet-ip-ranges --region us-west1

สร้างเราเตอร์ระบบคลาวด์ระดับภูมิภาค us-central1 ใน Cloud Shell

gcloud compute routers create cloud-router-us-central1-aiml-nat --network aiml-vpc --region us-central1

สร้างเกตเวย์ Cloud Nat ระดับภูมิภาคใน Cloud Shell ซึ่งก็คือ us-central1

gcloud compute routers nats create cloud-nat-us-central1 --router=cloud-router-us-central1-aiml-nat --auto-allocate-nat-external-ips --nat-all-subnet-ip-ranges --region us-central1

4. สร้างปลายทาง Private Service Connect

ในส่วนต่อไปนี้ คุณจะต้องสร้างปลายทาง Private Service Connect (PSC) ที่จะใช้เพื่อเข้าถึง Vertex API จาก API ของ AOL

จาก Cloud Shell

gcloud compute addresses create psc-ip \
    --global \
    --purpose=PRIVATE_SERVICE_CONNECT \
    --addresses=100.100.10.10 \
    --network=aiml-vpc

ร้านค้า "pscendpointip" ตลอดระยะเวลาที่อยู่ในห้องทดลอง

pscendpointip=$(gcloud compute addresses list --filter=name:psc-ip --format="value(address)")

echo $pscendpointip

สร้างปลายทาง PSC

จาก Cloud Shell

gcloud compute forwarding-rules create pscvertex \
    --global \
    --network=aiml-vpc \
    --address=psc-ip \
    --target-google-apis-bundle=all-apis

แสดงรายการปลายทาง Private Service Connect ที่กำหนดค่าไว้

จาก Cloud Shell

gcloud compute forwarding-rules list  \
--filter target="(all-apis OR vpc-sc)" --global

อธิบายปลายทาง Private Service Connect ที่กำหนดค่าไว้

จาก Cloud Shell

gcloud compute forwarding-rules describe \
    pscvertex --global

5. สร้างบัญชีบริการสำหรับอินสแตนซ์ GCE

เราต้องการให้คุณควบคุม Vertex API ได้ในระดับหนึ่ง ต้องมีบัญชีบริการที่ผู้ใช้จัดการ ซึ่งจะนำมาใช้กับอินสแตนซ์ทางตะวันตกและอินสแตนซ์ส่วนกลาง เมื่อสร้างแล้ว คุณจะแก้ไขสิทธิ์ของบัญชีบริการได้ตามข้อกําหนดทางธุรกิจ ในบทแนะนำ บัญชีบริการที่จัดการโดยผู้ใช้ vertex-sa จะมีบทบาทต่อไปนี้

คุณต้อง Service Account API ก่อนดำเนินการต่อ

สร้างบัญชีบริการใน Cloud Shell

gcloud iam service-accounts create vertex-gce-sa \
    --description="service account for vertex" \
    --display-name="vertex-sa"

ใน Cloud Shell ให้อัปเดตบัญชีบริการด้วยบทบาทผู้ดูแลระบบอินสแตนซ์การประมวลผล

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:vertex-gce-sa@$projectid.iam.gserviceaccount.com" --role="roles/compute.instanceAdmin.v1"

ใน Cloud Shell ให้อัปเดตบัญชีบริการด้วยบทบาทผู้ใช้ Vertex AI

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:vertex-gce-sa@$projectid.iam.gserviceaccount.com" --role="roles/aiplatform.user"

6. สร้างบัญชีบริการที่จัดการโดยผู้ใช้ (สมุดบันทึก)

ในส่วนต่อไปนี้ คุณจะต้องสร้างบัญชีบริการที่มีการจัดการโดยผู้ใช้ซึ่งจะเชื่อมโยงกับ Vertex Workbench (สมุดบันทึก) ที่ใช้ในบทแนะนำ

ในบทแนะนำ บัญชีบริการจะใช้กฎต่อไปนี้

สร้างบัญชีบริการใน Cloud Shell

gcloud iam service-accounts create user-managed-notebook-sa \
    --display-name="user-managed-notebook-sa"

ภายใน Cloud Shell ให้อัปเดตบัญชีบริการด้วยบทบาทผู้ดูแลระบบ Storage

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/storage.admin"

ใน Cloud Shell ให้อัปเดตบัญชีบริการด้วยบทบาทผู้ใช้ Vertex AI

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/aiplatform.user"

ใน Cloud Shell ให้อัปเดตบัญชีบริการด้วยบทบาทผู้ดูแลระบบ Artifact Registry

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/artifactregistry.admin"

ภายใน Cloud Shell ให้ระบุบัญชีบริการและจดบันทึกอีเมลที่จะใช้เมื่อสร้างสมุดบันทึกที่จัดการโดยผู้ใช้

gcloud iam service-accounts list

7. สร้างอินสแตนซ์การทดสอบ

ในส่วนต่อไปนี้ คุณจะต้องสร้างอินสแตนซ์ทดสอบเพื่อดำเนินการทดสอบพื้นฐานจาก us-west1 และ us-central1

ภายใน Cloud Shell ให้สร้างไคลเอ็นต์ฝั่งตะวันตก

gcloud compute instances create west-client \
    --zone=us-west1-a \
    --image-family=debian-11 \
    --image-project=debian-cloud \
    --subnet=us-west1-subnet \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
    --no-address \
    --shielded-secure-boot --service-account=vertex-gce-sa@$projectid.iam.gserviceaccount.com \
    --metadata startup-script="#! /bin/bash
      sudo apt-get update
      sudo apt-get install tcpdump dnsutils -y"

ภายใน Cloud Shell จะสร้างไคลเอ็นต์กลาง

gcloud compute instances create central-client \
    --zone=us-central1-a \
    --image-family=debian-11 \
    --image-project=debian-cloud \
    --subnet=us-central1-subnet \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
    --no-address \
    --shielded-secure-boot --service-account=vertex-gce-sa@$projectid.iam.gserviceaccount.com \
    --metadata startup-script="#! /bin/bash
      sudo apt-get update
      sudo apt-get install tcpdump dnsutils -y"

หากต้องการอนุญาตให้ IAP เชื่อมต่อกับอินสแตนซ์ VM ให้สร้างกฎของไฟร์วอลล์ที่มีลักษณะดังนี้

  • ใช้กับอินสแตนซ์ VM ทั้งหมดที่คุณต้องการให้เข้าถึงได้โดยใช้ IAP
  • อนุญาตการรับส่งข้อมูลขาเข้าจากช่วง IP 35.235.240.0/20 ช่วงนี้ประกอบด้วยที่อยู่ IP ทั้งหมดที่ IAP ใช้สำหรับการส่งต่อ TCP

สร้างกฎไฟร์วอลล์ IAP ใน Cloud Shell

gcloud compute firewall-rules create ssh-iap-vpc \
    --network aiml-vpc \
    --allow tcp:22 \
    --source-ranges=35.235.240.0/20

8. สร้างสมุดบันทึกที่จัดการโดยผู้ใช้

Notebook API

ในส่วนต่อไปนี้ ให้สร้างสมุดบันทึกที่จัดการโดยผู้ใช้ ซึ่งรวมบัญชีบริการที่สร้างไว้ก่อนหน้านี้ ซึ่งก็คือ user-managed-notebook-sa

ภายใน Cloud Shell ให้สร้างอินสแตนซ์ Private-client

gcloud notebooks instances create workbench-tutorial \
      --vm-image-project=deeplearning-platform-release \
      --vm-image-family=common-cpu-notebooks \
      --machine-type=n1-standard-4 \
      --location=us-central1-a \
      --subnet-region=us-central1 \
      --shielded-secure-boot \
      --subnet=workbench-subnet \
      --no-public-ip    --service-account=user-managed-notebook-sa@$projectid.iam.gserviceaccount.com

ไปที่ Vertex AI → Workbench เพื่อดูสมุดบันทึกที่ทำให้ใช้งานได้แล้ว

b02fcb9b07dca06a.png

9. ทำให้โมเดลและการคาดการณ์ออนไลน์ใช้งานได้

ในส่วนต่อไปนี้ ให้ใช้ Codelab,Vertex AI:ใช้กิจวัตรการคาดการณ์ที่กำหนดเองกับ Sklearn เพื่อประมวลผลล่วงหน้าและโพสต์ข้อมูลการประมวลผลสำหรับการคาดการณ์โดยเริ่มจากส่วนที่ 7 เนื่องจากคุณสร้างสมุดบันทึกไว้แล้วในขั้นตอนก่อนหน้า เมื่อทำให้โมเดลใช้งานได้แล้ว ให้กลับไปที่บทแนะนำเพื่อเริ่มส่วนถัดไป

ee68b7ba0cfd2746.png

10. สร้างแดชบอร์ดการตรวจสอบที่กำหนดเองสำหรับการคาดการณ์ออนไลน์

การคาดการณ์ออนไลน์จะสร้างหน้าแดชบอร์ดการตรวจสอบเริ่มต้นภายใต้ VERTEX AI → การคาดการณ์ออนไลน์ → ENDPOINT NAME (diamonds-cpr_endpoint) อย่างไรก็ตาม สำหรับการทดสอบของเรา เราจำเป็นต้องกำหนดเวลาเริ่มต้นและเวลาสิ้นสุด ดังนั้นจึงจำเป็นต้องใช้หน้าแดชบอร์ดที่กำหนดเอง

ในส่วนต่อไปนี้ คุณจะต้องสร้างเมตริก Cloud Monitoring เพื่อรับการวัดเวลาในการตอบสนองตามการเข้าถึงปลายทางการคาดการณ์ออนไลน์ระดับภูมิภาค เพื่อตรวจสอบเวลาในการตอบสนองที่แตกต่างกันเมื่อเข้าถึงปลายทางใน us-central1 จากอินสแตนซ์ GCE ที่ติดตั้งใช้งานใน us-west1 และ us-central

สำหรับบทแนะนำ เราจะใช้เมตริก identifier_latencies ส่วนเมตริกเพิ่มเติมจะอยู่ใน aiplatform

เมตริก

คำอธิบาย

prediction/online/prediction_latencies

เวลาในการตอบสนองการคาดการณ์ออนไลน์ของโมเดลที่ทำให้ใช้งานได้

สร้างแผนภูมิสำหรับเมตริก preddict_latencies

จาก Cloud Console ให้ไปที่การตรวจสอบ → เครื่องมือสำรวจเมตริก

536668ab0b29d77.png

แทรกprediction/online/prediction_latencies ของเมตริก แล้วเลือกตัวเลือกต่อไปนี้ จากนั้นเลือก "ใช้"

c1edd34208cb5ee2.png

เลือก "บันทึกแผนภูมิ" อัปเดต "จัดกลุ่มตาม" ตัวเลือกต่อไปนี้

e180a5d8a044b6e1.png

d2ecd6677a3b34e0.png

เลือกบันทึก คุณจะได้รับข้อความแจ้งให้เลือกหน้าแดชบอร์ด เลือกหน้าแดชบอร์ดใหม่และ ระบุชื่อ

e29a39dc941c8599.png

แดชบอร์ดที่กำหนดเองของ Vertex

ในส่วนต่อไปนี้ ให้ตรวจสอบว่า Vertex Custom Dashboard แสดงเวลาที่ถูกต้อง

ไปที่ "การตรวจสอบ" → "แดชบอร์ด" และเลือก Vertex Custom Dashboard แล้วเลือกเวลา ตรวจสอบว่าเขตเวลาของคุณถูกต้อง

f43ebed798ce1147.png

อย่าลืมขยายคำอธิบายเพื่อดูมุมมองตาราง

61ffeef22e067ca9.png

ตัวอย่างมุมมองแบบขยาย

9027e8785c023129.png

11. สร้าง DNS ส่วนตัวสำหรับปลายทาง PSC

สร้างโซน DNS ส่วนตัวใน keywordl-vpc เพื่อแก้ไข googleapis ทั้งหมดเป็น IP Address 100.100.10.10 ของปลายทาง PSC

สร้างโซน DNS ส่วนตัวจาก Cloud Shell

gcloud dns --project=$projectid managed-zones create psc-googleapis --description="Private Zone to resolve googleapis to a PSC endpoint" --dns-name="googleapis.com." --visibility="private" --networks="https://www.googleapis.com/compute/v1/projects/$projectid/global/networks/aiml-vpc"

จาก Cloud Shell ให้สร้างระเบียน A ที่เชื่อมโยง * googleapis.com ลงใน IP ของ PSC

gcloud dns --project=$projectid record-sets create *.googleapis.com. --zone="psc-googleapis" --type="A" --ttl="300" --rrdatas="100.100.10.10"

12. เฮ้ ตัวแปรการทดสอบ

สวัสดี ผู้ใช้ปลายทางสามารถปรับแต่งการทดสอบตามข้อกำหนดของเครือข่ายและแอปพลิเคชัน สำหรับบทแนะนำ เราจะใช้ตัวเลือกที่มีรายละเอียดด้านล่างพร้อมด้วยตัวอย่างสตริงการดำเนินการ:

c == ผู้ปฏิบัติงาน 1 คน

z == ระยะเวลา

m == เมธอด HTTP POST

D == เนื้อหาของคำขอ HTTP จากไฟล์, instance.json

n == จำนวนคำขอที่จะเรียกใช้ ทั้งนี้ ระบบตั้งค่าเริ่มต้นไว้ที่ 200

ตัวอย่างสตริง curl ที่มี HEY (ไม่จำเป็นต้องมีการดำเนินการ)

user@us-central$ ./hey_linux_amd64 -c 1 -z 1m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid$}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

13. รับรหัสการคาดการณ์

รับรหัสปลายทางของการคาดการณ์ออนไลน์จาก Cloud Console ซึ่งจะนำไปใช้ในขั้นตอนถัดไป

ไปที่ VERTEX AI → การคาดการณ์ออนไลน์

ce4d4a88a3fa2345.png

14. ดาวน์โหลดและเรียกใช้ HEY (us-west1)

ในส่วนต่อไปนี้ คุณจะต้องเข้าสู่ระบบ west-client เพื่อดาวน์โหลดและเรียกใช้ HEY กับ Online Prediction ที่อยู่ใน us-central1

จาก Cloud Shell ให้เข้าสู่ระบบไคลเอ็นต์ทางตะวันตกและดาวน์โหลด HEY

gcloud compute ssh west-client --project=$projectid --zone=us-west1-a --tunnel-through-iap

จากระบบปฏิบัติการ ให้ดาวน์โหลด HEY และอัปเดตสิทธิ์

wget https://hey-release.s3.us-east-2.amazonaws.com/hey_linux_amd64
chmod +x hey_linux_amd64

จากระบบปฏิบัติการ ให้สร้างตัวแปรต่อไปนี้

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid
ENDPOINT_ID="insert-your-endpoint-id-here"

ตัวอย่าง

ENDPOINT_ID="2706243362607857664"

ในส่วนต่อไปนี้ คุณจะต้องสร้างไฟล์อินสแตนซ์.json โดยใช้ตัวแก้ไข vi หรือนาโน และแทรกสตริงข้อมูลที่ใช้เพื่อรับการคาดการณ์จากโมเดลที่ทำให้ใช้งานได้

จากระบบปฏิบัติการ West-client ให้สร้าง instances.json f โดยใช้สตริงข้อมูลด้านล่าง

{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

ตัวอย่าง

user@west-client:$ more instances.json 
{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

user@west-client:$

การทดสอบก่อน

จากระบบปฏิบัติการ ให้ใช้ Curl เพื่อตรวจสอบว่าโมเดลและปลายทางการคาดการณ์กำลังทำงานได้สำเร็จ จดบันทึก IP ปลายทางของ PSC ในบันทึกแบบละเอียดและ HTTP/2 200 ที่ระบุว่าสำเร็จ

curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json

ตัวอย่างเช่น บันทึกที่อยู่ IP ของ PSC ที่ใช้ในการเข้าถึงการคาดการณ์ & ที่ประสบความสำเร็จ

user@west-client:$ curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json
Note: Unnecessary use of -X or --request, POST is already inferred.
*   Trying 100.100.10.10:443...
* Connected to us-central1-aiplatform.googleapis.com (100.100.10.10) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*  CAfile: /etc/ssl/certs/ca-certificates.crt
*  CApath: /etc/ssl/certs
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
* TLSv1.3 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Certificate (11):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384
* ALPN, server accepted to use h2
* Server certificate:
*  subject: CN=upload.video.google.com
*  start date: Jul 31 08:22:19 2023 GMT
*  expire date: Oct 23 08:22:18 2023 GMT
*  subjectAltName: host "us-central1-aiplatform.googleapis.com" matched cert's "*.googleapis.com"
*  issuer: C=US; O=Google Trust Services LLC; CN=GTS CA 1C3
*  SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* Using Stream ID: 1 (easy handle 0x55a9f38b42c0)
> POST /v1/projects/new-test-project-396322/locations/us-central1/endpoints/2706243362607857664:predict HTTP/2
> Host: us-central1-aiplatform.googleapis.com
> user-agent: curl/7.74.0
> accept: */*
> authorization: Bearer ya29.c.b0Aaekm1LqrcaOlWFFwuEOWX_tZVXXvJgN_K-u5_hFyEAYXAi3AnBEBwwtHS8dweW_P2QGfdyFfa31nMT_6BaKBI0mC9IsfzfIiUwXc8u2yJt01gTUSJpCmGAFKZKidRMgkPYivVYCnuymzdYbRAWacIe__StkRzI9UeQOGN3jNIeESr80AdH12goaxCFXWaNWxoYRfGVhekEgUcsKs7t1OhOM-937gy4YGkXcXa8sGuHWRqF5bnulYlTqlxqQ2aAxMTrQg2lwUWRGCmGhPrym7rXJq7oim0DkAJSbAarl1qFuz0PPfNXeHGbs13zY2r1giV7u8_w4Umj_Q5M7H9fTkq7EiqnLzqRkOHXismYL368P1jOUBYM__krFQt4M3X9RJa0g01tOw3FnOh27BmUqlFQ1J2h14JZpx215Q3xzRvgfJ5iW5YYSkv67uZRQk4V04naOUXyc0plzWuVOjj4nor3fYvkS_oW0IyxJoBjeXR16Vnvln8c04svWX9dt7eobczFvBOm9nVdh4lVp8qxbp__2WtMvc1QVg6y-2i6lRpbvmyp1oadxVRjxV1e0wiQFSe-qqsinJu3bnnaMbxdU2cu5j26o8o8Xpgo0SF1UM0b1WX84iatbWpdFSphZm1llwmRagMzcFBW0aBk-i35_bXSbzwURgMfY6Qbyb9Rv9y0F-Maf34I0WxiMldv2uc57nej7dVl9OSm_Ohnro-i9zcpq9fxo9soYVB8WjaZOUjauk4znstc2_6y4atcVVsQBkeU674biR567Ri3M74Jfv4MrrF02ObfrJRdB7UJ4MU_9kWW-kYeeJzoci15UqYV0f_yJgReBwQa66Supmebee2Sn2nku6xZkRMu5Mz55mXuva0XWrpIbor7WckSsXwUFbf7rj5ipa4mOOyf2hJe1Rq0x6yeBaariRzXrhfm5bBpFBU73-zd-IekvOji0ZJQSkk0o6gpX_794Jny7j14aQJ8VxezcFpZUztimYhMnRhlO2lqms1h0h48
> content-type: application/json
> content-length: 158
> 
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
* We are completely uploaded and fine
< HTTP/2 200 
< x-vertex-ai-internal-prediction-backend: harpoon
< content-type: application/json; charset=UTF-8
< date: Sun, 20 Aug 2023 03:51:54 GMT
< vary: X-Origin
< vary: Referer
< vary: Origin,Accept-Encoding
< server: scaffolding on HTTPServer2
< cache-control: private
< x-xss-protection: 0
< x-frame-options: SAMEORIGIN
< x-content-type-options: nosniff
< accept-ranges: none
< 
{
  "predictions": [
    "$479.0",
    "$586.0"
  ],
  "deployedModelId": "3587550310781943808",
  "model": "projects/884291964428/locations/us-central1/models/6829574694488768512",
  "modelDisplayName": "diamonds-cpr",
  "modelVersionId": "1"
}
* Connection #0 to host us-central1-aiplatform.googleapis.com left intact

ดำเนินการ HEY

จากระบบปฏิบัติการ ให้ใช้ HEY เปิดใช้การทดสอบพื้นฐาน 10 นาที

./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

15. การตรวจสอบความถูกต้อง (us-west1)

ตอนนี้คุณเรียกใช้ Hey จากอินสแตนซ์ Compute ใน us-west1 แล้วให้ประเมินผลลัพธ์จากรายการต่อไปนี้:

  • ผลลัพธ์ HEY
  • แดชบอร์ด Vertex ที่กำหนดเอง
  • Network Intelligence

ผลลัพธ์ HEY

จากระบบปฏิบัติการ เราจะมาตรวจสอบผลลัพธ์ HEY ตามการดำเนินการภายใน 10 นาที

17.5826 คำขอต่อวินาที

99% ใน 0.0686 วินาที | 68 มิลลิวินาที

การตอบกลับ 10,550 รายการพร้อมรหัสสถานะ 200 รายการ

user@west-client:$ ./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

Summary:
  Total:        600.0243 secs
  Slowest:      0.3039 secs
  Fastest:      0.0527 secs
  Average:      0.0569 secs
  Requests/sec: 17.5826
  

Response time histogram:
  0.053 [1]     |
  0.078 [10514] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
  0.103 [16]    |
  0.128 [4]     |
  0.153 [3]     |
  0.178 [1]     |
  0.203 [0]     |
  0.229 [2]     |
  0.254 [1]     |
  0.279 [5]     |
  0.304 [3]     |


Latency distribution:
  10% in 0.0546 secs
  25% in 0.0551 secs
  50% in 0.0559 secs
  75% in 0.0571 secs
  90% in 0.0596 secs
  95% in 0.0613 secs
  99% in 0.0686 secs

Details (average, fastest, slowest):
  DNS+dialup:   0.0000 secs, 0.0527 secs, 0.3039 secs
  DNS-lookup:   0.0000 secs, 0.0000 secs, 0.0116 secs
  req write:    0.0000 secs, 0.0000 secs, 0.0002 secs
  resp wait:    0.0567 secs, 0.0526 secs, 0.3038 secs
  resp read:    0.0001 secs, 0.0001 secs, 0.0696 secs

Status code distribution:
  [200] 10550 responses

แดชบอร์ดที่กำหนดเองของ Vertex

ไปที่ "การตรวจสอบ" → "หน้าแดชบอร์ด" แล้วเลือก Vertex Custom Dashboard ป้อน 10 เมตร หรือระบุเวลาเริ่มต้นและเวลาสิ้นสุด ตรวจสอบว่าเขตเวลาของคุณถูกต้อง

4102b1d0438c78e3.png

เมื่อดูคำจำกัดความของเวลาในการตอบสนองการคาดการณ์จะเป็นการระบุเมตริกฝั่งเซิร์ฟเวอร์ที่วัดเวลาทั้งหมดในการตอบสนองคำขอของไคลเอ็นต์หลังจากได้รับการตอบสนองจากโมเดล

  • ระยะเวลาเวลาในการตอบสนองรวม: เวลารวมที่คำขอใช้ในบริการ ซึ่งก็คือเวลาในการตอบสนองของโมเดลบวกกับเวลาในการตอบสนองของโอเวอร์เฮด

ในทางตรงกันข้าม HEY เป็นเมตริกฝั่งไคลเอ็นต์ที่พิจารณาพารามิเตอร์ต่อไปนี้

คำขอของไคลเอ็นต์ + เวลาในการตอบสนองทั้งหมด (รวมเวลาในการตอบสนองของโมเดล) + คำตอบของไคลเอ็นต์

Network Intelligence

ตอนนี้เรามาดูเวลาในการตอบสนองของเครือข่ายระหว่างภูมิภาคที่รายงานโดย Network Intelligence เพื่อให้ทราบแนวคิดเกี่ยวกับเวลาในการตอบสนองของ us-west1 ถึง us-central1 ที่รายงานโดย Google Cloud Platform

ไปที่ Cloud Console Network Intelligence → แดชบอร์ดประสิทธิภาพ แล้วเลือกตัวเลือกต่อไปนี้ตามรายละเอียดในภาพหน้าจอด้านล่าง ซึ่งระบุเวลาในการตอบสนองตั้งแต่ 32-39 มิลลิวินาที

aade5f757115721.png

Hey us-west1 สรุปเกณฑ์พื้นฐาน

การเปรียบเทียบรายงานเวลาในการตอบสนองรวมโดยเครื่องมือทดสอบจะให้ผลลัพธ์เวลาในการตอบสนองที่ใกล้เคียงกันซึ่งรายงานโดย HEY เวลาในการตอบสนองระหว่างภูมิภาคมีส่วนทำให้เกิดเวลาในการตอบสนองจำนวนมาก เรามาดูประสิทธิภาพของลูกค้ากลางในชุดการทดสอบถัดไปกัน

เครื่องมือเวลาในการตอบสนอง

ระยะเวลา

Network Intelligence: เวลาในการตอบสนอง us-west1 ถึง us-central1

~32 ถึง 39 มิลลิวินาที

Cloud Monitoring: เวลาในการตอบสนองการคาดการณ์ทั้งหมด [99%]

34.58 มิลลิวินาที (99p)

เวลาในการตอบสนองทั้งหมดที่ Google รายงาน

~ 66.58 ถึง 73.58 มิลลิวินาที

สวัสดี การกระจายเวลาในการตอบสนองฝั่งไคลเอ็นต์

68 มิลลิวินาที (99p)

16. ดาวน์โหลดและเรียกใช้ HEY (us-central1)

ในส่วนต่อไปนี้ คุณจะต้องเข้าสู่ระบบไคลเอ็นต์กลางเพื่อดาวน์โหลดและเรียกใช้ HEY กับการคาดการณ์ออนไลน์ที่อยู่ใน us-central1

จาก Cloud Shell ให้ลงชื่อเข้าใช้ไคลเอ็นต์กลางและดาวน์โหลด HEY

gcloud compute ssh central-client --project=$projectid --zone=us-central1-a --tunnel-through-iap

จากระบบปฏิบัติการ ให้ดาวน์โหลด HEY และอัปเดตสิทธิ์

wget https://hey-release.s3.us-east-2.amazonaws.com/hey_linux_amd64
chmod +x hey_linux_amd64

จากระบบปฏิบัติการ ให้สร้างตัวแปรต่อไปนี้

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid
ENDPOINT_ID="insert-your-endpoint-id-here"

ตัวอย่าง

ENDPOINT_ID="2706243362607857664"

ในส่วนต่อไปนี้ คุณจะต้องสร้างไฟล์อินสแตนซ์.json โดยใช้ตัวแก้ไข vi หรือนาโน และแทรกสตริงข้อมูลที่ใช้เพื่อรับการคาดการณ์จากโมเดลที่ทำให้ใช้งานได้

จากระบบปฏิบัติการ West-client ให้สร้าง instances.json f โดยใช้สตริงข้อมูลด้านล่าง

{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

ตัวอย่าง

user@west-client:$ more instances.json 
{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

user@west-client:$

การทดสอบล่วงหน้า

จากระบบปฏิบัติการ ให้ใช้ Curl เพื่อตรวจสอบว่าโมเดลและปลายทางการคาดการณ์กำลังทำงานได้สำเร็จ จดบันทึก IP ปลายทางของ PSC ในบันทึกแบบละเอียดและ HTTP/2 200 ที่ระบุว่าสำเร็จ

curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json

ตัวอย่างเช่น บันทึกที่อยู่ IP ของ PSC ที่ใช้ในการเข้าถึงการคาดการณ์ & ที่ประสบความสำเร็จ

user@central-client:~$ curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json
Note: Unnecessary use of -X or --request, POST is already inferred.
*   Trying 100.100.10.10:443...
* Connected to us-central1-aiplatform.googleapis.com (100.100.10.10) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*  CAfile: /etc/ssl/certs/ca-certificates.crt
*  CApath: /etc/ssl/certs
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
* TLSv1.3 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Certificate (11):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384
* ALPN, server accepted to use h2
* Server certificate:
*  subject: CN=upload.video.google.com
*  start date: Jul 31 08:22:19 2023 GMT
*  expire date: Oct 23 08:22:18 2023 GMT
*  subjectAltName: host "us-central1-aiplatform.googleapis.com" matched cert's "*.googleapis.com"
*  issuer: C=US; O=Google Trust Services LLC; CN=GTS CA 1C3
*  SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* Using Stream ID: 1 (easy handle 0x559b57adc2c0)
> POST /v1/projects/new-test-project-396322/locations/us-central1/endpoints/2706243362607857664:predict HTTP/2
> Host: us-central1-aiplatform.googleapis.com
> user-agent: curl/7.74.0
> accept: */*
> authorization: Bearer ya29.c.b0Aaekm1KWqq-CIXuL6f1cx9d9jHHquQq9tlSV1oVZ1y3TACi82JFFZRwsagVY7MMovycsU4PLkt9MDMkNngxZE5RzXcS-AoaUaQf1tPT9-_JMTlFI6wCcR7Yr9MeRF5AZblr_k52ZZgEZKeYGcrXoGiqGQcAAwFtHiEVAkUhLuyukteXbMoep1JM9E0zFblJj7Z0yOCMJYBH-6XHcIDYnOKpStMVBR2wcTDbnFrCE08HXbvRnQVcENatTBoI9FzSVL1ORwqUiCcdfnTSjpIXcyD-W82d6ZHjGX_RUhfnH7RPfOJqkuU8pOovwoCjq_jvM_wJUfPuQnBKHp5rxbYxPE349DMBql62po2SWFguuFo-a2eoUnb8-FQeBZqan65zgV0lexR73gZlm071y9grlXv3fmJUo7vlj5W-7_-FJXaWWg8iWc6rmjYeO1Wz2h_8qnmojkX9xSUciI6JfmwdgMWwtvwJb63ppSmdwf8oagrYiQlpMzgRI6rekbRzg-1WOBeOf5nRg5vtxUMSc9iRaoarO5XwFX8vt7rxOUBvbXYVWmo3bsdhzsS9VopMwgMlxgcIJg7bq7_F3iapB-nRjfjfhZWpR83cWIkI2Wb9f89inpsxtYjZbbzdWkZvRB8FYSsY8F8tcpiVoWWyQWZiph9z7O59fF9irWY2gtUnbFcJJ_ZcYztjlMQaR45y42ZflkM3Qn668bzge3Y3hmVI1s6ZSmxxq6m27hoMwVn21R07Y613jwljmaFJ5V8MwkR6yvFhYngrh_JrhRUQtSSMh02Rz25wMfv7g8Fiqymr-12viM4btIFjXZBM3XFqzvso_rw1omI1yYWofmbaBYggpegpJBzSeqVUZe791agjVtiMUkyjXFy__9gI0Qk9ZUarI4p25SvS4I1hX4YyBk6ol32Z5zIsVr1Seff__aklm6M2Mlkumd7nurm46hjOIoOhFpfFxrQ6yivnhYapBOJMYirgbZvigvI3dom1fnmt0-ktmRxp69w7Uzzy
> content-type: application/json
> content-length: 158
> 
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
* We are completely uploaded and fine
< HTTP/2 200 
< x-vertex-ai-internal-prediction-backend: harpoon
< date: Sun, 20 Aug 2023 22:25:31 GMT
< content-type: application/json; charset=UTF-8
< vary: X-Origin
< vary: Referer
< vary: Origin,Accept-Encoding
< server: scaffolding on HTTPServer2
< cache-control: private
< x-xss-protection: 0
< x-frame-options: SAMEORIGIN
< x-content-type-options: nosniff
< accept-ranges: none
< 
{
  "predictions": [
    "$479.0",
    "$586.0"
  ],
  "deployedModelId": "3587550310781943808",
  "model": "projects/884291964428/locations/us-central1/models/6829574694488768512",
  "modelDisplayName": "diamonds-cpr",
  "modelVersionId": "1"
}
* Connection #0 to host us-central1-aiplatform.googleapis.com left intact

ดำเนินการ HEY

จากระบบปฏิบัติการ ให้ใช้ HEY เปิดใช้การทดสอบพื้นฐาน 10 นาที

./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

17. การตรวจสอบความถูกต้อง (us-central1)

ตอนนี้คุณเรียกใช้ Hey จากอินสแตนซ์ Compute ใน us-central1 แล้วให้ประเมินผลลัพธ์จากรายการต่อไปนี้

  • ผลลัพธ์ HEY
  • แดชบอร์ด Vertex ที่กำหนดเอง
  • Network Intelligence

ผลลัพธ์ HEY

จากระบบปฏิบัติการ เราจะมาตรวจสอบผลลัพธ์ HEY ตามการดำเนินการภายใน 10 นาที

44.9408 คำขอต่อวินาที

99% ใน 0.0353 วินาที | 35 มิลลิวินาที

การตอบกลับ 26,965 ที่มีรหัสสถานะ 200

devops_user_1_deepakmichael_alto@central-client:~$ ./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

Summary:
  Total:        600.0113 secs
  Slowest:      0.3673 secs
  Fastest:      0.0184 secs
  Average:      0.0222 secs
  Requests/sec: 44.9408
  

Response time histogram:
  0.018 [1]     |
  0.053 [26923] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
  0.088 [25]    |
  0.123 [4]     |
  0.158 [0]     |
  0.193 [1]     |
  0.228 [9]     |
  0.263 [1]     |
  0.298 [0]     |
  0.332 [0]     |
  0.367 [1]     |


Latency distribution:
  10% in 0.0199 secs
  25% in 0.0205 secs
  50% in 0.0213 secs
  75% in 0.0226 secs
  90% in 0.0253 secs
  95% in 0.0273 secs
  99% in 0.0353 secs

Details (average, fastest, slowest):
  DNS+dialup:   0.0000 secs, 0.0184 secs, 0.3673 secs
  DNS-lookup:   0.0000 secs, 0.0000 secs, 0.0079 secs
  req write:    0.0000 secs, 0.0000 secs, 0.0007 secs
  resp wait:    0.0220 secs, 0.0182 secs, 0.3672 secs
  resp read:    0.0002 secs, 0.0001 secs, 0.0046 secs

Status code distribution:
  [200] 26965 responses

แดชบอร์ดที่กำหนดเองของ Vertex

ไปที่การตรวจสอบ → หน้าแดชบอร์ด แล้วเลือก Vertex Custom Dashboard จากนั้นป้อน 10m หรือเวลาเริ่มต้นและเวลาสิ้นสุด ตรวจสอบว่าเขตเวลาของคุณถูกต้อง

เวลาในการตอบสนองการคาดการณ์สำหรับ 10 นาทีล่าสุดให้ผลเป็น 30.533 มิลลิวินาที

เมื่อดูคำจำกัดความของเวลาในการตอบสนองการคาดการณ์จะเป็นการระบุเมตริกฝั่งเซิร์ฟเวอร์ที่วัดเวลาทั้งหมดในการตอบสนองคำขอของไคลเอ็นต์หลังจากได้รับการตอบสนองจากโมเดล

  • ระยะเวลาเวลาในการตอบสนองรวม: เวลารวมที่คำขอใช้ในบริการ ซึ่งก็คือเวลาในการตอบสนองของโมเดลบวกกับเวลาในการตอบสนองของโอเวอร์เฮด

ในทางตรงกันข้าม HEY เป็นเมตริกฝั่งไคลเอ็นต์ที่พิจารณาพารามิเตอร์ต่อไปนี้

คำขอของไคลเอ็นต์ + เวลาในการตอบสนองทั้งหมด (รวมเวลาในการตอบสนองของโมเดล) + คำตอบของไคลเอ็นต์

Network Intelligence

ตอนนี้เรามาดูเวลาในการตอบสนองของเครือข่ายภายในภูมิภาคที่รายงานโดย Network Intelligence เพื่อให้ทราบแนวคิดเกี่ยวกับเวลาในการตอบสนองของ us-central1 ที่รายงานโดย Google Cloud Platform

ไปที่ Cloud Console Network Intelligence → แดชบอร์ดประสิทธิภาพ แล้วเลือกตัวเลือกต่อไปนี้ตามรายละเอียดในภาพหน้าจอด้านล่าง ซึ่งระบุเวลาในการตอบสนองตั้งแต่ 0.2 ถึง .8 มิลลิวินาที

eaa84848c3185fde.png

สวัสดี ข้อมูลสรุปพื้นฐานสำหรับ us-central1

การเปรียบเทียบเวลาในการตอบสนองทั้งหมดที่เครื่องมือทดสอบรายงานทำให้เวลาในการตอบสนองต่ำกว่าไคลเอ็นต์ฝั่งตะวันตกเนื่องจากมีปลายทางการประมวลผล (ไคลเอ็นต์กลาง) และ Vertex (การคาดการณ์โมเดลและออนไลน์) ในภูมิภาคเดียวกัน

เครื่องมือเวลาในการตอบสนอง

ระยะเวลา

Network Intelligence: เวลาในการตอบสนองภายในภูมิภาค us-central1

~.2 ถึง .8 มิลลิวินาที

Cloud Monitoring: เวลาในการตอบสนองการคาดการณ์ทั้งหมด [99%]

30.533 มิลลิวินาที (99p)

เวลาในการตอบสนองทั้งหมดที่ Google รายงาน

~30.733 ถึง 31.333 มิลลิวินาที

เฮ้ เวลาในการตอบสนองฝั่งไคลเอ็นต์

35 มิลลิวินาที (99p)

18. ขอแสดงความยินดี

ขอแสดงความยินดี คุณได้ติดตั้งใช้งานและตรวจสอบ HEY แล้วเพื่อรับเวลาในการตอบสนองพื้นฐานของการคาดการณ์ฝั่งไคลเอ็นต์โดยใช้ Cloud Monitoring ร่วมกับ Network Intelligence จากการทดสอบที่คุณระบุว่าปลายทางการคาดการณ์ใน us-central อาจให้บริการระหว่างภูมิภาค แต่ก็สังเกตเห็นเวลาในการตอบสนอง

Cosmopup คิดว่าบทแนะนำยอดเยี่ยม!!

e6d3675ca7c6911f.jpeg

19. ล้างข้อมูล

ลบคอมโพเนนต์บทแนะนำจาก Cloud Shell

gcloud compute instances delete central-client --zone=us-central1-a -q

gcloud compute instances delete west-client --zone=us-west1-a -q

gcloud compute instances delete workbench-tutorial --zone=us-central1-a -q

gcloud compute forwarding-rules delete pscvertex --global --quiet 

gcloud compute addresses delete psc-ip --global --quiet

gcloud compute networks subnets delete workbench-subnet --region=us-central1 --quiet 

gcloud compute networks subnets delete us-west1-subnet --region=us-west1 --quiet

gcloud compute networks subnets delete us-central1-subnet --region=us-central1 --quiet

gcloud compute routers delete cloud-router-us-west1-aiml-nat --region=us-west1 --quiet

gcloud compute routers delete cloud-router-us-central1-aiml-nat --region=us-central1 --quiet

gcloud compute firewall-rules delete  ssh-iap-vpc --quiet

gcloud dns record-sets delete *.googleapis.com. --zone=psc-googleapis --type=A --quiet

gcloud dns managed-zones delete psc-googleapis --quiet

gcloud compute networks delete aiml-vpc --quiet

gcloud storage rm -r gs://$projectid-cpr-bucket

จาก Cloud Console ได้ลบข้อมูลต่อไปนี้

โฟลเดอร์ Artifact Registry

99c17044e2f80919.png

ยกเลิกการทำให้โมเดลใช้งานได้จาก Vertex AI Model Registry

f5b315f089ae6283.png

ลบปลายทางจาก Vertex AI Online Prediction

9b58688a5037de84.png

สิ่งที่ต้องทำต่อไป

ดูบทแนะนำบางส่วนเหล่านี้...

อ่านเพิ่มเติมและ วิดีโอ

เอกสารอ้างอิง