การใช้ TLS สำหรับการคาดการณ์ออนไลน์ที่ปลอดภัยด้วย Vertex AI

1. บทนำ

ใช้ประโยชน์จาก Private Service Connect (PSC) เพื่อสร้างการเข้าถึงส่วนตัวที่มีความปลอดภัยสูงสำหรับโมเดลที่ติดตั้งใช้งานจาก Vertex AI Model Garden วิธีนี้ช่วยให้คุณติดตั้งใช้งานโมเดลไปยังปลายทาง Vertex AI ส่วนตัวที่เข้าถึงได้ภายใน Virtual Private Cloud (VPC) เท่านั้น แทนที่จะเปิดเผยปลายทางสาธารณะ

Private Service Connect จะสร้างปลายทางที่มีที่อยู่ IP ภายในใน VPC ของคุณ ซึ่งเชื่อมต่อโดยตรงกับบริการ Vertex AI ที่ Google จัดการซึ่งโฮสต์โมเดลของคุณ ซึ่งจะช่วยให้แอปพลิเคชันใน VPC และสภาพแวดล้อมภายในองค์กร (ผ่าน Cloud VPN หรือ Interconnect) ส่งคำขออนุมานโดยใช้ IP ส่วนตัวได้

ที่สำคัญ การจราจรของข้อมูลในเครือข่ายทั้งหมดระหว่าง VPC กับปลายทาง Vertex AI ส่วนตัวจะยังคงอยู่ในเครือข่ายเฉพาะของ Google ซึ่งแยกออกจากอินเทอร์เน็ตสาธารณะอย่างสมบูรณ์ นอกจากนี้ การเชื่อมต่อส่วนตัวนี้ยังได้รับการรักษาความปลอดภัยขณะส่งโดยใช้การเข้ารหัส TLS การเข้ารหัสจากต้นทางถึงปลายทางนี้ช่วยให้มั่นใจได้ว่าคำขอการคาดการณ์และคำตอบของโมเดลจะได้รับการปกป้อง ซึ่งจะช่วยเพิ่มการรักษาความลับและความสมบูรณ์ของข้อมูล การรวมการแยกเครือข่ายผ่าน PSC และการเข้ารหัส TLS จะมอบสภาพแวดล้อมที่ปลอดภัยอย่างมีประสิทธิภาพสำหรับการคาดการณ์ออนไลน์ ซึ่งช่วยลดเวลาในการตอบสนองและเสริมสร้างท่าทีด้านความปลอดภัยของคุณได้อย่างมาก

สิ่งที่คุณจะสร้าง

ในบทแนะนำนี้ คุณจะได้ดาวน์โหลด Gemma 3 จาก Model Garden ซึ่งโฮสต์ในการอนุมานออนไลน์ของ Vertex AI เป็นปลายทางส่วนตัวที่เข้าถึงได้ผ่าน Private Service Connect การตั้งค่าแบบครบวงจรจะมีขั้นตอนต่อไปนี้

โมเดล Model Garden: คุณจะเลือก Gemma 3 จาก Vertex AI Model Garden และทำให้ใช้งานได้ไปยังปลายทาง Private Service Connect
Private Service Connect: คุณจะกำหนดค่าอุปกรณ์ปลายทางของผู้ใช้ใน Virtual Private Cloud (VPC) ซึ่งประกอบด้วยที่อยู่ IP ภายในเครือข่ายของคุณเอง
การเชื่อมต่อที่ปลอดภัยกับ Vertex AI: ปลายทาง PSC จะกำหนดเป้าหมายไปยัง Service Attachment ที่ Vertex AI สร้างขึ้นโดยอัตโนมัติสำหรับการติดตั้งใช้งานโมเดลส่วนตัว ซึ่งจะสร้างการเชื่อมต่อส่วนตัวเพื่อให้มั่นใจว่าการรับส่งข้อมูลระหว่าง VPC กับปลายทางการแสดงโมเดลจะไม่ผ่านอินเทอร์เน็ตสาธารณะ
การกำหนดค่าไคลเอ็นต์ภายใน VPC: คุณจะตั้งค่าไคลเอ็นต์ (เช่น VM ของ Compute Engine) ภายใน VPC เพื่อส่งคำขอการอนุมานไปยังโมเดลที่ทำให้ใช้งานได้โดยใช้ที่อยู่ IP ภายในของปลายทาง PSC
ยืนยันการเข้ารหัส TLS: จาก VM ไคลเอ็นต์ภายใน VPC คุณจะใช้เครื่องมือมาตรฐาน ( openssl s_client) เพื่อเชื่อมต่อกับที่อยู่ IP ภายในของปลายทาง PSC ขั้นตอนนี้จะช่วยให้คุณยืนยันได้ว่าช่องทางการสื่อสารกับบริการ Vertex AI ได้รับการเข้ารหัสโดยใช้ TLS จริงๆ โดยการตรวจสอบรายละเอียดแฮนด์เชคและใบรับรองเซิร์ฟเวอร์ที่แสดง

เมื่อสิ้นสุดแล้ว คุณจะมีตัวอย่างการทำงานของโมเดล Model Garden ที่ให้บริการแบบส่วนตัว ซึ่งเข้าถึงได้จากภายในเครือข่าย VPC ที่กำหนดเท่านั้น

สิ่งที่คุณจะได้เรียนรู้

ในบทแนะนำนี้ คุณจะได้เรียนรู้วิธีทำให้โมเดลจาก Vertex AI Model Garden ใช้งานได้ และทำให้เข้าถึงได้อย่างปลอดภัยจาก Virtual Private Cloud (VPC) โดยใช้ Private Service Connect (PSC) วิธีนี้ช่วยให้แอปพลิเคชันภายใน VPC (ผู้ใช้) เชื่อมต่อกับปลายทางโมเดล Vertex AI (บริการผู้ผลิต) แบบส่วนตัวได้โดยไม่ต้องผ่านอินเทอร์เน็ตสาธารณะ

โดยเฉพาะอย่างยิ่ง คุณจะได้เรียนรู้สิ่งต่อไปนี้

ทำความเข้าใจ PSC สำหรับ Vertex AI: วิธีที่ PSC ช่วยให้การเชื่อมต่อจากผู้บริโภคไปยังผู้ผลิตเป็นแบบส่วนตัวและปลอดภัย VPC สามารถเข้าถึงโมเดล Model Garden ที่ติดตั้งใช้งานได้โดยใช้ที่อยู่ IP ภายใน
การติดตั้งใช้งานโมเดลที่มีการเข้าถึงแบบส่วนตัว: วิธีกำหนดค่าปลายทาง Vertex AI สำหรับโมเดล Model Garden เพื่อใช้ PSC ซึ่งจะทำให้เป็นปลายทางส่วนตัว
บทบาทของ Service Attachment: เมื่อคุณทำให้ใช้งานได้โมเดลไปยังปลายทาง Vertex AI ส่วนตัว Google Cloud จะสร้าง Service Attachment ในโปรเจ็กต์ผู้เช่าที่ Google จัดการโดยอัตโนมัติ การเชื่อมต่อบริการนี้จะแสดงบริการการแสดงโมเดลต่อเครือข่ายของผู้บริโภค
การสร้างปลายทาง PSC ใน VPC

วิธีรับ URI ของการเชื่อมต่อบริการที่ไม่ซ้ำจากรายละเอียดของปลายทาง Vertex AI ที่ทำให้ใช้งานได้
วิธีจองที่อยู่ IP ภายในภายในซับเน็ตที่เลือกใน VPC
วิธีสร้างกฎการส่งต่อใน VPC ที่ทำหน้าที่เป็นอุปกรณ์ปลายทาง PSC โดยกำหนดเป้าหมายเป็นไฟล์แนบบริการ Vertex AI โดยปลายทางนี้จะทำให้เข้าถึงโมเดลได้ผ่าน IP ภายในที่สงวนไว้

การสร้างการเชื่อมต่อส่วนตัว: วิธีที่อุปกรณ์ปลายทาง PSC ใน VPC เชื่อมต่อกับไฟล์แนบบริการ ซึ่งเชื่อมต่อเครือข่ายของคุณกับบริการ Vertex AI อย่างปลอดภัย
การส่งคำขออนุมานแบบส่วนตัว: วิธีส่งคำขอการคาดการณ์จากทรัพยากร (เช่น VM ของ Compute Engine) ภายใน VPC ไปยังที่อยู่ IP ภายในของปลายทาง PSC
การตรวจสอบ: ขั้นตอนในการทดสอบและยืนยันว่าคุณส่งคำขออนุมานจาก VPC ไปยังโมเดล Model Garden ที่ทำให้ใช้งานได้ผ่านการเชื่อมต่อส่วนตัวได้สำเร็จ
การยืนยันการเข้ารหัส TLS: วิธีใช้เครื่องมือจากภายในไคลเอ็นต์ VPC (เช่น VM ของ Compute Engine) เพื่อเชื่อมต่อผ่าน TLS กับที่อยู่ IP ภายในของปลายทาง PSC

เมื่อดำเนินการนี้เสร็จแล้ว คุณจะโฮสต์โมเดลจาก Model Garden ที่เข้าถึงได้จากโครงสร้างพื้นฐานเครือข่ายส่วนตัวเท่านั้น

สิ่งที่คุณต้องมี

โปรเจ็กต์ Google Cloud

สิทธิ์ IAM

ผู้ดูแลระบบ AI Platform (roles/ml.Admin)
ผู้ดูแลระบบเครือข่าย Compute (roles/compute.networkAdmin)
ผู้ดูแลระบบอินสแตนซ์ Compute (roles/compute.instanceAdmin)
ผู้ดูแลระบบความปลอดภัยของ Compute (roles/compute.securityAdmin)
ผู้ดูแลระบบ DNS (roles/dns.admin)
ผู้ใช้อุโมงค์ข้อมูลที่รักษาความปลอดภัยด้วย IAP (roles/iap.tunnelResourceAccessor)
ผู้ดูแลระบบการบันทึก (roles/logging.admin)
ผู้ดูแลระบบ Notebooks (roles/notebooks.admin)
ผู้ดูแลระบบ IAM ของโปรเจ็กต์ (roles/resourcemanager.projectIamAdmin)
ผู้ดูแลระบบบัญชีบริการ (roles/iam.serviceAccountAdmin)
ผู้ดูแลระบบการใช้บริการ (roles/serviceusage.serviceUsageAdmin)

2. ก่อนเริ่มต้น

อัปเดตโปรเจ็กต์เพื่อให้รองรับบทแนะนำ

บทแนะนำนี้ใช้ $variables เพื่อช่วยในการติดตั้งใช้งานการกำหนดค่า gcloud ใน Cloud Shell

ใน Cloud Shell ให้ทำดังนี้

gcloud config list project
gcloud config set project [YOUR-PROJECT-ID]
projectid=[YOUR-PROJECT-ID]
echo $projectid

การเปิดใช้ API

ใน Cloud Shell ให้ทำดังนี้

gcloud services enable "compute.googleapis.com"
gcloud services enable "aiplatform.googleapis.com"
gcloud services enable "serviceusage.googleapis.com"
gcloud services enable dns.googleapis.com

3. ทำให้โมเดลใช้งานได้

ทำตามขั้นตอนด้านล่างเพื่อทำให้โมเดลของคุณใช้งานได้จาก Model Garden

ในคอนโซล Google Cloud ให้ไปที่ Model Garden แล้วค้นหาและเลือก Gemma 3

คลิก "ติดตั้งใช้งานโมเดล" แล้วเลือก Vertex AI

เลือก "แก้ไขการตั้งค่า" ที่ด้านล่างของส่วนการตั้งค่าการติดตั้งใช้งาน

ในบานหน้าต่าง "ติดตั้งใช้งานใน Vertex AI" ให้ตรวจสอบว่าได้กำหนดค่าการเข้าถึงปลายทางเป็น Private Service Connect แล้ว จากนั้นเลือกโปรเจ็กต์

ปล่อยให้ตัวเลือกอื่นๆ เป็นค่าเริ่มต้นทั้งหมด จากนั้นเลือก "ติดตั้งใช้งาน" ที่ด้านล่าง และตรวจสอบสถานะการติดตั้งใช้งานในการแจ้งเตือน

ใน Model Garden ให้เลือกภูมิภาค us-central1 ที่มีโมเดลและปลายทาง Gemma 3 การติดตั้งใช้งานโมเดลจะใช้เวลาประมาณ 5 นาที

ในอีก 30 นาที อุปกรณ์ปลายทางจะเปลี่ยนเป็น "ใช้งานอยู่" เมื่อเสร็จสมบูรณ์

รับและจดบันทึกรหัสอุปกรณ์ปลายทางโดยเลือกอุปกรณ์ปลายทาง

เลือกปลายทางเพื่อดึงข้อมูลรหัสปลายทางและอัปเดตตัวแปร ในตัวอย่างที่แสดง รหัสคือ 1934769929467199488

ใน Cloud Shell ให้ทำดังนี้

endpointID=<Enter_Your_Endpoint_ID>
region=us-central1

ทำตามขั้นตอนต่อไปนี้เพื่อรับ URI ของไฟล์แนบบริการ Private Service Connect สตริง URI นี้ใช้โดยผู้ใช้เมื่อทำให้ปลายทางผู้ใช้ PSC ใช้งานได้

ภายใน Cloud Shell ให้ใช้ตัวแปรรหัสปลายทาง/ภูมิภาค แล้วเรียกใช้คำสั่งต่อไปนี้

gcloud ai endpoints describe $endpointID --region=$region  | grep -i serviceAttachment:

ตัวอย่าง

user@cloudshell:$ gcloud ai endpoints describe 1934769929467199488 --region=us-central1 | grep -i serviceAttachment:

Using endpoint [https://us-central1-aiplatform.googleapis.com/]
    serviceAttachment: projects/o9457b320a852208e-tp/regions/us-central1/serviceAttachments/gkedpm-52065579567eaf39bfe24f25f7981d

คัดลอกเนื้อหาหลังจาก serviceAttachment ลงในตัวแปรที่ชื่อ "Service_attachment" คุณจะต้องใช้ตัวแปรนี้ในภายหลังเมื่อสร้างการเชื่อมต่อ PSC

user@cloudshell:$ Service_attachment=<Enter_Your_ServiceAttachment>

4. การตั้งค่าสำหรับผู้บริโภค

สร้าง VPC ของผู้ใช้บริการ

ใน Cloud Shell ให้ทำดังนี้

gcloud compute networks create consumer-vpc --project=$projectid --subnet-mode=custom

สร้างซับเน็ต VM ของผู้ใช้

ใน Cloud Shell ให้ทำดังนี้

gcloud compute networks subnets create consumer-vm-subnet --project=$projectid --range=192.168.1.0/24 --network=consumer-vpc --region=$region --enable-private-ip-google-access

สร้างเครือข่ายย่อยของปลายทาง PSC ใน Cloud Shell โดยทำดังนี้:

gcloud compute networks subnets create pscendpoint-subnet --project=$projectid --range=10.10.10.0/28 --network=consumer-vpc --region=$region

5. เปิดใช้ IAP

หากต้องการอนุญาตให้ IAP เชื่อมต่อกับอินสแตนซ์ VM ให้สร้างกฎไฟร์วอลล์ที่มีลักษณะดังนี้

มีผลกับอินสแตนซ์ VM ทั้งหมดที่คุณต้องการให้เข้าถึงได้โดยใช้ IAP
อนุญาตการรับส่งข้อมูลขาเข้าจากช่วง IP 35.235.240.0/20 ช่วงนี้มีที่อยู่ IP ทั้งหมดที่ IAP ใช้สำหรับการส่งต่อ TCP

สร้างกฎไฟร์วอลล์ IAP ภายใน Cloud Shell

gcloud compute firewall-rules create ssh-iap-consumer \
    --network consumer-vpc \
    --allow tcp:22 \
    --source-ranges=35.235.240.0/20

6. สร้างอินสแตนซ์ VM สำหรับผู้บริโภค

สร้างอินสแตนซ์ VM ของผู้ใช้ชื่อ consumer-vm ใน Cloud Shell

gcloud compute instances create consumer-vm \
    --project=$projectid \
    --machine-type=e2-micro \
    --image-family debian-11 \
    --no-address \
    --shielded-secure-boot \
    --image-project debian-cloud \
    --zone us-central1-a \
    --subnet=consumer-vm-subnet

7. ปลายทาง Private Service Connect

ผู้ใช้ทั่วไปสร้างปลายทางของผู้ใช้ทั่วไป (กฎการส่งต่อ) ที่มีที่อยู่ IP ภายในภายใน VPC ปลายทาง PSC นี้กำหนดเป้าหมายไปที่การเชื่อมต่อบริการของผู้ให้บริการ ไคลเอ็นต์ภายใน VPC ของผู้บริโภคหรือเครือข่ายแบบผสมผสานสามารถส่งการรับส่งข้อมูลไปยังที่อยู่ IP ภายในนี้เพื่อเข้าถึงบริการของผู้ให้บริการ

จองที่อยู่ IP สำหรับปลายทางของผู้บริโภค

สร้างกฎการส่งต่อภายใน Cloud Shell

gcloud compute addresses create psc-address \
    --project=$projectid \
    --region=$region \
    --subnet=pscendpoint-subnet \
    --addresses=10.10.10.6

ตรวจสอบว่าได้จองที่อยู่ IP แล้ว

แสดงรายการที่อยู่ IP ที่สงวนไว้ภายใน Cloud Shell

gcloud compute addresses list

คุณควรเห็นที่อยู่ IP 10.10.10.6 ที่สงวนไว้

สร้างปลายทางผู้ใช้โดยระบุ URI ของการเชื่อมต่อบริการ target-service-attachment ที่คุณบันทึกไว้ในขั้นตอนก่อนหน้า ส่วน "ติดตั้งใช้งานโมเดล"

อธิบายไฟล์แนบเครือข่ายภายใน Cloud Shell

 gcloud compute forwarding-rules create psc-consumer-ep \
    --network=consumer-vpc \
    --address=psc-address \
    --region=$region \
    --target-service-attachment=$Service_attachment \
    --project=$projectid

ตรวจสอบว่าการเชื่อมต่อบริการยอมรับปลายทาง

ใน Cloud Shell ให้ทำดังนี้

gcloud compute forwarding-rules describe psc-consumer-ep \
    --project=$projectid \
    --region=$region

ในการตอบกลับ ให้ตรวจสอบว่าสถานะ "ACCEPTED" ปรากฏในฟิลด์ pscConnectionStatus

8. ตั้งค่าเพื่อเชื่อมต่อกับปลายทาง HTTPS ของ Vertex ผ่าน TLS

สร้างโซนส่วนตัวของ DNS เพื่อให้คุณได้รับการอนุมานแบบออนไลน์โดยไม่ต้องระบุที่อยู่ IP

ใน Cloud Shell ให้ทำดังนี้

DNS_NAME_SUFFIX="prediction.p.vertexai.goog."  

gcloud dns managed-zones create vertex \
--project=$projectid \
--dns-name=$DNS_NAME_SUFFIX \
--networks=consumer-vpc \
--visibility=private \
--description="A DNS zone for Vertex AI endpoints using Private Service Connect."

สร้างระเบียน A เพื่อแมปโดเมนกับที่อยู่ IP ของ PSC

ใน Cloud Shell ให้ทำดังนี้

gcloud dns record-sets create "*.prediction.p.vertexai.goog." \
  --zone=vertex \
  --type=A \
  --ttl=300 \
  --rrdatas="10.10.10.6"

สร้างอินสแตนซ์ Cloud Router เป็นข้อกำหนดเบื้องต้นสำหรับอินสแตนซ์ NAT

ใน Cloud Shell ให้ทำดังนี้

gcloud compute routers create consumer-cr \
--region=$region --network=consumer-vpc \
--asn=65001

สร้างอินสแตนซ์ Cloud NAT ที่ใช้ดาวน์โหลดแพ็กเกจ openssl และ dnsutils

ใน Cloud Shell ให้ทำดังนี้

gcloud compute routers nats create consumer-nat-gw \
  --router=consumer-cr \
  --region=$region \
  --nat-all-subnet-ip-ranges \
  --auto-allocate-nat-external-ips

เชื่อมต่อผ่าน SSH (คอนโซล) ไปยัง VM ของผู้บริโภค ใน Cloud Shell ให้ทำดังนี้

gcloud compute ssh --zone "us-central1-a" "consumer-vm" --tunnel-through-iap --project "$projectid"

อัปเดตแพ็กเกจด้านล่าง ติดตั้ง OpenSSL และติดตั้งยูทิลิตี DNS

ใน Cloud Shell ให้ทำดังนี้

sudo apt update 
sudo apt install openssl
sudo apt-get install -y dnsutils

คุณจะต้องใช้หมายเลขโปรเจ็กต์ในขั้นตอนถัดไป หากต้องการรับหมายเลขโปรเจ็กต์ ให้เรียกใช้คำสั่งต่อไปนี้จาก Cloud Shell แล้วใส่ไว้ในตัวแปร

ใน Cloud Shell ให้ทำดังนี้

gcloud projects describe $projectid --format="value(projectNumber)"
Example Output: 549538389202
projectNumber=549538389202

คุณจะต้องกำหนดตัวแปรอื่นๆ อีก 2-3 ตัวในขั้นตอนถัดไป โดยกำหนดตัวแปรเหล่านี้(ENDPOINT_ID, REGION, VERTEX_AI_PROJECT_ID) ด้วยการจับภาพจาก Cloud Shell ก่อน แล้วสร้างตัวแปรเดียวกันใน VM

ใน Cloud Shell ให้ทำดังนี้

echo $projectNumber
echo $projectid 
echo $region
echo $endpointID

ตัวอย่างเอาต์พุตด้านล่าง

549538389202
test4-473419
Us-central1
1934769929467199s

ใน VM ของผู้บริโภค ให้เพิ่มตัวแปรต่อไปนี้ - ตัวอย่างด้านล่าง

projectNumber=1934769929467199488  
projectid=test4-473419
region=us-central1
endpointID=1934769929467199488

ดาวน์โหลดใบรับรอง Vertex AI โดยเรียกใช้คำสั่งต่อไปนี้จากไดเรกทอรีแรกใน VM คำสั่งนี้จะสร้างไฟล์ชื่อ vertex_certificate.crt

sudo openssl s_client -showcerts -connect $endpointID-$region-$projectNumber.prediction.p.vertexai.goog:443 </dev/null | openssl x509 -outform pem -out vertex_certificate.crt

Output should look like below, error is expected.

ย้ายใบรับรองไปยัง Trust Store ของระบบ

sudo mv vertex_certificate.crt /usr/local/share/ca-certificates

อัปเดตตัวจัดการใบรับรอง

sudo update-ca-certificates

โดยจะแสดงดังนี้เมื่ออัปเดตแล้ว

user@linux-vm:~$ sudo update-ca-certificates

Updating certificates in /etc/ssl/certs...

1 added, 0 removed; done.

Running hooks in /etc/ca-certificates/update.d...

Done.

9. การทดสอบสุดท้ายจาก VM ของผู้บริโภค

ใน VM ของผู้บริโภค ให้ตรวจสอบสิทธิ์อีกครั้งด้วยข้อมูลรับรองเริ่มต้นของแอปพลิเคชันและระบุขอบเขต Vertex AI ดังนี้

gcloud auth application-default login
--scopes=https://www.googleapis.com/auth/cloud-platform

ใน VM ของผู้บริโภค ให้เรียกใช้คำสั่ง curl ต่อไปนี้เพื่อทดสอบการคาดการณ์กับโมเดล Gemini ด้วยพรอมต์ "อะไรหนักกว่ากัน ขนนกหรือหินหนัก 1 ปอนด์

curl -v -X POST -H "Authorization: Bearer $(gcloud auth application-default print-access-token)"   -H "Content-Type: application/json" https://$endpointID-$region-$projectNumber.prediction.p.vertexai.goog/v1/projects/$projectid/locations/$region/endpoints/$endpointID/chat/completions   -d '{"model": "google/gemma-3-12b-it", "messages": [{"role": "user","content": "What weighs more 1 pound of feathers or rocks?"}] }'

ผลลัพธ์สุดท้าย - สำเร็จ!!!

คุณควรเห็นผลลัพธ์ที่คาดการณ์จาก Gemma 3 ที่ด้านล่างของเอาต์พุต ซึ่งแสดงให้เห็นว่าคุณสามารถเข้าถึงปลายทาง API แบบส่วนตัวผ่านปลายทาง PSC ได้

 Connection #0 to host 10.10.10.6 left intact
{"id":"chatcmpl-9e941821-65b3-44e4-876c-37d81baf62e0","object":"chat.completion","created":1759009221,"model":"google/gemma-3-12b-it","choices":[{"index":0,"message":{"role":"assistant","reasoning_content":null,"content":"This is a classic trick question! They weigh the same. One pound is one pound, regardless of the material. 😊\n\n\n\n","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":106}],"usage":{"prompt_tokens":20,"total_tokens":46,"completion_tokens":26,"prompt_tokens_details":null},"prompt_logprobs":null

10. ล้างข้อมูล

ลบคอมโพเนนต์ของบทแนะนำจาก Cloud Shell

Get Deployed Model ID first with this command, you will need it to delete the Endpoint ID:

gcloud ai endpoints describe $endpointID \
  --region=$region \
  --project=$projectid \
  --format="table[no-heading](deployedModels.id)"

Example Output: 7389140900875599872

Put it in a Variable:

deployedModelID=7389140900875599872

Run following Commands:

gcloud ai endpoints undeploy-model $endpointID --deployed-model-id=$deployedModelID --region=$region --quiet

gcloud ai endpoints delete $endpointID --project=$projectid --region=$region --quiet

Run Following command to get $MODEL_ID to delete Model:

gcloud ai models list --project=$projectid --region=$region

Example Output:

Using endpoint [https://us-central1-aiplatform.googleapis.com/]
MODEL_ID: gemma-3-12b-it-1768409471942
DISPLAY_NAME: gemma-3-12b-it-1768409471942

Put MODEL_ID value in a variable:

MODEL_ID=gemma-3-12b-it-1768409471942

Run the follow command to delete Model:

gcloud ai models delete $MODEL_ID --project=$projectid --region=$region --quiet

Clean up rest of the lab:
gcloud compute instances delete consumer-vm --zone=us-central1-a --quiet

gcloud compute forwarding-rules delete psc-consumer-ep --region=$region --project=$projectid --quiet

gcloud compute addresses delete psc-address --region=$region --project=$projectid --quiet

gcloud compute networks subnets delete pscendpoint-subnet consumer-vm-subnet --region=$region --quiet

gcloud compute firewall-rules delete ssh-iap-consumer --project=$projectid

gcloud compute routers delete consumer-cr --region=$region

gcloud compute networks delete consumer-vpc --project=$projectid --quiet

11. ขอแสดงความยินดี

ขอแสดงความยินดี คุณได้กำหนดค่าและตรวจสอบสิทธิ์การเข้าถึงแบบส่วนตัวไปยัง Gemma 3 API ที่โฮสต์ในการคาดการณ์ของ Vertex AI โดยใช้ปลายทาง Private Service Connect โดยใช้ใบรับรองที่ลงนามด้วยตนเองซึ่งได้รับจาก Vertex AI และติดตั้งใช้งานในที่เก็บที่เชื่อถือได้ของ VM เรียบร้อยแล้ว

คุณสร้างโครงสร้างพื้นฐานของผู้ใช้ ซึ่งรวมถึงการจองที่อยู่ IP ภายใน การกำหนดค่าปลายทาง Private Service Connect (กฎการส่งต่อ) ภายใน VPC และ DNS ส่วนตัวให้ตรงกับใบรับรองที่ลงนามด้วยตนเอง *prediction.p.vertexai.goog ปลายทางนี้เชื่อมต่อกับบริการ Vertex AI อย่างปลอดภัยโดยกำหนดเป้าหมายไปยังการเชื่อมต่อบริการที่เชื่อมโยงกับโมเดล Gemma 3 ที่คุณติดตั้งใช้งาน

การตั้งค่านี้ช่วยให้มั่นใจได้ว่าแอปพลิเคชันของคุณภายใน VPC หรือเครือข่ายที่เชื่อมต่อจะโต้ตอบกับ Gemma 3 API แบบส่วนตัวได้โดยใช้ที่อยู่ IP ภายในโดยใช้ใบรับรอง การรับส่งข้อมูลทั้งหมดจะยังคงอยู่ภายในเครือข่ายของ Google โดยจะไม่ผ่านอินเทอร์เน็ตสาธารณะ

สิ่งต่อไปที่ควรทำ

อ่านเพิ่มเติมและวิดีโอ

ภาพรวมของ Private Service Connect

1. บทนำ

สิ่งที่คุณจะสร้าง

สิ่งที่คุณจะได้เรียนรู้

สิ่งที่คุณต้องมี

2. ก่อนเริ่มต้น

อัปเดตโปรเจ็กต์เพื่อให้รองรับบทแนะนำ

การเปิดใช้ API

3. ทำให้โมเดลใช้งานได้

4. การตั้งค่าสำหรับผู้บริโภค

สร้าง VPC ของผู้ใช้บริการ

สร้างซับเน็ต VM ของผู้ใช้

สร้างเครือข่ายย่อยของปลายทาง PSC ใน Cloud Shell โดยทำดังนี้**:**

5. เปิดใช้ IAP

6. สร้างอินสแตนซ์ VM สำหรับผู้บริโภค

7. ปลายทาง Private Service Connect

จองที่อยู่ IP สำหรับปลายทางของผู้บริโภค

ตรวจสอบว่าได้จองที่อยู่ IP แล้ว

ตรวจสอบว่าการเชื่อมต่อบริการยอมรับปลายทาง

8. ตั้งค่าเพื่อเชื่อมต่อกับปลายทาง HTTPS ของ Vertex ผ่าน TLS

9. การทดสอบสุดท้ายจาก VM ของผู้บริโภค

10. ล้างข้อมูล

11. ขอแสดงความยินดี

สิ่งต่อไปที่ควรทำ

อ่านเพิ่มเติมและวิดีโอ

เอกสารอ้างอิง

สร้างเครือข่ายย่อยของปลายทาง PSC ใน Cloud Shell โดยทำดังนี้: