GKE Autopilot-এর সাথে Cloud Spanner কানেক্ট করা

১. ভূমিকা

Cloud Spanner হল সম্পূর্ণভাবে ম্যানেজ করা, হরাইজন্টালি স্কেলেবল, বিশ্বব্যাপী ডিস্ট্রিবিউট করা, রিলেশনাল ডেটাবেস পরিষেবা যা পারফর্ম্যান্স ও উচ্চ উপলভ্যতা বজায় রেখে ACID ট্রানজ্যাকশন ও SQL সিম্যান্টিক্স প্রদান করে।

GKE Autopilot হল GKE-তে অপারেশন করার একটি মোড যেখানে Google আপনার ক্লাস্টার কনফিগারেশন ম্যানেজ করে, যার মধ্যে আপনার নোড, স্কেলিং, নিরাপত্তা এবং অন্যান্য প্রি-কনফিগার করা সেটিংস অন্তর্ভুক্ত থাকে যাতে পেশাদার পদ্ধতি অনুসরণ করা যায়। যেমন, GKE Autopilot, পরিষেবার অনুমতি ম্যানেজ করার জন্য ওয়ার্কলোড আইডেন্টিটি চালু করে।

এই ল্যাবের লক্ষ্য হল GKE Autopilot-এ রান করা একাধিক ব্যাকএন্ড পরিষেবা Cloud Spanner ডেটাবেসের সাথে কানেক্ট করার প্রসেস সম্পর্কে আপনাকে জানানো।

3d810aa9ec80a271.png

এই ল্যাবে, আপনি প্রথমে একটি প্রোজেক্ট সেট-আপ করবেন এবং Cloud Shell লঞ্চ করবেন। তারপর আপনি Terraform ব্যবহার করে ইনফ্রাস্ট্রাকচার ডিপ্লয় করবেন।

এটি সম্পূর্ণ হলে, আপনি Cloud Build এবং Cloud Deploy-এর সাথে ইন্টার‍্যাক্ট করে গেম ডেটাবেসের জন্য প্রাথমিক স্কিমা মাইগ্রেশন, ব্যাকএন্ড পরিষেবা ডিপ্লয় এবং তারপর ওয়ার্কলোড ডিপ্লয় করবেন।

এই কোডল্যাবের পরিষেবাগুলি Cloud Spanner-এর মাধ্যমে গেম ডেভেলপ শুরু করা কোডল্যাবের মতোই। GKE-তে পরিষেবা চালানো এবং Spanner-এর সাথে কানেক্ট করার জন্য সেই কোডল্যাবটি সম্পূর্ণ করা বাধ্যতামূলক নয়। তবে, Spanner-এ কাজ করে এমন পরিষেবার নির্দিষ্ট বিষয়ের আরও বিবরণ জানতে আগ্রহী হলে, এটি চেক করুন।

ওয়ার্কলোড ও ব্যাকএন্ড পরিষেবা চালু থাকলে, আপনি লোড জেনারেট করা শুরু করতে এবং পরিষেবাগুলি কীভাবে একসাথে কাজ করে তা দেখতে পারবেন।

সবশেষে, এই ল্যাবে তৈরি করা রিসোর্স আপনি ক্লিন-আপ করবেন।

আপনি কী তৈরি করবেন

এই ল্যাবের অংশ হিসেবে, আপনি:

  • Terraform ব্যবহার করে পরিকাঠামো প্রোভিশন করুন
  • Cloud Build-এ স্কিমা মাইগ্রেশন প্রসেস ব্যবহার করে ডেটাবেস স্কিমা তৈরি করা
  • চারটি Golang ব্যাকএন্ড পরিষেবা ডিপ্লয় করুন যা Cloud Spanner-এর সাথে কানেক্ট করার জন্য Workload Identity ব্যবহার করে
  • চারটি ওয়ার্কলোড পরিষেবা ডেপ্লয় করুন যা ব্যাকএন্ড পরিষেবার জন্য লোড সিমুলেট করতে ব্যবহার করা হয়।

আপনি কী শিখবেন

  • Terraform ব্যবহার করে কীভাবে GKE Autopilot, Cloud Spanner এবং Cloud Deploy পাইপলাইন প্রোভিশন করবেন
  • Cloud Spanner-এর সাথে কাজ করার জন্য IAM অনুমতি অ্যাক্সেস করতে, কীভাবে Workload Identity, GKE-তে পরিষেবাগুলিকে সার্ভিস অ্যাকাউন্টের ছদ্মবেশ ধারণ করার অনুমতি দেয়
  • Locust.io ব্যবহার করে GKE এবং Cloud Spanner-এ প্রোডাকশনের মতো লোড কীভাবে জেনারেট করা যায়

আপনার কী প্রয়োজন হবে

  • Google Cloud প্রোজেক্ট যা বিলিং অ্যাকাউন্টের সাথে কানেক্ট করা আছে।
  • Chrome বা Firefox-এর মতো ওয়েব ব্রাউজার।

২. সেট-আপ ও প্রয়োজনীয়তা

প্রোজেক্ট তৈরি করুন

আপনার আগে থেকে কোনও Google অ্যাকাউন্ট (Gmail বা Google Apps) না থাকলে, আপনাকে অবশ্যই একটি তৈরি করতে হবে। Google Cloud Platform কনসোলে ( console.cloud.google.com) সাইন-ইন করুন এবং একটি নতুন প্রোজেক্ট তৈরি করুন।

আপনার আগে থেকেই কোনও প্রোজেক্ট থাকলে, কনসোলের উপরে বাঁদিকে প্রোজেক্ট বেছে নেওয়ার পুল ডাউন মেনুতে ক্লিক করুন:

6c9406d9b014760.png

এবং নতুন প্রোজেক্ট তৈরি করতে, যে ডায়ালগ দেখানো হবে সেখানে ‘নতুন প্রোজেক্ট' বোতামে ক্লিক করুন:

949d83c8a4ee17d9.png

আপনার আগে থেকে কোনও প্রোজেক্ট না থাকলে, প্রথম প্রোজেক্ট তৈরি করার জন্য এই ধরনের একটি ডায়ালগ দেখতে পাবেন:

870a3cbd6541ee86.png

এর পরে প্রোজেক্ট তৈরি করার ডায়ালগ আপনাকে নতুন প্রোজেক্টের বিবরণ লিখতে দেয়:

6a92c57d3250a4b3.png

প্রোজেক্ট আইডি মনে রাখবেন, এটি সব Google Cloud প্রোজেক্টের জন্য একটি অনন্য নাম (উপরের নামটি আগে থেকেই ব্যবহার করা হয়েছে এবং আপনার জন্য কাজ করবে না, দুঃখিত!)। এই কোডল্যাবে পরে এটিকে PROJECT_ID হিসেবে উল্লেখ করা হবে।

এরপর, আপনি আগে থেকে না করে থাকলে, Google Cloud রিসোর্স ব্যবহার করতে Developers Console-এ বিলিং চালু করতে এবং Cloud Spanner API চালু করতে হবে।

15d0ef27a8fbab27.png

এই কোডল্যাবটি চালানোর জন্য আপনার কয়েক ডলারের বেশি খরচ হবে না, তবে আপনি যদি আরও রিসোর্স ব্যবহার করার সিদ্ধান্ত নেন বা সেগুলি চালু রাখেন তবে এটি আরও বেশি হতে পারে (এই ডকুমেন্টের শেষে "ক্লিনআপ" বিভাগটি দেখুন)। Google Cloud Spanner-এর দাম এখানে এবং GKE Autopilot-এর দাম এখানে ডকুমেন্ট করা আছে।

Google Cloud Platform-এর নতুন ব্যবহারকারীরা $৩০০ মূল্যের ফ্রি ট্রায়াল-এর জন্য উপযুক্ত, যার ফলে এই কোডল্যাব সম্পূর্ণ বিনামূল্যে ব্যবহার করা যাবে।

Cloud Shell সেট-আপ

Google Cloud ও Spanner আপনার ল্যাপটপ থেকে রিমোটলি অপারেট করা গেলেও, এই কোডল্যাবে আমরা Google Cloud Shell ব্যবহার করব, এটি হল ক্লাউডে চলা কমান্ড লাইন এনভায়রনমেন্ট।

এই Debian-ভিত্তিক ভার্চুয়াল মেশিনে আপনার প্রয়োজনীয় সব ডেভেলপমেন্ট টুল লোড করা আছে। এটি একটি স্থায়ী 5GB হোম ডিরেক্টরি অফার করে এবং Google Cloud-এ রান করে, যা নেটওয়ার্ক পারফর্ম্যান্স এবং যাচাইকরণকে ব্যাপকভাবে উন্নত করে। এর অর্থ হল, এই কোডল্যাবের জন্য আপনার শুধু একটি ব্রাউজার প্রয়োজন (হ্যাঁ, এটি Chromebook-এ কাজ করে)।

  1. Cloud Console থেকে Cloud Shell অ্যাক্টিভেট করতে, শুধু Cloud Shell অ্যাক্টিভেট করুন gcLMt5IuEcJJNnMId-Bcz3sxCd0rZn7IzT_r95C8UZeqML68Y1efBG_B0VRp7hc7qiZTLAF-TXD7SsOadxn8uadgHhaLeASnVS3ZHK39eOlKJOgj9SJua_oeGhMxRrbOg3qigddS2A বিকল্পে ক্লিক করুন (এনভায়রনমেন্টের সাথে কানেক্ট করতে ও প্রভিশন করতে মাত্র কয়েক মুহূর্ত সময় লাগতে পারে)।

JjEuRXGg0AYYIY6QZ8d-66gx_Mtc-_jDE9ijmbXLJSAXFvJt-qUpNtsBsYjNpv2W6BQSrDc1D-ARINNQ-1EkwUhz-iUK-FUCZhJ-NtjvIEx9pIkE-246DomWuCfiGHK78DgoeWkHRwScreen Shot 2017-06-14 at 10.13.43 PM.png

Cloud Shell-এর সাথে কানেক্ট করার পরে, আপনি দেখতে পাবেন যে আপনার পরিচয় আগেই যাচাই করা হয়েছে এবং প্রোজেক্টটি আপনার PROJECT_ID-এ আগেই সেট করা হয়েছে।

gcloud auth list

কমান্ড আউটপুট

Credentialed accounts:
 - <myaccount>@<mydomain>.com (active)
gcloud config list project

কমান্ড আউটপুট

[core]
project = <PROJECT_ID>

কোনও কারণে প্রোজেক্ট সেট করা না থাকলে, শুধু নিম্নলিখিত কমান্ডটি ইস্যু করুন:

gcloud config set project <PROJECT_ID>

আপনার PROJECT_ID খুঁজছেন? সেট-আপের ধাপগুলিতে আপনি কোন আইডি ব্যবহার করেছেন তা চেক করুন বা Cloud Console ড্যাশবোর্ডে এটি দেখুন:

158fNPfwSxsFqz9YbtJVZes8viTS3d1bV4CVhij3XPxuzVFOtTObnwsphlm6lYGmgdMFwBJtc-FaLrZU7XHAg_ZYoCrgombMRR3h-eolLPcvO351c5iBv506B3ZwghZoiRg6cz23Qw

এছাড়াও, Cloud Shell ডিফল্ট হিসেবে কিছু এনভায়রনমেন্ট ভেরিয়েবল সেট করে, যা ভবিষ্যতে কমান্ড চালানোর সময় কাজে লাগতে পারে।

echo $GOOGLE_CLOUD_PROJECT

কমান্ড আউটপুট

<PROJECT_ID>

কোড ডাউনলোড করুন

Cloud Shell-এ, আপনি এই ল্যাবের জন্য কোড ডাউনলোড করতে পারবেন:

git clone https://github.com/cloudspannerecosystem/spanner-gaming-sample.git

কমান্ড আউটপুট

Cloning into 'spanner-gaming-sample'...
*snip*

এই কোডল্যাব v0.1.3 রিলিজের উপর ভিত্তি করে তৈরি, তাই এই ট্যাগটি চেক করুন:

cd spanner-gaming-sample
git fetch --all --tags

# Check out v0.1.3 release
git checkout tags/v0.1.3 -b v0.1.3-branch

কমান্ড আউটপুট

Switched to a new branch 'v0.1.3-branch'

এখন, বর্তমান ওয়ার্কিং ডিরেক্টরিকে DEMO_HOME এনভায়রনমেন্ট ভেরিয়েবেল হিসেবে সেট করুন। এর ফলে আপনি কোডল্যাবের বিভিন্ন অংশ নিয়ে কাজ করার সময় আরও সহজে নেভিগেট করতে পারবেন।

export DEMO_HOME=$(pwd)

সারাংশ

এই ধাপে আপনি একটি নতুন প্রোজেক্ট সেট-আপ করেছেন, ক্লাউড শেল অ্যাক্টিভেট করেছেন এবং এই ল্যাবের জন্য কোড ডাউনলোড করেছেন।

পরবর্তী

এরপর, আপনি Terraform ব্যবহার করে পরিকাঠামো প্রোভিশন করবেন।

৩. প্রভিশন ইনফ্রাস্ট্রাকচার

এক নজরে

আপনার প্রোজেক্ট রেডি হয়ে গেলে, এবার ইনফ্রাস্ট্রাকচার চালু করার সময়। এর মধ্যে VPC নেটওয়ার্কিং, Cloud Spanner, GKE Autopilot, GKE-তে রান করবে এমন ছবি স্টোর করার জন্য Artifact Registry, ব্যাকএন্ড পরিষেবা ও ওয়ার্কলোডের জন্য Cloud Deploy পাইপলাইন এবং এইসব পরিষেবা ব্যবহার করার জন্য সার্ভিস অ্যাকাউন্ট ও IAM প্রিভিলেজ অন্তর্ভুক্ত।

অনেকটা। তবে সৌভাগ্যবশত, Terraform এই সেট-আপ পাওয়ার প্রক্রিয়াকে সহজ করতে পারে। Terraform হল একটি "ইনফ্রাস্ট্রাকচার অ্যাজ কোড" টুল যা আমাদের এই প্রোজেক্টের জন্য কী প্রয়োজন তা '.tf' ফাইলের একটি সিরিজে নির্দিষ্ট করতে দেয়। এটি পরিকাঠামো প্রদান করা সহজ করে তোলে।

এই কোডল্যাব সম্পূর্ণ করার জন্য Terraform সম্পর্কে জানা আবশ্যক নয়। তবে, পরবর্তী কয়েকটি ধাপে কী করা হচ্ছে তা দেখতে চাইলে, infrastructure ডিরেক্টরিতে থাকা এইসব ফাইলে কী কী তৈরি করা হয়েছে তা দেখতে পারেন:

  • vpc.tf
  • backend_gke.tf
  • spanner.tf
  • artifact_registry.tf
  • pipelines.tf
  • iam.tf

Terraform কনফিগার করুন

Cloud Shell-এ, আপনি infrastructure ডিরেক্টরিতে পরিবর্তন করবেন এবং Terraform শুরু করবেন:

cd $DEMO_HOME/infrastructure
terraform init

কমান্ড আউটপুট

Initializing the backend...

Initializing provider plugins...
*snip*
Terraform has been successfully initialized!

You may now begin working with Terraform. Try running "terraform plan" to see
any changes that are required for your infrastructure. All Terraform commands
should now work.

If you ever set or change modules or backend configuration for Terraform,
rerun this command to reinitialize your working directory. If you forget, other
commands will detect it and remind you to do so if necessary.

এরপর, terraform.tfvars.sample কপি করে এবং প্রোজেক্ট ভ্যালু পরিবর্তন করে Terraform কনফিগার করুন। অন্যান্য ভেরিয়েবলও পরিবর্তন করা যেতে পারে, তবে আপনার এনভায়রনমেন্টের সাথে কাজ করার জন্য শুধুমাত্র প্রোজেক্ট পরিবর্তন করতে হবে।

cp  terraform.tfvars.sample terraform.tfvars
# edit gcp_project using the project environment variable
sed -i "s/PROJECT/$GOOGLE_CLOUD_PROJECT/" terraform.tfvars

ইনফ্রাস্ট্রাকচার প্রোভিশন করুন

এখন ইনফ্রাস্ট্রাকচার প্রোভিশন করার সময়!

terraform apply
# review the list of things to be created
# type 'yes' when asked

কমান্ড আউটপুট

Plan: 46 to add, 0 to change, 0 to destroy.

Do you want to perform these actions?
  Terraform will perform the actions described above.
  Only 'yes' will be accepted to approve.

  Enter a value: yes

google_project_service.project["container.googleapis.com"]: Creating...
*snip*
Apply complete! Resources: 46 added, 0 changed, 0 destroyed.

কী তৈরি করা হয়েছে তা চেক করুন

কী তৈরি করা হয়েছে তা যাচাই করতে, আপনি Cloud Console-এ প্রোডাক্ট চেক করতে চান।

Cloud Spanner

প্রথমে, হ্যামবার্গার মেনুতে নেভিগেট করে এবং Spanner-এ ক্লিক করে Cloud Spanner চেক করুন। তালিকায় এটি খুঁজে পেতে আপনাকে ‘আরও প্রোডাক্ট দেখুন' বিকল্পে ক্লিক করতে হতে পারে।

এটি আপনাকে Spanner ইনস্ট্যান্সের তালিকায় নিয়ে যাবে। ইনস্ট্যান্সে ক্লিক করুন এবং আপনি ডেটাবেস দেখতে পাবেন। এটি দেখতে এইরকম হওয়া উচিত:

10b7fc0c4a86c59.png

GKE Autopilot

এরপর, হ্যামবার্গার মেনুতে নেভিগেট করে এবং Kubernetes Engine => Clusters-এ ক্লিক করে GKE চেক করুন। এখানে আপনি অটোপাইলট মোডে চলা sample-games-gke ক্লাস্টার দেখতে পাবেন।

9cecb1a702e6b7ff.png

Artifact Registry

এখন আপনি দেখতে চাইবেন যে ছবিগুলি কোথায় স্টোর করা হবে। তাই হ্যামবার্গার মেনুতে ক্লিক করে Artifact Registry=>Repositories খুঁজুন। Artifact Registry মেনুর CI/CD বিভাগে আছে।

এখানে, আপনি spanner-game-images নামের একটি Docker রেজিস্ট্রি দেখতে পাবেন। এটি এখন খালি থাকবে।

3f805eee312841b.png

Cloud Deploy

Cloud Deploy-তে পাইপলাইন তৈরি করা হয় যাতে Cloud Build ছবি তৈরি করার ধাপ প্রদান করতে পারে এবং তারপর আমাদের GKE ক্লাস্টারে সেগুলি ডিপ্লয় করতে পারে।

হ্যামবার্গার মেনুতে নেভিগেট করুন এবং Cloud Deploy খুঁজুন, যা মেনুর CI/CD বিভাগেও রয়েছে।

এখানে আপনি দুটি পাইপলাইন দেখতে পাবেন: একটি ব্যাকএন্ড পরিষেবার জন্য এবং অন্যটি ওয়ার্কলোডের জন্য। তারা দুজনেই একই GKE ক্লাস্টারে ছবিগুলি ডেপ্লয় করে, তবে এটি আমাদের ডেপ্লয়মেন্ট আলাদা করার অনুমতি দেয়।

d2e4a659145ddf5e.png

IAM

সবশেষে, Cloud Console-এ IAM পৃষ্ঠা চেক করে দেখুন যে পরিষেবা অ্যাকাউন্ট তৈরি করা হয়েছে কিনা। হ্যামবার্গার মেনুতে গিয়ে IAM and Admin=>Service accounts খুঁজুন। এটি দেখতে এইরকম হওয়া উচিত:

bed3d1af94974916.png

Terraform-এর মাধ্যমে মোট ছ'টি পরিষেবা অ্যাকাউন্ট তৈরি করা হয়:

  • ডিফল্ট কম্পিউটার পরিষেবা অ্যাকাউন্ট। এই কোডল্যাবে এটি ব্যবহার করা হয়নি।
  • Cloud Build ও Cloud Deploy ধাপের জন্য cloudbuild-cicd অ্যাকাউন্ট ব্যবহার করা হয়।
  • চারটি ‘অ্যাপ' অ্যাকাউন্ট যা আমাদের ব্যাকএন্ড পরিষেবাগুলি Cloud Spanner-এর সাথে ইন্টার‍্যাক্ট করার জন্য ব্যবহার করে।

এরপর, GKE ক্লাস্টারের সাথে ইন্টার‍্যাক্ট করার জন্য আপনাকে kubectl কনফিগার করতে হবে।

kubectl কনফিগার করুন

# Name of GKE cluster from terraform.tfvars file
export GKE_CLUSTER=sample-game-gke 

# get GKE credentials
gcloud container clusters get-credentials $GKE_CLUSTER --region us-central1

# Check that no errors occur
kubectl get serviceaccounts

কমান্ড আউটপুট

#export GKE_CLUSTER=sample-game-gke

# gcloud container clusters get-credentials $GKE_CLUSTER --region us-central1
Fetching cluster endpoint and auth data.
kubeconfig entry generated for sample-game-gke.

# kubectl get serviceaccounts
NAME              SECRETS   AGE
default           0         37m
item-app          0         35m
matchmaking-app   0         35m
profile-app       0         35m
tradepost-app     0         35m

সারাংশ

দারুণ! আপনি প্রাইভেট নেটওয়ার্কিংয়ের জন্য VPC-তে Cloud Spanner ইনস্ট্যান্স, GKE Autopilot ক্লাস্টার, সব কিছু প্রোভিশন করতে পেরেছেন।

এছাড়াও, ব্যাকএন্ড পরিষেবা ও ওয়ার্কলোডের জন্য দুটি Cloud Deploy পাইপলাইন এবং তৈরি করা ছবি স্টোর করার জন্য Artifact Registry রিপোজিটরি তৈরি করা হয়েছে।

এবং অবশেষে, পরিষেবা অ্যাকাউন্টগুলি তৈরি করা হয়েছিল এবং ওয়ার্কলোড আইডেন্টিটির সাথে কাজ করার জন্য কনফিগার করা হয়েছিল যাতে ব্যাকএন্ড পরিষেবাগুলি ক্লাউড স্প্যানার ব্যবহার করতে পারে।

ব্যাকএন্ড পরিষেবা এবং ওয়ার্কলোড ডিপ্লয় করার পরে Cloud Shell-এ GKE ক্লাস্টারের সাথে ইন্টার‍্যাক্ট করার জন্য আপনার কাছে kubectl কনফিগার করা আছে।

পরবর্তী

পরিষেবা ব্যবহার করার আগে, ডেটাবেস স্কিমা সংজ্ঞায়িত করতে হবে। আপনি এর পরে সেটি সেট-আপ করবেন।

৪. ডেটাবেস স্কিমা তৈরি করো

এক নজরে

ব্যাকএন্ড পরিষেবা চালানোর আগে, আপনাকে নিশ্চিত করতে হবে যে ডেটাবেস স্কিমা ঠিক জায়গায় আছে।

আপনি যদি ডেমো রিপোজিটরি থেকে $DEMO_HOME/schema/migrations ডিরেক্টরির ফাইলগুলি দেখেন, তাহলে আপনি .sql ফাইলের একটি সিরিজ দেখতে পাবেন যা আমাদের স্কিমা নির্ধারণ করে। এটি একটি ডেভেলপমেন্ট চক্রের অনুকরণ করে যেখানে স্কিমা পরিবর্তনগুলি রিপোজিটরিতেই ট্র্যাক করা হয় এবং অ্যাপ্লিকেশনের নির্দিষ্ট কিছু ফিচারের সাথে যুক্ত করা যেতে পারে।

এই স্যাম্পেল এনভায়রনমেন্টের জন্য, wrench হল সেই টুল যা Cloud Build ব্যবহার করে আমাদের স্কিমা মাইগ্রেশন প্রয়োগ করবে।

Cloud Build

$DEMO_HOME/schema/cloudbuild.yaml ফাইলে কোন কোন পদক্ষেপ নেওয়া হবে তা বর্ণনা করা আছে:

serviceAccount: projects/${PROJECT_ID}/serviceAccounts/cloudbuild-cicd@${PROJECT_ID}.iam.gserviceaccount.com
steps:
- name: gcr.io/cloud-builders/curl
 id: fetch-wrench
 args: ['-Lo', '/workspace/wrench.tar.gz', 'https://github.com/cloudspannerecosystem/wrench/releases/download/v1.4.1/wrench-1.4.1-linux-amd64.tar.gz' ]

- name: gcr.io/cloud-builders/gcloud
 id: migrate-spanner-schema
 entrypoint: sh
 args:
 - '-xe'
 - '-c'
 - |
   tar -xzvf wrench.tar.gz

   chmod +x /workspace/wrench

   # Assumes only a single spanner instance and database. Fine for this demo in a dedicated project
   export SPANNER_PROJECT_ID=${PROJECT_ID}
   export SPANNER_INSTANCE_ID=$(gcloud spanner instances list | tail -n1 | awk '{print $1}')
   export SPANNER_DATABASE_ID=$(gcloud spanner databases list --instance=$$SPANNER_INSTANCE_ID | tail -n1 | awk '{print $1}')

   if [ -d ./migrations ]; then
     /workspace/wrench migrate up --directory .
   else
     echo "[Error] Missing migrations directory"
   fi
timeout: 600s

মূলত দুটি ধাপ রয়েছে:

  • Cloud Build ওয়ার্কস্পেসে রেঞ্চ ডাউনলোড করুন
  • wrench মাইগ্রেশন রান করো

রাইট এন্ডপয়েন্টে রেঞ্চ কানেক্ট করার জন্য Spanner প্রোজেক্ট, ইনস্ট্যান্স ও ডেটাবেস এনভায়রনমেন্ট ভেরিয়েবল প্রয়োজন।

Cloud Build এই পরিবর্তনগুলি করতে পারে কারণ এটি cloudbuild-cicd@${PROJECT_ID}.iam.gserviceaccount.com পরিষেবা অ্যাকাউন্ট হিসাবে চলছে:

serviceAccount: projects/${PROJECT_ID}/serviceAccounts/cloudbuild-cicd@${PROJECT_ID}.iam.gserviceaccount.com

এবং এই পরিষেবা অ্যাকাউন্টে Terraform-এর মাধ্যমে যোগ করা spanner.databaseUser ভূমিকা রয়েছে, যা পরিষেবা অ্যাকাউন্টকে updateDDL করার অনুমতি দেয়।

স্কিমা মাইগ্রেশন

$DEMO_HOME/schema/migrations ডিরেক্টরিতে থাকা ফাইলের উপর ভিত্তি করে মাইগ্রেশনের পাঁচটি ধাপ সম্পূর্ণ করা হয়। এখানে 000001.sql ফাইলের উদাহরণ দেওয়া হল যা players টেবিল ও ইন্ডেক্স তৈরি করে:

CREATE TABLE players (
   playerUUID STRING(36) NOT NULL,
   player_name STRING(64) NOT NULL,
   email STRING(MAX) NOT NULL,
   password_hash BYTES(60) NOT NULL,
   created TIMESTAMP,
   updated TIMESTAMP,
   stats JSON,
   account_balance NUMERIC NOT NULL DEFAULT (0.00),
   is_logged_in BOOL,
   last_login TIMESTAMP,
   valid_email BOOL,
   current_game STRING(36)
) PRIMARY KEY (playerUUID);

CREATE UNIQUE INDEX PlayerAuthentication ON players(email) STORING(password_hash);
CREATE UNIQUE INDEX PlayerName ON players(player_name);
CREATE INDEX PlayerGame ON players(current_game);

স্কিমা মাইগ্রেশন জমা দিন

স্কিমা মাইগ্রেশন করার জন্য বিল্ড জমা দিতে, schema ডিরেক্টরিতে পাল্টে নিন এবং নিম্নলিখিত gcloud কমান্ড রান করুন:

cd $DEMO_HOME/schema
gcloud builds submit --config=cloudbuild.yaml

কমান্ড আউটপুট

Creating temporary tarball archive of 8 file(s) totalling 11.2 KiB before compression.
Uploading tarball of [.] to [gs://(project)_cloudbuild/source/(snip).tgz]
Created [https://cloudbuild.googleapis.com/v1/projects/(project)/locations/global/builds/7defe982-(snip)].
Logs are available at [ https://console.cloud.google.com/cloud-build/builds/7defe982-(snip)?project=(snip) ].

gcloud builds submit only displays logs from Cloud Storage. To view logs from Cloud Logging, run:
gcloud beta builds submit

ID: 7defe982-(snip)
CREATE_TIME: (created time)
DURATION: 3M11S
SOURCE: gs://(project)_cloudbuild/source/(snip).tgz
IMAGES: -
STATUS: SUCCESS

উপরের আউটপুটে, আপনি Created ক্লাউড বিল্ড প্রসেসের একটি লিঙ্ক দেখতে পাবেন। আপনি সেখানে ক্লিক করলে, আপনাকে Cloud Console-এ বিল্ডে নিয়ে যাওয়া হবে যাতে আপনি বিল্ডের প্রোগ্রেস মনিটর করতে এবং এটি কী করছে তা দেখতে পারেন।

11b1cf107876d797.png

সারাংশ

এই ধাপে, আপনি Cloud Build ব্যবহার করে প্রাথমিক স্কিমা মাইগ্রেশন জমা দিয়েছেন যা ৫টি আলাদা DDL অপারেশন প্রয়োগ করেছে। এইসব অপারেশন থেকে বোঝা যায় যে ডেটাবেস স্কিমা পরিবর্তন করার প্রয়োজন হয় এমন ফিচার কখন যোগ করা হয়েছে।

সাধারণ ডেভেলপমেন্টের ক্ষেত্রে, আপনি হয়ত আউটএজ এড়াতে বর্তমান অ্যাপ্লিকেশনের সাথে ব্যাকওয়ার্ড কম্প্যাটিবল স্কিমা পরিবর্তন করতে চাইবেন।

যেসব পরিবর্তন ব্যাকওয়ার্ড কম্প্যাটিবল নয়, সেগুলির ক্ষেত্রে আপনি হয়ত অ্যাপ্লিকেশন ও স্কিমায় ধাপে ধাপে পরিবর্তন করতে চাইবেন যাতে কোনও আউটএজ না হয়।

পরবর্তী

স্কিমা সেট-আপ করার পরে, পরবর্তী ধাপ হল ব্যাকএন্ড পরিষেবা ডিপ্লয় করা!

৫. ব্যাকএন্ড পরিষেবা ডিপ্লয় করা

এক নজরে

এই কোডল্যাবের ব্যাকএন্ড পরিষেবা হল golang REST API যা চারটি ভিন্ন পরিষেবাকে উপস্থাপন করে:

  • প্রোফাইল: প্লেয়ারদের আমাদের স্যাম্পেল "গেম"-এ সাইন-আপ ও যাচাই করার সুবিধা দেয়।
  • ম্যাচমেকিং: ম্যাচমেকিং ফাংশনে সাহায্য করার জন্য প্লেয়ারের ডেটার সাথে ইন্টার‍্যাক্ট করা, তৈরি করা গেমের তথ্য ট্র্যাক করা এবং গেম বন্ধ হয়ে গেলে প্লেয়ারের পরিসংখ্যান আপডেট করা।
  • আইটেম: গেম খেলার সময় প্লেয়ারদের গেম আইটেম ও টাকা জেতার সুযোগ করে দেয়।
  • ট্রেডপোস্ট: ট্রেডপোস্টে প্লেয়ারদের আইটেম কেনা ও বেচার সুবিধা চালু করুন

d36e958411d44b5d.png

আপনি Cloud Spanner-এর মাধ্যমে গেম ডেভেলপ শুরু করা কোডল্যাব থেকে এইসব পরিষেবা সম্পর্কে আরও জানতে পারবেন। আমাদের উদ্দেশ্যে, আমরা চাই এই পরিষেবাগুলি আমাদের GKE অটোপাইলট ক্লাস্টারে চলুক।

এইসব পরিষেবার Spanner ডেটা পরিবর্তন করার ক্ষমতা থাকতে হবে। এটি করার জন্য, প্রতিটি পরিষেবার একটি পরিষেবা অ্যাকাউন্ট তৈরি করা হয় যা তাদের 'databaseUser' ভূমিকা প্রদান করে।

Workload Identity, kubernetes পরিষেবা অ্যাকাউন্টকে আমাদের Terraform-এ নিম্নলিখিত ধাপগুলি অনুসরণ করে পরিষেবার Google Cloud পরিষেবা অ্যাকাউন্টকে ছদ্মবেশ ধারণ করার অনুমতি দেয়:

  • পরিষেবার Google Cloud পরিষেবা অ্যাকাউন্ট (GSA) রিসোর্স তৈরি করুন
  • সেই পরিষেবা অ্যাকাউন্টে databaseUser ভূমিকা অ্যাসাইন করুন
  • সেই পরিষেবা অ্যাকাউন্টে workloadIdentityUser ভূমিকা অ্যাসাইন করুন
  • GSA-কে রেফারেন্স করে এমন একটি Kubernetes পরিষেবা অ্যাকাউন্ট (KSA) তৈরি করুন

একটি রাফ ডায়াগ্রাম দেখতে এইরকম হবে:

a8662d31d66b5910.png

Terraform আপনার জন্য পরিষেবা অ্যাকাউন্ট এবং Kubernetes পরিষেবা অ্যাকাউন্ট তৈরি করেছে। এবং আপনি kubectl ব্যবহার করে Kubernetes পরিষেবা অ্যাকাউন্ট চেক করতে পারেন:

# kubectl get serviceaccounts
NAME              SECRETS   AGE
default           0         37m
item-app          0         35m
matchmaking-app   0         35m
profile-app       0         35m
tradepost-app     0         35m

বিল্ড যেভাবে কাজ করে তা নিচে উল্লেখ করা হল:

serviceAccount: projects/${PROJECT_ID}/serviceAccounts/cloudbuild-cicd@${PROJECT_ID}.iam.gserviceaccount.com
steps:

#
# Building of images
#
 - name: gcr.io/cloud-builders/docker
   id: profile
   args: ["build", ".", "-t", "${_PROFILE_IMAGE}"]
   dir: profile
   waitFor: ['-']
 - name: gcr.io/cloud-builders/docker
   id: matchmaking
   args: ["build", ".", "-t", "${_MATCHMAKING_IMAGE}"]
   dir: matchmaking
   waitFor: ['-']
 - name: gcr.io/cloud-builders/docker
   id: item
   args: ["build", ".", "-t", "${_ITEM_IMAGE}"]
   dir: item
   waitFor: ['-']
 - name: gcr.io/cloud-builders/docker
   id: tradepost
   args: ["build", ".", "-t", "${_TRADEPOST_IMAGE}"]
   dir: tradepost
   waitFor: ['-']

#
# Deployment
#
 - name: gcr.io/google.com/cloudsdktool/cloud-sdk
   id: cloud-deploy-release
   entrypoint: gcloud
   args:
     [
       "deploy", "releases", "create", "${_REL_NAME}",
       "--delivery-pipeline", "sample-game-services",
       "--skaffold-file", "skaffold.yaml",
       "--skaffold-version", "1.39",
       "--images", "profile=${_PROFILE_IMAGE},matchmaking=${_MATCHMAKING_IMAGE},item=${_ITEM_IMAGE},tradepost=${_TRADEPOST_IMAGE}",
       "--region", "us-central1"
     ]

artifacts:
 images:
   - ${_REGISTRY}/profile
   - ${_REGISTRY}/matchmaking
   - ${_REGISTRY}/item
   - ${_REGISTRY}/tradepost

substitutions:
 _PROFILE_IMAGE: ${_REGISTRY}/profile:${BUILD_ID}
 _MATCHMAKING_IMAGE: ${_REGISTRY}/matchmaking:${BUILD_ID}
 _ITEM_IMAGE: ${_REGISTRY}/item:${BUILD_ID}
 _TRADEPOST_IMAGE: ${_REGISTRY}/tradepost:${BUILD_ID}
 _REGISTRY: us-docker.pkg.dev/${PROJECT_ID}/spanner-game-images
 _REL_NAME: rel-${BUILD_ID:0:8}
options:
 dynamic_substitutions: true
 machineType: E2_HIGHCPU_8
 logging: CLOUD_LOGGING_ONLY
  • Cloud Build কমান্ড এই ফাইলটি পড়ে এবং তালিকাভুক্ত ধাপগুলি অনুসরণ করে। প্রথমে, এটি পরিষেবার ছবি তৈরি করে। তারপর, এটি gcloud deploy create কমান্ড এক্সিকিউট করে। এটি $DEMO_HOME/backend_services/skaffold.yaml ফাইল পড়ে, যা প্রতিটি ডিপ্লয়মেন্ট ফাইল কোথায় আছে তা নির্ধারণ করে:
apiVersion: skaffold/v2beta29
kind: Config
deploy:
 kubectl:
   manifests:
     - spanner_config.yaml
     - profile/deployment.yaml
     - matchmaking/deployment.yaml
     - item/deployment.yaml
     - tradepost/deployment.yaml
  • Cloud Deploy প্রতিটি পরিষেবার deployment.yaml ফাইলের সংজ্ঞা অনুসরণ করবে। পরিষেবার ডেপ্লয়মেন্ট ফাইলে পরিষেবা তৈরি করার তথ্য থাকে, যা এই ক্ষেত্রে পোর্ট ৮০-তে চলা clusterIP।

" ClusterIP" টাইপ ব্যাকএন্ড সার্ভিস পডকে এক্সটার্নাল IP পাওয়া থেকে আটকায়, তাই শুধুমাত্র যেসব এন্টিটি ইন্টার্নাল GKE নেটওয়ার্কে কানেক্ট করতে পারে, সেগুলিই ব্যাকএন্ড সার্ভিস অ্যাক্সেস করতে পারে। এইসব পরিষেবা সরাসরি প্লেয়ারদের অ্যাক্সেস করা উচিত নয় কারণ তারা Spanner ডেটা অ্যাক্সেস ও পরিবর্তন করে।

apiVersion: v1
kind: Service
metadata:
 name: profile
spec:
 type: ClusterIP
 selector:
   app: profile
 ports:
 - port: 80
   targetPort: 80

Kubernetes পরিষেবা তৈরি করার পাশাপাশি, Cloud Deploy একটি Kubernetes ডিপ্লয়মেন্টও তৈরি করে। profile পরিষেবার ডিপ্লয়মেন্ট বিভাগটি পরীক্ষা করা যাক:

---
apiVersion: apps/v1
kind: Deployment
metadata:
 name: profile
spec:
 replicas: 2 # EDIT: Number of instances of deployment
 selector:
   matchLabels:
     app: profile
 template:
   metadata:
     labels:
       app: profile
   spec:
     serviceAccountName: profile-app
     containers:
     - name: profile-service
       image: profile
       ports:
         - containerPort: 80
       envFrom:
         - configMapRef:
             name: spanner-config
       env:
         - name: SERVICE_HOST
           value: "0.0.0.0"
         - name: SERVICE_PORT
           value: "80"
       resources:
         requests:
           cpu: "1"
           memory: "1Gi"
           ephemeral-storage: "100Mi"
         limits:
           cpu: "1"
           memory: "1Gi"
           ephemeral-storage: "100Mi"

উপরের অংশে পরিষেবা সম্পর্কে কিছু মেটাডেটা থাকে। এর মধ্যে সবচেয়ে গুরুত্বপূর্ণ অংশ হল, এই ডেপ্লয়মেন্টের মাধ্যমে কতগুলি রেপ্লিকা তৈরি করা হবে তা নির্ধারণ করা।

replicas: 2 # EDIT: Number of instances of deployment

এরপর, আমরা দেখি যে কোন পরিষেবা অ্যাকাউন্টের অ্যাপটি চালানো উচিত এবং কোন ছবি ব্যবহার করা উচিত। এগুলি Terraform থেকে তৈরি করা Kubernetes পরিষেবা অ্যাকাউন্ট এবং Cloud Build ধাপের সময় তৈরি করা ছবির সাথে মিলে যায়।

spec:
  serviceAccountName: profile-app
  containers:
    - name: profile-service
      image: profile

তারপরে, আমরা নেটওয়ার্কিং ও এনভায়রনমেন্ট ভেরিয়েবল সম্পর্কে কিছু তথ্য উল্লেখ করি।

spanner_config হল একটি Kubernetes ConfigMap যা Spanner-এর সাথে কানেক্ট করার জন্য অ্যাপ্লিকেশনের প্রয়োজনীয় প্রোজেক্ট, ইনস্ট্যান্স এবং ডেটাবেসের তথ্য নির্দিষ্ট করে।

apiVersion: v1
kind: ConfigMap
metadata:
  name: spanner-config
data:
  SPANNER_PROJECT_ID: ${project_id}
  SPANNER_INSTANCE_ID: ${instance_id}
  SPANNER_DATABASE_ID: ${database_id}
ports:
  - containerPort: 80
envFrom:
  - configMapRef:
    name: spanner-config
env:
  - name: SERVICE_HOST
    value: "0.0.0.0"
  - name: SERVICE_PORT
    value: "80"

SERVICE_HOST এবং SERVICE_PORT হল অতিরিক্ত এনভায়রনমেন্ট ভেরিয়েবল যা পরিষেবার প্রয়োজন হয় যাতে জানা যায় কোথায় বাইন্ড করতে হবে।

এই ডিপ্লয়মেন্টে প্রতিটি রেপ্লিকার জন্য কতগুলি রিসোর্স অনুমোদন করতে হবে তা GKE-কে শেষ বিভাগটি জানায়। এছাড়াও, GKE Autopilot এটি ব্যবহার করে প্রয়োজন অনুযায়ী ক্লাস্টার স্কেল করে।

resources:
  requests:
    cpu: "1"
    memory: "1Gi"
    ephemeral-storage: "100Mi"
  limits:
    cpu: "1"
    memory: "1Gi"
    ephemeral-storage: "100Mi"

এই তথ্য সহ, ব্যাকএন্ড পরিষেবা ডিপ্লয় করার সময় এসে গেছে।

ব্যাকএন্ড পরিষেবা ডিপ্লয় করা

যেমন উল্লেখ করা হয়েছে, ব্যাকএন্ড পরিষেবা ডিপ্লয় করতে Cloud Build ব্যবহার করা হয়। স্কিমা মাইগ্রেশনের মতোই, আপনি gcloud কমান্ড লাইন ব্যবহার করে বিল্ডের অনুরোধ জমা দিতে পারেন:

cd $DEMO_HOME/backend_services
gcloud builds submit --config=cloudbuild.yaml

কমান্ড আউটপুট

Creating temporary tarball archive of 66 file(s) totalling 864.6 KiB before compression.
Uploading tarball of [.] to [gs://(project)_cloudbuild/source/(snip).tgz]
Created [https://cloudbuild.googleapis.com/v1/projects/(project)/locations/global/builds/30207dd1-(snip)].
Logs are available at [ https://console.cloud.google.com/cloud-build/builds/30207dd1-(snip)?project=(snip) ].

gcloud builds submit only displays logs from Cloud Storage. To view logs from Cloud Logging, run:
gcloud beta builds submit

ID: 30207dd1-(snip)
CREATE_TIME: (created time)
DURATION: 3M17S
SOURCE: gs://(project)_cloudbuild/source/(snip).tgz
IMAGES: us-docker.pkg.dev/(project)/spanner-game-images/profile:30207dd1-(snip) (+3 more)
STATUS: SUCCESS

schema migration ধাপের আউটপুটের মতো নয়, এই বিল্ডের আউটপুট থেকে বোঝা যায় যে কিছু ছবি তৈরি করা হয়েছে। সেগুলি আপনার আর্টিফ্যাক্ট রেজিস্ট্রি রিপোজিটরিতে স্টোর করা হবে।

gcloud build ধাপের আউটপুটে Cloud Console-এর একটি লিঙ্ক থাকবে। সেগুলি একবার দেখুন।

Cloud Build থেকে সফল হওয়ার বিজ্ঞপ্তি পাওয়ার পরে, Cloud Deploy-তে যান এবং তারপর ডিপ্লয়মেন্টের প্রোগ্রেস মনিটর করতে sample-game-services পাইপলাইনে যান।

df5c6124b9693986.png

পরিষেবাগুলি ডিপ্লয় করা হয়ে গেলে, আপনি kubectl চেক করে পডের স্ট্যাটাস দেখতে পারেন:

kubectl get pods

কমান্ড আউটপুট

NAME                           READY   STATUS    RESTARTS   AGE
item-6b9d5f678c-4tbk2          1/1     Running   0          83m
matchmaking-5bcf799b76-lg8zf   1/1     Running   0          80m
profile-565bbf4c65-kphdl       1/1     Running   0          83m
profile-565bbf4c65-xw74j       1/1     Running   0          83m
tradepost-68b87ccd44-gw55r     1/1     Running   0          79m

তারপর, ClusterIP কাজ করছে কিনা তা দেখতে পরিষেবাগুলি চেক করুন:

kubectl get services

কমান্ড আউটপুট

NAME          TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
item          ClusterIP   10.172.XXX.XXX   <none>        80/TCP    84m
kubernetes    ClusterIP   10.172.XXX.XXX   <none>        443/TCP   137m
matchmaking   ClusterIP   10.172.XXX.XXX   <none>        80/TCP    84m
profile       ClusterIP   10.172.XXX.XXX   <none>        80/TCP    84m
tradepost     ClusterIP   10.172.XXX.XXX   <none>        80/TCP    84m

এছাড়াও, আপনি Cloud Console-এ GKE UI-তে নেভিগেট করে Workloads, Services এবং ConfigMaps দেখতে পারেন।

ওয়ার্কলোড

da98979ae49e5a30.png

পরিষেবা

406ca2fe7ad4818b.png

ConfigMaps

a0ebd34ee735ee11.png3b9ef91c77a4e7f0.png

সারাংশ

এই ধাপে, আপনি GKE Autopilot-এ চারটি ব্যাকএন্ড পরিষেবা ডিপ্লয় করেছেন। আপনি Cloud Build ধাপ রান করতে এবং Cloud Deploy-তে ও Cloud Console-এ Kubernetes-এ প্রোগ্রেস চেক করতে পেরেছেন।

এছাড়াও, আপনি জেনেছেন যে Spanner ডেটাবেসে ডেটা রিড ও রাইট করার জন্য সঠিক অনুমতি আছে এমন একটি পরিষেবা অ্যাকাউন্ট ছদ্মবেশে ব্যবহার করার জন্য এইসব পরিষেবা কীভাবে Workload Identity ব্যবহার করে।

পরবর্তী ধাপ

পরবর্তী বিভাগে, আপনি ওয়ার্কলোড ডিপ্লয় করবেন।

৬. ওয়ার্কলোড ডিপ্লয় করুন

এক নজরে

এখন যেহেতু ব্যাকএন্ড পরিষেবাগুলি ক্লাস্টারে চলছে, আপনি ওয়ার্কলোডগুলি ডেপ্লয় করবেন।

dd900485e2eeb611.png

ওয়ার্কলোডগুলি বাইরে থেকে অ্যাক্সেস করা যায় এবং এই কোডল্যাবের উদ্দেশ্যে প্রতিটি ব্যাকএন্ড পরিষেবার জন্য একটি করে ওয়ার্কলোড আছে।

এইসব ওয়ার্কলোড হল Locust–ভিত্তিক লোড জেনারেশন স্ক্রিপ্ট যা এইসব স্যাম্পেল পরিষেবার থেকে প্রত্যাশিত আসল অ্যাক্সেস প্যাটার্নের অনুকরণ করে।

Cloud Build প্রসেসের জন্য ফাইল আছে:

  • $DEMO_HOME/workloads/cloudbuild.yaml (Terraform-এর মাধ্যমে জেনারেট করা হয়েছে)
  • $DEMO_HOME/workloads/skaffold.yaml
  • প্রতিটি ওয়ার্কলোডের জন্য একটি deployment.yaml ফাইল

ওয়ার্কলোড deployment.yaml ফাইল ব্যাকএন্ড পরিষেবা ডেপ্লয়মেন্ট ফাইলের থেকে একটু আলাদা দেখতে।

matchmaking-workload থেকে একটি উদাহরণ এখানে দেওয়া হল:

apiVersion: v1
kind: Service
metadata:
 name: matchmaking-workload
spec:
 type: LoadBalancer
 selector:
   app: matchmaking-workload
 ports:
 - port: 8089
   targetPort: 8089
---
apiVersion: apps/v1
kind: Deployment
metadata:
 name: matchmaking-workload
spec:
 replicas: 1 # EDIT: Number of instances of deployment
 selector:
   matchLabels:
     app: matchmaking-workload
 template:
   metadata:
     labels:
       app: matchmaking-workload
   spec:
     serviceAccountName: default
     containers:
     - name: matchmaking-workload
       image: matchmaking-workload
       ports:
         - containerPort: 8089
       resources:
         requests:
           cpu: "500m"
           memory: "512Mi"
           ephemeral-storage: "100Mi"
         limits:
           cpu: "500m"
           memory: "512Mi"
           ephemeral-storage: "100Mi"

ফাইলের উপরের অংশ পরিষেবাটি সংজ্ঞায়িত করে। এই ক্ষেত্রে, একটি LoadBalancer তৈরি করা হয় এবং ওয়ার্কলোড 8089 পোর্টে রান করে।

LoadBalancer একটি এক্সটার্নাল IP প্রদান করবে যা ওয়ার্কলোডের সাথে কানেক্ট করতে ব্যবহার করা যাবে।

apiVersion: v1
kind: Service
metadata:
 name: matchmaking-workload
spec:
 type: LoadBalancer
 selector:
   app: matchmaking-workload
 ports:
 - port: 8089
   targetPort: 8089

ডিপ্লয়মেন্ট বিভাগের উপরের অংশে ওয়ার্কলোড সম্পর্কিত মেটাডেটা থাকে। এই ক্ষেত্রে, শুধুমাত্র একটি রেপ্লিকা ডিপ্লয় করা হচ্ছে:

replicas: 1 

তবে কন্টেনারের স্পেসিফিকেশন আলাদা। প্রথমত, আমরা default Kubernetes পরিষেবা অ্যাকাউন্ট ব্যবহার করছি। এই অ্যাকাউন্টের কোনও বিশেষ সুবিধা নেই, কারণ GKE ক্লাস্টারে চলা ব্যাকএন্ড পরিষেবা ছাড়া অন্য কোনও Google Cloud রিসোর্সের সাথে ওয়ার্কলোড কানেক্ট করার প্রয়োজন নেই।

অন্য পার্থক্যটি হল, এই ওয়ার্কলোডের জন্য কোনও এনভায়রনমেন্ট ভেরিয়েবলের প্রয়োজন নেই। ফলাফল হল একটি ছোট ডিপ্লয়মেন্ট স্পেসিফিকেশন।

spec:
  serviceAccountName: default
  containers:
    - name: matchmaking-workload
      image: matchmaking-workload
  ports:
    - containerPort: 8089

রিসোর্স সেটিংস ব্যাকএন্ড পরিষেবার মতোই। মনে রাখবেন যে ক্লাস্টারে চলা সব পডের অনুরোধ পূরণ করার জন্য কত রিসোর্স প্রয়োজন তা GKE Autopilot এভাবেই জানতে পারে।

এগিয়ে যান এবং ওয়ার্কলোড ডিপ্লয় করুন!

ওয়ার্কলোড ডিপ্লয় করুন

আগের মতোই, আপনি gcloud কমান্ড লাইন ব্যবহার করে বিল্ড অনুরোধ জমা দিতে পারেন:

cd $DEMO_HOME/workloads
gcloud builds submit --config=cloudbuild.yaml

কমান্ড আউটপুট

Creating temporary tarball archive of 18 file(s) totalling 26.2 KiB before compression.
Some files were not included in the source upload.

Check the gcloud log [/tmp/tmp.4Z9EqdPo6d/logs/(snip).log] to see which files and the contents of the
default gcloudignore file used (see `$ gcloud topic gcloudignore` to learn
more).

Uploading tarball of [.] to [gs://(project)_cloudbuild/source/(snip).tgz]
Created [https://cloudbuild.googleapis.com/v1/projects/(project)/locations/global/builds/(snip)].
Logs are available at [ https://console.cloud.google.com/cloud-build/builds/0daf20f6-(snip)?project=(snip) ].

gcloud builds submit only displays logs from Cloud Storage. To view logs from Cloud Logging, run:
gcloud beta builds submit

ID: 0daf20f6-(snip)
CREATE_TIME: (created_time)
DURATION: 1M41S
SOURCE: gs://(project)_cloudbuild/source/(snip).tgz
IMAGES: us-docker.pkg.dev/(project)/spanner-game-images/profile-workload:0daf20f6-(snip) (+4 more)
STATUS: SUCCESS

স্ট্যাটাস চেক করতে Cloud Console-এ Cloud Build লগ ও Cloud Deploy পাইপলাইন চেক করতে ভুলবেন না। ওয়ার্কলোডের জন্য, Cloud Deploy পাইপলাইন হল sample-game-workloads:

ডিপ্লয় করা হয়ে গেলে, Cloud Shell-এ kubectl-এর মাধ্যমে স্ট্যাটাস চেক করুন:

kubectl get pods

কমান্ড আউটপুট

NAME                                    READY   STATUS    RESTARTS   AGE
game-workload-7ff44cb657-pxxq2          1/1     Running   0          12m
item-6b9d5f678c-cr29w                   1/1     Running   0          9m6s
item-generator-7bb4f57cf8-5r85b         1/1     Running   0          12m
matchmaking-5bcf799b76-lg8zf            1/1     Running   0          117m
matchmaking-workload-76df69dbdf-jds9z   1/1     Running   0          12m
profile-565bbf4c65-kphdl                1/1     Running   0          121m
profile-565bbf4c65-xw74j                1/1     Running   0          121m
profile-workload-76d6db675b-kzwng       1/1     Running   0          12m
tradepost-68b87ccd44-gw55r              1/1     Running   0          116m
tradepost-workload-56c55445b5-b5822     1/1     Running   0          12m

তারপর, LoadBalancer কাজ করছে কিনা তা দেখতে ওয়ার্কলোড পরিষেবা চেক করুন:

kubectl get services 

কমান্ড আউটপুট

NAME                   TYPE          CLUSTER-IP  EXTERNAL-IP     PORT(S)        AGE
game-workload          LoadBalancer  *snip*      35.XX.XX.XX   8089:32483/TCP   12m
item                   ClusterIP     *snip*      <none>         80/TCP          121m
item-generator         LoadBalancer  *snip*      34.XX.XX.XX   8089:32581/TCP   12m
kubernetes             ClusterIP     *snip*      <none>          443/TCP        174m
matchmaking            ClusterIP     *snip*      <none>          80/TCP         121m
matchmaking-workload   LoadBalancer  *snip*      34.XX.XX.XX   8089:31735/TCP   12m
profile                ClusterIP     *snip*      <none>          80/TCP         121m
profile-workload       LoadBalancer  *snip*      34.XX.XX.XX   8089:32532/TCP   12m
tradepost              ClusterIP     *snip*      <none>          80/TCP         121m
tradepost-workload     LoadBalancer  *snip*      34.XX.XX.XX   8089:30002/TCP   12m

সারাংশ

আপনি এখন GKE ক্লাস্টারে ওয়ার্কলোড ডিপ্লয় করেছেন। এইসব ওয়ার্কলোডের জন্য কোনও অতিরিক্ত IAM অনুমতির প্রয়োজন হয় না এবং LoadBalancer পরিষেবা ব্যবহার করে পোর্ট ৮০৮৯-এ এক্সটার্নালভাবে অ্যাক্সেস করা যায়।

পরবর্তী ধাপ

ব্যাকএন্ড পরিষেবা ও ওয়ার্কলোড রান করার সাথে সাথে, এবার গেম "খেলার" সময়!

৭. গেমটি খেলা শুরু করুন

এক নজরে

আপনার স্যাম্পেল "গেম"-এর ব্যাকএন্ড পরিষেবা এখন চলছে এবং ওয়ার্কলোড ব্যবহার করে সেইসব পরিষেবার সাথে ইন্টার‍্যাক্ট করা "প্লেয়ার" জেনারেট করার উপায়ও আপনার কাছে আছে।

প্রতিটি ওয়ার্কলোড আমাদের পরিষেবা API-এর বিরুদ্ধে প্রকৃত লোড সিমুলেট করতে Locust ব্যবহার করে। এই ধাপে, আপনি GKE ক্লাস্টার এবং Spanner-এ লোড তৈরি করার পাশাপাশি Spanner-এ ডেটা স্টোর করার জন্য বেশ কয়েকটি ওয়ার্কলোড চালাবেন।

প্রতিটি ওয়ার্কলোডের বিবরণ এখানে দেওয়া হল:

  • item-generator ওয়ার্কলোড হল একটি দ্রুত ওয়ার্কলোড যা game_items-এর একটি তালিকা তৈরি করে যা প্লেয়াররা গেম "খেলার" সময় অর্জন করতে পারে।
  • profile-workload প্লেয়ারদের সাইন-আপ ও লগ-ইন করার সিমুলেশন করে।
  • matchmaking-workload গেমের জন্য অ্যাসাইন করা প্লেয়ারদের কিউ সিমুলেট করে।
  • game-workload গেম খেলার সময় প্লেয়ারদের game_items এবং টাকা পাওয়ার বিষয়টি সিমুলেট করে।
  • tradepost-workload-এ প্লেয়াররা ট্রেডিং পোস্টে আইটেম কেনাবেচা করতে পারেন।

এই কোডল্যাব বিশেষভাবে item-generator এবং profile-workload চালানোর উপর জোর দেবে।

আইটেম-জেনারেটর চালান

item-generator, Spanner-এ game_items যোগ করতে item ব্যাকএন্ড পরিষেবা এন্ডপয়েন্ট ব্যবহার করে। game-workload এবং tradepost-workload সঠিকভাবে কাজ করার জন্য এইসব আইটেম প্রয়োজন।

প্রথম ধাপ হল item-generator পরিষেবার এক্সটার্নাল IP পাওয়া। Cloud Shell-এ, নিম্নলিখিত কমান্ড রান করুন:

# The external IP is the 4th column of the output
kubectl get services | grep item-generator | awk '{print $4}'

কমান্ড আউটপুট

{ITEMGENERATOR_EXTERNAL_IP}

এখন, একটি নতুন ব্রাউজার ট্যাব খুলুন এবং এটি http://{ITEMGENERATOR_EXTERNAL_IP}:8089-এ পয়েন্ট করুন। আপনি এই ধরনের একটি পৃষ্ঠা দেখতে পাবেন:

817307157d66c661.png

আপনি users এবং spawn ডিফল্ট ১-এ ছেড়ে দেবেন। host,-এর জন্য http://item লিখুন। উন্নত বিকল্পে ক্লিক করুন এবং রানিং টাইমের জন্য 10s লিখুন।

কনফিগারেশন কেমন হওয়া উচিত তা এখানে দেওয়া হল:

f3143165c6285c21.png

'সোয়ার্মিং শুরু করুন' বিকল্পে ক্লিক করুন!

POST /items এন্ডপয়েন্টে ইস্যু করা অনুরোধের জন্য পরিসংখ্যান দেখানো শুরু হবে। ১০ সেকেন্ড পরে লোড হওয়া বন্ধ হয়ে যাবে।

Charts-এ ক্লিক করুন এবং আপনি এই অনুরোধগুলির পারফর্ম্যান্সের কিছু গ্রাফ দেখতে পাবেন।

abad0a9f3c165345.png

এখন, আপনি চেক করে দেখতে চান যে ডেটা Spanner ডেটাবেসে এন্টার করা হয়েছে কিনা।

এটি করতে, হ্যামবার্গার মেনুতে ক্লিক করে ‘Spanner' বিকল্পে যান। এই পৃষ্ঠা থেকে, sample-instance এবং sample-database-এ নেভিগেট করুন। তারপর ‘Query' বিকল্পে ক্লিক করুন।

আমরা game_items:-এর সংখ্যা বেছে নিতে চাই

SELECT COUNT(*) FROM game_items;

নিচে, আপনি ফলাফল দেখতে পাবেন।

137ce291a2ff2706.png

আমাদের অনেক game_items সিড করার প্রয়োজন নেই। তবে এখন প্লেয়াররা এগুলি পেতে পারেন!

প্রোফাইল-ওয়ার্কলোড চালান

আপনার game_items সিড করা হয়ে গেলে, পরবর্তী ধাপ হল গেম খেলার জন্য প্লেয়ারদের সাইন-আপ করানো।

profile-workload Locust ব্যবহার করে প্লেয়ারদের অ্যাকাউন্ট তৈরি করা, লগ-ইন করা, প্রোফাইলের তথ্য ফিরিয়ে আনা এবং লগ-আউট করার সিমুলেশন করবে। এইসব টেস্টের মাধ্যমে, সাধারণ প্রোডাকশন-লাইক ওয়ার্কলোডে profile ব্যাকএন্ড পরিষেবার এন্ডপয়েন্ট টেস্ট করা হয়।

এটি চালাতে, profile-workload এক্সটার্নাল IP পান:

# The external IP is the 4th column of the output
kubectl get services | grep profile-workload | awk '{print $4}'

কমান্ড আউটপুট

{PROFILEWORKLOAD_EXTERNAL_IP}

এখন, একটি নতুন ব্রাউজার ট্যাব খুলুন এবং এটি http://{PROFILEWORKLOAD_EXTERNAL_IP}:8089-এ পয়েন্ট করুন। আপনি আগের Locust পৃষ্ঠার মতো একটি পৃষ্ঠা দেখতে পাবেন।

এই ক্ষেত্রে, আপনি হোস্টের জন্য http://profile ব্যবহার করবেন। এবং আপনি উন্নত বিকল্পে রানটাইম নির্দিষ্ট করবেন না। এছাড়াও, users-এর মান ৪ হিসেবে উল্লেখ করুন, যা একবারে ৪টি ব্যবহারকারীর অনুরোধ সিমুলেট করবে।

profile-workload টেস্টটি দেখতে এইরকম হওয়া উচিত:

f6e0f06efb0ad6e.png

'সোয়ার্মিং শুরু করুন' বিকল্পে ক্লিক করুন!

আগের মতোই, বিভিন্ন profile REST এন্ডপয়েন্টের পরিসংখ্যান দেখানো শুরু হবে। সবকিছু কেমন পারফর্ম করছে তা দেখতে চার্টে ক্লিক করুন।

4c2146e1cb3de23e.png

সারাংশ

এই ধাপে, আপনি কিছু game_items জেনারেট করেছেন এবং তারপরে Cloud Console-এ Spanner Query UI ব্যবহার করে game_items টেবিল কোয়েরি করেছেন।

এছাড়াও, আপনি প্লেয়ারদের আপনার গেমে সাইন-আপ করার অনুমতি দিয়েছেন এবং Locust কীভাবে আপনার ব্যাকএন্ড পরিষেবার বিপরীতে প্রোডাকশনের মতো ওয়ার্কলোড তৈরি করতে পারে তা দেখেছেন।

পরবর্তী ধাপ

ওয়ার্কলোড চালানোর পরে, GKE ক্লাস্টার ও Spanner ইনস্ট্যান্স কীভাবে কাজ করছে তা আপনি চেক করতে চাইবেন।

৮. GKE এবং Spanner-এর ব্যবহার পর্যালোচনা করা

প্রোফাইল পরিষেবা চালু হওয়ার পরে, আপনার GKE Autopilot ক্লাস্টার ও Cloud Spanner কীভাবে কাজ করছে তা দেখার সুযোগ নিন।

GKE ক্লাস্টার চেক করুন

Kubernetes ক্লাস্টারে নেভিগেট করুন। লক্ষ্য করুন যে আপনি ওয়ার্কলোড ও পরিষেবা ডিপ্লয় করেছেন বলে, ক্লাস্টারে এখন মোট vCPU ও মেমরি সম্পর্কে কিছু বিবরণ যোগ করা হয়েছে। ক্লাস্টারে কোনও ওয়ার্কলোড না থাকলে এই তথ্য উপলভ্য ছিল না।

61d2d766c1f10079.png

এখন, sample-game-gke ক্লাস্টারে ক্লিক করুন এবং পর্যবেক্ষণযোগ্যতা ট্যাবে পাল্টান:

fa9acc7e26ea04a.png

default kubernetes নেমস্পেসের CPU ব্যবহার kube-system নেমস্পেসের থেকে বেশি হওয়া উচিত, কারণ আমাদের ওয়ার্কলোড এবং ব্যাকএন্ড পরিষেবা default-এ চলে। যদি না হয়ে থাকে, তাহলে profile workload এখনও চলছে কিনা তা নিশ্চিত করুন এবং চার্ট আপডেট হওয়ার জন্য কয়েক মিনিট অপেক্ষা করুন।

কোন ওয়ার্কলোড সবচেয়ে বেশি রিসোর্স ব্যবহার করছে তা দেখতে, Workloads ড্যাশবোর্ডে যান।

প্রতিটি ওয়ার্কলোড আলাদাভাবে দেখার পরিবর্তে, সরাসরি ড্যাশবোর্ডের 'পর্যবেক্ষণযোগ্যতা' ট্যাবে যান। আপনি দেখতে পাবেন যে profile এবং profile-workload CPU-এর ব্যবহার বেড়েছে।

f194b618969cfa9e.png

এখন, Cloud Spanner-এ গিয়ে চেক করুন।

Cloud Spanner ইনস্ট্যান্স চেক করুন

Cloud Spanner-এর পারফর্ম্যান্স চেক করতে, Spanner-এ নেভিগেট করুন এবং sample-instance ইনস্ট্যান্স ও sample-game ডেটাবেসে ক্লিক করুন।

সেখান থেকে, আপনি বাঁদিকের মেনুতে একটি সিস্টেম ইনসাইট ট্যাব দেখতে পাবেন:

216212182a57dfd1.png

CPU utilization, transaction latency and locking ও query throughput সহ আপনার Spanner ইনস্ট্যান্সের সাধারণ পারফর্ম্যান্স বুঝতে সাহায্য করার জন্য এখানে অনেক চার্ট আছে।

সিস্টেম ইনসাইট ছাড়াও, আপনি পর্যবেক্ষণযোগ্যতা বিভাগের অন্যান্য লিঙ্কগুলি দেখে কোয়েরি ওয়ার্কলোড সম্পর্কে আরও বিস্তারিত তথ্য পেতে পারেন:

  • কোয়েরি ইনসাইট Spanner-এ রিসোর্স ব্যবহার করে topN কোয়েরি শনাক্ত করতে সাহায্য করে।
  • ট্রানজ্যাকশন ও লক ইনসাইট বেশি লেটেন্সি সহ ট্রানজ্যাকশন শনাক্ত করতে সাহায্য করে।
  • Key Visualizer অ্যাক্সেস প্যাটার্ন ভিজ্যুয়ালাইজ করতে সাহায্য করে এবং ডেটাতে হটস্পট ট্র্যাক করতে সাহায্য করতে পারে।

সারাংশ

এই ধাপে, আপনি GKE Autopilot এবং Spanner, উভয়ের জন্য কিছু প্রাথমিক পারফর্ম্যান্স মেট্রিক কীভাবে চেক করতে হয় তা শিখেছেন।

যেমন, আপনার প্রোফাইল ওয়ার্কলোড রান করার সময়, সেখানে স্টোর করা ডেটা সম্পর্কে আরও তথ্য পেতে প্লেয়ার টেবিল কোয়েরি করুন।

পরবর্তী ধাপ

এরপর, পরিষ্কার করার সময় এসে গেছে!

৯. ক্লিন-আপ করা হচ্ছে

ক্লিন-আপ করার আগে, কভার করা হয়নি এমন অন্যান্য ওয়ার্কলোড এক্সপ্লোর করতে দ্বিধা করবেন না। বিশেষত matchmaking-workload, game-workload এবং tradepost-workload।

গেম "খেলা" হয়ে গেলে, আপনি খেলার জায়গা পরিষ্কার করতে পারবেন। তবে এটি করা খুবই সহজ।

প্রথমে, আপনার profile-workload এখনও ব্রাউজারে রান করলে, সেখানে গিয়ে সেটি বন্ধ করুন:

13ae755a11f3228.png

আপনি পরীক্ষা করে দেখেছেন এমন প্রতিটি ওয়ার্কলোডের জন্য একই কাজ করুন।

তারপর Cloud Shell-এ, ইনফ্রাস্ট্রাকচার ফোল্ডারে নেভিগেট করুন। আপনি টেরাফর্ম ব্যবহার করে ইনফ্রাস্ট্রাকচার destroy করবেন:

cd $DEMO_HOME/infrastructure
terraform destroy
# type 'yes' when asked

কমান্ড আউটপুট

Plan: 0 to add, 0 to change, 46 to destroy.

Do you really want to destroy all resources?
  Terraform will destroy all your managed infrastructure, as shown above.
  There is no undo. Only 'yes' will be accepted to confirm.

  Enter a value: yes

*snip*

Destroy complete! Resources: 46 destroyed.

Cloud Console-এ, সব রিসোর্স সরানো হয়েছে কিনা তা যাচাই করতে Spanner, Kubernetes Cluster, Artifact Registry, Cloud Deploy এবং IAM-এ নেভিগেট করুন।

১০. অভিনন্দন!

অভিনন্দন, আপনি GKE Autopilot-এ স্যাম্পেল golang অ্যাপ্লিকেশন সফলভাবে ডিপ্লয় করেছেন এবং Workload Identity ব্যবহার করে Cloud Spanner-এর সাথে কানেক্ট করেছেন!

বোনাস হিসেবে, Terraform ব্যবহার করে এই ইনফ্রাস্ট্রাকচার সহজেই সেট-আপ করা এবং বারবার ব্যবহার করা যায় এমনভাবে সরানো হয়েছে।

এই কোডল্যাবে আপনি যেসব Google Cloud পরিষেবার সাথে ইন্টার‍্যাক্ট করেছেন, সেই সম্পর্কে আরও পড়তে পারবেন:

এরপরে কী?

GKE Autopilot এবং Cloud Spanner কীভাবে একসাথে কাজ করতে পারে সে সম্পর্কে এখন আপনার প্রাথমিক ধারণা আছে, তাহলে পরবর্তী পদক্ষেপ গ্রহণ করে এই পরিষেবাগুলির সাথে কাজ করার জন্য আপনার নিজস্ব অ্যাপ্লিকেশন তৈরি করা শুরু করুন।