1. ভূমিকা
এই কোডল্যাবে আপনি শিখবেন কিভাবে AlloyDB Omni স্থাপন করতে হয় এবং ক্যোয়ারির কর্মক্ষমতা উন্নত করতে কলামার ইঞ্জিন ব্যবহার করতে হয়।
![7da257ba067ed1b1.png - [অনলাইন].](https://codelabs.developers.google.cn/static/alloydb-omni-columnar/img/7da257ba067ed1b1.png?hl=bn)
পূর্বশর্ত
- গুগল ক্লাউড, কনসোল সম্পর্কে প্রাথমিক ধারণা
- কমান্ড লাইন ইন্টারফেস এবং গুগল শেলের মৌলিক দক্ষতা
তুমি কি শিখবে
- গুগল ক্লাউডে GCE VM-এ AlloyDB Omni কীভাবে স্থাপন করবেন
- AlloyDB Omni-এর সাথে কীভাবে সংযোগ করবেন
- AlloyDB Omni তে ডেটা কীভাবে লোড করবেন
- কলামার ইঞ্জিন কীভাবে সক্ষম করবেন
- স্বয়ংক্রিয় মোডে কলামার ইঞ্জিন কীভাবে পরীক্ষা করবেন
- কলামার স্টোর ম্যানুয়ালি কীভাবে পূরণ করবেন
তোমার যা লাগবে
- একটি গুগল ক্লাউড অ্যাকাউন্ট এবং গুগল ক্লাউড প্রকল্প
- ক্রোমের মতো একটি ওয়েব ব্রাউজার
2. সেটআপ এবং প্রয়োজনীয়তা
স্ব-গতিসম্পন্ন পরিবেশ সেটআপ
- গুগল ক্লাউড কনসোলে সাইন-ইন করুন এবং একটি নতুন প্রকল্প তৈরি করুন অথবা বিদ্যমান একটি পুনরায় ব্যবহার করুন। যদি আপনার ইতিমধ্যেই একটি জিমেইল বা গুগল ওয়ার্কস্পেস অ্যাকাউন্ট না থাকে, তাহলে আপনাকে অবশ্যই একটি তৈরি করতে হবে।
- এই প্রকল্পের অংশগ্রহণকারীদের জন্য প্রজেক্টের নামটি প্রদর্শন করা হবে। এটি একটি অক্ষর স্ট্রিং যা Google API গুলি ব্যবহার করে না। আপনি যেকোনো সময় এটি আপডেট করতে পারেন।
- সমস্ত Google ক্লাউড প্রোজেক্টে প্রোজেক্ট আইডি অনন্য এবং অপরিবর্তনীয় (সেট করার পরে এটি পরিবর্তন করা যাবে না)। ক্লাউড কনসোল স্বয়ংক্রিয়ভাবে একটি অনন্য স্ট্রিং তৈরি করে; সাধারণত আপনি এটি কী তা নিয়ে চিন্তা করেন না। বেশিরভাগ কোডল্যাবে, আপনাকে আপনার প্রোজেক্ট আইডি (সাধারণত
PROJECT_IDহিসাবে চিহ্নিত) উল্লেখ করতে হবে। যদি আপনি জেনারেট করা আইডি পছন্দ না করেন, তাহলে আপনি অন্য একটি র্যান্ডম তৈরি করতে পারেন। বিকল্পভাবে, আপনি নিজের চেষ্টা করে দেখতে পারেন, এবং এটি উপলব্ধ কিনা তা দেখতে পারেন। এই ধাপের পরে এটি পরিবর্তন করা যাবে না এবং প্রকল্পের সময়কালের জন্য থাকবে। - আপনার তথ্যের জন্য, তৃতীয় একটি মান আছে, একটি Project Number , যা কিছু API ব্যবহার করে। ডকুমেন্টেশনে এই তিনটি মান সম্পর্কে আরও জানুন।
- এরপর, ক্লাউড রিসোর্স/API ব্যবহার করার জন্য আপনাকে ক্লাউড কনসোলে বিলিং সক্ষম করতে হবে। এই কোডল্যাবটি চালানোর জন্য খুব বেশি খরচ হবে না, এমনকি কিছু খরচও হবে না। এই টিউটোরিয়ালের বাইরে বিলিং এড়াতে রিসোর্স বন্ধ করতে, আপনি আপনার তৈরি রিসোর্সগুলি মুছে ফেলতে পারেন অথবা প্রকল্পটি মুছে ফেলতে পারেন। নতুন গুগল ক্লাউড ব্যবহারকারীরা $300 USD ফ্রি ট্রায়াল প্রোগ্রামের জন্য যোগ্য।
ক্লাউড শেল শুরু করুন
যদিও গুগল ক্লাউড আপনার ল্যাপটপ থেকে দূরবর্তীভাবে পরিচালিত হতে পারে, এই কোডল্যাবে আপনি গুগল ক্লাউড শেল ব্যবহার করবেন, যা ক্লাউডে চলমান একটি কমান্ড লাইন পরিবেশ।
গুগল ক্লাউড কনসোল থেকে, উপরের ডানদিকের টুলবারে ক্লাউড শেল আইকনে ক্লিক করুন:
পরিবেশের সাথে সংযোগ স্থাপন এবং সংযোগ স্থাপন করতে মাত্র কয়েক মুহূর্ত সময় লাগবে। এটি সম্পন্ন হলে, আপনি এরকম কিছু দেখতে পাবেন:
এই ভার্চুয়াল মেশিনটিতে আপনার প্রয়োজনীয় সকল ডেভেলপমেন্ট টুল রয়েছে। এটি একটি স্থায়ী ৫ জিবি হোম ডিরেক্টরি অফার করে এবং গুগল ক্লাউডে চলে, যা নেটওয়ার্ক কর্মক্ষমতা এবং প্রমাণীকরণকে ব্যাপকভাবে উন্নত করে। এই কোডল্যাবে আপনার সমস্ত কাজ একটি ব্রাউজারেই করা যেতে পারে। আপনাকে কিছু ইনস্টল করার প্রয়োজন নেই।
৩. শুরু করার আগে
API সক্ষম করুন
আউটপুট:
ক্লাউড শেলের ভিতরে, নিশ্চিত করুন যে আপনার প্রোজেক্ট আইডি সেটআপ করা আছে:
PROJECT_ID=$(gcloud config get-value project)
echo $PROJECT_ID
যদি এটি ক্লাউড শেল কনফিগারেশনে সংজ্ঞায়িত না থাকে তবে নিম্নলিখিত কমান্ড ব্যবহার করে এটি সেট আপ করুন
export PROJECT_ID=<your project>
gcloud config set project $PROJECT_ID
সমস্ত প্রয়োজনীয় পরিষেবা সক্ষম করুন:
gcloud services enable compute.googleapis.com
প্রত্যাশিত আউটপুট
student@cloudshell:~ (test-project-001-402417)$ PROJECT_ID=$(gcloud config get-value project) Your active configuration is: [cloudshell-14650] student@cloudshell:~ (test-project-001-402417)$ gcloud config set project test-project-001-402417 Updated property [core/project]. student@cloudshell:~ (test-project-001-402417)$ gcloud services enable compute.googleapis.com Operation "operations/acat.p2-4470404856-1f44ebd8-894e-4356-bea7-b84165a57442" finished successfully.
৪. GCE তে AlloyDB Omni স্থাপন করুন
GCE তে AlloyDB Omni স্থাপন করার জন্য আমাদের সামঞ্জস্যপূর্ণ কনফিগারেশন এবং সফ্টওয়্যার সহ একটি ভার্চুয়াল মেশিন প্রস্তুত করতে হবে। ডেবিয়ান ভিত্তিক VM তে AlloyDB Omni কীভাবে স্থাপন করবেন তার একটি উদাহরণ এখানে দেওয়া হল।
একটি GCE VM তৈরি করুন
আমাদের CPU, মেমোরি এবং স্টোরেজের জন্য গ্রহণযোগ্য কনফিগারেশন সহ একটি VM স্থাপন করতে হবে। AlloyDB Omni ডাটাবেস ফাইলগুলিকে সামঞ্জস্য করার জন্য আমরা সিস্টেম ডিস্কের আকার 20 Gb পর্যন্ত বাড়িয়ে ডিফল্ট ডেবিয়ান ইমেজ ব্যবহার করতে যাচ্ছি।
আমরা শুরু করা ক্লাউড শেল অথবা ক্লাউড SDK ইনস্টল করা টার্মিনাল ব্যবহার করতে পারি।
AlloyDB Omni-এর জন্য কুইক স্টার্ট- এ সমস্ত ধাপ বর্ণনা করা হয়েছে।
আপনার স্থাপনার জন্য পরিবেশ ভেরিয়েবল সেট আপ করুন।
export ZONE=us-central1-a
export MACHINE_TYPE=n2-highmem-2
export DISK_SIZE=20
export MACHINE_NAME=omni01
তারপর আমরা GCE VM তৈরি করতে gcloud ব্যবহার করি।
gcloud compute instances create $MACHINE_NAME \
--project=$(gcloud info --format='value(config.project)') \
--zone=$ZONE --machine-type=$MACHINE_TYPE \
--metadata=enable-os-login=true \
--create-disk=auto-delete=yes,boot=yes,size=$DISK_SIZE,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" \
--format="value(name)"),type=pd-ssd
প্রত্যাশিত কনসোল আউটপুট:
gleb@cloudshell:~ (gleb-test-short-001-415614)$ export ZONE=us-central1-a
export MACHINE_TYPE=n2-highmem-2
export DISK_SIZE=20
export MACHINE_NAME=omni01
gleb@cloudshell:~ (gleb-test-short-001-415614)$ gcloud compute instances create $MACHINE_NAME \
--project=$(gcloud info --format='value(config.project)') \
--zone=$ZONE --machine-type=$MACHINE_TYPE \
--metadata=enable-os-login=true \
--create-disk=auto-delete=yes,boot=yes,size=$DISK_SIZE,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" \
--format="value(name)"),type=pd-ssd
Created [https://www.googleapis.com/compute/v1/projects/gleb-test-short-001-415614/zones/us-central1-a/instances/omni01].
WARNING: Some requests generated warnings:
- Disk size: '20 GB' is larger than image size: '10 GB'. You might need to resize the root repartition manually if the operating system does not support automatic resizing. See https://cloud.google.com/compute/docs/disks/add-persistent-disk#resize_pd for details.
NAME: omni01
ZONE: us-central1-a
MACHINE_TYPE: n2-highmem-2
PREEMPTIBLE:
INTERNAL_IP: 10.128.0.3
EXTERNAL_IP: 35.232.157.123
STATUS: RUNNING
gleb@cloudshell:~ (gleb-test-short-001-415614)$
AlloyDB ওমনি ইনস্টল করুন
তৈরি করা VM-এর সাথে সংযোগ করুন:
gcloud compute ssh omni01 --zone $ZONE
প্রত্যাশিত কনসোল আউটপুট:
gleb@cloudshell:~ (gleb-test-short-001-415614)$ gcloud compute ssh omni01 --zone $ZONE Warning: Permanently added 'compute.5615760774496706107' (ECDSA) to the list of known hosts. Linux omni01.us-central1-a.c.gleb-test-short-003-421517.internal 6.1.0-20-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.85-1 (2024-04-11) x86_64 The programs included with the Debian GNU/Linux system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright. Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law. gleb@omni01:~$
আপনার সংযুক্ত টার্মিনালে নিম্নলিখিত কমান্ডটি চালান।
ভিএম-এ ডকার ইনস্টল করুন:
sudo apt update
sudo apt-get -y install docker.io
প্রত্যাশিত কনসোল আউটপুট (সম্পাদিত):
gleb@omni01:~$ sudo apt update sudo apt-get -y install docker.io Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B] Get:5 file:/etc/apt/mirrors/debian-security.list Mirrorlist [39 B] Get:7 https://packages.cloud.google.com/apt google-compute-engine-bookworm-stable InRelease [5146 B] Get:8 https://packages.cloud.google.com/apt cloud-sdk-bookworm InRelease [6406 B] Get:9 https://packages.cloud.google.com/apt google-compute-engine-bookworm-stable/main amd64 Packages [1916 B] Get:2 https://deb.debian.org/debian bookworm InRelease [151 kB] ... Setting up binutils (2.40-2) ... Setting up needrestart (3.6-4+deb12u1) ... Processing triggers for man-db (2.11.2-2) ... Processing triggers for libc-bin (2.36-9+deb12u4) ... gleb@omni01:~$
পোস্টগ্রেস ব্যবহারকারীর জন্য পাসওয়ার্ড নির্ধারণ করুন:
export PGPASSWORD=<your password>
AlloyDB Omni ডেটার জন্য একটি ডিরেক্টরি তৈরি করুন। এটি একটি ঐচ্ছিক কিন্তু প্রস্তাবিত পদ্ধতি। ডিফল্টরূপে ডেটাটি ডকার এফেমেরাল ফাইল সিস্টেম স্তর ব্যবহার করে তৈরি করা হবে এবং ডকার কন্টেইনারটি মুছে ফেলা হলে সবকিছু ধ্বংস হয়ে যাবে। এটি আলাদাভাবে রাখার ফলে আপনি আপনার ডেটা থেকে স্বাধীনভাবে কন্টেইনার পরিচালনা করতে পারবেন এবং ঐচ্ছিকভাবে এটিকে উন্নত IO বৈশিষ্ট্য সহ একটি স্টোরেজে রাখতে পারবেন।
এখানে ব্যবহারকারীর হোম ডিরেক্টরিতে একটি ডিরেক্টরি তৈরি করার একটি কমান্ড দেওয়া হল যেখানে সমস্ত ডেটা স্থাপন করা হবে:
mkdir -p $HOME/alloydb-data
AlloyDB ওমনি কন্টেইনার স্থাপন করুন:
sudo docker run --name my-omni \
-e POSTGRES_PASSWORD=$PGPASSWORD \
-p 5432:5432 \
-v $HOME/alloydb-data:/var/lib/postgresql/data \
-v /dev/shm:/dev/shm \
-d google/alloydbomni
প্রত্যাশিত কনসোল আউটপুট (সম্পাদিত):
gleb@omni01:~$ export PGPASSWORD=StrongPassword gleb@omni01:~$ sudo docker run --name my-omni \ -e POSTGRES_PASSWORD=$PGPASSWORD \ -p 5432:5432 \ -v $HOME/alloydb-data:/var/lib/postgresql/data \ -v /dev/shm:/dev/shm \ -d google/alloydbomni Unable to find image 'google/alloydbomni:latest' locally latest: Pulling from google/alloydbomni 71215d55680c: Pull complete ... 2e0ec3fe1804: Pull complete Digest: sha256:d6b155ea4c7363ef99bf45a9dc988ce5467df5ae8cd3c0f269ae9652dd1982a6 Status: Downloaded newer image for google/alloydbomni:latest 56de4ae0018314093c8b048f69a1e9efe67c6c8117f44c8e1dc829a2d4666cd2 gleb@omni01:~$
VM-তে PostgreSQL ক্লায়েন্ট সফটওয়্যার ইনস্টল করুন (ঐচ্ছিক - এটি ইতিমধ্যেই ইনস্টল করা থাকবে বলে আশা করা হচ্ছে):
sudo apt install -y postgresql-client
প্রত্যাশিত কনসোল আউটপুট:
gleb@omni01:~$ sudo apt install -y postgresql-client Reading package lists... Done Building dependency tree... Done Reading state information... Done postgresql-client is already the newest version (15+248). 0 upgraded, 0 newly installed, 0 to remove and 4 not upgraded.
AlloyDB Omni-এর সাথে সংযোগ করুন:
psql -h localhost -U postgres
প্রত্যাশিত কনসোল আউটপুট:
gleb@omni01:~$ psql -h localhost -U postgres psql (15.6 (Debian 15.6-0+deb12u1), server 15.5) Type "help" for help. postgres=#
AlloyDB Omni থেকে সংযোগ বিচ্ছিন্ন করুন:
exit
প্রত্যাশিত কনসোল আউটপুট:
postgres=# exit gleb@omni01:~$
৫. একটি টেস্ট ডাটাবেস প্রস্তুত করুন
কলামার ইঞ্জিন পরীক্ষা করার জন্য আমাদের একটি ডাটাবেস তৈরি করতে হবে এবং কিছু পরীক্ষার তথ্য দিয়ে এটি পূরণ করতে হবে।
ডাটাবেস তৈরি করুন
AlloyDB Omni VM এর সাথে সংযোগ করুন এবং একটি ডাটাবেস তৈরি করুন
ক্লাউড শেল সেশনে এক্সিকিউট করুন:
gcloud config set project $(gcloud config get-value project)
AlloyDB Omni VM এর সাথে সংযোগ করুন:
ZONE=us-central1-a
gcloud compute ssh omni01 --zone $ZONE
প্রত্যাশিত কনসোল আউটপুট:
student@cloudshell:~ (gleb-test-short-001-416213)$ gcloud config set project $(gcloud config get-value project) Updated property [core/project]. student@cloudshell:~ (gleb-test-short-001-416213)$ ZONE=us-central1-a gcloud compute ssh omni01 --zone $ZONE Linux omni01.us-central1-a.c.gleb-test-short-003-421517.internal 6.1.0-20-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.85-1 (2024-04-11) x86_64 The programs included with the Debian GNU/Linux system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright. Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law. Last login: Mon Mar 4 18:17:55 2024 from 35.237.87.44 student@omni01:~$
প্রতিষ্ঠিত SSH সেশনে এক্সিকিউট করুন:
export PGPASSWORD=<your password>
psql -h localhost -U postgres -c "CREATE DATABASE quickstart_db"
প্রত্যাশিত কনসোল আউটপুট:
student@omni01:~$ psql -h localhost -U postgres -c "CREATE DATABASE quickstart_db" CREATE DATABASE student@omni01:~$
নমুনা তথ্য সহ একটি টেবিল তৈরি করুন
আমাদের পরীক্ষার জন্য আমরা আইওয়াতে লাইসেন্সপ্রাপ্ত বীমা প্রযোজকদের সম্পর্কে পাবলিক ডেটা ব্যবহার করতে যাচ্ছি। আপনি এই ডেটাসেটটি আইওয়া সরকারের ওয়েবসাইটে পেতে পারেন - https://data.iowa.gov/Regulation/Insurance-Producers-Licensed-in-Iowa/n4cc-vqyk/about_data ।
প্রথমে, আমাদের একটি টেবিল তৈরি করতে হবে।
GCE VM-এ এক্সিকিউট করুন:
psql -h localhost -U postgres -d quickstart_db -c "DROP TABLE if exists insurance_producers_licensed_in_iowa;
CREATE TABLE insurance_producers_licensed_in_iowa (
npn int8,
last_name text,
first_name text,
address_line_1 text,
address_line_2 text,
address_line_3 text,
city text,
state text,
zip int4,
firstactivedate timestamp,
expirydate timestamp,
business_phone text,
email text,
physical_location text,
iowaresident text,
loa_has_crop text,
loa_has_surety text,
loa_has_ah text,
loa_has_life text,
loa_has_variable text,
loa_has_personal_lines text,
loa_has_credit text,
loa_has_excess text,
loa_has_property text,
loa_has_casualty text,
loa_has_reciprocal text
);"
প্রত্যাশিত কনসোল আউটপুট:
otochkin@omni01:~$ psql -h localhost -U postgres -d quickstart_db -c "DROP TABLE if exists insurance_producers_licensed_in_iowa;
CREATE TABLE insurance_producers_licensed_in_iowa (
npn int8,
last_name text,
first_name text,
address_line_1 text,
address_line_2 text,
address_line_3 text,
city text,
state text,
zip int4,
firstactivedate timestamp,
expirydate timestamp,
business_phone text,
email text,
physical_location text,
iowaresident text,
loa_has_crop text,
loa_has_surety text,
loa_has_ah text,
loa_has_life text,
loa_has_variable text,
loa_has_personal_lines text,
loa_has_credit text,
loa_has_excess text,
loa_has_property text,
loa_has_casualty text,
loa_has_reciprocal text
);"
NOTICE: table "insurance_producers_licensed_in_iowa" does not exist, skipping
DROP TABLE
CREATE TABLE
otochkin@omni01:~$
টেবিলে ডেটা লোড করুন।
GCE VM-এ এক্সিকিউট করুন:
curl https://data.iowa.gov/api/views/n4cc-vqyk/rows.csv | psql -h localhost -U postgres -d quickstart_db -c "\copy insurance_producers_licensed_in_iowa from stdin csv header"
প্রত্যাশিত কনসোল আউটপুট:
otochkin@omni01:~$ curl https://data.iowa.gov/api/views/n4cc-vqyk/rows.csv | psql -h localhost -U postgres -d quickstart_db -c "\copy insurance_producers_licensed_in_iowa from stdin csv header"
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 39.3M 0 39.3M 0 0 1004k 0 --:--:-- 0:00:40 --:--:-- 1028k
COPY 210898
otochkin@omni01:~$
আমরা আমাদের ডাটাবেসে বীমা উৎপাদকদের সম্পর্কে 210898টি রেকর্ড লোড করেছি এবং কিছু পরীক্ষা করতে পারি।
পরীক্ষামূলক কোয়েরি চালান
psql ব্যবহার করে quickstart_db এর সাথে সংযোগ করুন এবং আমাদের প্রশ্নের জন্য কার্যকর করার সময় পরিমাপ করার জন্য টাইমিং সক্ষম করুন।
GCE VM-এ এক্সিকিউট করুন:
psql -h localhost -U postgres -d quickstart_db
প্রত্যাশিত কনসোল আউটপুট:
student@omni01:~$ psql -h localhost -U postgres -d quickstart_db
psql (13.14 (Debian 13.14-0+deb11u1), server 15.5
WARNING: psql major version 13, server major version 15.
Some psql features might not work.
Type "help" for help.
quickstart_db=#
PSQL সেশনে এক্সিকিউট করুন:
\timing
প্রত্যাশিত কনসোল আউটপুট:
quickstart_db=# \timing Timing is on. quickstart_db=#
দুর্ঘটনা ও স্বাস্থ্য বীমা বিক্রি করে এমন বীমা উৎপাদনকারীর সংখ্যা অনুসারে শীর্ষ ৫টি শহর খুঁজে বের করা যাক এবং যাদের লাইসেন্স কমপক্ষে পরবর্তী ৬ মাসের জন্য বৈধ।
PSQL সেশনে এক্সিকিউট করুন:
SELECT city, count(*)
FROM insurance_producers_licensed_in_iowa
WHERE loa_has_ah ='Yes' and expirydate > now() + interval '6 MONTH'
GROUP BY city ORDER BY count(*) desc limit 5;
প্রত্যাশিত কনসোল আউটপুট:
quickstart_db=# SELECT city, count(*)
FROM insurance_producers_licensed_in_iowa
WHERE loa_has_ah ='Yes' and expirydate > now() + interval '6 MONTH'
GROUP BY city ORDER BY count(*) desc limit 5;
city | count
-------------+-------
TAMPA | 1885
OMAHA | 1656
KANSAS CITY | 1279
AUSTIN | 1254
MIAMI | 1003
(5 rows)
Time: 94.965 ms
নির্ভরযোগ্য কার্যকরকরণ সময় পেতে একটি পরীক্ষামূলক কোয়েরি একাধিকবার চালানো বাঞ্ছনীয়। আমরা দেখতে পাচ্ছি যে ফলাফল ফেরত দিতে গড় সময় প্রায় 94 মিলিসেকেন্ড। নিম্নলিখিত ধাপগুলিতে আমরা AlloyDB কলামার ইঞ্জিন সক্ষম করব এবং দেখব যে এটি কর্মক্ষমতা উন্নত করতে পারে কিনা।
পিএসকিউএল সেশন থেকে প্রস্থান করুন:
exit
৬. কলামার ইঞ্জিন সক্ষম করুন
এখন আমাদের AlloyDB Omni-তে কলামার ইঞ্জিন সক্রিয় করতে হবে।
AlloyDB ওমনি প্যারামিটার আপডেট করুন
আমাদের AlloyDB Omni-এর জন্য "google_columnar_engine.enabled" ইনস্ট্যান্স প্যারামিটারটি "on" এ স্যুইচ করতে হবে এবং এটি পুনরায় চালু করতে হবে।
/var/alloydb/config ডিরেক্টরিতে postgresql.conf আপডেট করুন এবং ইনস্ট্যান্সটি পুনরায় চালু করুন।
GCE VM-এ এক্সিকিউট করুন:
sudo docker exec my-omni /bin/bash -c "echo google_columnar_engine.enabled=true >>/var/lib/postgresql/data/postgresql.conf"
sudo docker exec my-omni /bin/bash -c "echo shared_preload_libraries=\'google_columnar_engine,google_job_scheduler,google_db_advisor,google_storage\' >>/var/lib/postgresql/data/postgresql.conf"
sudo docker stop my-omni
sudo docker start my-omni
প্রত্যাশিত কনসোল আউটপুট:
student@omni01:~$ sudo docker exec my-omni /bin/bash -c "echo google_columnar_engine.enabled=true >>/var/lib/postgresql/data/postgresql.conf" sudo docker exec my-omni /bin/bash -c "echo shared_preload_libraries=\'google_columnar_engine,google_job_scheduler,google_db_advisor,google_storage\' >>/var/lib/postgresql/data/postgresql.conf" sudo docker stop my-omni sudo docker start my-omni my-omni my-omni student@omni01:~$
কলামার ইঞ্জিন যাচাই করুন
psql ব্যবহার করে ডাটাবেসের সাথে সংযোগ করুন এবং কলামার ইঞ্জিন যাচাই করুন।
AlloyDB Omni ডাটাবেসের সাথে সংযোগ করুন
VM SSH সেশনে ডাটাবেসের সাথে সংযোগ করুন:
psql -h localhost -U postgres -d quickstart_db -c "show google_columnar_engine.enabled"
কমান্ডটি সক্রিয় কলামার ইঞ্জিনটি দেখাবে।
প্রত্যাশিত কনসোল আউটপুট:
student@omni01:~$ psql -h localhost -U postgres -d quickstart_db -c "show google_columnar_engine.enabled" google_columnar_engine.enabled -------------------------------- on (1 row)
৭. কর্মক্ষমতা তুলনা
আমরা এখন কলামার ইঞ্জিন স্টোরটি পূরণ করতে পারি এবং কর্মক্ষমতা যাচাই করতে পারি।
স্বয়ংক্রিয় কলামার স্টোর জনসংখ্যা
ডিফল্টরূপে দোকানে কাজ করার কাজ প্রতি ঘন্টায় চলে। অপেক্ষা এড়াতে আমরা এই সময় কমিয়ে ১০ মিনিট করতে যাচ্ছি।
GCE VM-এ এক্সিকিউট করুন:
sudo docker exec my-omni /bin/bash -c "echo google_columnar_engine.auto_columnarization_schedule=\'EVERY 10 MINUTES\' >>/var/lib/postgresql/data/postgresql.conf"
sudo docker stop my-omni
sudo docker start my-omni
এবং এখানে প্রত্যাশিত আউটপুট রয়েছে:
student@omni01:~$ sudo docker exec my-omni /bin/bash -c "echo google_columnar_engine.auto_columnarization_schedule=\'EVERY 5 MINUTES\' >>/var/lib/postgresql/data/postgresql.conf" sudo docker stop my-omni sudo docker start my-omni my-omni my-omni student@omni01:~$
সেটিংস যাচাই করুন
GCE VM-এ এক্সিকিউট করুন:
psql -h localhost -U postgres -d quickstart_db -c "show google_columnar_engine.auto_columnarization_schedule;"
প্রত্যাশিত আউটপুট:
student@omni01:~$ psql -h localhost -U postgres -d quickstart_db -c "show google_columnar_engine.auto_columnarization_schedule;" google_columnar_engine.auto_columnarization_schedule ------------------------------------------------------ EVERY 10 MINUTES (1 row) student@omni01:~$
কলামার স্টোরের জিনিসপত্রগুলো পরীক্ষা করুন। এটি খালি থাকা উচিত।
GCE VM-এ এক্সিকিউট করুন:
psql -h localhost -U postgres -d quickstart_db -c "SELECT database_name, schema_name, relation_name, column_name FROM g_columnar_recommended_columns;"
প্রত্যাশিত আউটপুট:
student@omni01:~$ psql -h localhost -U postgres -d quickstart_db -c "SELECT database_name, schema_name, relation_name, column_name FROM g_columnar_recommended_columns;" database_name | schema_name | relation_name | column_name ---------------+-------------+---------------+------------- (0 rows) student@omni01:~$
ডাটাবেসের সাথে সংযোগ স্থাপন করুন এবং একই কোয়েরি চালান যা আমরা আগে বেশ কয়েকবার সম্পাদন করেছি।
GCE VM-এ এক্সিকিউট করুন:
psql -h localhost -U postgres -d quickstart_db
PSQL সেশনে।
সময় নির্ধারণ সক্ষম করুন
\timing
ক্যোয়ারীটি কয়েকবার চালান:
SELECT city, count(*)
FROM insurance_producers_licensed_in_iowa
WHERE loa_has_ah ='Yes' and expirydate > now() + interval '6 MONTH'
GROUP BY city ORDER BY count(*) desc limit 5;
প্রত্যাশিত আউটপুট:
quickstart_db=# SELECT city, count(*)
FROM insurance_producers_licensed_in_iowa
WHERE loa_has_ah ='Yes' and expirydate > now() + interval '6 MONTH'
GROUP BY city ORDER BY count(*) desc limit 5;
city | count
-------------+-------
TAMPA | 1885
OMAHA | 1656
KANSAS CITY | 1279
AUSTIN | 1254
MIAMI | 1003
(5 rows)
Time: 94.289 ms
quickstart_db=# SELECT city, count(*)
FROM insurance_producers_licensed_in_iowa
WHERE loa_has_ah ='Yes' and expirydate > now() + interval '6 MONTH'
GROUP BY city ORDER BY count(*) desc limit 5;
city | count
-------------+-------
TAMPA | 1885
OMAHA | 1656
KANSAS CITY | 1279
AUSTIN | 1254
MIAMI | 1003
(5 rows)
Time: 94.608 ms
quickstart_db=#
১০ মিনিট অপেক্ষা করুন এবং পরীক্ষা করুন যে insurance_producers_licensed_in_iowa টেবিলের কলামগুলি কলামার স্টোরে পূরণ করা হয়েছে কিনা।
SELECT database_name, schema_name, relation_name, column_name FROM g_columnar_recommended_columns;
প্রত্যাশিত আউটপুট:
quickstart_db=# SELECT database_name, schema_name, relation_name, column_name FROM g_columnar_recommended_columns; database_name | schema_name | relation_name | column_name ---------------+-------------+--------------------------------------+------------- quickstart_db | public | insurance_producers_licensed_in_iowa | city quickstart_db | public | insurance_producers_licensed_in_iowa | expirydate quickstart_db | public | insurance_producers_licensed_in_iowa | loa_has_ah (3 rows) Time: 0.643 ms
এখন আমরা insurance_producers_licensed_in_iowa টেবিলের জন্য আবার কোয়েরি চালাতে পারি এবং দেখতে পারি যে কর্মক্ষমতা উন্নত হয়েছে কিনা।
SELECT city, count(*)
FROM insurance_producers_licensed_in_iowa
WHERE loa_has_ah ='Yes' and expirydate > now() + interval '6 MONTH'
GROUP BY city ORDER BY count(*) desc limit 5;
প্রত্যাশিত আউটপুট:
quickstart_db=# SELECT city, count(*)
FROM insurance_producers_licensed_in_iowa
WHERE loa_has_ah ='Yes' and expirydate > now() + interval '6 MONTH'
GROUP BY city ORDER BY count(*) desc limit 5;
city | count
-------------+-------
TAMPA | 1885
OMAHA | 1656
KANSAS CITY | 1279
AUSTIN | 1254
MIAMI | 1003
(5 rows)
Time: 14.380 ms
quickstart_db=# SELECT city, count(*)
FROM insurance_producers_licensed_in_iowa
WHERE loa_has_ah ='Yes' and expirydate > now() + interval '6 MONTH'
GROUP BY city ORDER BY count(*) desc limit 5;
city | count
-------------+-------
TAMPA | 1885
OMAHA | 1656
KANSAS CITY | 1279
AUSTIN | 1254
MIAMI | 1003
(5 rows)
Time: 13.279 ms
এক্সিকিউশন সময় ৯৪ মিলিসেকেন্ড থেকে কমে ১৪ মিলিসেকেন্ড হয়েছে। যদি আপনি কোনও উন্নতি দেখতে না পান তবে g_columnar_columns ভিউ পরীক্ষা করে কলামগুলি সফলভাবে কলামার স্টোরে পূরণ করা হয়েছে কিনা তা পরীক্ষা করতে পারেন।
SELECT relation_name,column_name,column_type,status,size_in_bytes from g_columnar_columns;
প্রত্যাশিত আউটপুট:
quickstart_db=# select relation_name,column_name,column_type,status,size_in_bytes from g_columnar_columns;
relation_name | column_name | column_type | status | size_in_bytes
--------------------------------------+-------------+-------------+--------+---------------
insurance_producers_licensed_in_iowa | city | text | Usable | 664231
insurance_producers_licensed_in_iowa | expirydate | timestamp | Usable | 212434
insurance_producers_licensed_in_iowa | loa_has_ah | text | Usable | 211734
(3 rows)
এখন আমরা যাচাই করতে পারি যে কোয়েরি এক্সিকিউশন প্ল্যানটি কলামার ইঞ্জিন ব্যবহার করে কিনা।
PSQL সেশনে এক্সিকিউট করুন:
EXPLAIN (ANALYZE,SETTINGS,BUFFERS)
SELECT city, count(*)
FROM insurance_producers_licensed_in_iowa
WHERE loa_has_ah ='Yes' and expirydate > now() + interval '6 MONTH'
GROUP BY city ORDER BY count(*) desc limit 5;
প্রত্যাশিত আউটপুট:
quickstart_db=# EXPLAIN (ANALYZE,SETTINGS,BUFFERS)
SELECT city, count(*)
FROM insurance_producers_licensed_in_iowa
WHERE loa_has_ah ='Yes' and expirydate > now() + interval '6 MONTH'
GROUP BY city ORDER BY count(*) desc limit 5;
QUERY PLAN
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Limit (cost=2279.72..2279.73 rows=5 width=17) (actual time=12.248..12.252 rows=5 loops=1)
-> Sort (cost=2279.72..2292.91 rows=5277 width=17) (actual time=12.246..12.248 rows=5 loops=1)
Sort Key: (count(*)) DESC
Sort Method: top-N heapsort Memory: 25kB
-> HashAggregate (cost=2139.30..2192.07 rows=5277 width=17) (actual time=10.235..11.250 rows=7555 loops=1)
Group Key: city
Batches: 1 Memory Usage: 1169kB
-> Append (cost=20.00..1669.24 rows=94012 width=9) (actual time=10.231..10.233 rows=94286 loops=1)
-> Custom Scan (columnar scan) on insurance_producers_licensed_in_iowa (cost=20.00..1665.22 rows=94011 width=9) (actual time=10.229..10.231 rows=94286 loops=1)
Filter: ((loa_has_ah = 'Yes'::text) AND (expirydate > (now() + '6 mons'::interval)))
Rows Removed by Columnar Filter: 116612
Rows Aggregated by Columnar Scan: 94286
Columnar cache search mode: native
-> Seq Scan on insurance_producers_licensed_in_iowa (cost=0.00..4.02 rows=1 width=9) (never executed)
Filter: ((loa_has_ah = 'Yes'::text) AND (expirydate > (now() + '6 mons'::interval)))
Planning Time: 0.216 ms
Execution Time: 12.353 ms
এবং আমরা দেখতে পাচ্ছি যে business_licenses টেবিল সেগমেন্টে "Seq Scan" অপারেশনটি কখনই কার্যকর করা হয়নি এবং এর পরিবর্তে "কাস্টম স্ক্যান (কলামার স্ক্যান)" ব্যবহার করা হয়েছে। এটি আমাদের প্রতিক্রিয়া সময়কে 94 থেকে 12 ms এ উন্নত করতে সাহায্য করেছে।
যদি আমরা কলামার ইঞ্জিন থেকে স্বয়ংক্রিয়ভাবে পপুলেটেড কন্টেন্ট মুছে ফেলতে চাই, তাহলে আমরা SQL ফাংশন google_columnar_engine_reset_recommendation ব্যবহার করে এটি করতে পারি।
PSQL সেশনে এক্সিকিউট করুন:
SELECT google_columnar_engine_reset_recommendation(drop_columns => true);
এটি পপুলেট করা কলামগুলি সাফ করবে এবং আপনি এটি g_columnar_columns এবং g_columnar_recommended_columns ভিউতে যাচাই করতে পারবেন যেমনটি আগে দেখানো হয়েছিল।
SELECT database_name, schema_name, relation_name, column_name FROM g_columnar_recommended_columns;
SELECT relation_name,column_name,column_type,status,size_in_bytes from g_columnar_columns;
প্রত্যাশিত আউটপুট:
quickstart_db=# SELECT database_name, schema_name, relation_name, column_name FROM g_columnar_recommended_columns; database_name | schema_name | relation_name | column_name ---------------+-------------+---------------+------------- (0 rows) Time: 0.447 ms quickstart_db=# select relation_name,column_name,column_type,status,size_in_bytes from g_columnar_columns; relation_name | column_name | column_type | status | size_in_bytes ---------------+-------------+-------------+--------+--------------- (0 rows) Time: 0.556 ms quickstart_db=#
ম্যানুয়াল কলামার স্টোর জনসংখ্যা
আমরা SQL ফাংশন ব্যবহার করে কলামার ইঞ্জিন স্টোরে ম্যানুয়ালি কলাম যোগ করতে পারি অথবা ইনস্ট্যান্স ফ্ল্যাগে প্রয়োজনীয় এন্টিটি নির্দিষ্ট করতে পারি যাতে ইনস্ট্যান্স শুরু হলে স্বয়ংক্রিয়ভাবে লোড হয়।
google_columnar_engine_add SQL ফাংশন ব্যবহার করে আগের মতো একই কলাম যোগ করা যাক।
PSQL সেশনে এক্সিকিউট করুন:
SELECT google_columnar_engine_add(relation => 'insurance_producers_licensed_in_iowa', columns => 'city,expirydate,loa_has_ah');
এবং আমরা একই g_columnar_columns ভিউ ব্যবহার করে ফলাফল যাচাই করতে পারি:
SELECT relation_name,column_name,column_type,status,size_in_bytes from g_columnar_columns;
প্রত্যাশিত আউটপুট:
quickstart_db=# SELECT relation_name,column_name,column_type,status,size_in_bytes from g_columnar_columns;
relation_name | column_name | column_type | status | size_in_bytes
--------------------------------------+-------------+-------------+--------+---------------
insurance_producers_licensed_in_iowa | city | text | Usable | 664231
insurance_producers_licensed_in_iowa | expirydate | timestamp | Usable | 212434
insurance_producers_licensed_in_iowa | loa_has_ah | text | Usable | 211734
(3 rows)
Time: 0.692 ms
quickstart_db=#
আগের মতো একই কোয়েরি চালিয়ে এবং এক্সিকিউশন প্ল্যান পরীক্ষা করে আপনি কলামার স্টোরটি ব্যবহার করা হয়েছে কিনা তা যাচাই করতে পারেন:
EXPLAIN (ANALYZE,SETTINGS,BUFFERS)
SELECT city, count(*)
FROM insurance_producers_licensed_in_iowa
WHERE loa_has_ah ='Yes' and expirydate > now() + interval '6 MONTH'
GROUP BY city ORDER BY count(*) desc limit 5;
পিএসকিউএল সেশন থেকে প্রস্থান করুন:
exit
যদি আমরা AlloyDB Omni কন্টেইনারটি পুনরায় চালু করি, তাহলে আমরা দেখতে পাব যে সমস্ত কলামার তথ্য হারিয়ে গেছে।
শেল সেশনে এক্সিকিউট করুন:
sudo docker stop my-omni
sudo docker start my-omni
৫-১০ সেকেন্ড অপেক্ষা করুন এবং চালান:
psql -h localhost -U postgres -d quickstart_db -c "SELECT relation_name,column_name,column_type,status,size_in_bytes from g_columnar_columns"
প্রত্যাশিত আউটপুট:
student@omni01:~$ psql -h localhost -U postgres -d quickstart_db -c "SELECT relation_name,column_name,column_type,status,size_in_bytes from g_columnar_columns" relation_name | column_name | column_type | status | size_in_bytes ---------------+-------------+-------------+--------+--------------- (0 rows)
পুনঃসূচনা করার সময় কলামগুলি স্বয়ংক্রিয়ভাবে পুনরায় পূরণ করার জন্য আমরা আমাদের AlloyDB Omni প্যারামিটারগুলিতে ডাটাবেস ফ্ল্যাগ হিসাবে সেগুলি যুক্ত করতে পারি। আমরা google_columnar_engine.relations='quickstart_db.public.insurance_producers_licensed_in_iowa(city,expirydate,loa_has_ah)' ফ্ল্যাগটি যুক্ত করছি এবং কন্টেইনারটি পুনরায় চালু করছি।
শেল সেশনে এক্সিকিউট করুন:
sudo docker exec my-omni /bin/bash -c "echo google_columnar_engine.relations=\'quickstart_db.public.insurance_producers_licensed_in_iowa\(city,expirydate,loa_has_ah\)\' >>/var/lib/postgresql/data/postgresql.conf"
sudo docker stop my-omni
sudo docker start my-omni
এবং এর পরে আমরা দেখতে পাচ্ছি যে স্টার্টআপের পরে কলামগুলি স্বয়ংক্রিয়ভাবে কলামার স্টোরে যুক্ত হয়ে গেছে।
৫-১০ সেকেন্ড অপেক্ষা করুন এবং চালান:
psql -h localhost -U postgres -d quickstart_db -c "SELECT relation_name,column_name,column_type,status,size_in_bytes from g_columnar_columns"
প্রত্যাশিত আউটপুট:
student@omni01:~$ psql -h localhost -U postgres -d quickstart_db -c "SELECT relation_name,column_name,column_type,status,size_in_bytes from g_columnar_columns"
relation_name | column_name | column_type | status | size_in_bytes
--------------------------------------+-------------+-------------+--------+---------------
insurance_producers_licensed_in_iowa | city | text | Usable | 664231
insurance_producers_licensed_in_iowa | expirydate | timestamp | Usable | 212434
insurance_producers_licensed_in_iowa | loa_has_ah | text | Usable | 211734
(3 rows)
৮. পরিবেশ পরিষ্কার করুন
এখন আমরা আমাদের AlloyDB Omni VM ধ্বংস করতে পারি
GCE VM মুছে ফেলুন
ক্লাউড শেলে কার্যকর করুন:
export GCEVM=omni01
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
--zone=$ZONE \
--quiet
প্রত্যাশিত কনসোল আউটপুট:
student@cloudshell:~ (test-project-001-402417)$ export GCEVM=omni01
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
--zone=$ZONE \
--quiet
Deleted
৯. অভিনন্দন
কোডল্যাবটি সম্পন্ন করার জন্য অভিনন্দন।
আমরা যা কভার করেছি
- গুগল ক্লাউডে GCE VM-এ AlloyDB Omni কীভাবে স্থাপন করবেন
- AlloyDB Omni-এর সাথে কীভাবে সংযোগ করবেন
- AlloyDB Omni তে ডেটা কীভাবে লোড করবেন
- কলামার ইঞ্জিন কীভাবে সক্ষম করবেন
- স্বয়ংক্রিয় মোডে কলামার ইঞ্জিন কীভাবে পরীক্ষা করবেন
- কলামার স্টোর ম্যানুয়ালি কীভাবে পূরণ করবেন
কলামার ইঞ্জিনের সাথে কাজ করার বিষয়ে আপনি ডকুমেন্টেশনে আরও পড়তে পারেন।
১০. জরিপ
আউটপুট: