BigQuery এবং Looker ব্যবহার করে Bigtable-এ ক্রেডিট কার্ড লেনদেনের ডেটা বিশ্লেষণ এবং কল্পনা করুন

1. ওভারভিউ

এই কোডল্যাবটি আপনাকে বিগটেবলে লেখা ক্রেডিট কার্ড লেনদেন ডেটার একটি স্ট্রিম বিশ্লেষণ করে নিয়ে যায়। রিয়েল-টাইমে ডেটা এক্সপোর্ট করার জন্য আপনি Bigtable পরিবর্তন স্ট্রিমগুলি BigQuery টেমপ্লেটে কীভাবে ব্যবহার করবেন তা শিখবেন। তারপরে, আপনি পরিবর্তন স্ট্রীম লগ জিজ্ঞাসা করার কৌশল এবং লুকার ব্যবহার করে একটি ড্যাশবোর্ড তৈরি করতে ডেটা কীভাবে পুনরায় ফর্ম্যাট করবেন তা দেখতে পাবেন।

এই কোডল্যাবটি এমন প্রযুক্তিগত ব্যবহারকারীদের জন্য যারা Bigtable এর সাথে পরিচিত, কমান্ড লাইন টুল ব্যবহার করে এবং ইভেন্ট স্ট্রিমিং পরিষেবা।

এই কোডল্যাব আপনাকে দেখায় কিভাবে নিম্নলিখিতগুলি করতে হবে:

• পরিবর্তন স্ট্রীম সক্ষম করে একটি Bigtable টেবিল তৈরি করুন।
• একটি BigQuery ডেটাসেট তৈরি করুন।
• Bigtable change streams to BigQuery.
• BigQuery-এ ইভেন্ট স্ট্রীম জিজ্ঞাসা করুন।
• লুকারের সাথে ইভেন্ট স্ট্রিমটি কল্পনা করুন।

এই চিত্রটি আপনি যে সিস্টেমটি স্থাপন করবেন তার আর্কিটেকচার দেখায়।

2. প্রকল্প সেটআপ

1. Google ক্লাউড কনসোলে, প্রকল্প নির্বাচক পৃষ্ঠায়, একটি Google ক্লাউড প্রকল্প নির্বাচন করুন বা তৈরি করুন ।

দ্রষ্টব্য: আপনি যদি এই পদ্ধতিতে আপনার তৈরি করা সংস্থানগুলি রাখার পরিকল্পনা না করেন তবে একটি বিদ্যমান প্রকল্প নির্বাচন করার পরিবর্তে একটি প্রকল্প তৈরি করুন৷ আপনি এই পদক্ষেপগুলি শেষ করার পরে, আপনি প্রকল্পের সাথে যুক্ত সমস্ত সংস্থান মুছে ফেলতে পারেন।

2. আপনার Google ক্লাউড প্রকল্পের জন্য বিলিং সক্ষম করা আছে তা নিশ্চিত করুন৷
3. Dataflow, Bigtable, BigQuery, Looker, এবং Cloud Storage-এর জন্য প্রয়োজনীয় APIগুলি সক্ষম করতে এই প্রাক-জনবহুল API সক্ষমতা পৃষ্ঠাতে যান।

3. একটি BigQuery ডেটাসেট তৈরি করুন৷

আপনি কোডল্যাবে পরে BigQuery ব্যবহার করে ডেটা বিশ্লেষণ করবেন। আপনার ডেটা পাইপলাইনের আউটপুটের জন্য ডেটাসেট তৈরি করতে এই নির্দেশাবলী অনুসরণ করুন।

1. Google ক্লাউড কনসোলে, BigQuery পৃষ্ঠাতে যান।
2. এক্সপ্লোরার প্যানে, আপনার প্রকল্পের নাম খুঁজুন এবং ওভারফ্লো মেনুতে ক্লিক করুন (প্রকল্প আইডির পাশে তিনটি উল্লম্ব বিন্দু)।
3. ডেটাসেট তৈরি করুন ক্লিক করুন।

4. ডেটাসেট তৈরি করুন প্যানেলে, নিম্নলিখিতগুলি করুন:

• ডেটাসেট আইডির জন্য, bigtable_bigquery_tutorial লিখুন।
• অবশিষ্ট ডিফল্ট সেটিংস যেমন আছে তেমনই রেখে দিন।
• ডেটাসেট তৈরি করুন ক্লিক করুন।

4. একটি পরিবর্তন স্ট্রীম সক্ষম করে একটি Bigtable টেবিল তৈরি করুন৷

Bigtable হল একটি কম লেটেন্সি, অনুভূমিকভাবে মাপযোগ্য NoSQL ডাটাবেস পরিষেবা, এবং এটির জন্য একটি সাধারণ ব্যবহার হল আর্থিক ডেটা পরিবেশন করা। এখানে আপনি একটি টেবিল তৈরি করতে যাচ্ছেন যা ক্রেডিট কার্ডের লেনদেন সংরক্ষণ করতে পারে। Bigtable বিশ্বব্যাপী লেনদেনের উচ্চ থ্রুপুট লেখাগুলি পরিচালনা করতে পারে এবং এমনকি সেই ডেটাটি রিয়েল-টাইম জালিয়াতি সনাক্তকরণের জন্য ব্যবহার করতে পারে৷

1. Google ক্লাউড কনসোলে, Bigtable Instances পৃষ্ঠাতে যান।
2. আপনি এই টিউটোরিয়ালের জন্য যে উদাহরণটি ব্যবহার করছেন তার আইডিতে ক্লিক করুন। যদি আপনার কাছে একটি দৃষ্টান্ত উপলব্ধ না থাকে তবে আপনার কাছাকাছি একটি অঞ্চলে আপনার পছন্দের একটি নাম সহ একটি উদাহরণ তৈরি করুন৷ আপনি অন্য সবকিছুর জন্য ডিফল্ট কনফিগারেশন ব্যবহার করতে পারেন।

3. বাম নেভিগেশন ফলকে, টেবিলে ক্লিক করুন।
4. টেবিল তৈরি করুন ক্লিক করুন।

• টেবিলের retail-database নাম দিন।
• transactions নামে একটি কলাম পরিবার যোগ করুন।
• পরিবর্তন স্ট্রীম সক্ষম করুন নির্বাচন করুন।
• তাদের ডিফল্ট মান সহ আবর্জনা সংগ্রহ নীতি এবং ধরে রাখার সময়কাল ছেড়ে দিন।
• তৈরি করুন ক্লিক করুন।

5. পরিবর্তন স্ট্রীম ক্যাপচার করতে একটি ডেটা পাইপলাইন শুরু করুন৷

বিগটেবলের পারফরম্যান্স পয়েন্ট রিড এবং সারি রেঞ্জ স্ক্যানের জন্য সর্বোত্তম, তবে টেবিল-ওয়াইড অ্যানালিটিক্স পরিবেশন ক্ষমতা এবং CPU সম্পদের উপর চাপ সৃষ্টি করতে পারে। BigQuery টেবিল-ওয়াইড অ্যানালিটিক্সের জন্য দুর্দান্ত, তাই আপনি এখানে যে সমাধানটি ব্যবহার করবেন তা হল দ্বৈত লেখা। এর মানে হল আপনি আপনার ডেটা Bigtable এবং BigQuery-এ লিখবেন যা একটি সাধারণ কৌশল। এর জন্য অতিরিক্ত কোডিংয়ের প্রয়োজন হবে না কারণ আপনি Bigtable change streams to BigQuery ডেটাফ্লো টেমপ্লেটে ব্যবহার করবেন: যখন ডেটা Bigtable-এ লেখা হয়, তখন পাইপলাইন BigQuery-এ একটি পরিবর্তনের রেকর্ড লিখবে। একবার ডেটা BigQuery-এ হয়ে গেলে, আপনি আপনার সম্পূর্ণ ডেটাসেটের উপর অপ্টিমাইজ করা প্রশ্নগুলি সম্পাদন করতে পারেন যা Bigtable-এ আপনার পরিবেশন করা ডেটার কর্মক্ষমতাকে প্রভাবিত করবে না।

1. Bigtable Tables পৃষ্ঠায়, আপনার টেবিল retail-database খুঁজুন।
2. চেঞ্জ স্ট্রিম কলামে, কানেক্ট এ ক্লিক করুন।
3. Dataflow এর সাথে সংযোগ করুন ডায়ালগে, BigQuery নির্বাচন করুন।
4. Dataflow জব তৈরি করুন ক্লিক করুন।
5. প্রদত্ত প্যারামিটার ক্ষেত্রগুলিতে, আপনার পরামিতি মান লিখুন। আপনাকে কোনো ঐচ্ছিক পরামিতি প্রদান করতে হবে না।

• ক্লাউড বিগটেবল অ্যাপ্লিকেশন প্রোফাইল আইডি default সেট করুন।
• bigtable_bigquery_tutorial এ BigQuery ডেটাসেট সেট করুন।

দ্রষ্টব্য: একটি পরিবর্তন স্ট্রীম পড়তে, আপনাকে একক-ক্লাস্টার রাউটিং এর জন্য কনফিগার করা একটি অ্যাপ্লিকেশন প্রোফাইল ব্যবহার করতে হবে। এটি একটি ক্লাস্টার সহ নতুন দৃষ্টান্তের জন্য ডিফল্ট, কিন্তু আপনি যদি একাধিক ক্লাস্টার সহ একটি বিদ্যমান উদাহরণ ব্যবহার করেন তবে আপনাকে এই কোডল্যাবের জন্য একটি অ্যাপ্লিকেশন প্রোফাইল তৈরি করতে হতে পারে।

6. Run job এ ক্লিক করুন।
7. এগিয়ে যাওয়ার আগে কাজের স্থিতি শুরু বা চলমান না হওয়া পর্যন্ত অপেক্ষা করুন। কাজটি সারিবদ্ধ হয়ে গেলে প্রায় পাঁচ মিনিট সময় লাগতে পারে। পৃষ্ঠাটি স্বয়ংক্রিয়ভাবে আপডেট হবে। এই টেমপ্লেটটি একটি স্ট্রিমিং কাজ তৈরি করে, তাই কাজটি ম্যানুয়ালি বন্ধ না হওয়া পর্যন্ত এটি বিগটেবলে লেখা নতুন ডেটা ক্রমাগত প্রক্রিয়া করতে পারে।

6. বিগটেবলে কিছু ডেটা লিখুন

এখন, আপনি আপনার Bigtable টেবিলে ক্রেডিট কার্ড লেনদেনের একটি বছর লিখবেন। এই উদাহরণ ডেটাসেটে ক্রেডিট কার্ড নম্বর, ব্যবসায়ীর নাম এবং আইডি এবং পরিমাণের মতো তথ্য অন্তর্ভুক্ত রয়েছে। একটি প্রকৃত ক্রেডিট কার্ড প্রক্রিয়াকরণ অ্যাপ্লিকেশনে, প্রতিটি লেনদেনের সাথে সাথে এই ডেটাটি আপনার ডাটাবেসে রিয়েল টাইমে স্ট্রিমিং হবে।

1. ক্লাউড কনসোলের উপরের ডানদিকের কোণায় বোতামটি ক্লিক করে ক্লাউড শেল খুলুন।

2. যদি অনুরোধ করা হয়, ক্লাউড শেল অনুমোদন করার জন্য প্রম্পটটি গ্রহণ করুন।
3. ডেটাসেট ডাউনলোড করুন।

gsutil cp gs://cloud-bigtable-public-datasets/change-streams-tutorial/cc-transactions-2023.csv .

4. কমান্ড লাইনে আপনার পরিবেশের ভেরিয়েবল সেট করুন

PROJECT_ID=your-project-id
BIGTABLE_INSTANCE_ID=your-bigtable-instance-id

5. retail-database টেবিলে ক্রেডিট কার্ডের লেনদেনের সংখ্যা লিখতে cbt CLI ব্যবহার করুন।

cbt -instance=$BIGTABLE_INSTANCE_ID -project=$PROJECT_ID import \
retail-database cc-transactions-2023.csv  column-family=transactions

আউটপুট বলবে

Done importing 10000 rows.

7. BigQuery-এ পরিবর্তন লগগুলি দেখুন৷

1. Google ক্লাউড কনসোলে, BigQuery পৃষ্ঠাতে যান।
2. এক্সপ্লোরার প্যানে, আপনার প্রকল্প এবং ডেটাসেট bigtable_bigquery_tutorial প্রসারিত করুন।
3. টেবিল retail-database_changelog ক্লিক করুন। টেবিলটি উপস্থিত না থাকলে আপনাকে ডেটাসেট রিফ্রেশ করতে হতে পারে।
4. পরিবর্তন লগ দেখতে, পূর্বরূপ ক্লিক করুন.

কিছু প্রশ্ন চেষ্টা করে দেখুন

এখন, আপনি কিছু অন্তর্দৃষ্টি পেতে এই ডেটাসেটে কয়েকটি প্রশ্ন চালাতে পারেন। SQL ক্যোয়ারী এখানে দেওয়া আছে, কিন্তু BigQuery ডকুমেন্টেশনের Query a Bigtable চেঞ্জ লগ-এ চেঞ্জলগ ডেটার জন্য কীভাবে প্রশ্ন লিখতে হয় সে সম্পর্কে আরও তথ্য রয়েছে।

একটি লেনদেন দেখুন

একটি নির্দিষ্ট লেনদেনের জন্য ডেটা দেখতে নিম্নলিখিত ক্যোয়ারীটি ব্যবহার করুন৷

SELECT *
FROM `bigtable_bigquery_tutorial.retail-database_changelog`
WHERE row_key="3034-442694-3052#2023-03-03T14:50:46.824Z"

আপনি দেখতে পাবেন যে লেখা প্রতিটি কলাম BigQuery-এ একটি পৃথক সারিতে পরিণত হয়েছে।

প্রতিটি বিভাগে ক্রয়ের সংখ্যা খুঁজুন

প্রতি বিভাগে ক্রয়ের সংখ্যা গণনা করতে নিম্নলিখিত ক্যোয়ারী ব্যবহার করুন।

SELECT value as category, count(*) as `number of sales`
FROM `bigtable_bigquery_tutorial.retail-database_changelog`
WHERE column="category"
GROUP BY category

ডেটা পুনরায় ফর্ম্যাট করুন

প্রতিটি লেনদেনকে একটি একক BigQuery টেবিল সারিতে পুনর্গঠন করতে, আপনি ডেটা পিভট করবেন এবং সেই ফলাফলটিকে একটি নতুন টেবিলে সংরক্ষণ করবেন। এটি অনুসন্ধানের জন্য একটি আরও পরিচালনাযোগ্য বিন্যাস।

CREATE VIEW bigtable_bigquery_tutorial.retail_transactions_view AS (
    SELECT *, parse_numeric(amount) as sales_dollars FROM (
      SELECT row_key, timestamp, column, value
      FROM `bigtable_bigquery_tutorial.retail-database_changelog`
      )
      PIVOT (
      MAX(value)
      FOR column in ("merchant", "amount", "category", "transaction_date")
    )
)

একটি লুকার ড্যাশবোর্ড তৈরি করুন

1. নতুন ভিউ এর বিস্তারিত পৃষ্ঠায় যেতে দেখতে যান ক্লিক করুন।
2. রপ্তানি ক্লিক করুন.
3. এক্সপ্লোর উইথ লুকার স্টুডিও নির্বাচন করুন

8. ড্যাশবোর্ডে চার্ট যোগ করুন

এখন আপনি তথ্যগুলিকে সহজে হজম করতে এবং একটি প্রতিবেদন হিসাবে ভাগ করার জন্য গ্রাফ করতে পারেন৷ আপনি আপনার ড্যাশবোর্ডে তিনটি চার্ট যোগ করবেন:

• সময়ের সাথে লেনদেনের পরিমাণ
• প্রতিটি বণিকের জন্য মোট লেনদেন
• বিভাগ প্রতি লেনদেনের শতাংশ

পৃষ্ঠাটি সেট আপ করুন

1. প্রতিটি বিদ্যমান চার্টে ক্লিক করুন এবং মুছে ফেলতে টিপুন।
2. পৃষ্ঠার ডানদিকে বৈশিষ্ট্য নির্বাচন করুন, যাতে আপনি গ্রাফ ডেটা পরিবর্তন করতে পারেন।

চার্ট যোগ করুন

সময়ের সাথে লেনদেনের পরিমাণ

1. একটি চার্ট যোগ করুন ক্লিক করুন, এবং একটি টাইম সিরিজ চার্ট তৈরি করুন।
2. transaction_date মাত্রা সেট করুন।

নিশ্চিত করুন যে commit_timestamp ব্যবহার করবেন না সেই সময় থেকে যখন ডেটা BigQuery-এ লেখা হয়েছিল এবং সমস্ত সারির জন্য একই হবে।

3. sales_dollars মেট্রিক সেট করুন।

প্রতিটি বণিকের জন্য মোট লেনদেন

1. একটি চার্ট যোগ করুন ক্লিক করুন এবং একটি টেবিল তৈরি করুন।
2. merchant মাত্রা সেট করুন।
3. sales_dollars মেট্রিক সেট করুন

বিভাগ প্রতি লেনদেনের শতাংশ

1. একটি চার্ট যোগ করুন ক্লিক করুন, এবং একটি পাই চার্ট তৈরি করুন।
2. category মাত্রা সেট করুন।
3. sales_dollars মেট্রিক সেট করুন

রিয়েল-টাইম পরিবর্তন দেখুন

কিছু সময় ব্যয় করুন এবং গ্রাফের মানগুলি অন্বেষণ করুন। আপনি টেবিলে নির্দিষ্ট মার্চেন্ট বা টেবিলের নির্দিষ্ট বিভাগগুলিতে ক্লিক করতে পারেন যার ফলে সমস্ত চার্ট সেই নির্দিষ্ট মানগুলিতে ফিল্টার করবে যা আপনাকে আরও অন্তর্দৃষ্টি দেয়। এর পরে, আপনি আরও ডেটা লিখতে পারেন এবং দেখতে পারেন কিভাবে এই গ্রাফটি রিয়েল টাইমে আপডেট হবে।

1. আপনার ক্লাউড শেল এ ফিরে যান।
2. দ্বিতীয় ডেটাসেট ডাউনলোড করুন এবং লিখুন।

gsutil cp gs://cloud-bigtable-public-datasets/change-streams-tutorial/cc-transactions-2024-jan.csv .

cbt -instance=$BIGTABLE_INSTANCE_ID -project=$PROJECT_ID import \
retail-database cc-transactions-2024-jan.csv  column-family=transactions

3. আপনার লুকার ড্যাশবোর্ডে ফিরে যান এবং Ctrl+Shift+E কমান্ড দিয়ে ডেটা রিফ্রেশ করুন বা ভিউ মেনুতে ডেটা রিফ্রেশ করুন ক্লিক করুন। এখন আপনার চার্টে জানুয়ারী 2024 এর ডেটা দেখতে হবে।

গ্রাফ এবং মেট্রিক্সের অনেক বৈচিত্র রয়েছে যা আপনি এর বাইরেও তৈরি করতে পারেন। লুকার ডকুমেন্টেশনে আরও পড়ুন।

9. পরিষ্কার করুন

এই টিউটোরিয়ালে ব্যবহৃত সংস্থানগুলির জন্য আপনার Google ক্লাউড অ্যাকাউন্টে চার্জ এড়াতে, হয় সংস্থানগুলি রয়েছে এমন প্রকল্পটি মুছুন, অথবা প্রকল্পটি রাখুন এবং পৃথক সংস্থানগুলি মুছুন৷

পরিবর্তন স্ট্রীম পাইপলাইন বন্ধ করুন

1. Google ক্লাউড কনসোলে, Dataflow Jobs পৃষ্ঠায় যান।
2. কাজের তালিকা থেকে আপনার স্ট্রিমিং কাজ নির্বাচন করুন।
3. নেভিগেশনে, Stop এ ক্লিক করুন।
4. কাজ বন্ধ করুন ডায়ালগে, বাতিল করুন নির্বাচন করুন এবং তারপরে কাজ বন্ধ করুন ক্লিক করুন।

Bigtable সম্পদ মুছুন

আপনি যদি এই টিউটোরিয়ালের জন্য একটি Bigtable উদাহরণ তৈরি করেন, আপনি এটি মুছে ফেলতে পারেন, অথবা আপনি তৈরি করা টেবিলটি পরিষ্কার করতে পারেন।

1. Google ক্লাউড কনসোলে, Bigtable Instances পৃষ্ঠাতে যান।
2. আপনি এই টিউটোরিয়ালের জন্য যে উদাহরণটি ব্যবহার করছেন তার আইডিতে ক্লিক করুন।
3. বাম নেভিগেশন ফলকে, টেবিলে ক্লিক করুন।
4. retail-database টেবিল খুঁজুন.
5. সম্পাদনা ক্লিক করুন.
6. পরিবর্তন স্ট্রীম সক্ষম করুন সাফ করুন।
7. Save এ ক্লিক করুন।
8. টেবিলের জন্য ওভারফ্লো মেনু খুলুন।
9. মুছুন ক্লিক করুন এবং নিশ্চিত করতে টেবিলের নাম ইনপুট করুন।
10. ঐচ্ছিক: আপনি যদি এই টিউটোরিয়ালটির জন্য একটি নতুন তৈরি করেন তবে উদাহরণটি মুছুন

BigQuery ডেটাসেট মুছুন

1. Google ক্লাউড কনসোলে, BigQuery পৃষ্ঠাতে যান।
2. এক্সপ্লোরার প্যানেলে, dataset bigtable_bigquery_tutorial খুঁজুন এবং এটিতে ক্লিক করুন।
3. মুছুন ক্লিক করুন, মুছুন টাইপ করুন এবং তারপর নিশ্চিত করতে মুছুন ক্লিক করুন।

এরপর কি

• পরিবর্তন স্ট্রীম ডকুমেন্টেশন মাধ্যমে পড়ুন.
• ক্লাউড ফাংশনগুলির সাথে ইভেন্ট চালিত ফাংশন লেখা সম্পর্কে আরও জানুন।