الدرس التطبيقي حول الترميز الخاص بالتنقل في واجهة المستخدم في BigQuery واستكشاف البيانات

1. مقدمة

‫BigQuery هو مستودع بيانات يعمل بدون خادم ويتّسم بإمكانية التوسع بشكل كبير وفعاليته من حيث التكلفة. ما عليك سوى نقل بياناتك إلى BigQuery، وسنتولّى نحن العمل الشاق لتتمكّن من التركيز على ما يهمّك حقًا، أي إدارة نشاطك التجاري. يمكنك التحكّم في إمكانية الوصول إلى كلّ من المشروع وبياناتك استنادًا إلى احتياجات نشاطك التجاري، مثل منح الآخرين إذنًا بعرض بياناتك أو طلبها.

في هذا التمرين العملي، ستتعرّف على الإمكانات التحليلية في BigQuery. ستتعرّف على كيفية استيراد مجموعة بيانات من حزمة Google Cloud Storage، وستفهم واجهة مستخدم BigQuery من خلال العمل مع مجموعة بيانات خاصة بالخدمات المصرفية للأفراد. بالإضافة إلى ذلك، سيعلّمك هذا المختبر كيفية الكشف عن الميزات الرئيسية في BigQuery التي تسهّل عليك عملية التحليل اليومي، مثل تصدير نتائج طلبات البحث في جدول بيانات، وعرض طلبات البحث وتشغيلها من سجلّ طلبات البحث، وعرض أداء طلبات البحث، وإنشاء طرق عرض الجداول لاستخدامها من قِبل فِرق وأقسام أخرى.

ما ستتعلمه

في هذه الميزة الاختبارية، ستتعرّف على كيفية تنفيذ المهام التالية:

• تحميل بيانات جديدة إلى BigQuery
• التعرّف على واجهة مستخدم BigQuery
• تنفيذ طلبات البحث في BigQuery
• عرض أداء طلبات البحث
• إنشاء طرق عرض في BigQuery
• مشاركة مجموعات البيانات مع الآخرين بأمان

2. مقدمة: فهم واجهة مستخدم BigQuery

في هذا القسم، ستتعرّف على كيفية التنقّل في واجهة مستخدم BigQuery وعرض مجموعات البيانات المتاحة وتنفيذ طلب بحث بسيط.

جارٍ تحميل واجهة مستخدم BigQuery

1. اكتب "BigQuery" في أعلى "وحدة تحكّم Google Cloud Platform".
2. اختَر BigQuery من قائمة الخيارات. احرص على اختيار الخيار الذي يتضمّن شعار BigQuery، أي العدسة المكبرة.

عرض مجموعات البيانات وتنفيذ طلبات البحث

1. في اللوحة اليمنى ضمن قسم "الموارد"، انقر على مشروع BigQuery.
2. انقر على bq_demo لعرض الجداول في مجموعة البيانات هذه
3. في مربّع "الكتابة للبحث"، اكتب "بطاقة" للاطّلاع على قائمة بالجداول ومجموعات البيانات التي تتضمّن كلمة "بطاقة" في اسمها.
4. اختَر جدول "card_transactions" من قائمة نتائج البحث.

5. انقر على علامة التبويب "التفاصيل" ضمن اللوحة card_transactions لعرض البيانات الوصفية لهذا الجدول.
6. انقر على علامة التبويب "معاينة" للاطّلاع على معاينة للجدول

[نقطة تنافسية]: يعني التكامل مع "كتالوج بيانات Google" أنّه يمكن إدارة البيانات الوصفية في BigQuery مع مصادر البيانات الأخرى، مثل مستودعات البيانات أو مصادر بيانات التشغيل. هذا مثال واحد يوضّح أنّ Google Cloud ليس مجرّد مستودع بيانات علائقية، بل هو منصة كاملة للبيانات التحليلية.

7. انقر على رمز العدسة المكبّرة للاستعلام عن جدول "card_transactions". سيتم ملء محرِّر طلبات البحث في BigQuery بنص تم إنشاؤه تلقائيًا.
8. أدخِل الرمز أدناه لنعرض لك تجّارًا مختلفين من جدول Card_Transactions

SELECT distinct (merchant) FROM bq_demo.card_transactions LIMIT 1000

9. انقر على الزر "تشغيل" لتنفيذ طلب البحث.

3- إنشاء مجموعات بيانات ومشاركة طرق العرض

تُعدّ مشاركة البيانات وإدارتها أمرًا بالغ الأهمية، ويمكن إجراء ذلك بشكلٍ سهل في واجهة مستخدم BigQuery. في هذا القسم، ستتعرّف على كيفية إنشاء مجموعة بيانات جديدة وتعبئتها بعرض ومشاركة مجموعة البيانات هذه.

عرض سجلّ الطلبات

1. انقر على "سجلّ طلبات البحث" في اللوحة اليمنى من وحدة تحكّم Google Cloud Platform
2. انقر على "إعادة تحميل" في جزء "محفوظات الاستعلام".
3. انقر على رمز تنزيل الصورة/السهم في أقصى يسار الطلب لعرض نتائج الطلب.

إنشاء مجموعة بيانات جديدة

1. اختَر [اسم مشروعك] في لوحة الموارد ضمن واجهة مستخدم BigQuery.
2. اختَر "إنشاء مجموعة بيانات جديدة" من لوحة معلومات المشروع
3. بالنسبة إلى معرّف مجموعة البيانات:

bq_demo_shared

4. اترك جميع الحقول الأخرى على الإعدادات التلقائية
5. انقر على "إنشاء مجموعة بيانات".

إنشاء "طرق عرض"

[نقطة تفوّق تنافسية]: يتوافق BigQuery تمامًا مع معيار ANSI SQL ويتيح عمليات الربط البسيطة والمعقّدة بين جداول متعددة، بالإضافة إلى دوال تحليلية متقدّمة. لقد طرحنا باستمرار ميزات محسّنة لتوفير الدعم لأنواع بيانات SQL الشائعة والدوال المستخدَمة في مستودعات البيانات التقليدية لتسهيل عملية نقل البيانات.

1. انقر على "إنشاء طلب بحث جديد" في أعلى لوحة "محرّر طلبات البحث".
2. أدخِل الرمز التالي في محرّر طلب البحث

WITH revenue_by_month AS (
SELECT
    card.type AS card_type,
    FORMAT_DATE('%Y-%m', trans_date) as revenue_date,
    SUM(amount) as revenue
FROM bq_demo.card_transactions
JOIN bq_demo.card ON card_transactions.cc_number = card.card_number
WHERE trans_date  DATE_ADD(CURRENT_DATE, INTERVAL -1 YEAR)
GROUP BY card_type, revenue_date
)
SELECT
    card_type,
    revenue_date,
    revenue as monthly_rev,
    revenue -  LAG(revenue) OVER (ORDER BY card_type, revenue_date ASC) as rev_change
FROM revenue_by_month
ORDER BY card_type, revenue_date ASC;

3. انقر على "حفظ العرض".
4. اختَر مشروعك الحالي في "اسم المشروع"
5. اختَر مجموعة البيانات التي تم إنشاؤها حديثًا:

bq_demo_shared

6. بالنسبة إلى اسم الجدول:

rev_change_by_card_type

7. انقر على "حفظ".

مشاركة طرق العرض ومجموعات البيانات

1. اختَر مجموعة البيانات "bq_demo_shared" من جزء الموارد الأيمن في واجهة مستخدم BigQuery.
2. انقر على "مشاركة مجموعة البيانات" من لوحة معلومات مجموعة البيانات
3. أدخِل عنوان بريد إلكتروني
4. اختَر "مُشاهد البيانات في BigQuery" من القائمة المنسدلة "الدور".
5. انقر على "إضافة"
6. انقر على "تم".

"استكشاف البيانات" في "جداول بيانات Google"

[نقطة تنافسية]: من المزايا الأخرى التي تقدّمها BigQuery مقارنةً بمنافسيها هي BI Engine. يمكن استخدام BI Engine لجعل طلبات البحث الموجزة من نوع "ذكاء الأعمال" تعرض النتائج في أقل من ثانية واحدة من خلال محرّك التخزين المؤقت في الذاكرة. تتيح Google Data Studio حاليًا هذه الميزة، ولكن ستتوفّر قريبًا لتسريع جميع طلبات البحث في BigQuery.

على سبيل المثال:

تعتمد Snowflake على أدوات ذكاء الأعمال التابعة لجهات خارجية لإنشاء لوحات البيانات والتمثيل البصري للبيانات، بينما تقدّم Google Cloud Platform مجموعة من أدوات ذكاء الأعمال المدمَجة، بما في ذلك "أوراق البيانات المرتبطة" و"مركز البيانات" وLooker.

1. اختَر العرض "rev_change_by_card_type" من جزء الموارد الأيمن في واجهة مستخدم BigQuery.
2. انقر على رمز العدسة المكبّرة للاستعلام عن طريقة العرض
3. النوع:

SELECT *

FROM bq_demo_shared.rev_change_by_card_type

4. انقر على "تشغيل".
5. انقر على رمز "تصدير" من لوحة النتائج
6. اختَر "استكشاف البيانات باستخدام جداول بيانات Google".

7. انقر على"بدء التحليل"
8. اختَر "جدول محوري".
9. اختَر "ورقة بيانات جديدة".
10. انقر على "إنشاء"
11. أضِف "revenue_date" ضمن قسم "الصف" في "محرِّر الجدول المحوري" على يسار نافذة "جداول بيانات Google"
12. أضِف "card_type" ضمن قسم "العمود" في "محرِّر الجدول المحوري".
13. أضِف "monthly_rev" ضمن قسم "العمود" في "محرِّر الجدول المحوري".
14. النقر على "تطبيق"

15. انتقِل إلى شريط الأدوات العلوي في واجهة مستخدم "جداول بيانات Google" وانقر على "إدراج" "مخطط".

4. الإعداد: دمج البيانات

في هذا القسم، ستتعرّف على كيفية إنشاء جدول جديد وتنفيذ عمليات JOIN على إحدى مجموعات البيانات العامة العديدة المتوفرة على Google Cloud.

[Competitive Talking Point]:

تتيح BigQuery مشاركة مجموعات البيانات منذ سنوات. يمكن للعملاء في أي مشروع الاستعلام عن مجموعات البيانات العامة ومجموعات البيانات في مشاريع أخرى تمت مشاركتها معهم.

يمكن أن يتيح BigQuery استخدام مستودعات البيانات في "خدمة التخزين السحابي من Google" من خلال استخدام الجداول الخارجية. بالإضافة إلى التحميل المجمّع، تتيح BigQuery إمكانية بث البيانات إلى قاعدة البيانات بمعدّلات تصل إلى مئات الميجابايت في الثانية. لا تتوافق Snowflake مع بيانات البث.

استيراد البيانات إلى جدول جديد

1. في لوحة الموارد، اختَر مجموعة بيانات bq_demo.
2. في لوحة معلومات مجموعة البيانات، انقر على "إنشاء جدول".
3. اختَر Google Cloud Storage كمصدر
4. في مربّع النص الخاص بمسار الملف:

gs://retail-banking-looker/district

5. اختَر CSV لتنسيق الملف
6. أدخِل "district" في حقل "اسم الجدول".
7. ضَع علامة في مربّع الاختيار "الاكتشاف التلقائي للمخطط".
8. انقر على "إنشاء جدول".

طلب البحث في مجموعة بيانات عامة

1. في محرّر طلب البحث، أدخِل طلب البحث التالي:

SELECT
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    housing_units,
    vacant_housing_units_for_sale,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    ROUND(SAFE_DIVIDE(bachelors_degree_or_higher_25_64, pop_25_64),4) AS rate_bachelors_degree_or_higher_25_64
  FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`;

2. انقر على "تشغيل".
3. عرض النتائج

4. الآن، سندمج هذه البيانات العامة مع طلب بحث آخر. أدخِل رمز SQL التالي في "محرّر طلب البحث":

WITH customer_counts AS (
    select regexp_extract(address, "[0-9][0-9][0-9][0-9][0-9]") as zip_code, 
    count(*) as num_clients
    FROM bq_demo.client
    GROUP BY zip_code
    )
SELECT 
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    num_clients
FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`
JOIN customer_counts on zip_code = geo_id
ORDER BY num_clients DESC

5. انقر على "تشغيل".
6. عرض النتائج

5- إدارة السعة

التعامل مع الفترات الزمنية والحجوزات

توفّر BigQuery نماذج أسعار متعددة لتلبية احتياجاتك. يستفيد معظم العملاء الكبار بشكل أساسي من السعر الثابت للحصول على أسعار يمكن توقّعها مع سعة محجوزة. لزيادة السعة الأساسية، يوفّر BigQuery مساحات مرنة تتيح لك زيادة السعة الإضافية أثناء التنفيذ ثم تقليلها تلقائيًا بدون التأثير في طلبات البحث الجارية. تتضمّن BQ أيضًا نموذج مسح ضوئي للبايتات يتيح لك الدفع مقابل الاستعلامات التي تنفّذها فقط.

[نقطة تنافسية: يعمل بعض المنافسين حصريًا على نموذج السعة الثابتة حيث يتعيّن على العملاء تخصيص مستودع بيانات افتراضي لكل عبء عمل في مؤسستهم. بالإضافة إلى نموذج منخفض التكلفة لكل طلب بحث يسهّل بدء استخدام BigQuery، نتيح نموذج تسعير ثابتًا للسعة يمكن فيه مشاركة السعة غير المستخدَمة بين مجموعة من أحمال العمل.]

1. انتقِل إلى علامة التبويب "الحجوزات".

2. انقر على "شراء مساحات إعلانية".

3. اختَر "مرن" كمدة.
4. اختَر 500 خانة.
5. أكِّد عملية الشراء.

6. انقر على "عرض التزامات الفتحات".
7. انقر على "إنشاء حجز".
8. المستخدم "تجريبي" كاسم للحجز
9. اختَر الولايات المتحدة كموقع جغرافي
10. اكتب 500 للمواعيد (كل المواعيد المتاحة)
11. انقر على "المهام"
12. اختيار المشروع الحالي لمشروع المؤسسة
13. اختَر "تجريبي" لمعرّف الحجز
14. انقر على "إنشاء".