1. מבוא
ב-Codelab הזה תלמדו איך להשתמש ב-BigQuery Graph כדי ליצור תצוגת 360 מעלות של לקוח ומערכת המלצות ל-Cymbal Pets, חברת קמעונאות פיקטיבית. תשתמשו ביכולות של SQL כדי ליצור, לשלוח שאילתות ולנתח נתוני תרשימים ישירות ב-BigQuery, ותשלבו אותם עם חיפוש וקטורי כדי לקבל המלצות מתקדמות למוצרים.
בעזרת BigQuery Graph אתם יכולים ליצור מודל של קשרים בין ישויות הנתונים שלכם (כמו לקוחות, מוצרים והזמנות) בתור תרשים, וכך לענות בקלות על שאלות מורכבות לגבי התנהגות הלקוחות והזיקה שלהם למוצרים.

הפעולות שתבצעו:
- יצירת מערך נתונים וסכימה ב-BigQuery לתרשים של Cymbal Pets
- טעינת נתונים לדוגמה (לקוחות, מוצרים, הזמנות, חנויות) מ-Cloud Storage
- יצירת תרשים מאפיינים ב-BigQuery שמקשר בין הישויות האלה
- הצגה חזותית של היסטוריית הרכישות של הלקוחות באמצעות שאילתות גרף
- בניית מערכת להמלצות על מוצרים באמצעות חיפוש וקטורי
- שיפור ההמלצות באמצעות קשרים בגרף "נקנו ביחד" ודמיון ג'אקארד
הדרישות
- דפדפן אינטרנט כמו Chrome
- פרויקט ב-Google Cloud שהחיוב מופעל בו
שיעור ה-Codelab הזה מיועד למפתחים בכל הרמות, כולל מתחילים.
2. לפני שמתחילים
יצירת פרויקט בענן של Google
- במסוף Google Cloud, בוחרים או יוצרים פרויקט בענן של Google.
- הקפידו לוודא שהחיוב מופעל בפרויקט שלכם ב-Cloud.
הפעלת Cloud Shell
- לוחצים על Activate Cloud Shell בחלק העליון של מסוף Google Cloud.
- אימות:
gcloud auth list
- מאשרים את הפרויקט:
gcloud config get project
- אם צריך, מגדירים אותו:
export PROJECT_ID=<YOUR_PROJECT_ID>
gcloud config set project $PROJECT_ID
הפעלת ממשקי ה-API
מריצים את הפקודה הבאה כדי להפעיל את BigQuery API:
gcloud services enable bigquery.googleapis.com
3. הגדרת הסכימה
קודם כל, צריך ליצור מערך נתונים כדי לאחסן את הטבלאות שקשורות לתרשים ולהגדיר את הסכימה של הצמתים והקצוות.
- ב-Codelab הזה נריץ פקודות SQL. אתם יכולים להריץ את הפקודות האלה ב-BigQuery Studio > עורך SQL, או להשתמש בפקודה
bq queryב-Cloud Shell.
אנחנו נניח שאתם משתמשים בעורך SQL של BigQuery כדי ליהנות מחוויה טובה יותר עם הצהרות create מרובות שורות. - יוצרים את מערך הנתונים
cymbal_pets_demo:
CREATE SCHEMA IF NOT EXISTS cymbal_pets_demo;
- יוצרים את הטבלאות של
order_items,products,orders,stores,customersו-co_related_products_for_angelica. הטבלאות האלה ישמשו כמקור הנתונים של התרשים.
CREATE TABLE IF NOT EXISTS cymbal_pets_demo.order_items
(
order_id INT64,
product_id INT64,
order_item_id INT64,
quantity INT64,
price FLOAT64,
PRIMARY KEY (order_id, product_id, order_item_id) NOT ENFORCED
)
CLUSTER BY order_item_id;
CREATE TABLE IF NOT EXISTS cymbal_pets_demo.products
(
product_id INT64,
product_name STRING,
brand STRING,
category STRING,
subcategory INT64,
animal_type INT64,
search_keywords INT64,
price FLOAT64,
description STRING,
inventory_level INT64,
supplier_id INT64,
average_rating FLOAT64,
uri STRING,
embedding ARRAY<FLOAT64>,
PRIMARY KEY (product_id) NOT ENFORCED
)
CLUSTER BY product_id;
CREATE TABLE IF NOT EXISTS cymbal_pets_demo.orders
(
customer_id INT64,
order_id INT64,
shipping_address_city STRING,
store_id INT64,
order_date STRING,
order_type STRING,
payment_method STRING,
PRIMARY KEY (order_id) NOT ENFORCED
);
CREATE TABLE IF NOT EXISTS cymbal_pets_demo.stores
(
store_id INT64,
store_name STRING,
address_state STRING,
address_city STRING,
latitude FLOAT64,
longitude FLOAT64,
opening_hours STRUCT<Monday STRING, Tuesday STRING, Wednesday STRING, Thursday STRING, Friday STRING, Saturday STRING, Sunday STRING>,
manager_id INT64,
PRIMARY KEY (store_id) NOT ENFORCED
)
CLUSTER BY store_id;
CREATE TABLE IF NOT EXISTS cymbal_pets_demo.customers
(
customer_id INT64,
first_name STRING,
last_name STRING,
email STRING,
gender STRING,
address_city STRING,
address_state STRING,
loyalty_member BOOL,
PRIMARY KEY (customer_id) NOT ENFORCED
)
CLUSTER BY customer_id;
CREATE TABLE IF NOT EXISTS cymbal_pets_demo.co_related_products_for_angelica
(
angelica_product_id INT64,
other_product_id INT64,
co_purchase_count INT64,
jaccard_similarity FLOAT64
);
עכשיו הגדרתם את המבנה של נתוני התרשים.
4. טעינת הנתונים
עכשיו מאכלסים את הטבלאות בנתונים לדוגמה מ-Cloud Storage.
מריצים את הצהרות ה-LOAD DATA הבאות בעורך ה-SQL של BigQuery:
LOAD DATA INTO `cymbal_pets_demo.customers`
FROM FILES (
format = 'AVRO',
uris = ['gs://sample-data-and-media/cymbal-pets/tables/customers/*.avro'],
enable_logical_types = true
);
LOAD DATA INTO `cymbal_pets_demo.order_items`
FROM FILES (
format = 'AVRO',
uris = ['gs://sample-data-and-media/cymbal-pets/tables/order_items/*.avro'],
enable_logical_types = true
);
LOAD DATA INTO `cymbal_pets_demo.orders`
FROM FILES (
format = 'AVRO',
uris = ['gs://sample-data-and-media/cymbal-pets/tables/orders/*.avro'],
enable_logical_types = true
);
-- 1. Create a new partitioned and clustered table from your current data
CREATE TABLE cymbal_pets_demo.orders_temp
PARTITION BY order_date
CLUSTER BY order_id
AS
SELECT
customer_id,
order_id,
shipping_address_city,
store_id,
-- Parse the string to a DATE type. Adjust format string ('%Y-%m-%d') if necessary.
PARSE_DATE('%Y-%m-%d', order_date) AS order_date,
order_type,
payment_method
FROM
cymbal_pets_demo.orders;
-- 2. Drop the original, non-partitioned table
DROP TABLE cymbal_pets_demo.orders;
-- 3. Rename the temporary table to the original table name
ALTER TABLE cymbal_pets_demo.orders_temp RENAME TO orders;
LOAD DATA INTO `cymbal_pets_demo.products`
FROM FILES (
format = 'AVRO',
uris = ['gs://sample-data-and-media/cymbal-pets/tables/products/*.avro'],
enable_logical_types = true
);
LOAD DATA INTO `cymbal_pets_demo.stores`
FROM FILES (
format = 'AVRO',
uris = ['gs://sample-data-and-media/cymbal-pets/tables/stores/*.avro'],
enable_logical_types = true
);
אמור להופיע אישור לכך שהשורות נטענו בכל טבלה.
5. יצירת תרשים המאפיינים
אחרי שהנתונים נטענו, אפשר להגדיר את תרשים הנכס. כך BigQuery יודע אילו טבלאות מייצגות צמתים (ישויות כמו לקוחות, מוצרים) ואילו טבלאות מייצגות קצוות (קשרים כמו "ביקר", "ביצע", "יש לו").

מריצים את הצהרת ה-DDL הבאה:
CREATE OR REPLACE PROPERTY GRAPH cymbal_pets_demo.PetsOrderGraph
NODE TABLES (
cymbal_pets_demo.customers KEY(customer_id) LABEL Customer,
cymbal_pets_demo.products KEY(product_id) LABEL Products,
cymbal_pets_demo.stores KEY(store_id) LABEL Stores,
cymbal_pets_demo.orders KEY(order_id) LABEL Orders
)
EDGE TABLES (
cymbal_pets_demo.orders as customer_to_store_edge
KEY (order_id)
SOURCE KEY (customer_id) references customers(customer_id)
DESTINATION KEY (store_id) references stores(store_id)
LABEL Visited
PROPERTIES ALL COLUMNS,
cymbal_pets_demo.order_items
KEY (order_item_id)
SOURCE KEY (order_id) references orders(order_id)
DESTINATION KEY (product_id) references products(product_id)
LABEL Has
PROPERTIES ALL COLUMNS,
cymbal_pets_demo.orders as customer_to_orders_edge
KEY (order_id)
SOURCE KEY (customer_id) references customers(customer_id)
DESTINATION KEY (order_id) references orders(order_id)
LABEL Placed
PROPERTIES ALL COLUMNS,
cymbal_pets_demo.co_related_products_for_angelica
KEY (angelica_product_id)
SOURCE KEY (angelica_product_id) references products(product_id)
DESTINATION KEY (other_product_id) references products(product_id)
LABEL BoughtTogether
PROPERTIES ALL COLUMNS
);
כך נוצר התרשים PetsOrderGraph שמאפשר לנו לבצע מעברים בתרשים באמצעות האופרטור GRAPH_TABLE.
6. הצגה חזותית של היסטוריית הרכישות של כל הלקוחות
בחלקים של ההמחשה החזותית וההמלצות ב-Codelab הזה, נשתמש בהמחשה החזותית של התרשים המקורי ב-BigQuery Studio. כך אפשר לראות בקלות את תוצאות התרשים.
אפשר גם להציג באופן חזותי ב-BigQuery Graph Notebook באמצעות IPython Magics. אם מוסיפים את פקודת הקסם %%bigquery עם הפונקציה TO_JSON, אפשר להציג את התוצאות באופן חזותי, כמו שמוצג בקטעים הבאים.
נניח שב-Cymbal Pets רוצים לקבל תצוגה חזותית של 360 מעלות של כל הלקוחות והרכישות שהם ביצעו בחלון זמן ספציפי.
מריצים את הקוד הבא בכרטיסייה חדשה של BigQuery Studio:
GRAPH cymbal_pets_demo.PetsOrderGraph
# finds the customer node and then finds all
# the Orders nodes that are connected to that customer through the
# Placed relationship
MATCH (customer:Customer)-[placed:Placed]->(ordr:Orders)-[has:Has]->(product:Products)
# filters the Orders nodes to only include those where the
# order_date is within the last 3 months.
WHERE ordr.order_date >= date('2024-11-27')
# # This line finds all the Products nodes that are connected to the
# # filtered Orders nodes through the Has relationship.
MATCH p=(customer:Customer)-[placed:Placed]->(ordr:Orders)-[has:Has]->(product:Products)
LIMIT 40
RETURN
TO_JSON(p) as paths
כדי להציג את התוצאות באופן חזותי, לוחצים על Graph בחלונית Query results.

7. הצגת היסטוריית הרכישות של אנג'ליקה
נניח שחברת Cymbal Pets רוצה להתעמק בלקוחה בשם Angelica Russell. הם רוצים לנתח את המוצרים שאנג'ליקה קנתה ב-3 החודשים האחרונים, ואת החנויות שבהן היא ביקרה.
GRAPH cymbal_pets_demo.PetsOrderGraph
# finds the customer node with the name "Angelica Russell" and then finds all
# the Orders nodes that are connected to that customer through the
# Placed relationship and all the Products nodes that are connected to the
# filtered Orders nodes through the Has relationship.
MATCH p=(customer:Customer {first_name: 'Angelica', last_name: 'Russell'})-[placed:Placed]->(ordr:Orders)-[has:Has]->(product:Products)
# filters the Orders nodes to only include those where the
# order_date is within the last 3 months.
WHERE ordr.order_date >= date('2024-11-27')
# finds the Stores nodes where Angelica placed order from
MATCH p2=(customer)-[visited:Visited]->(store:Stores)
RETURN
TO_JSON(p) as path, TO_JSON(p2) as path2

8. המלצה על מוצר באמצעות חיפוש וקטורי
חברת Cymbal Pets רוצה להמליץ למיכל על מוצרים על סמך מה שהיא קנתה לאחרונה. אנחנו יכולים להשתמש בחיפוש וקטורי כדי למצוא מוצרים עם הטמעות דומות לרכישות הקודמות שלה.
מריצים את סקריפט ה-SQL הבא בתא חדש ב-Colab. הסקריפט הזה:
- מזהה מוצרים שדנה קנתה לאחרונה.
- משתמש ב-
VECTOR_SEARCHכדי למצוא את 4 המוצרים הדומים ביותר מהטבלהproducts.
הערה: השלב הזה מבוסס על ההנחה שכבר הרצתם את AI.GENERATE_EMBEDDINGS כדי ליצור עמודת הטמעות בטבלת המוצרים.
DECLARE products_bought_by_angelica ARRAY<INT64>;
-- 1. Get IDs of products bought by Angelica
SET products_bought_by_angelica = (
SELECT ARRAY_AGG(product_id) FROM
GRAPH_TABLE(
cymbal_pets_demo.PetsOrderGraph
MATCH (c:Customer {first_name: 'Angelica', last_name: 'Russell'})-[placed:Placed]->(o:Orders)
WHERE o.order_date >= date('2024-11-27')
MATCH (o)-[has_edge:Has]->(p:Products)
RETURN DISTINCT p.product_id as product_id
));
-- 2. Find similar products using vector search
SELECT
query.product_name as AngelicaBought,
base.product_name as RecommendedProducts,
base.category
FROM
VECTOR_SEARCH(
TABLE cymbal_pets_demo.products,
'embedding',
(SELECT * FROM cymbal_pets_demo.products
WHERE product_id IN UNNEST(products_bought_by_angelica)),
'embedding',
top_k => 4)
WHERE query.product_name <> base.product_name;
אמורה להופיע רשימה של מוצרים מומלצים שדומים מבחינה סמנטית למה שאנג'ליקה קנתה.

9. המלצה באמצעות "נקנו ביחד" ודמיון ג'אקארד
שיטה יעילה נוספת להמלצות היא "סינון שיתופי" – המלצה על מוצרים שמשתמשים אחרים קונים לעיתים קרובות ביחד.
כדי למצוא את המוצרים האלה, אנחנו יכולים לעבור על התרשים מלקוח למוצרים שהוא רכש, אחר כך ללקוחות אחרים שרכשו את המוצרים האלה, ולבסוף למוצרים האחרים שהלקוחות האלה רכשו.
איך להתגבר על הטיית פופולריות באמצעות דמיון ג'אקארד
למרות שהמספרים הגולמיים של רכישות משותפות הם שימושיים, הם יכולים להיות מוטים לטובת מוצרים פופולריים. מוצר פופולרי מאוד עשוי להיקנות עם הרבה דברים אחרים, פשוט במקרה.
דמיון ג'אקארד לוקח את ההמלצות צעד אחד קדימה על ידי נרמול של ספירת הרכישות המשותפות. הוא מודד את הדמיון בין שתי קבוצות (במקרה הזה, קבוצות ההזמנות שמכילות כל מוצר).
הנוסחה לחישוב דמיון ג'אקארד היא:
איפה:
- A חיתוך B הוא מספר ההזמנות שמכילות גם את מוצר A וגם את מוצר B (מספר הרכישות המשותפות).
- A הוא המספר הכולל של ההזמנות שמכילות את מוצר A.
- B הוא המספר הכולל של ההזמנות שכוללות את מוצר B.
בדוגמה הבאה, קבוצה א' = {b,c,e,f,g}, קבוצה ב' = {a,d,b,g}, החיתוך שלהן א'⋂ב' = {b,g}, האיחוד שלהן א'⋃ב' = {a,b,c,d,e,f,g}, ולכן הדמיון לפי מדד Jaccard בין א' לב' הוא 2 חלקי 7 = 0.285714

יצירת מועמדים ודירוג מחדש
במערכות המלצות בעולם האמיתי שפועלות על מערכי נתונים עצומים, בדרך כלל לא מעשי לחשב ציוני דמיון מורכבים (כמו Jaccard) לכל זוגות המוצרים האפשריים. במקום זאת, דפוס נפוץ הוא להשתמש בגישה דו-שלבית:
- יצירת מועמדים: משתמשים במדד פשוט ומהיר (כמו ספירה גולמית של רכישות משותפות) כדי לסנן את מרחב החיפוש ולמצוא מספר מועמדים שניתן לנהל (למשל, 10 המובילים).
- דירוג מחדש: החלת מדד מדויק יותר, אבל כבד יותר מבחינה חישובית (כמו דמיון ג'אקארד), כדי לדרג את הקבוצה הקטנה הזו של המועמדים ולבחור את ההמלצות המובילות הסופיות.
ב-Codelab הזה, נפעל לפי התבנית הבאה:
- שלב 1: מריצים שאילתה כדי למצוא את 10 המוצרים המובילים שנרכשו יחד עם כל מוצר, על סמך מספר הרכישות המשותפות הגולמי, ושומרים אותם בטבלה.
- שלב 2: משתמשים בשאילתת גרף כדי לאחזר את המועמדים האלה, מדרגים אותם לפי דמיון ג'אקארד ומחזירים את 3 המובילים.
[!WARNING] חיסרון: סינון לפי מספר גולמי בשלב 1 עלול לגרום לאובדן "אחזור" של רכישות משותפות ספציפיות מאוד אבל בתדירות נמוכה. אם מוצר מסוים דומה מאוד למוצר אחר, אבל שניהם נקנים לעיתים רחוקות, יכול להיות שהוא לא ייכלל ב-10 המועמדים המובילים ויוחמץ.
מריצים את השאילתה הבאה כדי לחשב את מספר הרכישות המשותפות הגולמי ואת דמיון ז'אקאר, ולשמור את 10 המועמדים המובילים לפי מספר גולמי:
CREATE OR REPLACE TABLE cymbal_pets_demo.co_related_products_for_angelica AS
-- Calculate the total number of orders for each product
WITH ProductOrderCounts AS (
SELECT product_id, COUNT(DISTINCT order_id) as total_count
FROM cymbal_pets_demo.order_items
GROUP BY product_id
),
-- Calculate the intersection of each product pairs
CoPurchases AS (
SELECT
angelicaProduct.product_id AS angelica_product_id,
otherProduct.product_id AS other_product_id,
count(DISTINCT otherOrder.order_id) AS co_purchase_count
FROM
GRAPH_TABLE (cymbal_pets_demo.PetsOrderGraph
MATCH (angelica:Customer {first_name: 'Angelica', last_name: 'Russell'})-[:Placed]->(o:Orders)-[:Has]->(angelicaProduct:Products)
WHERE o.order_date >= date('2024-11-27')
WITH angelica, angelicaProduct
MATCH (otherCustomer:Customer)-[:Placed]->(otherOrder:Orders)-[:Has]->(angelicaProduct)
WHERE otherCustomer <> angelica
WITH angelicaProduct, otherOrder
MATCH (otherOrder)-[:HAS]->(otherProduct:Products)
WHERE angelicaProduct <> otherProduct
RETURN angelicaProduct, otherProduct, otherOrder
)
GROUP BY
angelicaProduct.product_id, otherProduct.product_id
)
SELECT * FROM (
SELECT
cp.angelica_product_id,
cp.other_product_id,
cp.co_purchase_count,
-- The Jaccard calculation, which is the intersection of A and B divided by (A + B - intersection)
SAFE_DIVIDE(cp.co_purchase_count, (poc1.total_count + poc2.total_count - cp.co_purchase_count)) AS jaccard_similarity,
ROW_NUMBER() OVER (PARTITION BY cp.angelica_product_id ORDER BY cp.co_purchase_count DESC) AS rn
FROM CoPurchases cp
JOIN ProductOrderCounts poc1 ON cp.angelica_product_id = poc1.product_id
JOIN ProductOrderCounts poc2 ON cp.other_product_id = poc2.product_id
)
WHERE rn <= 10;

מריצים את השאילתה הזו כדי להמליץ על 3 המוצרים המובילים לכל אחת מהרכישות של אנג'ליקה, שמקושרים ישירות דרך הקצה BoughtTogether, ומציגים גם את מספר הרכישות המשותפות וגם את הדמיון של Jaccard:
SELECT * FROM GRAPH_TABLE(
cymbal_pets_demo.PetsOrderGraph
MATCH (customer:Customer {first_name: 'Angelica', last_name: 'Russell'})-[placed:Placed]->(ordr:Orders)
WHERE ordr.order_date >= date('2024-11-27')
MATCH (ordr)-[has:Has]->(product:Products)
MATCH (product)-[bought_together:BoughtTogether]->(recommended_product:Products)
RETURN
product.product_name AS OriginalProduct,
recommended_product.product_name AS Recommended,
bought_together.co_purchase_count AS Strength,
bought_together.jaccard_similarity AS JaccardSimilarity
)
-- Rank product recommendations by Jaccard Similarity
QUALIFY ROW_NUMBER() OVER (PARTITION BY OriginalProduct ORDER BY JaccardSimilarity DESC) <= 3
ORDER BY OriginalProduct;
השאילתה הזו עוברת מ-Customer (לקוח) -> Order (הזמנה) -> Product (מוצר) -> (BoughtTogether) (נקנו ביחד) -> Recommended Product (מוצר מומלץ), מציגה המלצות על סמך התנהגות קנייה קולקטיבית ומאחזרת את ציוני הדמיון שלהם.

10. הסרת המשאבים
כדי להימנע מחיובים מתמשכים בחשבון Google Cloud, מחקו את המשאבים שנוצרו במהלך ה-Codelab הזה.
מוחקים את מערך הנתונים ואת כל הטבלאות:
DROP SCHEMA IF EXISTS cymbal_pets_demo CASCADE;
אם יצרתם פרויקט חדש בשביל ה-Codelab הזה, אתם יכולים גם למחוק את הפרויקט:
gcloud projects delete $PROJECT_ID
11. מזל טוב
מעולה! יצרתם בהצלחה תצוגת 360 מעלות של לקוח ומערכת המלצות באמצעות BigQuery Graph.
מה למדתם
- איך יוצרים תרשים מאפיינים ב-BigQuery.
- איך לטעון נתונים לצמתים ולקצוות של תרשים.
- איך שולחים שאילתות על תבניות של תרשימים באמצעות
GRAPH_TABLEו-MATCH. - איך לשלב שאילתות גרף עם חיפוש וקטורי כדי לקבל המלצות היברידיות.