זיהוי הונאות באמצעות BigQuery Graph

1. מבוא

Marketing Header - Fraud in Fintech

פעילות שמקורה בתרמית כוללת לעיתים קרובות רשתות נסתרות של ישויות מקושרות – לדוגמה, כמה חשבונות שמשתפים את אותה כתובת אימייל, מספר טלפון או כתובת פיזית. במסדי נתונים רלציוניים מסורתיים, יכול להיות קשה לשלוח שאילתות על הקשרים המורכבים האלה עם כמה קפיצות בצורה יעילה.

בעזרת BigQuery Graph אתם יכולים לנתח את הרשתות האלה בקנה מידה נרחב באמצעות מסדי נתונים של תרשימים. אתם יכולים להגדיר תרשים מאפיינים מעל הטבלאות הקיימות ב-BigQuery ולהשתמש ב-Graph Query Language‏ (GQL) כדי למצוא דפוסים בנתונים.

אחד מהשימושים הנפוצים ברשתות גרפים לזיהוי הונאות הוא עצירת הזמנות עם כתובת למשלוח שמשויכת לרשת הונאה, או עצירת תשלומים ששייכים לרשת כזו .

ב-Codelab הזה תבנו פתרון לזיהוי הונאות באמצעות BigQuery Graph. תטענו נתונים מ-Cloud Storage, תיצרו תרשים מאפיינים ותשתמשו בשאילתות של תרשימים כדי לזהות קשרים חשודים.

מה תלמדו

  • איך יוצרים מערך נתונים ב-BigQuery וטוענים נתונים.
  • איך מגדירים תרשים מאפיינים באמצעות DDL.
  • איך שולחים שאילתות לגרף באמצעות GQL.
  • איך משתמשים בניתוח גרפים כדי לזהות הונאות.

הדרישות

  • פרויקט ב-Google Cloud עם חיוב מופעל.
  • סביבת Notebook ב-BigQuery (‏BigQuery Studio או Colab Enterprise).

עלות

ב-Lab הזה משתמשים במשאבים של Google Cloud שניתנים לחיוב. העלות המשוערת היא פחות מ-5$, בהנחה שתמחקו את המשאבים בסיום.

‫2. לפני שמתחילים

בוחרים פרויקט קיים או יוצרים פרויקט חדש ב-Google Cloud.

  1. במסוף Google Cloud, בדף לבחירת הפרויקט בוחרים פרויקט בענן או לוחצים על Create a Google Cloud project.
  2. מוודאים שהחיוב מופעל בפרויקט בענן ב-Google Cloud. איך בודקים אם החיוב מופעל

בחירת הסביבה

כדי להריץ את ה-Lab הזה, תצטרכו סביבת Notebook. אתם יכולים להשתמש ב-BigQuery Studio או ב-Colab Enterprise.

  1. נכנסים לדף BigQuery במסוף Google Cloud.
  2. תשתמשו ב-Python Notebook כדי להריץ את השאילתות של הגרף.

הפעלת Cloud Shell

  1. לוחצים על Activate Cloud Shell בחלק העליון של מסוף Google Cloud.
  2. אימות:
gcloud auth list
  1. מאשרים את הפרויקט:
gcloud config get project
  1. אם צריך, מגדירים אותו:
export PROJECT_ID=<YOUR_PROJECT_ID>
gcloud config set project $PROJECT_ID

הפעלת ממשקי ה-API

מריצים את הפקודה הבאה כדי להפעיל את BigQuery API:

gcloud services enable bigquery.googleapis.com

3. טען נתונים

בשלב הזה תיצרו מערך נתונים ב-BigQuery ותטענו את הנתונים לדוגמה מ-Cloud Storage.

הנתונים לדוגמה מורכבים מכמה קובצי CSV שמייצגים סביבה קמעונאית מדומה:

  • ‫customers.csv: פרטי חשבון הלקוח.
  • emails.csv: כתובות אימייל.
  • ‫phones.csv: מספרי טלפון.
  • ‫addresses.csv: כתובות פיזיות.
  • ‫customer_emails.csv, customer_phones.csv, customer_addresses.csv: קישור טבלאות.
  • ‫orders.csv: היסטוריית ההזמנות, כולל סימוני הונאה.

יצירת מערך הנתונים

יוצרים מערך נתונים בשם fraud_demo שיכיל את הטבלאות.

  1. ב-Codelab הזה נריץ פקודות SQL. אתם יכולים להריץ את הפקודות האלה ב-BigQuery Studio > עורך SQL, או להשתמש בפקודה bq query ב-Cloud Shell. שאילתת SQL חדשהאנחנו נניח שאתם משתמשים בעורך SQL של BigQuery כדי ליהנות מחוויה טובה יותר עם הצהרות create מרובות שורות.
CREATE SCHEMA IF NOT EXISTS `fraud_demo` OPTIONS(location="US");

טעינת טבלאות

מריצים את הצהרות ה-SQL הבאות כדי לטעון נתונים מ-Cloud Storage למערך הנתונים.

LOAD DATA OVERWRITE `fraud_demo.customers`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/customers.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.emails`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/emails.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.phones`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/phones.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.addresses`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/addresses.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.customer_emails`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/customer_emails.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.customer_phones`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/customer_phones.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.customer_addresses`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/customer_addresses.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.orders`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/orders.csv'],
  skip_leading_rows = 1
);

4. יצירת תרשים המאפיינים

עכשיו, כשהנתונים נטענו, אתם יכולים להגדיר את תרשים הנכסים. תרשים מאפיינים מורכב מצמתים (ישויות) ומקצוות (קשרים).

בשיעור ה-Lab הזה, הצמתים הם:

  • לקוח: מייצג את בעל החשבון.
  • טלפון: מייצג מספר טלפון.
  • אימייל: מייצג כתובת אימייל.
  • כתובת: מייצגת כתובת פיזית.

הקצוות הם:

  • OwnsPhone: מקשר בין לקוח לטלפון.
  • OwnsEmail: מקשר בין לקוח לכתובת אימייל.
  • ‫LinkedToAddress: מקשר בין לקוח לכתובת.

יצירת התרשים

מריצים את הצהרת ה-DDL הבאה כדי ליצור את התרשים בשם FraudDemo במערך הנתונים fraud_demo.

CREATE OR REPLACE PROPERTY GRAPH fraud_demo.FraudDemo
  NODE TABLES(
    fraud_demo.customers
      KEY(account_id)
      LABEL Customer PROPERTIES(
        account_id,
        name),

    fraud_demo.emails
      KEY(email)
      LABEL Email PROPERTIES(
        email,
        email_type),

    fraud_demo.phones
      KEY(phone_number)
      LABEL Phone PROPERTIES(
        phone_number,
        phone_type),

    fraud_demo.addresses
      KEY(address)
      LABEL Address PROPERTIES(
        address,
        address_type)
  )
  EDGE TABLES(
    fraud_demo.customer_emails
      KEY(account_id, email)
      SOURCE KEY(account_id) REFERENCES customers(account_id)
      DESTINATION KEY(email) REFERENCES emails(email)
      LABEL OwnsEmail PROPERTIES(
        account_id,
        email,
        last_updated_ts),

    fraud_demo.customer_phones
      KEY(account_id, phone_number)
      SOURCE KEY(account_id) REFERENCES customers(account_id)
      DESTINATION KEY(phone_number) REFERENCES phones(phone_number)
      LABEL OwnsPhone PROPERTIES(
        account_id,
        phone_number,
        last_updated_ts),

    fraud_demo.customer_addresses
      KEY(account_id, address)
      SOURCE KEY(account_id) REFERENCES customers(account_id)
      DESTINATION KEY(address) REFERENCES addresses(address)
      LABEL LinkedToAddress PROPERTIES(
        account_id,
        address,
        last_updated_ts)
  );

5. ניתוח רשתות (2-Hop)

פותחים את New Notebook ב-BigQuery Studio.

יצירת תיקיית Notebook חדשה

בחלקים של ההמחשה החזותית וההמלצות ב-Codelab הזה, נשתמש ב-notebook של Google Colab ב-BigQuery Studio. כך אפשר לראות בקלות את תוצאות התרשים.

מדביקים את הקוד הבא בתא קוד:

!pip install bigquery-magics==0.12.1

‫BigQuery Graph Notebook מוטמע כ-IPython Magics. אם מוסיפים את פקודת הקסם %%bigquery עם הפונקציה TO_JSON, אפשר להציג את התוצאות באופן חזותי, כמו שמוצג בקטעים הבאים. בשלב הזה תריצו שאילתת גרף כדי למצוא קשרים פשוטים בין חשבונות. זו שאילתה של "2 דילוגים" כי היא עוברת 2 דילוגים מצומת התחלה כדי למצוא צמתים קשורים (למשל, לקוח -> אימייל -> לקוח).

נתחיל בבדיקת החשבון של Nicole Wade. אנחנו רוצים למצוא את כל החשבונות שקשורים אליה באמצעות 2 דילוגים.

הרצת השאילתה "2-Hop"

מריצים את השאילתה הבאה ב-notebook.

%%bigquery --graph
GRAPH fraud_demo.FraudDemo
MATCH 
 p=(a:Customer) 
  ( -[e:OwnsEmail|OwnsPhone|LinkedToAddress WHERE e.last_updated_ts < '2025-07-30']- (n) ){2}
WHERE a.account_id IN ("d2f1f992-d116-41b3-955b-6c76a3352657")
  -- Verify the final node in the hop array is a Customer
  AND 'Customer' IN UNNEST(LABELS(n[OFFSET(1)]))

RETURN TO_JSON(p) AS paths

הסבר על התוצאות

השאילתה הזו:

  1. מתחיל בצומת Customer עם account_id "d2f1f992-d116-41b3-955b-6c76a3352657" (ניקול וייד).
  2. עוקב אחרי כל אחד מהקצוות OwnsEmail,‏ OwnsPhone או LinkedToAddress לצומת מקשר (Phone,‏ Email או Address).
  3. עוקב אחר קצוות בחזרה מאותו צומת מקשר לצמתים אחרים של Customer.
  4. מסנן קצוות על סמך חותמת זמן (last_updated_ts) כדי לראות את מצב הרשת בזמן מסוים.

אתם אמורים לראות שZachary Cordova ו-Brenda Brown מקושרים ל-Nicole דרך אותה כתובת.

6. ניתוח רשתות (4-Hop)

בשלב הזה, תרחיבו את השאילתה כדי למצוא קשרים מורכבים יותר. אנחנו נחפש קשרים של 4 דרגות. כך אנחנו יכולים למצוא חשבונות שמקושרים דרך כמה ישויות ביניים (למשל, לקוח א' -> אימייל -> לקוח ב' -> טלפון -> לקוח ג').

אנחנו גם נבחן איך הרשת הזו משתנה לאורך זמן.

המצב "לפני"

קודם נסתכל על הרשת כפי שהייתה ב-30 ביולי 2025.

מריצים את השאילתה הבאה:

%%bigquery --graph
GRAPH fraud_demo.FraudDemo
MATCH p= ANY SHORTEST (a:Customer) 
  ( -[e:OwnsEmail|OwnsPhone|LinkedToAddress WHERE e.last_updated_ts < '2025-07-30']- (n) ){3, 5}(reachable_a:Customer)
WHERE a.account_id IN ("d2f1f992-d116-41b3-955b-6c76a3352657")
  -- Ensure the final node in the dynamic chain is actually a Customer
  AND 'Customer' IN UNNEST(LABELS(n[OFFSET(ARRAY_LENGTH(n) - 1)]))
RETURN 
  TO_JSON(p) AS paths,                   -- Array of all traversed edges
  ARRAY_LENGTH(e) AS hop_count

המצב "אחרי"

עכשיו נראה איך הרשת נראית אחרי שבועיים. נריץ את אותה שאילתה אבל בלי הגבלות התאריכים.

מריצים את השאילתה הבאה:

%%bigquery --graph
GRAPH fraud_demo.FraudDemo
MATCH p= ANY SHORTEST (a:Customer) 
  ( -[e:OwnsEmail|OwnsPhone|LinkedToAddress]- (n) ){3, 5}(reachable_a:Customer)
WHERE a.account_id IN ("d2f1f992-d116-41b3-955b-6c76a3352657")
  -- Ensure the final node in the dynamic chain is actually a Customer
  AND 'Customer' IN UNNEST(LABELS(n[OFFSET(ARRAY_LENGTH(n) - 1)]))

RETURN 
  TO_JSON(p) AS paths,                   -- Array of all traversed edges
  ARRAY_LENGTH(e) AS hop_count

הסבר על התוצאות

אם תסירו את מסנני התאריכים, השאילתה תתבצע על כל קבוצת הנתונים. אתם תראו שהרשת גדלה באופן משמעותי. ניקול וייד היא עכשיו חלק מקבוצה הרבה יותר גדולה ומקושרת. ההתרחבות המהירה הזו של רשת מקושרת היא אינדיקטור חזק לפעילות שמקורה בתרמית, כמו רשת הונאה שמשתפת משאבים לאורך זמן.

7. יצירת דוח הונאה

בשלב הזה תשלבו ניתוח גרפים עם נתונים עסקיים רגילים (הזמנות) כדי ליצור דוח מקיף על הונאות. אתם תזהו חשבונות בסיכון והזמנות שעלולות להיות הונאה.

השאילתה הזו מורכבת יותר. הוא משתמש ב-GRAPH_TABLE כדי להריץ את שאילתת התרשים ב-SQL סטנדרטי, ומחשב את השינוי בגודל הרשת (diff) בין המצבים "לפני" ו "אחרי" שראינו בשלב הקודם.

הרצת השאילתה של דוח ההונאות

מריצים את השאילתה הבאה ב-notebook.

%%bigquery --graph
WITH num_orders AS (
  SELECT account_id, COUNT(1) AS num_order
  FROM fraud_demo.orders
  WHERE order_time > '2025-07-30'
  GROUP BY account_id
),

orders AS (
  SELECT account_id, order_id, fraud, order_total
  FROM fraud_demo.orders
  WHERE order_time > '2025-07-30'
),

-- Use Quantified Path Patterns to find connections up to 4 hops away
latest_connect AS (
  SELECT 
    account_id, 
    ARRAY_LENGTH(ARRAY_AGG(DISTINCT connected_id)) AS size
  FROM GRAPH_TABLE(
    fraud_demo.FraudDemo
    MATCH (a:Customer)-[:OwnsEmail|OwnsPhone|LinkedToAddress]-{4}(connected:Customer)
    RETURN a.account_id AS account_id, connected.account_id AS connected_id
  )
  GROUP BY account_id
),

prev_connect AS (
  SELECT 
    account_id, 
    ARRAY_LENGTH(ARRAY_AGG(DISTINCT connected_id)) AS size
  FROM GRAPH_TABLE(
    fraud_demo.FraudDemo
    -- Apply the timestamp filter to EVERY edge in the 4-hop chain
    MATCH (a:Customer)
          (-[e:OwnsEmail|OwnsPhone|LinkedToAddress WHERE e.last_updated_ts < '2025-07-30']-(n)){4}
    WHERE 'Customer' IN UNNEST(LABELS(n[OFFSET(3)]))
    RETURN a.account_id AS account_id, n[OFFSET(3)].account_id AS connected_id
  )
  GROUP BY account_id
),

edge_changes AS (
  SELECT account_id, MAX(last_updated_ts) AS max_last_updated_ts
  FROM fraud_demo.customer_addresses
  GROUP BY account_id
)

SELECT
    la.account_id,
    o.order_id,
    la.size AS latest_size,
    COALESCE(pa.size, 0) AS previous_size,
    la.size - COALESCE(pa.size, 0) AS diff,
    nos.num_order,
    o.fraud AS reported_as_fraud,
    o.order_total,

    CASE
      WHEN (la.size - COALESCE(pa.size, 0)) > 10 AND nos.num_order IS NULL THEN "CUSTOMER AT RISK"
      WHEN (la.size - COALESCE(pa.size, 0)) > 10 AND nos.num_order IS NOT NULL AND o.fraud THEN "CONFIRMED FRAUD ORDER"
      WHEN (la.size - COALESCE(pa.size, 0)) > 10 AND nos.num_order IS NOT NULL AND NOT o.fraud THEN "POTENTIAL FRAUD ORDER"
      ELSE ""
    END AS notes
FROM latest_connect la
LEFT JOIN prev_connect pa ON la.account_id = pa.account_id
LEFT JOIN num_orders nos ON la.account_id = nos.account_id
LEFT JOIN orders o ON la.account_id = o.account_id
INNER JOIN edge_changes ec ON la.account_id = ec.account_id
WHERE nos.num_order > 1 OR (la.size - COALESCE(pa.size, 0)) > 10
ORDER BY diff DESC

הסבר על התוצאות

הדוח הזה מציג:

  • ‫account_id: המזהה של החשבון שמנתחים.
  • ‫order_id: מזהה הזמנה מהזמן האחרון.
  • ‫latest_size: גודל הרשת המחוברת כיום.
  • ‫previous_size: גודל הרשת לפני שבועיים.
  • ‫diff: הגידול בגודל הרשת.
  • ‫num_order: מספר ההזמנות האחרונות.
  • ‫reported_as_fraud: אם ההזמנה סומנה כהונאה.
  • ‫order_total: הסכום הכולל של ההזמנה.
  • notes: סטטוס סיכון מחושב שמבוסס על צמיחת הרשת והיסטוריית ההזמנות.

יוצגו חשבונות עם ערכי diff גבוהים וסכומי הזמנות גבוהים, שהם מועמדים מובילים לבדיקה נוספת. ההערות "לקוח בסיכון" ו "הזמנה עם פוטנציאל להונאה" עוזרות לתעדף את החשבונות האלה.

8. זיהוי בקנה מידה נרחב

בשלב הניתוח האחרון הזה, תמחישו את הרשת בקנה מידה גדול יותר. במקום להתחיל עם חשבון אחד, תשלחו שאילתה לגבי קשרים בין קבוצה של חשבונות חשודים.

כך אפשר לראות אם כמה חקירות עצמאיות הן למעשה חלק מאותה רשת הונאה גדולה יותר.

הרצת השאילתה המותאמת

מריצים את השאילתה הבאה ב-notebook.

%%bigquery --graph
GRAPH fraud_demo.FraudDemo
MATCH
p= ANY SHORTEST (a:Customer) 
  ( -[e:OwnsEmail|OwnsPhone|LinkedToAddress]- (n) ){3, 5}
(reachable_a:Customer)
-- these IDs are from the previous results
WHERE a.account_id in (   "845f2b14-cd10-4750-9f28-fe542c4a731b"
  , "3ff59684-fbf9-40d7-8c41-285ade5002e6"
  , "8887c17b-e6fb-4b3b-8c62-cb721aafd028"
  , "03e777e5-6fb4-445d-b48c-cf42b7620874"
  , "81629832-eb1d-4a0e-86da-81a198604898"
  , "845f2b14-cd10-4750-9f28-fe542c4a731b",
   "89e9a8fe-ffc4-44eb-8693-a711a3534849"
 )
 LIMIT 400
RETURN TO_JSON(p) as paths

הסבר על התוצאות

השאילתה הזו מחזירה תרשים מורכב שמראה איך החשבונות החשודים שצוינו חופפים ומשתפים משאבים. עכשיו אתם בוחנים זיהוי הונאות בקנה מידה רחב, ומזהים אשכולות של פעילות שעשויים להצדיק תגובה מתואמת.

9. מחיקה

כדי להימנע מחיובים בחשבון Google Cloud על המשאבים שבהם השתמשתם ב-Codelab הזה, אתם צריכים למחוק את מערך הנתונים ואת תרשים המאפיינים.

מריצים את הצהרות ה-SQL הבאות כדי לנקות את הסביבה.

DROP PROPERTY GRAPH IF EXISTS fraud_demo.FraudDemo;
DROP SCHEMA IF EXISTS fraud_demo CASCADE;

10. מזל טוב

מעולה! יצרתם בהצלחה פתרון לזיהוי הונאות באמצעות BigQuery Graph.

במהלך הקורס למדת:

  • לטעון נתונים מ-Cloud Storage ל-BigQuery.
  • הגדרת תרשים מאפיינים באמצעות DDL.
  • שליחת שאילתות לתרשים באמצעות GQL כדי למצוא קשרים פשוטים ומורכבים.
  • שילוב של ניתוח גרפים עם נתונים עסקיים כדי לזהות סיכונים.
  • המחשה חזותית של רשתות בקנה מידה נרחב.

מקורות מידע נוספים