تشخیص کلاهبرداری با BigQuery Graph

۱. مقدمه

Marketing Header - Fraud in Fintech

فعالیت کلاهبردارانه اغلب شامل شبکه‌های پنهان نهادهای مرتبط است—برای مثال، چندین حساب که از نشانی ایمیل، شماره تلفن، یا نشانی فیزیکی یکسانی استفاده می‌کنند. پایگاه‌های داده رابطه‌ای سنتی ممکن است برای پُرسمان کارآمد این روابط پیچیده و چندپرشی با مشکل مواجه شوند.

BigQuery Graph به شما امکان می‌دهد این شبکه‌ها را در مقیاس بزرگ بااستفاده از پایگاه‌های داده گراف تجزیه‌وتحلیل کنید. می‌توانید گراف خصوصیت را روی جدول‌های BigQuery موجود تعریف کنید و از Graph Query Language (GQL) برای پیدا کردن الگوها در داده‌هایتان استفاده کنید.

یک کاربرد رایج شبکه‌های گراف برای تشخیص کلاهبرداری، متوقف کردن سفارش‌هایی است که نشانی تحویل کالا آن‌ها با یک شبکه کلاهبرداری مرتبط است یا متوقف کردن پرداخت‌های متعلق به .

در این codelab، بااستفاده از BigQuery Graph راه‌حل تشخیص کلاهبرداری خواهید ساخت. داده‌ها را از Cloud Storage بار می‌کنید، گراف ویژگی ایجاد می‌کنید، و از پُرسمان‌های گراف برای شناسایی اتصالات مشکوک استفاده می‌کنید.

آنچه خواهید آموخت

  • نحوه ایجاد مجموعه داده BigQuery و بار کردن داده‌ها.
  • نحوه تعریف گراف مشخصه بااستفاده از DDL.
  • نحوه پُرسمان کردن نمودار بااستفاده از GQL.
  • نحوه استفاده از تجزیه‌وتحلیل نمودار برای تشخیص کلاهبرداری.

آنچه نیاز خواهید داشت

  • پروژه Google Cloud با صورت‌حساب فعال.
  • محیط دفتر یادداشت BigQuery (‏BigQuery Studio یا Colab Enterprise).

هزینه

این آزمایشگاه از منابع Google Cloud استفاده می‌کند که قابل‌صورت‌حساب هستند. هزینه تخمینی کمتر از ۵ دلار است، با فرض اینکه منابع را پس‌از تکمیل حذف کنید.

۲. قبل‌از شروع

انتخاب یا ایجاد پروژه Google Cloud

  1. در «کنسول Google Cloud»، در صفحه انتخابگر پروژه، پروژه Google Cloud را انتخاب یا ایجاد کنید.
  2. مطمئن شوید که صورت‌حساب برای پروژه Google Cloud شما فعال باشد. با نحوه بررسی فعال بودن صورت‌حساب آشنا شوید.

محیطتان را انتخاب کنید

برای اجرای این آزمایشگاه به محیط دفتر یادداشت نیاز دارید. می‌توانید از BigQuery Studio یا Colab Enterprise استفاده کنید.

  1. به صفحه BigQuery در «کنسول Google Cloud» بروید.
  2. برای اجرای پُرسمان‌های گراف از دفترچه پایتون استفاده خواهید کرد.

شروع Cloud Shell

  1. روی فعال‌سازی Cloud Shell در بالای کنسول Google Cloud کلیک کنید.
  2. درستی‌سنجی اصالت‌سنجی:
gcloud auth list
  1. پروژه‌تان را تأیید کنید:
gcloud config get project
  1. درصورت نیاز آن را تنظیم کنید:
export PROJECT_ID=<YOUR_PROJECT_ID>
gcloud config set project $PROJECT_ID

فعال کردن میاناهای برنامه‌سازی کاربردی

این فرمان را برای فعال کردن میانای برنامه‌سازی کاربردی BigQuery موردنیاز اجرا کنید:

gcloud services enable bigquery.googleapis.com

۳. بار کردن داده‌ها

در این مرحله، یک مجموعه داده BigQuery ایجاد می‌کنید و داده‌های نمونه را از «فضای ذخیره‌سازی ابری» بار می‌کنید.

داده‌های نمونه شامل چندین فایل CSV است که محیط خرده‌فروشی شبیه‌سازی‌شده‌ای را نشان می‌دهد:

  • ‫customers.csv: اطلاعات حساب مشتری.
  • ‫emails.csv: نشانی‌های ایمیل.
  • ‫phones.csv: شماره تلفن.
  • addresses.csv: نشانی‌های فیزیکی.
  • ‫customer_emails.csv،‏ customer_phones.csv،‏ customer_addresses.csv: پیوند دادن جدول‌ها.
  • orders.csv: سابقه سفارش، ازجمله پرچم‌های کلاهبرداری.

ساختن مجموعه داده

مجموعه داده‌ای به‌نام fraud_demo برای نگهداری جدول‌ها ایجاد کنید.

  1. برای این codelab، فرمان‌های SQL را اجرا خواهیم کرد. می‌توانید این فرمان‌ها را در BigQuery Studio > ویرایشگر SQL اجرا کنید، یا از فرمان bq query در Cloud Shell استفاده کنید. پُرسمان SQL جدیدفرض می‌کنیم که از ویرایشگر BigQuery SQL استفاده می‌کنید تا تجربه بهتری با عبارت‌های ایجاد چندخطی داشته باشید.
CREATE SCHEMA IF NOT EXISTS `fraud_demo` OPTIONS(location="US");

بار کردن جدول‌ها

دستورات SQL زیر را اجرا کنید تا داده‌ها از Cloud Storage در مجموعه داده شما بار شود.

LOAD DATA OVERWRITE `fraud_demo.customers`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/customers.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.emails`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/emails.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.phones`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/phones.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.addresses`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/addresses.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.customer_emails`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/customer_emails.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.customer_phones`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/customer_phones.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.customer_addresses`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/customer_addresses.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.orders`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/orders.csv'],
  skip_leading_rows = 1
);

۴. ایجاد نمودار دارایی

اکنون که داده‌ها بار شده است، می‌توانید نمودار ویژگی را تعریف کنید. گراف ویژگی از گره‌ها (نهادها) و لبه‌ها (روابط) تشکیل شده است.

در این آزمایشگاه، گره‌ها عبارت‌اند از:

  • مشتری: نشان‌دهنده دارنده حساب است.
  • تلفن: نشان‌دهنده شماره تلفن است.
  • ایمیل: نشان‌دهنده نشانی ایمیل است.
  • نشانی: نشان‌دهنده نشانی فیزیکی است.

لبه‌ها عبارت‌اند از:

  • OwnsPhone: مشتری را به تلفن متصل می‌کند.
  • OwnsEmail: «مشتری» را به «ایمیل» متصل می‌کند.
  • LinkedToAddress: «مشتری» را به «نشانی» متصل می‌کند.

ایجاد نمودار

دستور DDL زیر را اجرا کنید تا گراف با نام FraudDemo در مجموعه داده fraud_demo ایجاد شود.

CREATE OR REPLACE PROPERTY GRAPH fraud_demo.FraudDemo
  NODE TABLES(
    fraud_demo.customers
      KEY(account_id)
      LABEL Customer PROPERTIES(
        account_id,
        name),

    fraud_demo.emails
      KEY(email)
      LABEL Email PROPERTIES(
        email,
        email_type),

    fraud_demo.phones
      KEY(phone_number)
      LABEL Phone PROPERTIES(
        phone_number,
        phone_type),

    fraud_demo.addresses
      KEY(address)
      LABEL Address PROPERTIES(
        address,
        address_type)
  )
  EDGE TABLES(
    fraud_demo.customer_emails
      KEY(account_id, email)
      SOURCE KEY(account_id) REFERENCES customers(account_id)
      DESTINATION KEY(email) REFERENCES emails(email)
      LABEL OwnsEmail PROPERTIES(
        account_id,
        email,
        last_updated_ts),

    fraud_demo.customer_phones
      KEY(account_id, phone_number)
      SOURCE KEY(account_id) REFERENCES customers(account_id)
      DESTINATION KEY(phone_number) REFERENCES phones(phone_number)
      LABEL OwnsPhone PROPERTIES(
        account_id,
        phone_number,
        last_updated_ts),

    fraud_demo.customer_addresses
      KEY(account_id, address)
      SOURCE KEY(account_id) REFERENCES customers(account_id)
      DESTINATION KEY(address) REFERENCES addresses(address)
      LABEL LinkedToAddress PROPERTIES(
        account_id,
        address,
        last_updated_ts)
  );

۵. تحلیل شبکه‌ها (۲-پرش)

دفتر یادداشت جدید را در BigQuery Studio باز کنید.

ایجاد دفترچه جدید

برای بخش‌های دیداری‌سازی و توصیه این codelab، از دفتر یادداشت Google Colab در BigQuery Studio استفاده خواهیم کرد. این کار به ما امکان می‌دهد نتایج نمودار را به‌راحتی تجسم کنیم.

کد زیر را در سلول کد جای‌گذاری کنید:

!pip install bigquery-magics==0.12.1

BigQuery Graph Notebook به‌عنوان IPython Magics پیاده‌سازی شده است. با افزودن فرمان جادویی %%bigquery با تابع TO_JSON، می‌توانید نتایج را همان‌طور که در بخش‌های زیر نشان داده شده است تجسم کنید. در این مرحله، پُرسمان نموداری را اجرا خواهید کرد تا ارتباطات ساده بین حساب‌ها را پیدا کنید. این یک پُرسمان «۲-پرشی» است زیرا برای پیدا کردن گره‌های مرتبط، ۲ پرش از گره شروع انجام می‌دهد (مثلاً، مشتری -> ایمیل -> مشتری).

با بررسی حساب متعلق به Nicole Wade شروع می‌کنیم. می‌خواهیم همه حساب‌های مرتبط با او را ازطریق ۲ پرش پیدا کنیم.

اجرای پُرسمان ۲-پرشی

پُرسمان زیر را در دفتر یادداشتتان اجرا کنید.

%%bigquery --graph
GRAPH fraud_demo.FraudDemo
MATCH 
 p=(a:Customer) 
  ( -[e:OwnsEmail|OwnsPhone|LinkedToAddress WHERE e.last_updated_ts < '2025-07-30']- (n) ){2}
WHERE a.account_id IN ("d2f1f992-d116-41b3-955b-6c76a3352657")
  -- Verify the final node in the hop array is a Customer
  AND 'Customer' IN UNNEST(LABELS(n[OFFSET(1)]))

RETURN TO_JSON(p) AS paths

فهمیدن نتایج

این پُرسمان:

  1. از گره Customer با account_id «d2f1f992-d116-41b3-955b-6c76a3352657» (Nicole Wade) شروع می‌شود.
  2. هریک از لبه‌های OwnsEmail، OwnsPhone، یا LinkedToAddress را به گره متصل‌کننده (Phone، Email، یا Address) دنبال می‌کند.
  3. لبه‌ها را از آن گره متصل‌کننده به گره‌های Customer دیگر دنبال می‌کند.
  4. یال‌ها را براساس مُهر زمان (last_updated_ts) فیلتر می‌کند تا وضعیت شبکه را در زمان خاصی نشان دهد.

باید ببینید که Zachary Cordova و Brenda Brown ازطریق نشانی یکسانی به Nicole متصل هستند.

‫۶. تحلیل شبکه‌ها (۴-پرش)

در این مرحله، پُرسمان را گسترش خواهید داد تا روابط پیچیده‌تری را پیدا کنید. ما به‌دنبال اتصالات ۴-پرشی خواهیم بود. این کار به ما امکان می‌دهد حساب‌هایی را که ازطریق چندین نهاد واسطه به هم متصل شده‌اند پیدا کنیم (برای مثال، مشتری الف -> ایمیل -> مشتری ب -> تلفن -> مشتری پ).

همچنین نحوه تغییر این شبکه را درطول زمان مشاهده خواهیم کرد.

وضعیت «قبل»

ابتدا، بیایید به شبکه همان‌طور که در ۳۰ ژوئیه ۲۰۲۵ وجود داشت نگاه کنیم.

پُرسمان زیر را اجرا کنید:

%%bigquery --graph
GRAPH fraud_demo.FraudDemo
MATCH p= ANY SHORTEST (a:Customer) 
  ( -[e:OwnsEmail|OwnsPhone|LinkedToAddress WHERE e.last_updated_ts < '2025-07-30']- (n) ){3, 5}(reachable_a:Customer)
WHERE a.account_id IN ("d2f1f992-d116-41b3-955b-6c76a3352657")
  -- Ensure the final node in the dynamic chain is actually a Customer
  AND 'Customer' IN UNNEST(LABELS(n[OFFSET(ARRAY_LENGTH(n) - 1)]))
RETURN 
  TO_JSON(p) AS paths,                   -- Array of all traversed edges
  ARRAY_LENGTH(e) AS hop_count

وضعیت «بعد»

اکنون، بیایید ببینیم شبکه ۲ هفته بعد چگونه به‌نظر می‌رسد. همان پُرسمان را اما بدون محدودیت‌های تاریخ اجرا خواهیم کرد.

پُرسمان زیر را اجرا کنید:

%%bigquery --graph
GRAPH fraud_demo.FraudDemo
MATCH p= ANY SHORTEST (a:Customer) 
  ( -[e:OwnsEmail|OwnsPhone|LinkedToAddress]- (n) ){3, 5}(reachable_a:Customer)
WHERE a.account_id IN ("d2f1f992-d116-41b3-955b-6c76a3352657")
  -- Ensure the final node in the dynamic chain is actually a Customer
  AND 'Customer' IN UNNEST(LABELS(n[OFFSET(ARRAY_LENGTH(n) - 1)]))

RETURN 
  TO_JSON(p) AS paths,                   -- Array of all traversed edges
  ARRAY_LENGTH(e) AS hop_count

فهمیدن نتایج

با برداشتن فیلترهای تاریخ، از کل مجموعه داده پرسمان می‌کنید. متوجه خواهید شد که شبکه به‌طور قابل‌توجهی رشد کرده است. نیکول وید اکنون بخشی از گروهی بسیار بزرگ‌تر و بسیار مرتبط است. این گسترش سریع شبکه متصل نشانگر قوی فعالیت کلاهبردارانه احتمالی است، مانند یک حلقه کلاهبرداری که منابع را درطول زمان هم‌رسانی می‌کند.

‫۷. تولید گزارش کلاهبرداری

در این مرحله، تجزیه‌وتحلیل نمودار را با داده‌های کسب‌وکار سنتی (سفارش‌ها) ترکیب می‌کنید تا گزارش کلاهبرداری جامعی تولید کنید. حساب‌های درمعرض خطر و سفارش‌های کلاهبردارانه احتمالی را شناسایی خواهید کرد.

این پُرسمان پیچیده‌تر است. این پرس‌وجو از GRAPH_TABLE برای اجرای پُرسمان گراف در SQL استاندارد استفاده می‌کند و تغییر در اندازه شبکه (diff) را بین حالت‌های «قبل» و «بعد» که در مرحله قبلی مشاهده کردیم محاسبه می‌کند.

اجرای پُرسمان گزارش کلاهبرداری

پُرسمان زیر را در دفتر یادداشتتان اجرا کنید.

%%bigquery --graph
WITH num_orders AS (
  SELECT account_id, COUNT(1) AS num_order
  FROM fraud_demo.orders
  WHERE order_time > '2025-07-30'
  GROUP BY account_id
),

orders AS (
  SELECT account_id, order_id, fraud, order_total
  FROM fraud_demo.orders
  WHERE order_time > '2025-07-30'
),

-- Use Quantified Path Patterns to find connections up to 4 hops away
latest_connect AS (
  SELECT 
    account_id, 
    ARRAY_LENGTH(ARRAY_AGG(DISTINCT connected_id)) AS size
  FROM GRAPH_TABLE(
    fraud_demo.FraudDemo
    MATCH (a:Customer)-[:OwnsEmail|OwnsPhone|LinkedToAddress]-{4}(connected:Customer)
    RETURN a.account_id AS account_id, connected.account_id AS connected_id
  )
  GROUP BY account_id
),

prev_connect AS (
  SELECT 
    account_id, 
    ARRAY_LENGTH(ARRAY_AGG(DISTINCT connected_id)) AS size
  FROM GRAPH_TABLE(
    fraud_demo.FraudDemo
    -- Apply the timestamp filter to EVERY edge in the 4-hop chain
    MATCH (a:Customer)
          (-[e:OwnsEmail|OwnsPhone|LinkedToAddress WHERE e.last_updated_ts < '2025-07-30']-(n)){4}
    WHERE 'Customer' IN UNNEST(LABELS(n[OFFSET(3)]))
    RETURN a.account_id AS account_id, n[OFFSET(3)].account_id AS connected_id
  )
  GROUP BY account_id
),

edge_changes AS (
  SELECT account_id, MAX(last_updated_ts) AS max_last_updated_ts
  FROM fraud_demo.customer_addresses
  GROUP BY account_id
)

SELECT
    la.account_id,
    o.order_id,
    la.size AS latest_size,
    COALESCE(pa.size, 0) AS previous_size,
    la.size - COALESCE(pa.size, 0) AS diff,
    nos.num_order,
    o.fraud AS reported_as_fraud,
    o.order_total,

    CASE
      WHEN (la.size - COALESCE(pa.size, 0)) > 10 AND nos.num_order IS NULL THEN "CUSTOMER AT RISK"
      WHEN (la.size - COALESCE(pa.size, 0)) > 10 AND nos.num_order IS NOT NULL AND o.fraud THEN "CONFIRMED FRAUD ORDER"
      WHEN (la.size - COALESCE(pa.size, 0)) > 10 AND nos.num_order IS NOT NULL AND NOT o.fraud THEN "POTENTIAL FRAUD ORDER"
      ELSE ""
    END AS notes
FROM latest_connect la
LEFT JOIN prev_connect pa ON la.account_id = pa.account_id
LEFT JOIN num_orders nos ON la.account_id = nos.account_id
LEFT JOIN orders o ON la.account_id = o.account_id
INNER JOIN edge_changes ec ON la.account_id = ec.account_id
WHERE nos.num_order > 1 OR (la.size - COALESCE(pa.size, 0)) > 10
ORDER BY diff DESC

فهمیدن نتایج

این گزارش موارد زیر را نشان می‌دهد:

  • account_id: شناسه حسابی که درحال تجزیه‌وتحلیل است.
  • order_id: شناسه سفارش اخیر.
  • ‫latest_size: اندازه شبکه متصل‌شده امروز.
  • ‫previous_size: اندازه شبکه در ۲ هفته قبل.
  • diff: رشد در اندازه شبکه.
  • ‫num_order: تعداد سفارش‌های اخیر.
  • ‫reported_as_fraud: اینکه سفارش به‌عنوان کلاهبرداری پرچم‌گذاری شده است یا نه.
  • ‫order_total: مبلغ کل سفارش.
  • notes: وضعیت ریسک محاسبه‌شده براساس رشد شبکه و سابقه سفارش.

حساب‌هایی را خواهید دید که مقادیر diff بزرگ و مجموع سفارش‌های بالایی دارند، که این حساب‌ها گزینه‌های اصلی برای بررسی بیشتر هستند. یادداشت‌های «مشتری درمعرض خطر» و «سفارش کلاهبرداری احتمالی» به اولویت‌بندی این حساب‌ها کمک می‌کند.

‫۸. تشخیص در مقیاس بزرگ

در این مرحله نهایی تحلیل، شبکه را در مقیاس بزرگ‌تری تجسم خواهید کرد. به‌جای شروع با یک حساب، برای ارتباطات بین مجموعه‌ای از حساب‌های مشکوک پُرسمان خواهید کرد.

این کار به شما کمک می‌کند ببینید آیا چندین تحقیق مستقل درواقع بخشی از یک حلقه کلاهبرداری بزرگ‌تر هستند یا نه.

اجرای پُرسمان مقیاس‌بندی‌شده

پُرسمان زیر را در دفتر یادداشتتان اجرا کنید.

%%bigquery --graph
GRAPH fraud_demo.FraudDemo
MATCH
p= ANY SHORTEST (a:Customer) 
  ( -[e:OwnsEmail|OwnsPhone|LinkedToAddress]- (n) ){3, 5}
(reachable_a:Customer)
-- these IDs are from the previous results
WHERE a.account_id in (   "845f2b14-cd10-4750-9f28-fe542c4a731b"
  , "3ff59684-fbf9-40d7-8c41-285ade5002e6"
  , "8887c17b-e6fb-4b3b-8c62-cb721aafd028"
  , "03e777e5-6fb4-445d-b48c-cf42b7620874"
  , "81629832-eb1d-4a0e-86da-81a198604898"
  , "845f2b14-cd10-4750-9f28-fe542c4a731b",
   "89e9a8fe-ffc4-44eb-8693-a711a3534849"
 )
 LIMIT 400
RETURN TO_JSON(p) as paths

فهمیدن نتایج

این پُرسمان نمودار پیچیده‌ای را برمی‌گرداند که نشان می‌دهد حساب‌های مشکوک مشخص‌شده چگونه هم‌پوشانی دارند و منابع را هم‌رسانی می‌کنند. اکنون درحال بررسی تشخیص کلاهبرداری در مقیاس بزرگ هستید و خوشه‌های فعالیتی را شناسایی می‌کنید که ممکن است نیاز به پاسخ هماهنگ داشته باشند.

‫۹. پاک‌سازی کردن

برای جلوگیری از کسر هزینه از حساب Google Cloud شما بابت منابع استفاده‌شده در این codelab، باید مجموعه داده و گراف ویژگی را حذف کنید.

برای پاک‌سازی محیط، دستورات SQL زیر را اجرا کنید.

DROP PROPERTY GRAPH IF EXISTS fraud_demo.FraudDemo;
DROP SCHEMA IF EXISTS fraud_demo CASCADE;

‫۱۰. تبریک می‌گوییم

تبریک! بااستفاده از BigQuery Graph، راهکار تشخیص کلاهبرداری را با موفقیت ساختید.

با نحوه انجام این کارها آشنا شدید:

  • بار کردن داده‌ها از Cloud Storage به BigQuery.
  • تعریف گراف ویژگی بااستفاده از DDL.
  • بااستفاده از GQL، گراف را پُرسمان کنید تا روابط ساده و پیچیده را پیدا کنید.
  • برای شناسایی ریسک، تجزیه‌وتحلیل نمودار را با داده‌های کسب‌وکار ترکیب کنید.
  • شبکه‌ها را در مقیاس بزرگ تجسم کنید.

منابع بیشتر