Обнаружение мошенничества с помощью BigQuery Graph

1. Введение

Маркетинговый заголовок – мошенничество в сфере финансовых технологий

Мошеннические действия часто связаны со скрытыми сетями связанных объектов, например несколькими аккаунтами, использующими один и тот же адрес электронной почты, номер телефона или физический адрес. Традиционные реляционные базы данных могут испытывать трудности с эффективным запросом этих сложных многошаговых отношений.

BigQuery Graph позволяет анализировать такие сети в больших масштабах с помощью графовых баз данных. Вы можете определить граф свойств на основе существующих таблиц BigQuery и использовать язык Graph Query Language (GQL) для поиска закономерностей в данных.

Распространенное применение сетей графов для обнаружения мошенничества – это остановка заказов, у которых адрес доставки связан с мошеннической сетью, или остановка платежей, принадлежащих .

В этой практической работе вы создадите решение для обнаружения мошенничества с помощью BigQuery Graph. Вы загрузите данные из Cloud Storage, создадите граф свойств и будете использовать запросы к графу для выявления подозрительных связей.

Что вы узнаете

  • Как создать набор данных BigQuery и загрузить данные.
  • Как определить граф свойств с помощью DDL.
  • Как запрашивать граф с помощью GQL.
  • Как использовать графовую аналитику для выявления мошенничества.

Что вам понадобится

  • Проект Google Cloud с включенными платежными функциями.
  • Среда блокнота BigQuery (BigQuery Studio или Colab Enterprise).

Стоимость

В этой практической работе используются платные ресурсы Google Cloud. Расчетная стоимость составляет менее 5 долларов США при условии, что вы удалите ресурсы после завершения.

2. Подготовка

Выберите или создайте проект Google Cloud

  1. В Google Cloud Console на странице выбора проекта выберите или создайте проект Google Cloud.
  2. Убедитесь, что для вашего облачного проекта Google Cloud включено выставление счетов. Подробнее о том, как проверить, включены ли платежные функции…

Выберите среду

Для выполнения этой лабораторной работы вам понадобится среда блокнота. Вы можете использовать BigQuery Studio или Colab Enterprise.

  1. Перейдите на страницу BigQuery в консоли Google Cloud.
  2. Вы будете использовать блокнот Python для выполнения запросов к графу.

Запустить Cloud Shell

  1. В верхней части консоли Google Cloud нажмите Activate Cloud Shell (Активировать Cloud Shell).
  2. Проверьте аутентификацию:
gcloud auth list
  1. Подтвердите проект:
gcloud config get project
  1. При необходимости задайте его:
export PROJECT_ID=<YOUR_PROJECT_ID>
gcloud config set project $PROJECT_ID

Как включить API

Чтобы включить BigQuery API, выполните следующую команду:

gcloud services enable bigquery.googleapis.com

3. Загрузить данные

На этом шаге вы создадите набор данных BigQuery и загрузите выборку данных из Cloud Storage.

Пример данных состоит из нескольких CSV-файлов, представляющих симулированную розничную среду:

  • customers.csv – информация об аккаунте клиента.
  • emails.csv – адреса электронной почты.
  • phones.csv – номера телефонов.
  • addresses.csv – физические адреса.
  • customer_emails.csv, customer_phones.csv, customer_addresses.csv: связывание таблиц.
  • orders.csv – история заказов, включая пометки о мошенничестве.

Создайте набор данных

Создайте набор данных с названием fraud_demo, в котором будут храниться таблицы.

  1. В этой практической работе мы будем выполнять команды SQL. Вы можете выполнить эти команды в BigQuery Studio > SQL Editor или использовать команду bq query в Cloud Shell. Новый SQL-запросМы предполагаем, что вы используете редактор SQL в BigQuery, поскольку в нем удобнее работать с многострочными операторами создания.
CREATE SCHEMA IF NOT EXISTS `fraud_demo` OPTIONS(location="US");

Загрузить таблицы

Выполните следующие инструкции SQL, чтобы загрузить данные из Cloud Storage в набор данных.

LOAD DATA OVERWRITE `fraud_demo.customers`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/customers.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.emails`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/emails.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.phones`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/phones.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.addresses`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/addresses.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.customer_emails`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/customer_emails.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.customer_phones`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/customer_phones.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.customer_addresses`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/customer_addresses.csv'],
  skip_leading_rows = 1
);

LOAD DATA OVERWRITE `fraud_demo.orders`
FROM FILES (
  format = 'CSV',
  uris = ['gs://sample-data-and-media/fraud-demo-data/orders.csv'],
  skip_leading_rows = 1
);

4. Создание графа свойств

Теперь, когда данные загружены, вы можете определить граф свойств. Граф свойств состоит из узлов (объектов) и ребер (отношений).

В этом практическом занятии узлами являются:

  • Клиент. Владелец аккаунта.
  • Телефон. Номер телефона.
  • Email – адрес электронной почты.
  • Адрес. Физический адрес.

Вот эти ребра:

  • OwnsPhone – связывает клиента с телефоном.
  • OwnsEmail – связывает клиента с адресом электронной почты.
  • LinkedToAddress – связывает клиента с адресом.

Создание графика

Выполните следующую инструкцию DDL, чтобы создать граф с названием FraudDemo в наборе данных fraud_demo.

CREATE OR REPLACE PROPERTY GRAPH fraud_demo.FraudDemo
  NODE TABLES(
    fraud_demo.customers
      KEY(account_id)
      LABEL Customer PROPERTIES(
        account_id,
        name),

    fraud_demo.emails
      KEY(email)
      LABEL Email PROPERTIES(
        email,
        email_type),

    fraud_demo.phones
      KEY(phone_number)
      LABEL Phone PROPERTIES(
        phone_number,
        phone_type),

    fraud_demo.addresses
      KEY(address)
      LABEL Address PROPERTIES(
        address,
        address_type)
  )
  EDGE TABLES(
    fraud_demo.customer_emails
      KEY(account_id, email)
      SOURCE KEY(account_id) REFERENCES customers(account_id)
      DESTINATION KEY(email) REFERENCES emails(email)
      LABEL OwnsEmail PROPERTIES(
        account_id,
        email,
        last_updated_ts),

    fraud_demo.customer_phones
      KEY(account_id, phone_number)
      SOURCE KEY(account_id) REFERENCES customers(account_id)
      DESTINATION KEY(phone_number) REFERENCES phones(phone_number)
      LABEL OwnsPhone PROPERTIES(
        account_id,
        phone_number,
        last_updated_ts),

    fraud_demo.customer_addresses
      KEY(account_id, address)
      SOURCE KEY(account_id) REFERENCES customers(account_id)
      DESTINATION KEY(address) REFERENCES addresses(address)
      LABEL LinkedToAddress PROPERTIES(
        account_id,
        address,
        last_updated_ts)
  );

5. Анализ сетей (2 перехода)

Откройте новый блокнот в BigQuery Studio.

Создать блокнот

Для визуализации и рекомендаций в этой практической работе мы будем использовать блокнот Google Colab в BigQuery Studio. Это позволяет нам легко визуализировать результаты графика.

Вставьте в ячейку кода следующее:

!pip install bigquery-magics==0.12.1

BigQuery Graph Notebook реализован как IPython Magics. Добавив магическую команду %%bigquery с функцией TO_JSON, вы можете визуализировать результаты, как показано в следующих разделах. На этом шаге вы выполните запрос к графу, чтобы найти простые связи между аккаунтами. Это запрос с двумя переходами, поскольку он проходит два перехода от начального узла, чтобы найти связанные узлы (например, Клиент -> Электронная почта -> Клиент).

Мы начнем с проверки аккаунта, принадлежащего Николь Уэйд. Мы хотим найти все аккаунты, связанные с ней через два перехода.

Как выполнить запрос с двумя переходами

Выполните в блокноте следующий запрос:

%%bigquery --graph
GRAPH fraud_demo.FraudDemo
MATCH 
 p=(a:Customer) 
  ( -[e:OwnsEmail|OwnsPhone|LinkedToAddress WHERE e.last_updated_ts < '2025-07-30']- (n) ){2}
WHERE a.account_id IN ("d2f1f992-d116-41b3-955b-6c76a3352657")
  -- Verify the final node in the hop array is a Customer
  AND 'Customer' IN UNNEST(LABELS(n[OFFSET(1)]))

RETURN TO_JSON(p) AS paths

Что означают результаты

Этот запрос:

  1. Начинается с узла Customer с account_id "d2f1f992-d116-41b3-955b-6c76a3352657" (Nicole Wade).
  2. Переходит по любому из ребер OwnsEmail, OwnsPhone или LinkedToAddress к соединяющему узлу (Phone, Email или Address).
  3. Возвращается по ребрам от этого узла к другим узлам Customer.
  4. Фильтрует ребра по временной метке (last_updated_ts), чтобы показать состояние сети в определенный момент времени.

Вы увидите, что Zachary Cordova и Brenda Brown связаны с Nicole через один и тот же адрес.

6. Анализ сетей (4 перехода)

На этом шаге вы расширите запрос, чтобы найти более сложные связи. Мы будем искать связи четвертого уровня. Это позволяет нам находить аккаунты, связанные через несколько промежуточных объектов (например, клиент А -> адрес электронной почты -> клиент Б -> номер телефона -> клиент В).

Мы также будем наблюдать за тем, как эта сеть меняется со временем.

Состояние "До"

Сначала рассмотрим сеть в том виде, в котором она существовала 30 июля 2025 г.

Выполните следующий запрос:

%%bigquery --graph
GRAPH fraud_demo.FraudDemo
MATCH p= ANY SHORTEST (a:Customer) 
  ( -[e:OwnsEmail|OwnsPhone|LinkedToAddress WHERE e.last_updated_ts < '2025-07-30']- (n) ){3, 5}(reachable_a:Customer)
WHERE a.account_id IN ("d2f1f992-d116-41b3-955b-6c76a3352657")
  -- Ensure the final node in the dynamic chain is actually a Customer
  AND 'Customer' IN UNNEST(LABELS(n[OFFSET(ARRAY_LENGTH(n) - 1)]))
RETURN 
  TO_JSON(p) AS paths,                   -- Array of all traversed edges
  ARRAY_LENGTH(e) AS hop_count

Состояние "После"

Теперь посмотрим, как выглядит сеть через две недели. Мы выполним тот же запрос, но без ограничений по дате.

Выполните следующий запрос:

%%bigquery --graph
GRAPH fraud_demo.FraudDemo
MATCH p= ANY SHORTEST (a:Customer) 
  ( -[e:OwnsEmail|OwnsPhone|LinkedToAddress]- (n) ){3, 5}(reachable_a:Customer)
WHERE a.account_id IN ("d2f1f992-d116-41b3-955b-6c76a3352657")
  -- Ensure the final node in the dynamic chain is actually a Customer
  AND 'Customer' IN UNNEST(LABELS(n[OFFSET(ARRAY_LENGTH(n) - 1)]))

RETURN 
  TO_JSON(p) AS paths,                   -- Array of all traversed edges
  ARRAY_LENGTH(e) AS hop_count

Что означают результаты

Если удалить фильтры по дате, запрос будет выполняться по всему набору данных. Вы заметите, что сеть значительно выросла. Николь Уэйд теперь является частью гораздо более крупной и тесно связанной группы. Такое быстрое расширение сети – явный признак потенциально мошеннических действий, например мошеннической группы, которая со временем начинает использовать общие ресурсы.

7. Создать отчет о мошенничестве

На этом шаге вы объедините аналитику графов с традиционными коммерческими данными (заказами), чтобы создать комплексный отчет о мошенничестве. Вы будете выявлять аккаунты, подверженные риску, и потенциально мошеннические заказы.

Это более сложный запрос. Она использует GRAPH_TABLE для выполнения запроса к графу в стандартном SQL и вычисляет изменение размера сети (diff) между состояниями "до" и "после", которые мы наблюдали на предыдущем шаге.

Как выполнить запрос отчета о мошенничестве

Выполните в блокноте следующий запрос:

%%bigquery --graph
WITH num_orders AS (
  SELECT account_id, COUNT(1) AS num_order
  FROM fraud_demo.orders
  WHERE order_time > '2025-07-30'
  GROUP BY account_id
),

orders AS (
  SELECT account_id, order_id, fraud, order_total
  FROM fraud_demo.orders
  WHERE order_time > '2025-07-30'
),

-- Use Quantified Path Patterns to find connections up to 4 hops away
latest_connect AS (
  SELECT 
    account_id, 
    ARRAY_LENGTH(ARRAY_AGG(DISTINCT connected_id)) AS size
  FROM GRAPH_TABLE(
    fraud_demo.FraudDemo
    MATCH (a:Customer)-[:OwnsEmail|OwnsPhone|LinkedToAddress]-{4}(connected:Customer)
    RETURN a.account_id AS account_id, connected.account_id AS connected_id
  )
  GROUP BY account_id
),

prev_connect AS (
  SELECT 
    account_id, 
    ARRAY_LENGTH(ARRAY_AGG(DISTINCT connected_id)) AS size
  FROM GRAPH_TABLE(
    fraud_demo.FraudDemo
    -- Apply the timestamp filter to EVERY edge in the 4-hop chain
    MATCH (a:Customer)
          (-[e:OwnsEmail|OwnsPhone|LinkedToAddress WHERE e.last_updated_ts < '2025-07-30']-(n)){4}
    WHERE 'Customer' IN UNNEST(LABELS(n[OFFSET(3)]))
    RETURN a.account_id AS account_id, n[OFFSET(3)].account_id AS connected_id
  )
  GROUP BY account_id
),

edge_changes AS (
  SELECT account_id, MAX(last_updated_ts) AS max_last_updated_ts
  FROM fraud_demo.customer_addresses
  GROUP BY account_id
)

SELECT
    la.account_id,
    o.order_id,
    la.size AS latest_size,
    COALESCE(pa.size, 0) AS previous_size,
    la.size - COALESCE(pa.size, 0) AS diff,
    nos.num_order,
    o.fraud AS reported_as_fraud,
    o.order_total,

    CASE
      WHEN (la.size - COALESCE(pa.size, 0)) > 10 AND nos.num_order IS NULL THEN "CUSTOMER AT RISK"
      WHEN (la.size - COALESCE(pa.size, 0)) > 10 AND nos.num_order IS NOT NULL AND o.fraud THEN "CONFIRMED FRAUD ORDER"
      WHEN (la.size - COALESCE(pa.size, 0)) > 10 AND nos.num_order IS NOT NULL AND NOT o.fraud THEN "POTENTIAL FRAUD ORDER"
      ELSE ""
    END AS notes
FROM latest_connect la
LEFT JOIN prev_connect pa ON la.account_id = pa.account_id
LEFT JOIN num_orders nos ON la.account_id = nos.account_id
LEFT JOIN orders o ON la.account_id = o.account_id
INNER JOIN edge_changes ec ON la.account_id = ec.account_id
WHERE nos.num_order > 1 OR (la.size - COALESCE(pa.size, 0)) > 10
ORDER BY diff DESC

Что означают результаты

В этом отчете представлены следующие данные:

  • account_id – идентификатор анализируемого аккаунта.
  • order_id – идентификатор недавнего заказа.
  • latest_size – размер подключенной сети на сегодняшний день.
  • previous_size – размер сети две недели назад.
  • diff – рост размера сети.
  • num_order – количество недавних заказов.
  • reported_as_fraud – пометка о том, что заказ был помечен как мошеннический.
  • order_total – общая сумма заказа.
  • notes – статус риска, рассчитанный на основе роста сети и истории заказов.

Вы увидите аккаунты с высокими значениями diff и большими суммами заказов. Это основные кандидаты для дальнейшего анализа. Примечания "CUSTOMER AT RISK" (Клиент в зоне риска) и "POTENTIAL FRAUD ORDER" (Потенциально мошеннический заказ) помогают определить приоритет таких аккаунтов.

8. Масштабное обнаружение

На этом заключительном этапе анализа вы визуализируете сеть в более крупном масштабе. Вместо того чтобы начинать с одного аккаунта, вы будете запрашивать связи между набором подозрительных аккаунтов.

Это помогает понять, являются ли несколько независимых расследований частью одной и той же более крупной мошеннической схемы.

Как выполнить запрос масштабирования

Выполните в блокноте следующий запрос:

%%bigquery --graph
GRAPH fraud_demo.FraudDemo
MATCH
p= ANY SHORTEST (a:Customer) 
  ( -[e:OwnsEmail|OwnsPhone|LinkedToAddress]- (n) ){3, 5}
(reachable_a:Customer)
-- these IDs are from the previous results
WHERE a.account_id in (   "845f2b14-cd10-4750-9f28-fe542c4a731b"
  , "3ff59684-fbf9-40d7-8c41-285ade5002e6"
  , "8887c17b-e6fb-4b3b-8c62-cb721aafd028"
  , "03e777e5-6fb4-445d-b48c-cf42b7620874"
  , "81629832-eb1d-4a0e-86da-81a198604898"
  , "845f2b14-cd10-4750-9f28-fe542c4a731b",
   "89e9a8fe-ffc4-44eb-8693-a711a3534849"
 )
 LIMIT 400
RETURN TO_JSON(p) as paths

Что означают результаты

Этот запрос возвращает сложный граф, показывающий, как указанные подозрительные аккаунты пересекаются и совместно используют ресурсы. Теперь вы рассматриваете обнаружение мошенничества в масштабе, выявляя кластеры активности, которые могут потребовать скоординированного реагирования.

9. Убирать

Чтобы избежать списания средств с вашего аккаунта Google Cloud за ресурсы, используемые в этой практической работе, удалите набор данных и граф свойств.

Чтобы очистить среду, выполните следующие инструкции SQL.

DROP PROPERTY GRAPH IF EXISTS fraud_demo.FraudDemo;
DROP SCHEMA IF EXISTS fraud_demo CASCADE;

10. Поздравляю!

Поздравляем! Вы успешно создали решение для обнаружения мошенничества с помощью BigQuery Graph.

Вы узнали:

  • Загрузите данные из Cloud Storage в BigQuery.
  • Определите граф свойств с помощью DDL.
  • Запрашивайте граф с помощью GQL, чтобы находить простые и сложные связи.
  • Объедините аналитику графов с коммерческими данными, чтобы выявить риски.
  • Визуализируйте сети в масштабе.

Дополнительные ресурсы