Khả năng truy xuất nguồn gốc chuỗi cung ứng bằng BigQuery Graph

1. Giới thiệu

Trong lớp học lập trình này, bạn sẽ tìm hiểu cách tận dụng BigQuery Graph để giải quyết các vấn đề phức tạp về chuỗi cung ứng và công tác hậu cần.

Bạn sẽ lập mô hình mạng lưới chuỗi cung ứng nhà hàng, tập trung vào quản lý chất lượng và an toàn thực phẩm. Khi xảy ra vấn đề về an toàn thực phẩm (chẳng hạn như nguyên liệu bị nhiễm bẩn từ nhà cung cấp), thời gian là yếu tố then chốt. Việc xác định "phạm vi ảnh hưởng" và nhanh chóng thực hiện quy trình thu hồi chính xác có thể giúp tiết kiệm chi phí và bảo vệ khách hàng.

Mối lo ngại về thực phẩm tại nhà hàng

Các mô hình quan hệ truyền thống yêu cầu các thao tác JOIN phức tạp, nhiều bước để theo dõi các mặt hàng qua nhiều giai đoạn (Nhà cung cấp -> Trung tâm phân phối -> Nhà bếp trung tâm -> Cửa hàng -> Thành phẩm). Với BigQuery Graph, chúng tôi lập mô hình trực tiếp cho các mối kết nối này, cho phép truy vấn trực quan và nhanh chóng bằng tiêu chuẩn ISO GQL (Ngôn ngữ truy vấn đồ thị).

Kiến thức bạn sẽ học được

  • Cách xác định mô hình đồ thị dựa trên các bảng BigQuery hiện có.
  • Cách tạo Đồ thị thuộc tính trong BigQuery.
  • Cách chạy truy vấn truyền tải để theo dõi các tác động ngược dòng và xuôi dòng.

Bạn cần có

  • Một dự án trên Google Cloud đã bật tính năng thanh toán.
  • Google Cloud Shell.

Chi phí ước tính

Bài thực hành này dự kiến sẽ tốn ít hơn 5 USD phí phân tích BigQuery, nằm trong hạn mức của Cấp miễn phí cho người dùng mới.

2. Thiết lập và yêu cầu

Mở Cloud Shell

Bạn sẽ thực hiện phần lớn công việc trong Cloud Shell, một môi trường được tải sẵn mọi thứ bạn cần để sử dụng Google Cloud.

  1. Chuyển đến Google Cloud Console.
  2. Nhấp vào biểu tượng Activate Cloud Shell (Kích hoạt Cloud Shell) trên thanh công cụ ở trên cùng bên phải.
  3. Nhấp vào Tiếp tục nếu được nhắc.

Thiết lập biến môi trường

Trong Cloud Shell, hãy đặt Mã dự án để đơn giản hoá các lệnh sau này.

export PROJECT_ID=$(gcloud config get-value project)

Bật API

Chạy lệnh này để bật BigQuery API cần thiết:

gcloud services enable bigquery.googleapis.com

3. Tạo giản đồ và bảng

Bạn sẽ tạo một tập dữ liệu và các bảng đại diện cho các thành phần trong chuỗi cung ứng:

  • item: Định nghĩa chung về mặt hàng (ví dụ: Cà chua, Thịt gà).
  • location: Cơ sở (Nhà cung cấp, trung tâm phân phối, quán cà phê).
  • itemlocation: Bảng giao nhau đại diện cho vị trí kho hàng.
  • bom: Bảng kê khai thành phần (xác định mối quan hệ về trọng lượng, ví dụ: Mục A được cho vào Mục B).
  • makes: Ánh xạ itemlocation với item.
  • stored_at: Ánh xạ itemlocation với location.

Tạo tập dữ liệu

Bạn có thể chạy các lệnh SQL trong phòng thí nghiệm này bằng Cloud Shell hoặc Bảng điều khiển BigQuery.

Cách sử dụng bảng điều khiển BigQuery:

  1. Mở Bảng điều khiển BigQuery trong một thẻ mới.
  2. Dán từng đoạn mã SQL trong lớp học lập trình này vào trình chỉnh sửa, sau đó nhấp vào nút Run (Chạy) để thực thi.

Trình chỉnh sửa BigQuery

Chạy lệnh sau trong Cloud Shell hoặc sử dụng Bảng điều khiển BigQuery để tạo giản đồ. Bạn sẽ sử dụng các biến nút trong SQL.

Giản đồ dữ liệu BigQuery

Lưu ý: (1) Để thực thi lệnh này trong Google Colab, bạn cũng có thể sử dụng các lệnh ma thuật BigQuery: %%bigquery Đoạn mã sau đây tạo giản đồ nhà hàng trong dự án của bạn để lưu trữ dữ liệu biểu đồ. (2) Bạn sẽ cần sử dụng %%bigquery –project <PROJECT_ID> nếu đang chạy từ Google Colab. Đảm bảo trường PROJECT_ID được liên kết với dự án thích hợp mà bạn định sử dụng: PROJECT_ID = "argolis-project-340214" # @param {"type":"string"} (3) Nếu đang sử dụng colab, thì tuỳ theo yêu cầu, bạn sẽ cần cài đặt một số thư viện. Nếu bạn định sử dụng tính năng trực quan hoá đồ thị, hãy nhớ cài đặt thư viện bằng pip: spanner-graph-notebook==1.1.5

Lệnh BigQuery Magic trong Colab

%%bigquery --project=$PROJECT_ID
CREATE SCHEMA IF NOT EXISTS restaurant ;

Tạo bảng

Thực thi mã SQL sau để tạo bảng.

%%bigquery --project=$PROJECT_ID
-- 1. Item Table
DROP TABLE IF EXISTS `restaurant.item`;
CREATE TABLE `restaurant.item` (
  itemKey STRING,
  itemName STRING,
  itemCategory STRING,
  shelfLifeDays INT64,
  PRIMARY KEY (itemKey) NOT ENFORCED
);

-- 2. Location Table
DROP TABLE IF EXISTS `restaurant.location`;
CREATE TABLE `restaurant.location` (
  locationKey STRING,
  locationType STRING,
  locationCity STRING,
  locationState STRING,
  dunsNumber INT64,
  PRIMARY KEY (locationKey) NOT ENFORCED
);
-- 3. ItemLocation Table
DROP TABLE IF EXISTS `restaurant.itemlocation`;
CREATE TABLE `restaurant.itemlocation` (
  itemLocationKey STRING,
  itemKey STRING,
  locationKey STRING,
  variants INT64,
  PRIMARY KEY (itemLocationKey) NOT ENFORCED,
  -- Foreign Key Definitions
  FOREIGN KEY (itemKey) REFERENCES `restaurant.item`(itemKey) NOT ENFORCED,
  FOREIGN KEY (locationKey) REFERENCES `restaurant.location`(locationKey) NOT ENFORCED
);

-- 4. BOM Table
DROP TABLE IF EXISTS `restaurant.bom`;
CREATE TABLE `restaurant.bom` (
  bomKey INT64,
  parentItemLocation STRING,
  childItemLocation STRING,
  childQuantity FLOAT64,
  PRIMARY KEY (bomKey) NOT ENFORCED
);

-- 5. Makes Table
DROP TABLE IF EXISTS `restaurant.makes`;
CREATE TABLE `restaurant.makes` (
  itemLocationKey STRING,
  itemKey STRING,
  locationKey STRING,
  variants INT64,
  PRIMARY KEY (itemLocationKey) NOT ENFORCED
);

DROP TABLE IF EXISTS `restaurant.stored_at`;
CREATE TABLE `restaurant.stored_at` (
  itemLocationKey STRING,
  itemKey STRING,
  locationKey STRING,
  variants INT64,
  PRIMARY KEY (itemLocationKey) NOT ENFORCED
);

4. Đang tải dữ liệu mẫu

Để phòng thí nghiệm này hoàn toàn độc lập, bạn sẽ điền dữ liệu được lấy mẫu vào các bảng bằng cách sử dụng các câu lệnh LOAD DATA SQL thuần tuý. Mô hình này thể hiện một mạng lưới bắt đầu từ Nhà cung cấp, đi qua Trung tâm phân phối (DC) và Bếp trung tâm, rồi đến Quán cà phê bán lẻ.

Chạy các truy vấn SQL sau để tải dữ liệu:

Tải dữ liệu BigQuery

Lưu ý: Bạn có thể bỏ qua %%bigquery nếu đang chạy trực tiếp trong BigQuery Studio

%%bigquery --project=$PROJECT_ID
-- Load Item
LOAD DATA OVERWRITE `restaurant.item`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/item2.csv'], skip_leading_rows = 1);

-- Load Location
LOAD DATA OVERWRITE `restaurant.location`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/location.csv'], skip_leading_rows = 1);

-- Load ItemLocation
LOAD DATA OVERWRITE `restaurant.itemlocation`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/itemlocation.csv'], skip_leading_rows = 1);

-- Load BOM
LOAD DATA OVERWRITE `restaurant.bom`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/bom2.csv'], skip_leading_rows = 1);

-- Load Makes
LOAD DATA OVERWRITE `restaurant.makes`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/makes.csv'], skip_leading_rows = 1);

-- Load StoredAt
LOAD DATA OVERWRITE `restaurant.stored_at`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/itemlocation.csv'], skip_leading_rows = 1);

5. Thêm quy tắc ràng buộc và xác định biểu đồ

Trước khi tạo biểu đồ, bạn khai báo các mối quan hệ ngữ nghĩa bằng cách sử dụng các quy tắc ràng buộc Khoá chính và Khoá ngoại SQL chuẩn. Các khoá này giúp BigQuery hiểu được giá trị nhận dạng Nút và kết nối bảng Cạnh với bảng Nút.

Tạo biểu đồ thuộc tính

Bây giờ, bạn hợp nhất các bảng này thành một cấu trúc Biểu đồ gắn kết duy nhất có tên là restaurant.bombod.

Bạn xác định:

  • Nút: item, location, itemlocation
  • Edges: makes, stored_at và consists_of (BOM)
%%bigquery --project=$PROJECT_ID

CREATE OR REPLACE PROPERTY GRAPH `restaurant.bombod`
NODE TABLES (
  `restaurant.item` KEY (itemKey) LABEL item PROPERTIES ALL COLUMNS,
  `restaurant.location` KEY (locationKey) LABEL location PROPERTIES ALL COLUMNS,
  `restaurant.itemlocation` KEY (itemLocationKey) LABEL itemlocation PROPERTIES ALL COLUMNS
)
EDGE TABLES (
  `restaurant.makes`
    KEY (itemLocationKey)
    SOURCE KEY (itemLocationKey) REFERENCES `restaurant.itemlocation`(itemLocationKey)
    DESTINATION KEY (itemKey) REFERENCES `restaurant.item`(itemKey)
    LABEL makes PROPERTIES ALL COLUMNS,

  `restaurant.bom`
    KEY (bomKey)
    SOURCE KEY (childItemLocation) REFERENCES `restaurant.itemlocation`(itemLocationKey)
    DESTINATION KEY (parentItemLocation) REFERENCES `restaurant.itemlocation`(itemLocationKey)
    LABEL consists_of PROPERTIES ALL COLUMNS,

  `restaurant.stored_at`
    KEY (itemLocationKey)
    SOURCE KEY (itemLocationKey) REFERENCES `restaurant.itemlocation`(itemLocationKey)
    DESTINATION KEY (locationKey) REFERENCES `restaurant.location`(locationKey)
    LABEL stored_at PROPERTIES ALL COLUMNS
);

6. Trực quan hoá chuỗi cung ứng

Bạn có thể chạy một truy vấn truyền tải từ trên xuống để xem toàn bộ mạng lưới chuỗi cung ứng. Trong sổ tay hoặc giao diện người dùng tiêu chuẩn có hỗ trợ (chẳng hạn như %%bigquery --graph), thao tác này sẽ trả về một bản đồ trực quan.

Sử dụng truy vấn đồ thị tuyệt đối để thiết lập nút và cạnh.

Lưu ý: Như đã đề cập trước đó, để thực thi lệnh này trong Google Colab hoặc Sổ tay Colab Enterprise, bạn cũng có thể sử dụng các lệnh ma thuật của BigQuery: %%bigquery Ngoài ra, để trực quan hoá biểu đồ trong Google Colab hoặc Sổ tay Colab Enterprise, hãy thêm cờ –graph như sau: %%bigquery –graph

%%bigquery  --project=$PROJECT_ID --graph output

Graph restaurant.bombod

match p=(a:itemlocation)-[c:consists_of]->(b:itemlocation)
match q=(a)-[d:stored_at]->(e:location)
optional match z=(f)-[g:makes]-(b)

return to_json(p) as ppath, to_json(q) as qpath, to_json(z) as zpath

Kết quả:

Biểu đồ cung cấp nhà hàng

7. Trường hợp sử dụng 1: Truy vết đơn khiếu nại ngược dòng

Tình huống: Một khách hàng phàn nàn về chất lượng thịt gà trong bánh mì kẹp của họ tại cửa hàng ở New York. Bạn cần truy xuất ngược mặt hàng đã hoàn thiện để xem các giai đoạn lắp ráp ngay trước đó.

Truy vấn truyền tải

Chạy truy vấn bằng định dạng truy vấn Duyệt qua đồ thị. Thao tác này xem xét các cạnh consists_of liên quan đến các thành phần lắp ráp từ hạ nguồn đến thượng nguồn.

%%bigquery --project=$PROJECT_ID --graph

GRAPH restaurant.bombod
MATCH p=(a:itemlocation)-[c:consists_of]->(b:itemlocation)
OPTIONAL MATCH q=(b)-[d:stored_at]-(e)
return to_json(p) as ppath, to_json(q) as qpath

Do hướng mũi tên trong consists_of Bảng cạnh (Ingredient -> Finished), nên một lượt tìm kiếm ngược dòng sẽ nhanh chóng cung cấp các đường liên kết tách biệt các vật liệu phụ thuộc và vị trí lưu trữ.

Kết quả: Tìm nguồn cung cấp thịt gà

8. Trường hợp sử dụng 2: Phân tích tác động

Tình huống: Một trận bão tuyết đã khiến Trung tâm phân phối ở Columbus, Ohio phải đóng cửa. Bạn cần biết những khâu chuẩn bị hoặc thành phẩm nào ở hạ nguồn bị ảnh hưởng ngay lập tức.

Truy vấn truyền tải

Bạn bắt đầu tại location cụ thể đại diện cho Trung tâm phân phối, xác định hàng tồn kho được lưu trữ ở đó và xem những mặt hàng thành phẩm nào cần đến chúng.

# @title Impact of a storm on a DC

%%bigquery  --project=$PROJECT_ID --graph
Graph restaurant.bombod
match path1=(z:itemlocation)-[m:stored_at]->(dc:location) where dc.locationKey like '%DC-Sysco-Columbus-OH%'
match path2=(z:itemlocation)-[c:consists_of]->(b:itemlocation)
match path3=(b:itemlocation)-[n:makes]->(item:item)
optional match path4=(b)-[p:stored_at]->(q:location)
return to_json(path1) as path1, to_json(path2) as path2,to_json(path3) as path3, to_json(path4) as path4


Kết quả: Tác động của bão

9. Trường hợp sử dụng 3: Thu hồi sau khi gửi

Tình huống: Nhà cung cấp thông báo cho bạn về một lô sản phẩm cụ thể bị nhiễm bẩn: Cà chua chín cây của Nhà cung cấp. Bạn cần tìm tất cả món ăn bị ảnh hưởng trong thực đơn cuối cùng tại các quán cà phê.

Truy vấn truyền tải

Bạn tìm vị trí của nguyên liệu thô bị nhiễm bẩn, sau đó thực hiện một đường truyền xuôi dòng để tìm các mặt hàng bị ảnh hưởng sau cùng.

%%bigquery  --project=$PROJECT_ID --graph
Graph restaurant.bombod
match path1=(a:itemlocation)-[c:consists_of]->(b:itemlocation)-[e:makes]->(f:item) where f.itemKey like '%Tomato%'
return to_json(path1) as result

Truy vấn này xác định tất cả các mục khớp với mẫu "Cà chua" và được liên kết với mối quan hệ ngược dòng, tạo nên một mối liên kết mạnh mẽ giúp xác định những món ăn nào trong quán cà phê cần phải thu hồi.

Kết quả: Tác động của Bad Tomatoes đến hạ nguồn

10. Dọn dẹp

Xoá tài nguyên sau khi bạn hoàn tất các bước hướng dẫn để tránh mọi khoản phí còn lại trong không gian làm việc của bạn.

DROP SCHEMA `restaurant` CASCADE;

11. Kết luận

Xin chúc mừng! Bạn đã lập mô hình chuỗi cung ứng và thực hiện phân tích tác động bằng BigQuery Graph.

Tóm tắt

Bạn đã tìm hiểu cách:

  1. Khai báo mối quan hệ tương quan tập trung vào biểu đồ bằng Khoá chính/Khoá ngoại.
  2. Tạo Biểu đồ thuộc tính hợp nhất.
  3. Điều hướng các mối quan hệ nhiều nút một cách hiệu quả bằng logic truyền tải Truy vấn đồ thị.

Để tìm hiểu thêm về cấu trúc đồ thị, hãy truy cập vào tài liệu của Google Cloud.