Śledzenie łańcucha dostaw za pomocą BigQuery Graph

1. Wprowadzenie

W tym ćwiczeniu z programowania dowiesz się, jak wykorzystać BigQuery Graph do rozwiązywania złożonych problemów związanych z łańcuchem dostaw i logistyką.

Utworzysz model sieci łańcucha dostaw restauracji, koncentrując się na bezpieczeństwie żywności i kontroli jakości. Gdy pojawia się problem z bezpieczeństwem żywności, np. skażony składnik od dostawcy, czas ma kluczowe znaczenie. Zidentyfikowanie „promienia rażenia” i szybkie przeprowadzenie precyzyjnego wycofania może obniżyć koszty i chronić klientów.

Zatrucie w restauracji

Tradycyjne modele relacyjne wymagają złożonych, wieloetapowych operacji JOIN, aby śledzić produkty na wielu etapach (dostawca -> centrum dystrybucyjne -> sklep spożywczy -> sklep -> gotowy produkt). Dzięki BigQuery Graph modelujemy te połączenia bezpośrednio, co umożliwia intuicyjne i szybkie wykonywanie zapytań przy użyciu standardu ISO GQL (Graph Query Language).

Czego się nauczysz

  • jak zdefiniować model grafu na podstawie istniejących tabel BigQuery,
  • jak utworzyć graf właściwości w BigQuery,
  • Jak uruchamiać zapytania przechodzenia, aby śledzić wpływ na wcześniejsze i późniejsze działania.

Czego potrzebujesz

  • projekt Google Cloud z włączonymi płatnościami,
  • Google Cloud Shell.

Szacowane koszty

Opłaty za analizę BigQuery w tym laboratorium powinny wynieść mniej niż 5 USD, co mieści się w limicie poziomu bezpłatnego dla nowych użytkowników.

2. Konfiguracja i wymagania

Otwórz Cloud Shell

Większość czynności będziesz wykonywać w Cloud Shell, czyli środowisku, które zawiera wszystko, czego potrzebujesz do korzystania z Google Cloud.

  1. Otwórz konsolę Google Cloud.
  2. Na pasku narzędzi w prawym górnym rogu kliknij ikonę Aktywuj Cloud Shell.
  3. W razie potrzeby kliknij Dalej.

Konfigurowanie zmiennych środowiskowych

W Cloud Shell ustaw identyfikator projektu, aby uprościć przyszłe polecenia.

export PROJECT_ID=$(gcloud config get-value project)

Włącz interfejsy API

Uruchom to polecenie, aby włączyć wymagany interfejs BigQuery API:

gcloud services enable bigquery.googleapis.com

3. Tworzenie schematu i tabel

Utworzysz zbiór danych i tabele reprezentujące komponenty łańcucha dostaw:

  • item: ogólna definicja produktu (np. pomidor, kurczak).
  • location: obiekty (dostawcy, centra dystrybucyjne, kawiarnie).
  • itemlocation: tabela przecięcia reprezentująca lokalizacje asortymentu.
  • bom: Lista materiałów (BoM) (określa relacje wagowe, np. produkt A wchodzi w skład produktu B).
  • makes: mapuje itemlocation na item.
  • stored_at: mapuje itemlocation na location.

Utwórz zbiór danych

Polecenia SQL w tym module możesz uruchamiać w Cloud Shell lub w konsoli BigQuery.

Aby użyć konsoli BigQuery:

  1. Otwórz konsolę BigQuery w nowej karcie.
  2. Wklej każdy fragment kodu SQL z tego modułu do edytora, a następnie kliknij przycisk Uruchom, aby go wykonać.

Edytor BigQuery

Aby utworzyć schemat, uruchom w Cloud Shell to polecenie lub użyj konsoli BigQuery. W kodzie SQL będziesz używać zmiennych węzłów.

Schemat danych BigQuery

Uwaga: (1) Aby wykonać to w Google Colab, możesz też użyć poleceń magicznych BigQuery: %%bigquery. Poniższy fragment kodu tworzy schemat restauracji w projekcie, aby przechowywać dane grafu. (2) Jeśli korzystasz z Google Colab, musisz użyć %%bigquery –project <PROJECT_ID>. Upewnij się, że pole PROJECT_ID jest zmapowane na odpowiedni projekt, którego chcesz użyć: PROJECT_ID = "argolis-project-340214" # @param {"type":"string"} (3) Jeśli używasz Colab, w zależności od wymagań musisz zainstalować niektóre biblioteki. Jeśli zamierzasz używać wizualizacji grafu, zainstaluj bibliotekę za pomocą pip: spanner-graph-notebook==1.1.5

Polecenia magiczne BigQuery w Colab

%%bigquery --project=$PROJECT_ID
CREATE SCHEMA IF NOT EXISTS restaurant ;

Tworzenie tabel

Aby utworzyć tabele, wykonaj ten kod SQL.

%%bigquery --project=$PROJECT_ID
-- 1. Item Table
DROP TABLE IF EXISTS `restaurant.item`;
CREATE TABLE `restaurant.item` (
  itemKey STRING,
  itemName STRING,
  itemCategory STRING,
  shelfLifeDays INT64,
  PRIMARY KEY (itemKey) NOT ENFORCED
);

-- 2. Location Table
DROP TABLE IF EXISTS `restaurant.location`;
CREATE TABLE `restaurant.location` (
  locationKey STRING,
  locationType STRING,
  locationCity STRING,
  locationState STRING,
  dunsNumber INT64,
  PRIMARY KEY (locationKey) NOT ENFORCED
);
-- 3. ItemLocation Table
DROP TABLE IF EXISTS `restaurant.itemlocation`;
CREATE TABLE `restaurant.itemlocation` (
  itemLocationKey STRING,
  itemKey STRING,
  locationKey STRING,
  variants INT64,
  PRIMARY KEY (itemLocationKey) NOT ENFORCED,
  -- Foreign Key Definitions
  FOREIGN KEY (itemKey) REFERENCES `restaurant.item`(itemKey) NOT ENFORCED,
  FOREIGN KEY (locationKey) REFERENCES `restaurant.location`(locationKey) NOT ENFORCED
);

-- 4. BOM Table
DROP TABLE IF EXISTS `restaurant.bom`;
CREATE TABLE `restaurant.bom` (
  bomKey INT64,
  parentItemLocation STRING,
  childItemLocation STRING,
  childQuantity FLOAT64,
  PRIMARY KEY (bomKey) NOT ENFORCED
);

-- 5. Makes Table
DROP TABLE IF EXISTS `restaurant.makes`;
CREATE TABLE `restaurant.makes` (
  itemLocationKey STRING,
  itemKey STRING,
  locationKey STRING,
  variants INT64,
  PRIMARY KEY (itemLocationKey) NOT ENFORCED
);

DROP TABLE IF EXISTS `restaurant.stored_at`;
CREATE TABLE `restaurant.stored_at` (
  itemLocationKey STRING,
  itemKey STRING,
  locationKey STRING,
  variants INT64,
  PRIMARY KEY (itemLocationKey) NOT ENFORCED
);

4. Wczytuję przykładowe dane

Aby to szkolenie było w pełni samodzielne, wypełnisz tabele danymi próbkowanymi, używając instrukcji SQL LOAD DATA. Reprezentuje sieć, która zaczyna się od dostawcy, przechodzi przez centrum dystrybucji i kuchnię komercyjną, a kończy się w kawiarni.

Aby wczytać dane, uruchom te zapytania SQL:

Wczytywanie danych do BigQuery

Uwaga: jeśli uruchamiasz zapytanie bezpośrednio w BigQuery Studio, możesz pominąć %%bigquery.

%%bigquery --project=$PROJECT_ID
-- Load Item
LOAD DATA OVERWRITE `restaurant.item`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/item2.csv'], skip_leading_rows = 1);

-- Load Location
LOAD DATA OVERWRITE `restaurant.location`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/location.csv'], skip_leading_rows = 1);

-- Load ItemLocation
LOAD DATA OVERWRITE `restaurant.itemlocation`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/itemlocation.csv'], skip_leading_rows = 1);

-- Load BOM
LOAD DATA OVERWRITE `restaurant.bom`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/bom2.csv'], skip_leading_rows = 1);

-- Load Makes
LOAD DATA OVERWRITE `restaurant.makes`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/makes.csv'], skip_leading_rows = 1);

-- Load StoredAt
LOAD DATA OVERWRITE `restaurant.stored_at`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/itemlocation.csv'], skip_leading_rows = 1);

5. Dodawanie ograniczeń i definiowanie wykresu

Przed utworzeniem grafu deklarujesz relacje semantyczne za pomocą standardowej wersji SQL i ograniczeń klucza podstawowego i klucza obcego. Pomagają one BigQuery zrozumieć identyfikatory węzłów i połączyć tabele krawędzi z tabelami węzłów.

Utwórz graf właściwości

Teraz połączysz te tabele w jedną spójną strukturę grafu o nazwie restaurant.bombod.

Określasz:

  • Węzły: item, location, itemlocation
  • Krawędzie: makes, stored_at i consists_of (BOM)
%%bigquery --project=$PROJECT_ID

CREATE OR REPLACE PROPERTY GRAPH `restaurant.bombod`
NODE TABLES (
  `restaurant.item` KEY (itemKey) LABEL item PROPERTIES ALL COLUMNS,
  `restaurant.location` KEY (locationKey) LABEL location PROPERTIES ALL COLUMNS,
  `restaurant.itemlocation` KEY (itemLocationKey) LABEL itemlocation PROPERTIES ALL COLUMNS
)
EDGE TABLES (
  `restaurant.makes`
    KEY (itemLocationKey)
    SOURCE KEY (itemLocationKey) REFERENCES `restaurant.itemlocation`(itemLocationKey)
    DESTINATION KEY (itemKey) REFERENCES `restaurant.item`(itemKey)
    LABEL makes PROPERTIES ALL COLUMNS,

  `restaurant.bom`
    KEY (bomKey)
    SOURCE KEY (childItemLocation) REFERENCES `restaurant.itemlocation`(itemLocationKey)
    DESTINATION KEY (parentItemLocation) REFERENCES `restaurant.itemlocation`(itemLocationKey)
    LABEL consists_of PROPERTIES ALL COLUMNS,

  `restaurant.stored_at`
    KEY (itemLocationKey)
    SOURCE KEY (itemLocationKey) REFERENCES `restaurant.itemlocation`(itemLocationKey)
    DESTINATION KEY (locationKey) REFERENCES `restaurant.location`(locationKey)
    LABEL stored_at PROPERTIES ALL COLUMNS
);

6. Wizualizacja łańcucha dostaw

Możesz uruchomić zapytanie o przechodzenie od góry do dołu, aby zobaczyć całą sieć łańcucha dostaw. W standardowym notatniku lub interfejsie, który obsługuje tę funkcję (np. %%bigquery --graph), zwraca ona mapę wizualną.

Użyj bezwzględnych zapytań dotyczących wykresów, aby skonfigurować węzły i krawędzie.

Uwaga: jak wspomniano wcześniej, aby wykonać to polecenie w notatnikach Google Colab lub Colab Enterprise, możesz też użyć poleceń magicznych BigQuery: %%bigquery. Aby zwizualizować wykres w notatnikach Google Colab lub Colab Enterprise, dodaj flagę –graph: %%bigquery –graph

%%bigquery  --project=$PROJECT_ID --graph output

Graph restaurant.bombod

match p=(a:itemlocation)-[c:consists_of]->(b:itemlocation)
match q=(a)-[d:stored_at]->(e:location)
optional match z=(f)-[g:makes]-(b)

return to_json(p) as ppath, to_json(q) as qpath, to_json(z) as zpath

Dane wyjściowe:

Wykres zaopatrzenia restauracji

7. Przypadek użycia 1. Śledzenie skargi dotyczącej wcześniejszego etapu

Scenariusz: klient skarży się na jakość kurczaka w kanapce kupionej w sklepie w Nowym Jorku. Musisz prześledzić gotowy produkt wstecz, aby zobaczyć jego bezpośrednie etapy montażu.

Zapytanie dotyczące przechodzenia

Uruchom zapytanie, używając formatu zapytania Graph Traversal. Dotyczy to krawędzi consists_of, które łączą zespoły na dalszych etapach ze składnikami na wcześniejszych etapach.

%%bigquery --project=$PROJECT_ID --graph

GRAPH restaurant.bombod
MATCH p=(a:itemlocation)-[c:consists_of]->(b:itemlocation)
OPTIONAL MATCH q=(b)-[d:stored_at]-(e)
return to_json(p) as ppath, to_json(q) as qpath

Ze względu na kierunek strzałki w tabeli krawędzi consists_of (Ingredient -> Finished) wyszukiwanie w górę strumienia daje linki, które szybko izolują zależne materiały i miejsca przechowywania.

Wyjście: Nawigacja po źródłach kurczaka

8. Przypadek użycia 2. Analiza wpływu

Scenariusz: burza śnieżna spowodowała zamknięcie centrum dystrybucyjnego w Columbus w Ohio. Musisz wiedzieć, na które produkty w trakcie przygotowania lub gotowe produkty ma to natychmiastowy wpływ.

Zapytanie dotyczące przechodzenia

Zaczynasz od konkretnego location reprezentującego centrum dystrybucyjne, identyfikujesz przechowywane tam zapasy i sprawdzasz, które gotowe produkty ich wymagają.

# @title Impact of a storm on a DC

%%bigquery  --project=$PROJECT_ID --graph
Graph restaurant.bombod
match path1=(z:itemlocation)-[m:stored_at]->(dc:location) where dc.locationKey like '%DC-Sysco-Columbus-OH%'
match path2=(z:itemlocation)-[c:consists_of]->(b:itemlocation)
match path3=(b:itemlocation)-[n:makes]->(item:item)
optional match path4=(b)-[p:stored_at]->(q:location)
return to_json(path1) as path1, to_json(path2) as path2,to_json(path3) as path3, to_json(path4) as path4


Wyjście: Wpływ burzy

9. Przypadek użycia 3. Wycofanie produktu na dalszym etapie

Scenariusz: dostawca powiadamia Cię o konkretnej partii skażonego produktu: pomidorów dojrzewających na krzaku od dostawcy. Musisz znaleźć wszystkie kawiarnie, w których występują te pozycje menu.

Zapytanie dotyczące przechodzenia

Szukasz lokalizacji skażonego surowca, a następnie przechodzisz ścieżką w dół, aby znaleźć ostateczne produkty, których dotyczy problem.

%%bigquery  --project=$PROJECT_ID --graph
Graph restaurant.bombod
match path1=(a:itemlocation)-[c:consists_of]->(b:itemlocation)-[e:makes]->(f:item) where f.itemKey like '%Tomato%'
return to_json(path1) as result

To zapytanie znajduje wszystkie elementy, które pasują do wzorca „Tomato” i są powiązane z relacją nadrzędną, co tworzy zaawansowane mapowanie, które pozwala wykryć, które produkty z kawiarni muszą zostać wycofane.

Wyjście: Wpływ złych pomidorów na dalsze etapy

10. Czyszczenie

Po wykonaniu czynności opisanych w przewodniku usuń zasoby, aby uniknąć dodatkowych opłat w obszarze roboczym.

DROP SCHEMA `restaurant` CASCADE;

11. Podsumowanie

Gratulacje! Udało Ci się utworzyć model łańcucha dostaw i przeprowadzić analizę wpływu za pomocą BigQuery Graph.

Podsumowanie

Wiesz już, jak:

  1. Deklarowanie relacji opartych na grafach za pomocą kluczy podstawowych i obcych.
  2. Utwórz ujednolicony graf właściwości.
  3. Efektywne poruszanie się po relacjach między wieloma węzłami za pomocą logiki przechodzenia zapytań do grafu.

Więcej informacji o architekturze wykresów znajdziesz w dokumentacji Google Cloud.