1. Wprowadzenie
W tym ćwiczeniu z programowania dowiesz się, jak wykorzystać BigQuery Graph do rozwiązywania złożonych problemów związanych z łańcuchem dostaw i logistyką.
Utworzysz model sieci łańcucha dostaw restauracji, koncentrując się na bezpieczeństwie żywności i kontroli jakości. Gdy pojawia się problem z bezpieczeństwem żywności, np. skażony składnik od dostawcy, czas ma kluczowe znaczenie. Zidentyfikowanie „promienia rażenia” i szybkie przeprowadzenie precyzyjnego wycofania może obniżyć koszty i chronić klientów.

Tradycyjne modele relacyjne wymagają złożonych, wieloetapowych operacji JOIN, aby śledzić produkty na wielu etapach (dostawca -> centrum dystrybucyjne -> sklep spożywczy -> sklep -> gotowy produkt). Dzięki BigQuery Graph modelujemy te połączenia bezpośrednio, co umożliwia intuicyjne i szybkie wykonywanie zapytań przy użyciu standardu ISO GQL (Graph Query Language).
Czego się nauczysz
- jak zdefiniować model grafu na podstawie istniejących tabel BigQuery,
- jak utworzyć graf właściwości w BigQuery,
- Jak uruchamiać zapytania przechodzenia, aby śledzić wpływ na wcześniejsze i późniejsze działania.
Czego potrzebujesz
- projekt Google Cloud z włączonymi płatnościami,
- Google Cloud Shell.
Szacowane koszty
Opłaty za analizę BigQuery w tym laboratorium powinny wynieść mniej niż 5 USD, co mieści się w limicie poziomu bezpłatnego dla nowych użytkowników.
2. Konfiguracja i wymagania
Otwórz Cloud Shell
Większość czynności będziesz wykonywać w Cloud Shell, czyli środowisku, które zawiera wszystko, czego potrzebujesz do korzystania z Google Cloud.
- Otwórz konsolę Google Cloud.
- Na pasku narzędzi w prawym górnym rogu kliknij ikonę Aktywuj Cloud Shell.
- W razie potrzeby kliknij Dalej.
Konfigurowanie zmiennych środowiskowych
W Cloud Shell ustaw identyfikator projektu, aby uprościć przyszłe polecenia.
export PROJECT_ID=$(gcloud config get-value project)
Włącz interfejsy API
Uruchom to polecenie, aby włączyć wymagany interfejs BigQuery API:
gcloud services enable bigquery.googleapis.com
3. Tworzenie schematu i tabel
Utworzysz zbiór danych i tabele reprezentujące komponenty łańcucha dostaw:
item: ogólna definicja produktu (np. pomidor, kurczak).location: obiekty (dostawcy, centra dystrybucyjne, kawiarnie).itemlocation: tabela przecięcia reprezentująca lokalizacje asortymentu.bom: Lista materiałów (BoM) (określa relacje wagowe, np. produkt A wchodzi w skład produktu B).makes: mapujeitemlocationnaitem.stored_at: mapujeitemlocationnalocation.
Utwórz zbiór danych
Polecenia SQL w tym module możesz uruchamiać w Cloud Shell lub w konsoli BigQuery.
Aby użyć konsoli BigQuery:
- Otwórz konsolę BigQuery w nowej karcie.
- Wklej każdy fragment kodu SQL z tego modułu do edytora, a następnie kliknij przycisk Uruchom, aby go wykonać.

Aby utworzyć schemat, uruchom w Cloud Shell to polecenie lub użyj konsoli BigQuery. W kodzie SQL będziesz używać zmiennych węzłów.

Uwaga: (1) Aby wykonać to w Google Colab, możesz też użyć poleceń magicznych BigQuery: %%bigquery. Poniższy fragment kodu tworzy schemat restauracji w projekcie, aby przechowywać dane grafu. (2) Jeśli korzystasz z Google Colab, musisz użyć %%bigquery –project <PROJECT_ID>. Upewnij się, że pole PROJECT_ID jest zmapowane na odpowiedni projekt, którego chcesz użyć: PROJECT_ID = "argolis-project-340214" # @param {"type":"string"} (3) Jeśli używasz Colab, w zależności od wymagań musisz zainstalować niektóre biblioteki. Jeśli zamierzasz używać wizualizacji grafu, zainstaluj bibliotekę za pomocą pip: spanner-graph-notebook==1.1.5

%%bigquery --project=$PROJECT_ID
CREATE SCHEMA IF NOT EXISTS restaurant ;
Tworzenie tabel
Aby utworzyć tabele, wykonaj ten kod SQL.
%%bigquery --project=$PROJECT_ID
-- 1. Item Table
DROP TABLE IF EXISTS `restaurant.item`;
CREATE TABLE `restaurant.item` (
itemKey STRING,
itemName STRING,
itemCategory STRING,
shelfLifeDays INT64,
PRIMARY KEY (itemKey) NOT ENFORCED
);
-- 2. Location Table
DROP TABLE IF EXISTS `restaurant.location`;
CREATE TABLE `restaurant.location` (
locationKey STRING,
locationType STRING,
locationCity STRING,
locationState STRING,
dunsNumber INT64,
PRIMARY KEY (locationKey) NOT ENFORCED
);
-- 3. ItemLocation Table
DROP TABLE IF EXISTS `restaurant.itemlocation`;
CREATE TABLE `restaurant.itemlocation` (
itemLocationKey STRING,
itemKey STRING,
locationKey STRING,
variants INT64,
PRIMARY KEY (itemLocationKey) NOT ENFORCED,
-- Foreign Key Definitions
FOREIGN KEY (itemKey) REFERENCES `restaurant.item`(itemKey) NOT ENFORCED,
FOREIGN KEY (locationKey) REFERENCES `restaurant.location`(locationKey) NOT ENFORCED
);
-- 4. BOM Table
DROP TABLE IF EXISTS `restaurant.bom`;
CREATE TABLE `restaurant.bom` (
bomKey INT64,
parentItemLocation STRING,
childItemLocation STRING,
childQuantity FLOAT64,
PRIMARY KEY (bomKey) NOT ENFORCED
);
-- 5. Makes Table
DROP TABLE IF EXISTS `restaurant.makes`;
CREATE TABLE `restaurant.makes` (
itemLocationKey STRING,
itemKey STRING,
locationKey STRING,
variants INT64,
PRIMARY KEY (itemLocationKey) NOT ENFORCED
);
DROP TABLE IF EXISTS `restaurant.stored_at`;
CREATE TABLE `restaurant.stored_at` (
itemLocationKey STRING,
itemKey STRING,
locationKey STRING,
variants INT64,
PRIMARY KEY (itemLocationKey) NOT ENFORCED
);
4. Wczytuję przykładowe dane
Aby to szkolenie było w pełni samodzielne, wypełnisz tabele danymi próbkowanymi, używając instrukcji SQL LOAD DATA. Reprezentuje sieć, która zaczyna się od dostawcy, przechodzi przez centrum dystrybucji i kuchnię komercyjną, a kończy się w kawiarni.
Aby wczytać dane, uruchom te zapytania SQL:

Uwaga: jeśli uruchamiasz zapytanie bezpośrednio w BigQuery Studio, możesz pominąć %%bigquery.
%%bigquery --project=$PROJECT_ID
-- Load Item
LOAD DATA OVERWRITE `restaurant.item`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/item2.csv'], skip_leading_rows = 1);
-- Load Location
LOAD DATA OVERWRITE `restaurant.location`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/location.csv'], skip_leading_rows = 1);
-- Load ItemLocation
LOAD DATA OVERWRITE `restaurant.itemlocation`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/itemlocation.csv'], skip_leading_rows = 1);
-- Load BOM
LOAD DATA OVERWRITE `restaurant.bom`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/bom2.csv'], skip_leading_rows = 1);
-- Load Makes
LOAD DATA OVERWRITE `restaurant.makes`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/makes.csv'], skip_leading_rows = 1);
-- Load StoredAt
LOAD DATA OVERWRITE `restaurant.stored_at`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/itemlocation.csv'], skip_leading_rows = 1);
5. Dodawanie ograniczeń i definiowanie wykresu
Przed utworzeniem grafu deklarujesz relacje semantyczne za pomocą standardowej wersji SQL i ograniczeń klucza podstawowego i klucza obcego. Pomagają one BigQuery zrozumieć identyfikatory węzłów i połączyć tabele krawędzi z tabelami węzłów.
Utwórz graf właściwości
Teraz połączysz te tabele w jedną spójną strukturę grafu o nazwie restaurant.bombod.
Określasz:
- Węzły:
item,location,itemlocation - Krawędzie:
makes,stored_aticonsists_of(BOM)
%%bigquery --project=$PROJECT_ID
CREATE OR REPLACE PROPERTY GRAPH `restaurant.bombod`
NODE TABLES (
`restaurant.item` KEY (itemKey) LABEL item PROPERTIES ALL COLUMNS,
`restaurant.location` KEY (locationKey) LABEL location PROPERTIES ALL COLUMNS,
`restaurant.itemlocation` KEY (itemLocationKey) LABEL itemlocation PROPERTIES ALL COLUMNS
)
EDGE TABLES (
`restaurant.makes`
KEY (itemLocationKey)
SOURCE KEY (itemLocationKey) REFERENCES `restaurant.itemlocation`(itemLocationKey)
DESTINATION KEY (itemKey) REFERENCES `restaurant.item`(itemKey)
LABEL makes PROPERTIES ALL COLUMNS,
`restaurant.bom`
KEY (bomKey)
SOURCE KEY (childItemLocation) REFERENCES `restaurant.itemlocation`(itemLocationKey)
DESTINATION KEY (parentItemLocation) REFERENCES `restaurant.itemlocation`(itemLocationKey)
LABEL consists_of PROPERTIES ALL COLUMNS,
`restaurant.stored_at`
KEY (itemLocationKey)
SOURCE KEY (itemLocationKey) REFERENCES `restaurant.itemlocation`(itemLocationKey)
DESTINATION KEY (locationKey) REFERENCES `restaurant.location`(locationKey)
LABEL stored_at PROPERTIES ALL COLUMNS
);
6. Wizualizacja łańcucha dostaw
Możesz uruchomić zapytanie o przechodzenie od góry do dołu, aby zobaczyć całą sieć łańcucha dostaw. W standardowym notatniku lub interfejsie, który obsługuje tę funkcję (np. %%bigquery --graph), zwraca ona mapę wizualną.
Użyj bezwzględnych zapytań dotyczących wykresów, aby skonfigurować węzły i krawędzie.
Uwaga: jak wspomniano wcześniej, aby wykonać to polecenie w notatnikach Google Colab lub Colab Enterprise, możesz też użyć poleceń magicznych BigQuery: %%bigquery. Aby zwizualizować wykres w notatnikach Google Colab lub Colab Enterprise, dodaj flagę –graph: %%bigquery –graph
%%bigquery --project=$PROJECT_ID --graph output
Graph restaurant.bombod
match p=(a:itemlocation)-[c:consists_of]->(b:itemlocation)
match q=(a)-[d:stored_at]->(e:location)
optional match z=(f)-[g:makes]-(b)
return to_json(p) as ppath, to_json(q) as qpath, to_json(z) as zpath
Dane wyjściowe:

7. Przypadek użycia 1. Śledzenie skargi dotyczącej wcześniejszego etapu
Scenariusz: klient skarży się na jakość kurczaka w kanapce kupionej w sklepie w Nowym Jorku. Musisz prześledzić gotowy produkt wstecz, aby zobaczyć jego bezpośrednie etapy montażu.
Zapytanie dotyczące przechodzenia
Uruchom zapytanie, używając formatu zapytania Graph Traversal. Dotyczy to krawędzi consists_of, które łączą zespoły na dalszych etapach ze składnikami na wcześniejszych etapach.
%%bigquery --project=$PROJECT_ID --graph
GRAPH restaurant.bombod
MATCH p=(a:itemlocation)-[c:consists_of]->(b:itemlocation)
OPTIONAL MATCH q=(b)-[d:stored_at]-(e)
return to_json(p) as ppath, to_json(q) as qpath
Ze względu na kierunek strzałki w tabeli krawędzi consists_of (Ingredient -> Finished) wyszukiwanie w górę strumienia daje linki, które szybko izolują zależne materiały i miejsca przechowywania.
Wyjście: 
8. Przypadek użycia 2. Analiza wpływu
Scenariusz: burza śnieżna spowodowała zamknięcie centrum dystrybucyjnego w Columbus w Ohio. Musisz wiedzieć, na które produkty w trakcie przygotowania lub gotowe produkty ma to natychmiastowy wpływ.
Zapytanie dotyczące przechodzenia
Zaczynasz od konkretnego location reprezentującego centrum dystrybucyjne, identyfikujesz przechowywane tam zapasy i sprawdzasz, które gotowe produkty ich wymagają.
# @title Impact of a storm on a DC
%%bigquery --project=$PROJECT_ID --graph
Graph restaurant.bombod
match path1=(z:itemlocation)-[m:stored_at]->(dc:location) where dc.locationKey like '%DC-Sysco-Columbus-OH%'
match path2=(z:itemlocation)-[c:consists_of]->(b:itemlocation)
match path3=(b:itemlocation)-[n:makes]->(item:item)
optional match path4=(b)-[p:stored_at]->(q:location)
return to_json(path1) as path1, to_json(path2) as path2,to_json(path3) as path3, to_json(path4) as path4
Wyjście: 
9. Przypadek użycia 3. Wycofanie produktu na dalszym etapie
Scenariusz: dostawca powiadamia Cię o konkretnej partii skażonego produktu: pomidorów dojrzewających na krzaku od dostawcy. Musisz znaleźć wszystkie kawiarnie, w których występują te pozycje menu.
Zapytanie dotyczące przechodzenia
Szukasz lokalizacji skażonego surowca, a następnie przechodzisz ścieżką w dół, aby znaleźć ostateczne produkty, których dotyczy problem.
%%bigquery --project=$PROJECT_ID --graph
Graph restaurant.bombod
match path1=(a:itemlocation)-[c:consists_of]->(b:itemlocation)-[e:makes]->(f:item) where f.itemKey like '%Tomato%'
return to_json(path1) as result
To zapytanie znajduje wszystkie elementy, które pasują do wzorca „Tomato” i są powiązane z relacją nadrzędną, co tworzy zaawansowane mapowanie, które pozwala wykryć, które produkty z kawiarni muszą zostać wycofane.
Wyjście: 
10. Czyszczenie
Po wykonaniu czynności opisanych w przewodniku usuń zasoby, aby uniknąć dodatkowych opłat w obszarze roboczym.
DROP SCHEMA `restaurant` CASCADE;
11. Podsumowanie
Gratulacje! Udało Ci się utworzyć model łańcucha dostaw i przeprowadzić analizę wpływu za pomocą BigQuery Graph.
Podsumowanie
Wiesz już, jak:
- Deklarowanie relacji opartych na grafach za pomocą kluczy podstawowych i obcych.
- Utwórz ujednolicony graf właściwości.
- Efektywne poruszanie się po relacjach między wieloma węzłami za pomocą logiki przechodzenia zapytań do grafu.
Więcej informacji o architekturze wykresów znajdziesz w dokumentacji Google Cloud.