تتبُّع مصدر المنتجات في سلسلة التوريد باستخدام BigQuery Graph

1. مقدمة

في هذا الدرس التطبيقي حول الترميز، ستتعرّف على كيفية الاستفادة من BigQuery Graph لحلّ المشاكل المعقّدة في سلاسل الإمداد والخدمات اللوجستية.

ستصمّم نموذجًا لشبكة سلسلة إمداد لمطعم تركّز على سلامة الأغذية ومراقبة الجودة. عندما تظهر مشكلة تتعلق بسلامة الغذاء، مثل مكوّن ملوّث من أحد المورّدين، يكون الوقت عاملاً حاسمًا. إنّ تحديد "نطاق التأثير" وتنفيذ عملية سحب دقيقة للمنتجات بسرعة يمكن أن يوفّر التكاليف ويحمي العملاء.

مخاوف بشأن الطعام في المطاعم

تتطلّب النماذج العلائقية التقليدية عمليات JOIN معقّدة ومتعدّدة الخطوات لتتبُّع السلع في مراحل متعدّدة (المورّد -> مركز التوزيع -> المتجر العسكري -> المتجر -> السلعة النهائية). باستخدام BigQuery Graph، يمكننا إنشاء نماذج لهذه العلاقات مباشرةً، ما يتيح إجراء طلبات بحث بديهية وسريعة باستخدام معيار ISO GQL (لغة طلبات الرسم البياني).

أهداف الدورة التعليمية

  • كيفية تحديد نموذج رسم بياني فوق جداول BigQuery الحالية
  • كيفية إنشاء رسم بياني للسمات داخل BigQuery
  • كيفية تنفيذ طلبات البحث عن المسارات لتتبُّع التأثيرات في المراحل السابقة واللاحقة

المتطلبات

  • مشروع على Google Cloud تم تفعيل الفوترة فيه
  • Google Cloud Shell

التكلفة التقديرية

من المتوقّع أن تبلغ تكلفة هذا التمرين أقل من 5 دولار أمريكي كرسوم تحليل في BigQuery، وهو مبلغ يقع ضمن مخصّصات المستوى المجاني للمستخدمين الجدد.

2. الإعداد والمتطلبات

فتح Cloud Shell

ستنفّذ معظم العمل في Cloud Shell، وهي بيئة محمّلة تتضمّن كل ما تحتاجه لاستخدام Google Cloud.

  1. انتقِل إلى Google Cloud Console.
  2. انقر على رمز تفعيل Cloud Shell في شريط الأدوات في أعلى يسار الصفحة.
  3. انقر على متابعة إذا طُلب منك ذلك.

إعداد متغيرات البيئة

في Cloud Shell، اضبط رقم تعريف المشروع لتبسيط الأوامر المستقبلية.

export PROJECT_ID=$(gcloud config get-value project)

تفعيل واجهات برمجة التطبيقات

نفِّذ هذا الأمر لتفعيل واجهة BigQuery API المطلوبة:

gcloud services enable bigquery.googleapis.com

3- إنشاء المخطط والجداول

ستنشئ مجموعة بيانات وجداول تمثّل مكوّنات سلسلة الإمداد:

  • ‫item: تمثّل التعريف العام للسلعة (مثل طماطم أو دجاج).
  • location: المنشآت (المورّدون ومراكز التوزيع والمقاهي)
  • ‫itemlocation: جدول التقاطع الذي يمثّل المواقع الجغرافية للمستودع
  • bom: قائمة المواد (تحدّد علاقات الوزن، مثل السلعة "أ" تدخل في السلعة "ب").
  • makes: يتم ربط السمة itemlocation بالسمة item.
  • stored_at: يربط itemlocation بـ location.

إنشاء مجموعة بيانات

يمكنك تشغيل أوامر SQL في هذا التمرين العملي باستخدام Cloud Shell أو وحدة تحكّم BigQuery.

لاستخدام وحدة تحكّم BigQuery:

  1. افتح وحدة تحكّم BigQuery في علامة تبويب جديدة.
  2. الصِق كل مقتطف SQL من هذا التمرين في المحرِّر، ثم انقر على الزر تشغيل لتنفيذه.

محرّر BigQuery

نفِّذ الأمر التالي في Cloud Shell أو استخدِم BigQuery Console لإنشاء المخطط. ستستخدم متغيّرات العُقد في SQL.

مخطط بيانات BigQuery

ملاحظة: (1) لتنفيذ ذلك في Google Colab، يمكنك أيضًا استخدام أوامر BigQuery السحرية: ‎%%bigquery ينشئ المقتطف التالي مخطط المطعم ضمن مشروعك لإيواء بيانات الرسم البياني. (2) ستحتاج إلى استخدام ‎ %%bigquery –project <PROJECT_ID> إذا كنت تستخدم Google Colab. تأكَّد من ربط الحقل PROJECT_ID بالمشروع المناسب الذي تنوي استخدامه: PROJECT_ID = "argolis-project-340214" # @param {"type":"string"} (3) إذا كنت تستخدم Colab، ستحتاج إلى تثبيت بعض المكتبات حسب متطلباتك. إذا كنت ستستخدم العرض المرئي للرسم البياني، تأكَّد من تثبيت المكتبة باستخدام pip: spanner-graph-notebook==1.1.5

BigQuery Magic في Colab

%%bigquery --project=$PROJECT_ID
CREATE SCHEMA IF NOT EXISTS restaurant ;

إنشاء جداول

نفِّذ رمز SQL التالي لإنشاء الجداول.

%%bigquery --project=$PROJECT_ID
-- 1. Item Table
DROP TABLE IF EXISTS `restaurant.item`;
CREATE TABLE `restaurant.item` (
  itemKey STRING,
  itemName STRING,
  itemCategory STRING,
  shelfLifeDays INT64,
  PRIMARY KEY (itemKey) NOT ENFORCED
);

-- 2. Location Table
DROP TABLE IF EXISTS `restaurant.location`;
CREATE TABLE `restaurant.location` (
  locationKey STRING,
  locationType STRING,
  locationCity STRING,
  locationState STRING,
  dunsNumber INT64,
  PRIMARY KEY (locationKey) NOT ENFORCED
);
-- 3. ItemLocation Table
DROP TABLE IF EXISTS `restaurant.itemlocation`;
CREATE TABLE `restaurant.itemlocation` (
  itemLocationKey STRING,
  itemKey STRING,
  locationKey STRING,
  variants INT64,
  PRIMARY KEY (itemLocationKey) NOT ENFORCED,
  -- Foreign Key Definitions
  FOREIGN KEY (itemKey) REFERENCES `restaurant.item`(itemKey) NOT ENFORCED,
  FOREIGN KEY (locationKey) REFERENCES `restaurant.location`(locationKey) NOT ENFORCED
);

-- 4. BOM Table
DROP TABLE IF EXISTS `restaurant.bom`;
CREATE TABLE `restaurant.bom` (
  bomKey INT64,
  parentItemLocation STRING,
  childItemLocation STRING,
  childQuantity FLOAT64,
  PRIMARY KEY (bomKey) NOT ENFORCED
);

-- 5. Makes Table
DROP TABLE IF EXISTS `restaurant.makes`;
CREATE TABLE `restaurant.makes` (
  itemLocationKey STRING,
  itemKey STRING,
  locationKey STRING,
  variants INT64,
  PRIMARY KEY (itemLocationKey) NOT ENFORCED
);

DROP TABLE IF EXISTS `restaurant.stored_at`;
CREATE TABLE `restaurant.stored_at` (
  itemLocationKey STRING,
  itemKey STRING,
  locationKey STRING,
  variants INT64,
  PRIMARY KEY (itemLocationKey) NOT ENFORCED
);

4. جارٍ تحميل عيّنات البيانات

لجعل هذا التمرين مستقلاً بالكامل، ستملأ الجداول بعيّنات بيانات باستخدام عبارات SQL LOAD DATA البسيطة. يمثّل ذلك شبكة تبدأ من المورّد، وتمرّ عبر مركز التوزيع (DC) ومطبخ التموين، وتنتهي عند مقهى البيع بالتجزئة.

نفِّذ طلبات البحث التالية في SQL لتحميل البيانات:

تحميل بيانات BigQuery

ملاحظة: يمكنك حذف %%bigquery إذا كنت تشغّل الاستعلام مباشرةً في BigQuery Studio

%%bigquery --project=$PROJECT_ID
-- Load Item
LOAD DATA OVERWRITE `restaurant.item`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/item2.csv'], skip_leading_rows = 1);

-- Load Location
LOAD DATA OVERWRITE `restaurant.location`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/location.csv'], skip_leading_rows = 1);

-- Load ItemLocation
LOAD DATA OVERWRITE `restaurant.itemlocation`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/itemlocation.csv'], skip_leading_rows = 1);

-- Load BOM
LOAD DATA OVERWRITE `restaurant.bom`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/bom2.csv'], skip_leading_rows = 1);

-- Load Makes
LOAD DATA OVERWRITE `restaurant.makes`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/makes.csv'], skip_leading_rows = 1);

-- Load StoredAt
LOAD DATA OVERWRITE `restaurant.stored_at`
FROM FILES (format = 'CSV', uris = ['gs://supply_chain_demo/itemlocation.csv'], skip_leading_rows = 1);

5- إضافة القيود وتحديد الرسم البياني

قبل إنشاء الرسم البياني، عليك تحديد العلاقات الدلالية باستخدام قيود المفتاح الأساسي والمفتاح الخارجي العادية في SQL. تساعد هذه الجداول BigQuery في فهم معرّفات العُقد وربط جداول الحواف بجداول العُقد.

إنشاء رسم بياني للسمات

والآن، يمكنك دمج هذه الجداول في بنية رسم بياني واحدة متماسكة تُسمّى restaurant.bombod.

يمكنك تحديد ما يلي:

  • العُقد: item وlocation وitemlocation
  • الحواف: makes وstored_at وconsists_of (قائمة المواد)
%%bigquery --project=$PROJECT_ID

CREATE OR REPLACE PROPERTY GRAPH `restaurant.bombod`
NODE TABLES (
  `restaurant.item` KEY (itemKey) LABEL item PROPERTIES ALL COLUMNS,
  `restaurant.location` KEY (locationKey) LABEL location PROPERTIES ALL COLUMNS,
  `restaurant.itemlocation` KEY (itemLocationKey) LABEL itemlocation PROPERTIES ALL COLUMNS
)
EDGE TABLES (
  `restaurant.makes`
    KEY (itemLocationKey)
    SOURCE KEY (itemLocationKey) REFERENCES `restaurant.itemlocation`(itemLocationKey)
    DESTINATION KEY (itemKey) REFERENCES `restaurant.item`(itemKey)
    LABEL makes PROPERTIES ALL COLUMNS,

  `restaurant.bom`
    KEY (bomKey)
    SOURCE KEY (childItemLocation) REFERENCES `restaurant.itemlocation`(itemLocationKey)
    DESTINATION KEY (parentItemLocation) REFERENCES `restaurant.itemlocation`(itemLocationKey)
    LABEL consists_of PROPERTIES ALL COLUMNS,

  `restaurant.stored_at`
    KEY (itemLocationKey)
    SOURCE KEY (itemLocationKey) REFERENCES `restaurant.itemlocation`(itemLocationKey)
    DESTINATION KEY (locationKey) REFERENCES `restaurant.location`(locationKey)
    LABEL stored_at PROPERTIES ALL COLUMNS
);

6. عرض سلسلة الإمداد

يمكنك تشغيل طلب بحث من أعلى لأسفل للاطّلاع على شبكة سلسلة الإمداد بأكملها. في دفتر ملاحظات عادي أو واجهة مستخدم تتيح ذلك (مثل %%bigquery --graph)، يؤدي هذا إلى عرض خريطة مرئية.

استخدِم طلبات البحث المطلقة في الرسم البياني لإعداد العُقد والحواف.

ملاحظة: كما ذكرنا سابقًا، لتنفيذ ذلك في Google Colab أو Colab Enterprise Notebooks، يمكنك أيضًا استخدام أوامر BigQuery السحرية: %%bigquery. ولعرض الرسم البياني في Google Colab أو Colab Enterprise Notebooks، يمكنك تضمين علامة –graph على النحو التالي: %%bigquery –graph

%%bigquery  --project=$PROJECT_ID --graph output

Graph restaurant.bombod

match p=(a:itemlocation)-[c:consists_of]->(b:itemlocation)
match q=(a)-[d:stored_at]->(e:location)
optional match z=(f)-[g:makes]-(b)

return to_json(p) as ppath, to_json(q) as qpath, to_json(z) as zpath

إخراج:

الرسم البياني لتوريد المطاعم

7. حالة الاستخدام 1: تتبُّع شكوى من جهة أعلى في سلسلة التوريد

السيناريو: يشتكي أحد العملاء من جودة الدجاج في شطيرته في متجر نيويورك. تحتاج إلى تتبع العنصر النهائي للخلف لمعرفة مراحل التجميع الفورية.

طلب بحث الاجتياز

نفِّذ طلب البحث باستخدام تنسيق طلب البحث Graph Traversal. يتم من خلال هذا الإجراء فحص حواف consists_of التي تربط المجموعات النهائية بالمكوّنات الأولية.

%%bigquery --project=$PROJECT_ID --graph

GRAPH restaurant.bombod
MATCH p=(a:itemlocation)-[c:consists_of]->(b:itemlocation)
OPTIONAL MATCH q=(b)-[d:stored_at]-(e)
return to_json(p) as ppath, to_json(q) as qpath

بسبب اتجاه السهم في جدول الحواف consists_of (Ingredient -> Finished)، يؤدي البحث في الاتجاه المعاكس إلى الحصول على روابط تعزل بسرعة المواد التابعة ومواقع التخزين.

الناتج: التعرّف على مصدر الدجاج

8. حالة الاستخدام 2: تحليل التأثير

السيناريو: تسبّبت عاصفة ثلجية في إغلاق مركز التوزيع في كولومبوس، أوهايو. عليك معرفة الاستعدادات أو السلع النهائية التي ستتأثر فورًا.

طلب بحث الاجتياز

تبدأ من location المحدّد الذي يمثّل مركز التوزيع، وتحدّد المخزون المخزّن هناك، وتطّلع على السلع النهائية التي تتطلّبه.

# @title Impact of a storm on a DC

%%bigquery  --project=$PROJECT_ID --graph
Graph restaurant.bombod
match path1=(z:itemlocation)-[m:stored_at]->(dc:location) where dc.locationKey like '%DC-Sysco-Columbus-OH%'
match path2=(z:itemlocation)-[c:consists_of]->(b:itemlocation)
match path3=(b:itemlocation)-[n:makes]->(item:item)
optional match path4=(b)-[p:stored_at]->(q:location)
return to_json(path1) as path1, to_json(path2) as path2,to_json(path3) as path3, to_json(path4) as path4


الناتج: تأثير العاصفة

9. حالة الاستخدام 3: سحب المنتجات من قنوات التوزيع

السيناريو: يرسل إليك أحد المورّدين إشعارًا بشأن دفعة معيّنة من منتج ملوّث: طماطم ناضجة على الكرمة من المورّد. عليك العثور على جميع أصناف القائمة النهائية المتأثرة في المقاهي.

طلب بحث الاجتياز

تبحث عن موقع المواد الخام الملوثة، ثم تقوم باجتياز المسار المتدفق في اتجاه مجرى النهر للعثور على العناصر المتأثرة في نهاية المطاف.

%%bigquery  --project=$PROJECT_ID --graph
Graph restaurant.bombod
match path1=(a:itemlocation)-[c:consists_of]->(b:itemlocation)-[e:makes]->(f:item) where f.itemKey like '%Tomato%'
return to_json(path1) as result

يحدّد طلب البحث هذا جميع العناصر التي تتطابق مع "طماطم" والمتداخلة مع العلاقة السابقة، ما يجعله عملية ربط فعّالة تنتشر لاكتشاف عناصر المقهى التي يجب سحبها.

الناتج: تأثير Bad Tomatoes على المحتوى اللاحق

10. تنظيف

احذف الموارد بعد إكمال خطوات الإرشادات لتجنُّب أي رسوم متبقية في مساحة العمل.

DROP SCHEMA `restaurant` CASCADE;

11. الخاتمة

تهانينا! لقد أنشأت نموذجًا لسلسلة إمداد وأجريت تحليل التأثير باستخدام BigQuery Graph.

الخاتمة

لقد تعلّمت طريقة:

  1. يمكنك الإعلان عن علاقات ارتباطية تركّز على الرسم البياني باستخدام المفاتيح الأساسية/الخارجية.
  2. إنشاء رسم بياني موحّد للسمات
  3. التنقّل في العلاقات المتعددة العُقد بكفاءة باستخدام منطق التنقّل في طلبات البحث في الرسم البياني

لمزيد من المعلومات حول بنية الرسم البياني، يُرجى الانتقال إلى مستندات Google Cloud.