Google Cloud के लिए ABAP SDK का इस्तेमाल करके, SAP में BigQuery ML के अनुमान देखना

1. परिचय

इस कोडलैब में, आपको BigQuery में मशीन लर्निंग (एमएल) मॉडल बनाना होगा. साथ ही, Google Cloud के लिए ABAP SDK का इस्तेमाल करके, इस मॉडल से अनुमान पाना होगा.

आपको Google Cloud की इन सेवाओं का फ़ायदा मिलेगा:

  • BigQuery
  • Cloud Shell

आपको क्या बनाना है

आपको ये चीज़ें बनानी होंगी:

  • BigQuery मशीन लर्निंग (एमएल) मॉडल.
  • BigQuery API को कॉल करने के लिए, BigQuery जॉब यूज़र की भूमिका वाला सेवा खाता.
  • BigQuery API को कॉल करने और ML मॉडल से अनुमान पाने के लिए ABAP प्रोग्राम.

2. ज़रूरी शर्तें

  • Chrome या Firefox जैसा कोई ब्राउज़र.
  • बिलिंग की सुविधा वाला Google Cloud प्रोजेक्ट या Google Cloud Platform के लिए 90 दिनों के मुफ़्त ट्रायल वाला खाता बनाएं.
  • आपके सिस्टम में SAP GUI (Windows या Java) इंस्टॉल हो. अगर आपके लैपटॉप पर SAP GUI पहले से इंस्टॉल है, तो ऐप्लिकेशन सर्वर आईपी के तौर पर, वर्चुअल मशीन (वीएम) के बाहरी आईपी पते का इस्तेमाल करके SAP से कनेक्ट करें. अगर आपके पास Mac है, तो इस लिंक पर जाकर, Java के लिए SAP GUI भी इंस्टॉल किया जा सकता है.

3. शुरू करने से पहले

6757b2fb50ddcc2d.png

  • अपने खाते की पुष्टि करने और डिफ़ॉल्ट प्रोजेक्ट को abap-sdk-poc पर सेट करने के लिए, Cloud Shell में ये निर्देश चलाएं. उदाहरण के लिए, ज़ोन us-west4-b का इस्तेमाल किया गया है. अगर ज़रूरी हो, तो अपनी पसंद के हिसाब से नीचे दिए गए निर्देशों में प्रोजेक्ट और ज़ोन बदलें.
gcloud auth login
gcloud config set project abap-sdk-poc
gcloud config set compute/zone us-west4-b
  • आपके पास ऐसे SAP सिस्टम का ऐक्सेस होना चाहिए जिसमें Google Cloud के लिए ABAP SDK टूल इंस्टॉल हो.
  • इस कोडलैब को शुरू करने से पहले, आपको कोडलैब 1 (Google Cloud Platform पर ABAP Platform Trial 1909 इंस्टॉल करना और Google Cloud के लिए ABAP SDK इंस्टॉल करना) और कोडलैब 2 (Compute Engine VM पर होस्ट किए गए SAP के लिए, टोकन का इस्तेमाल करके ABAP SDK की पुष्टि करने की सुविधा कॉन्फ़िगर करना) पूरा करना होगा.
  • अगर आपने पहला और दूसरा कोडलैब पूरा कर लिया है, तो आपको Google Cloud पर ABAP Platform Trial 1909 सिस्टम के साथ-साथ, पुष्टि और कनेक्टिविटी के लिए ज़रूरी सेटअप भी मिल जाएगा.
  • अगर आपने पहला और दूसरा कोडलैब पूरा नहीं किया है, तो इस कोडलैब में दिए गए चरणों को पूरा करने के लिए, आपके पास ज़रूरी इन्फ़्रास्ट्रक्चर और कनेक्टिविटी नहीं होगी. इसलिए, इस कोडलैब को शुरू करने से पहले, आपको कोडलैब 1 और कोडलैब 2 पूरा करना होगा.

4. अपने Google Cloud प्रोजेक्ट में BigQuery API V2 को चालू करना

  1. Cloud Console में, सबसे ऊपर दाएं कोने में मौजूद Cloud Shell चालू करें पर क्लिक करें:

6757b2fb50ddcc2d.png

  1. BigQuery API चालू करने के लिए, Cloud Shell में ये कमांड चलाएं:
gcloud services enable bigquery.googleapis.com

प्रोसेस पूरी होने पर, आपको यहां दिखाया गया मैसेज दिखेगा

b5f52859df2c2f56.png

अब आपके Google Cloud प्रोजेक्ट में BigQuery API चालू हो जाना चाहिए.

5. BigQuery को सुरक्षित तरीके से ऐक्सेस करने के लिए सेवा खाता बनाना

BigQuery के एमएल मॉडल से सुरक्षित तरीके से एमएल के अनुमान पाने के लिए, आपको BigQuery जॉब के उपयोगकर्ता और BigQuery डेटा व्यूअर की भूमिकाओं वाला सेवा खाता बनाना होगा. इससे आपके प्रोग्राम को प्रोजेक्ट में क्वेरी (जॉब के तौर पर) चलाने और टेबल से डेटा पढ़ने की अनुमति मिलेगी. इस भूमिका में, सिर्फ़ जॉब बनाने और डेटा पढ़ने की ज़रूरी अनुमति मिलती है. इससे सुरक्षा से जुड़े जोखिम कम हो जाते हैं.

सेवा खाता बनाना

ज़रूरी भूमिका वाला सेवा खाता बनाने के लिए, यह तरीका अपनाएं:

  1. Cloud Shell टर्मिनल में यह कमांड चलाएं:
gcloud iam service-accounts create abap-sdk-bigquery-jobuser --display-name="Service Account for BigQuery Job user"
  1. अब पिछले चरण में बनाए गए सेवा खाते में ज़रूरी भूमिकाएं जोड़ें:
gcloud projects add-iam-policy-binding abap-sdk-poc --member='serviceAccount:abap-sdk-bigquery-jobuser@abap-sdk-poc.iam.gserviceaccount.com' --role='roles/bigquery.jobUser'

gcloud projects add-iam-policy-binding abap-sdk-poc --member='serviceAccount:abap-sdk-bigquery-jobuser@abap-sdk-poc.iam.gserviceaccount.com' --role='roles/bigquery.dataViewer'

ऊपर दिए गए निर्देश में, Google Cloud प्रोजेक्ट के प्लेसहोल्डर के तौर पर abap-sdk-poc का इस्तेमाल किया गया है. abap-sdk-poc की जगह अपना प्रोजेक्ट आईडी डालें.

  1. भूमिका जोड़ी गई है या नहीं, इसकी पुष्टि करने के लिए IAM पेज पर जाएं. आपने जो सेवा खाता बनाया है वह उस भूमिका के साथ दिखना चाहिए जो उसे असाइन की गई है.

6. BigQuery मशीन लर्निंग मॉडल बनाना

इस कोडलैब में, हम लंदन में किराये पर साइकल लेने से जुड़े डेटासेट को क्लस्टर करने के लिए, के-मीन्स मॉडल बनाएंगे. अपने डेटा को क्लस्टर में बांटने के लिए, k-means एल्गोरिदम लागू किया जा सकता है. सुपरवाइज़्ड मशीन लर्निंग, अनुमानित आंकड़ों के बारे में है, जबकि अनसुपरवाइज़्ड लर्निंग, जानकारी देने वाले आंकड़ों के बारे में है. इसका मकसद, अपने डेटा को समझना है, ताकि डेटा के आधार पर फ़ैसले लिए जा सकें.

अपना डेटासेट बनाना

अपना एमएल मॉडल स्टोर करने के लिए, BigQuery डेटासेट बनाने के लिए यह तरीका अपनाएं:

  1. Google Cloud Console में, BigQuery पेज पर जाएं. BigQuery पेज पर जाना
  2. एक्सप्लोरर पैनल में, अपने प्रोजेक्ट के नाम पर क्लिक करें.
  3. 5cf3b742649f1e2c.png कार्रवाइयां देखें > डेटासेट बनाएं पर क्लिक करें.

3fbc072041bfa313.png

  1. डेटासेट बनाएं पेज पर, ये काम करें:
  • डेटासेट आईडी के लिए, bqml_tutorial डालें.
  • जगह का टाइप के लिए, एक से ज़्यादा इलाके चुनें. इसके बाद, ईयू (यूरोपियन यूनियन में कई इलाके) चुनें. 'लंदन साइकल हेयर' का सार्वजनिक डेटासेट, ईयू के एक से ज़्यादा इलाकों में सेव किया जाता है. आपका डेटासेट एक ही जगह पर होना चाहिए.
  • बाकी डिफ़ॉल्ट सेटिंग में कोई बदलाव न करें और डेटासेट बनाएं पर क्लिक करें. डेटासेट पेज बनाएं.

क-मीन्स मॉडल बनाना

डेटासेट सेट अप हो जाने के बाद, अगला चरण डेटा का इस्तेमाल करके k-means मॉडल बनाना है. model_type=kmeans विकल्प के साथ CREATE MODEL स्टेटमेंट का इस्तेमाल करके, k-means मॉडल बनाया और ट्रेन किया जा सकता है.

क्वेरी चलाने और के-मीन्स मॉडल बनाने के लिए, यह तरीका अपनाएं:

  1. BigQuery पेज पर जाएं. BigQuery पर जाना
  2. एडिटर पैनल में, यह एसक्यूएल स्टेटमेंट चलाएं:
CREATE OR REPLACE MODEL `bqml_tutorial.london_station_clusters`
  OPTIONS(model_type='kmeans', num_clusters=4) AS
WITH
  hs AS (
  SELECT
    h.start_station_name AS station_name,
  IF
    (EXTRACT(DAYOFWEEK
      FROM
        h.start_date) = 1
      OR EXTRACT(DAYOFWEEK
      FROM
        h.start_date) = 7,
      "weekend",
      "weekday") AS isweekday,
    h.duration,
    ST_DISTANCE(ST_GEOGPOINT(s.longitude,
        s.latitude),
      ST_GEOGPOINT(-0.1,
        51.5))/1000 AS distance_from_city_center
  FROM
    `bigquery-public-data.london_bicycles.cycle_hire` AS h
  JOIN
    `bigquery-public-data.london_bicycles.cycle_stations` AS s
  ON
    h.start_station_id = s.id
  WHERE
    h.start_date BETWEEN CAST('2015-01-01 00:00:00' AS TIMESTAMP)
    AND CAST('2016-01-01 00:00:00' AS TIMESTAMP) ),
  stationstats AS (
  SELECT
    station_name,
    isweekday,
    AVG(duration) AS duration,
    COUNT(duration) AS num_trips,
    MAX(distance_from_city_center) AS distance_from_city_center
  FROM
    hs
  GROUP BY
    station_name, isweekday)
SELECT
  * EXCEPT(station_name, isweekday)
FROM
  stationstats
  1. नेविगेशन पैनल में, संसाधन सेक्शन में, अपने प्रोजेक्ट का नाम बड़ा करें. इसके बाद, bqml_tutorial पर क्लिक करें और फिर london_station_clusters पर क्लिक करें.
  2. स्कीमा टैब पर क्लिक करें. मॉडल स्कीमा में, स्टेशन के उन तीन एट्रिब्यूट की सूची दी गई है जिनका इस्तेमाल करके BigQuery ML ने क्लस्टरिंग की है. स्कीमा इस तरह दिखना चाहिए:

5f1feb313bd0f6a5.png

  1. मूल्यांकन टैब पर क्लिक करें. यह टैब, k-means मॉडल की मदद से पहचाने गए क्लस्टर के विज़ुअलाइज़ेशन दिखाता है. न्यूमेरिक सुविधाएं में, बार ग्राफ़ में हर सेंट्राइड के लिए, संख्या वाली सबसे ज़रूरी 10 सुविधाओं की वैल्यू दिखती हैं. ड्रॉप-डाउन मेन्यू से यह चुना जा सकता है कि किन सुविधाओं को विज़ुअलाइज़ करना है.

8f9b53971e33dc08.png

7. Google Cloud के लिए ABAP SDK का इस्तेमाल करके, BigQuery ML के अनुमान पाना

Google Cloud के लिए ज़रूरी शर्तें सेट अप करने के बाद, अब आपके पास Google Cloud के लिए ABAP SDK टूल का इस्तेमाल करके, एमएल मॉडल से अनुमान पाने के लिए, अपने SAP सिस्टम में चरणों को पूरा करने का विकल्प है.

क्लाइंट पासकोड कॉन्फ़िगरेशन बनाना

पुष्टि करने और कनेक्टिविटी से जुड़े कॉन्फ़िगरेशन के लिए, Google Cloud के लिए ABAP SDK टूल, /GOOG/CLIENT_KEY और /GOOG/SERVIC_MAP. टेबल का इस्तेमाल करता है

/GOOG/CLIENT_KEY टेबल में कॉन्फ़िगरेशन को बनाए रखने के लिए, यह तरीका अपनाएं:

  1. SAP GUI में, ट्रांज़ैक्शन कोड SPRO डालें.
  2. SAP रेफ़रंस IMG पर क्लिक करें.
  3. Google Cloud के लिए ABAP SDK टूल > बुनियादी सेटिंग > क्लाइंट पासकोड कॉन्फ़िगर करें पर क्लिक करें

25871e639293b9ee.png

  1. सूची में दिए गए फ़ील्ड के लिए, नीचे दी गई वैल्यू डालें. बाकी सभी फ़ील्ड खाली छोड़ दें:

फ़ील्ड

वैल्यू

Google Cloud की कुंजी का नाम

BIGQUERY_ML

Google Cloud सेवा खाते का नाम

abap-sdk-bigquery-jobuser@abap-sdk-poc.iam.gserviceaccount.com

Google Cloud का दायरा

https://www.googleapis.com/auth/cloud-platform

प्रोजेक्ट आईडी

abap-sdk-poc

अनुमति की कैटगरी

/GOOG/CL_AUTH_GOOGLE

BigQuery ML मॉडल से अनुमान पाने के लिए, ABAP रिपोर्ट बनाना

ABAP रिपोर्ट बनाने के लिए, यह तरीका अपनाएं:

  1. अपने SAP GUI में, ट्रांज़ैक्शन कोड SE38 पर जाएं और ZDEMO_BIGQUERY_ML_PREDICT. नाम से रिपोर्ट प्रोग्राम बनाएं
  2. इसके बाद, आपको एक पॉप-अप दिखेगा. इसमें, नीचे दी गई इमेज में दिखाए गए तरीके से जानकारी दें:

4cb32d50427df294.png

  1. अगले पॉप-अप में, लोकल ऑब्जेक्ट चुनें या पैकेज का नाम डालें.
  2. ABAP एडिटर में, यह कोड जोड़ें:
REPORT zdemo_bigquery_ml_predict.

types:
  begin of lty_query_result,
    centroid_id     type i,
    station_name    type string,
    isweekday       type string,
    num_trips       type i,
    distance_from_city type string,
  end of lty_query_result,
  ltt_query_result type standard table of lty_query_result.

DATA:
  lv_project_id TYPE string,
  ls_input      TYPE /goog/cl_bigquery_v2=>ty_103,
  ls_output     TYPE lty_query_result,
  lt_output     TYPE ltt_query_result.

CONSTANTS:
  lc_newline TYPE c VALUE cl_abap_char_utilities=>newline.

TRY.
    "Initialize Bigquery object, pass the client key name that you have configured in /GOOG/CLIENT_KEY table
    DATA(lo_bq) = NEW /goog/cl_bigquery_v2( iv_key_name = 'BIGQUERY_ML' ).

    "Populate relevant parameters
    lv_project_id = lo_bq->gv_project_id.

    ls_input-default_dataset-project_id = 'abap-sdk-poc'.
    ls_input-default_dataset-dataset_id = 'bqml_tutorial'.

    "This query gets predictions from
    ls_input-query =
                | WITH | && lc_newline &&
                | hs AS ( | && lc_newline &&
                | SELECT | && lc_newline &&
                | h.start_station_name AS station_name, | && lc_newline &&
                | IF | && lc_newline &&
                | (EXTRACT(DAYOFWEEK | && lc_newline &&
                | FROM | && lc_newline &&
                | h.start_date) = 1 | && lc_newline &&
                | OR EXTRACT(DAYOFWEEK | && lc_newline &&
                | FROM | && lc_newline &&
                | h.start_date) = 7, | && lc_newline &&
                | "weekend", | && lc_newline &&
                | "weekday") AS isweekday, | && lc_newline &&
                | h.duration, | && lc_newline &&
                | ST_DISTANCE(ST_GEOGPOINT(s.longitude, | && lc_newline &&
                | s.latitude), | && lc_newline &&
                | ST_GEOGPOINT(-0.1, | && lc_newline &&
                | 51.5))/1000 AS distance_from_city_center | && lc_newline &&
                | FROM | && lc_newline &&
                | `bigquery-public-data.london_bicycles.cycle_hire` AS h | && lc_newline &&
                | JOIN | && lc_newline &&
                | `bigquery-public-data.london_bicycles.cycle_stations` AS s | && lc_newline &&
                | ON | && lc_newline &&
                | h.start_station_id = s.id | && lc_newline &&
                | WHERE | && lc_newline &&
                | h.start_date BETWEEN CAST('2015-01-01 00:00:00' AS TIMESTAMP) | && lc_newline &&
                | AND CAST('2016-01-01 00:00:00' AS TIMESTAMP) ), | && lc_newline &&
                | stationstats AS ( | && lc_newline &&
                | SELECT | && lc_newline &&
                | station_name, | && lc_newline &&
                | isweekday, | && lc_newline &&
                | AVG(duration) AS duration, | && lc_newline &&
                | COUNT(duration) AS num_trips, | && lc_newline &&
                | MAX(distance_from_city_center) AS distance_from_city_center | && lc_newline &&
                | FROM | && lc_newline &&
                | hs | && lc_newline &&
                | GROUP BY | && lc_newline &&
                | station_name, isweekday ) | && lc_newline &&
                | SELECT | && lc_newline &&
                | * EXCEPT(nearest_centroids_distance) | && lc_newline &&
                | FROM | && lc_newline &&
                | ML.PREDICT( MODEL `bqml_tutorial.london_station_clusters`, | && lc_newline &&
                | ( | && lc_newline &&
                | SELECT | && lc_newline &&
                | * | && lc_newline &&
                | FROM | && lc_newline &&
                | stationstats | && lc_newline &&
                | WHERE | && lc_newline &&
                | REGEXP_CONTAINS(station_name, 'Kennington'))) |.

    "Call API method: bigquery.jobs.query
    CALL METHOD lo_bq->query_jobs
      EXPORTING
        iv_p_project_id = lv_project_id
        is_input        = ls_input
      IMPORTING
        es_output       = DATA(ls_response)
        ev_ret_code     = DATA(lv_ret_code)
        ev_err_text     = DATA(lv_err_text)
        es_err_resp     = DATA(ls_err_resp).

    IF lo_bq->is_success( lv_ret_code ).
      "API Call successful, loop through the data & display the result
      IF ls_response-job_complete = abap_true.
        LOOP AT ls_response-rows ASSIGNING FIELD-SYMBOL(<ls_row>).
          LOOP AT <ls_row>-f ASSIGNING FIELD-SYMBOL(<ls_value>).
            ASSIGN <ls_value>-v->* TO FIELD-SYMBOL(<ls_field_value>).
            CASE sy-tabix.
              WHEN 1.
                ls_output-centroid_id = <ls_field_value>.
              WHEN 2.
                ls_output-station_name = <ls_field_value>.
              WHEN 3.
                ls_output-isweekday = <ls_field_value>.
              WHEN 4.
                ls_output-num_trips = <ls_field_value>.
              WHEN 5.
                ls_output-distance_from_city = <ls_field_value>.
            ENDCASE.
          ENDLOOP.
          APPEND ls_output TO lt_output.
          CLEAR ls_output.
        ENDLOOP.
        IF lt_output IS NOT INITIAL.
          cl_demo_output=>new( )->begin_section( 'ML.Predict Query Details'
                               )->write_text( ls_input-query
                               )->write_text( 'Dataset: bigquery-public-data.london_bicycles'
                               )->end_section(
                               )->begin_section( 'ML.Predict Query Results'
                               )->write_data( lt_output
                               )->end_section(
                               )->display( ).
        ENDIF.
      ENDIF.
    ELSE.
      "Display error message in case the API call fails
      MESSAGE lv_err_text TYPE 'E'.
    ENDIF.

    "Close HTTP Connection
    lo_bq->close( ).

  CATCH /goog/cx_sdk INTO DATA(lo_exception).
    MESSAGE lo_exception->get_text( ) TYPE 'E'.
ENDTRY.
  1. रिपोर्ट को सेव और चालू करें.
  2. रिपोर्ट को लागू करें (F8).

एक्सपोर्ट पूरा होने पर, आपको रिपोर्ट का आउटपुट यहां दिखाया गया है:

739e5685511fc9fc.png

6405542a597ed09f.png

8. बधाई हो

"Google Cloud के लिए ABAP SDK का इस्तेमाल करके, BigQuery मशीन लर्निंग (ML) मॉडल से अनुमान पाना" कोडलैब को पूरा करने के लिए बधाई!

आपने अपने SAP सिस्टम में ही, BigQuery मशीन लर्निंग मॉडल के अनुमान पा लिए हैं! आपने ABAP और Google Cloud Services के बीच इंटिग्रेशन के नए लेवल को अनलॉक किया है. Google Cloud के कोडलैब के लिए, ABAP SDK टूल के अन्य दिलचस्प वर्शन की मदद से अपने ज्ञान को बढ़ाएं:

  • Google Cloud के लिए ABAP SDK के साथ Translation API का इस्तेमाल करना
  • एक बड़े ऑब्जेक्ट को चंक में बांटकर, Cloud Storage की बकेट में अपलोड करना
  • Google Cloud के लिए ABAP SDK की मदद से, Secret Manager से क्रेडेंशियल/सीक्रेट वापस पाना
  • ABAP से Vertex AI test-bison को कॉल करना

9. व्यवस्थित करें

अगर आपको Google Cloud के लिए ABAP SDK टूल से जुड़े अन्य कोडलैब जारी नहीं रखने हैं, तो कृपया क्लीनअप की प्रक्रिया शुरू करें.

प्रोजेक्ट मिटाना

  • Google Cloud प्रोजेक्ट मिटाएं:
gcloud projects delete abap-sdk-poc

अलग-अलग संसाधन मिटाना

  1. कंप्यूट इंस्टेंस मिटाने के लिए:
gcloud compute instances delete abap-trial-docker
  1. फ़ायरवॉल के नियम मिटाएं:
gcloud compute firewall-rules delete sapmachine
  1. सेवा खाता मिटाने के लिए:
gcloud iam service-accounts delete \
    abap-sdk-bigquery-jobuser@abap-sdk-poc.iam.gserviceaccount.com