Google Forms के सर्वे के जवाबों को BigQuery में बदलना और लोड करें

1. परिचय

सर्वे करने की कई वजहें हो सकती हैं: ग्राहकों की संतुष्टि का आकलन करना, मार्केट रिसर्च करना, किसी प्रॉडक्ट या सेवा को बेहतर बनाना या कर्मचारियों की दिलचस्पी का आकलन करना. हालांकि, अगर आपने पहले सर्वे के डेटा के साथ काम करने की कोशिश की है, तो शायद आपको पता हो कि स्टैंडर्ड फ़ॉर्मैट का इस्तेमाल करना मुश्किल है. इस गाइड में, हमने एक ऑटोमेटेड पाइपलाइन बनाई है. यह Google Forms के नतीजों को कैप्चर करती है, Cloud Dataprep की मदद से डेटा को विश्लेषण के लिए तैयार करती है, और उसे BigQuery में लोड करती है. साथ ही, यह आपकी टीम को Looker या Data Studio जैसे टूल का इस्तेमाल करके, विज़ुअल ऐनलिटिक्स करने की सुविधा देती है.

आपको क्या बनाना है

इस कोडलैब में, आपको Dataprep का इस्तेमाल करके, Google Forms के सर्वे के जवाबों को ऐसे फ़ॉर्मैट में बदलना होगा जो डेटा विश्लेषण के लिए काम का हो. बदले गए डेटा को BigQuery में डाला जाएगा. यहां SQL की मदद से ज़्यादा बेहतर सवाल पूछे जा सकते हैं. साथ ही, ज़्यादा बेहतर विश्लेषण के लिए, इसे अन्य डेटासेट से जोड़ा जा सकता है. आखिर में, पहले से बने डैशबोर्ड एक्सप्लोर किए जा सकते हैं या नई रिपोर्ट बनाने के लिए, अपने बिज़नेस इंटेलिजेंस टूल को BigQuery से कनेक्ट किया जा सकता है.

आपको इनके बारे में जानकारी मिलेगी

  • Dataprep का इस्तेमाल करके, सर्वे के डेटा को ट्रांसफ़ॉर्म करने का तरीका
  • सर्वे का डेटा BigQuery में डालने का तरीका
  • सर्वे के डेटा से ज़्यादा अहम जानकारी पाने का तरीका

आपको किन चीज़ों की ज़रूरत होगी

  • आपके पास ऐसा Google Cloud प्रोजेक्ट होना चाहिए जिसमें बिलिंग, BigQuery, और Dataprep की सुविधाएं चालू हों
  • Dataprep के बारे में बुनियादी जानकारी होना मददगार होता है, लेकिन ज़रूरी नहीं है
  • BigQuery और SQL के बारे में बुनियादी जानकारी होना मददगार है, लेकिन ज़रूरी नहीं है

2. Google Forms के जवाब मैनेज करना

हम उदाहरण के तौर पर दिए गए सर्वे के लिए, Google Forms में मिले जवाबों की बारीकी से समीक्षा करके शुरुआत करेंगे.

f3d25efd2cc923f5.png

सर्वे के नतीजों को "जवाब" टैब से एक्सपोर्ट किया जा सकता है. इसके लिए, Google Sheets आइकॉन पर क्लिक करके नई स्प्रेडशीट बनाएं या नतीजों को किसी मौजूदा स्प्रेडशीट में लोड करें. जब तक "जवाब स्वीकार किए जा रहे हैं" बटन से चुने हुए का निशान नहीं हटाया जाता, तब तक Google Forms, जवाब देने वाले लोगों के जवाबों को स्प्रेडशीट में जोड़ता रहेगा.

d499e5a4dccdf5fd.png

4939332a5d8f9f19.png

अब हर तरह के जवाब की समीक्षा करते हैं और देखते हैं कि Google Sheets फ़ाइल में इसका अनुवाद कैसे होता है.

3. सर्वे के जवाबों को बदलना

सर्वे के सवालों को चार फ़ैमिली में बांटा जा सकता है. इनमें हर फ़ैमिली का एक्सपोर्ट फ़ॉर्मैट अलग होगा. सवाल के टाइप के आधार पर, आपको डेटा को किसी खास तरीके से फिर से व्यवस्थित करना होगा. यहां हम हर ग्रुप और उन ट्रांसफ़ॉर्मेशन की समीक्षा करते हैं जिन्हें हमें लागू करना है.

सिर्फ़ एक विकल्प वाले सवाल: छोटे जवाब, पैराग्राफ़, ड्रॉपडाउन, लीनियर स्केल वगैरह.

  • सवाल का नाम: कॉलम का नाम
  • रिस्पॉन्स: सेल की वैल्यू
  • ट्रांसफ़ॉर्मेशन से जुड़ी ज़रूरी शर्तें: ट्रांसफ़ॉर्मेशन की ज़रूरत नहीं है. रिस्पॉन्स को वैसे ही लोड किया जाता है.

3eeedc50b0fd54fd.png

कई विकल्प वाले सवाल: कई विकल्प, चेकबॉक्स

  • सवाल का नाम: कॉलम का नाम
  • जवाब: सेमीकोलन से अलग की गई वैल्यू की सूची (उदाहरण के लिए, "जवाब 1; जवाब 4; जवाब 6")
  • ट्रांसफ़ॉर्मेशन की ज़रूरी शर्तें: वैल्यू की सूची को निकालकर पिवट करना ज़रूरी है, ताकि हर जवाब एक नई लाइन बन जाए.

cab8a38a96a13ce4.png

कई विकल्प वाले ग्रिड से जुड़े सवाल

यहां कई विकल्प वाले सवाल का उदाहरण दिया गया है. आपको हर लाइन से एक वैल्यू चुननी होगी.

c6ea3d47d4dd5e78.png

  • सवाल का नाम: हर सवाल, "सवाल [विकल्प]" फ़ॉर्मैट में कॉलम का नाम बन जाता है.
  • रिस्पॉन्स: ग्रिड में मौजूद हर रिस्पॉन्स, यूनीक वैल्यू वाला एक कॉलम बन जाता है.
  • ट्रांसफ़ॉर्मेशन से जुड़ी ज़रूरी शर्तें: हर सवाल/जवाब को टेबल में एक नई लाइन बनाना चाहिए और उसे दो कॉलम में बांटना चाहिए. एक कॉलम में सवाल का विकल्प और दूसरे कॉलम में जवाब.

9223d0271516c58d.png

एक से ज़्यादा विकल्प वाले चेकबॉक्स ग्रिड से जुड़े सवाल

यहां चेकबॉक्स ग्रिड का एक उदाहरण दिया गया है. हर लाइन से कोई भी या एक से ज़्यादा वैल्यू चुनी जा सकती हैं.

4e3189b8cc2d4a8b.png

  • सवाल का नाम: हर सवाल, "सवाल [विकल्प]" फ़ॉर्मैट में कॉलम का नाम बन जाता है.
  • रिस्पॉन्स: ग्रिड में मौजूद हर रिस्पॉन्स, एक कॉलम बन जाता है. इसमें वैल्यू की सूची होती है, जिसे सेमी-कोलन लगाकर अलग किया जाता है.
  • ट्रांसफ़ॉर्मेशन से जुड़ी ज़रूरी शर्तें: इस तरह के सवालों में "चेकबॉक्स" और "एक से ज़्यादा विकल्पों वाला ग्रिड" कैटगरी शामिल होती हैं. साथ ही, इन सवालों को इस क्रम में हल करना ज़रूरी है.

सबसे पहले, हर जवाब की वैल्यू की सूची को निकालकर पिवट करना होगा, ताकि हर जवाब उस सवाल के लिए एक नई लाइन बन जाए.

दूसरा: हर जवाब को टेबल में एक नई लाइन बनाकर, दो कॉलम में बांटना होगा. एक कॉलम में सवाल का विकल्प और दूसरे कॉलम में जवाब.

3c3c2bd098e03003.png

इसके बाद, हम आपको दिखाएंगे कि Cloud Dataprep की मदद से, इन बदलावों को कैसे मैनेज किया जाता है.

4. Cloud Dataprep फ़्लो बनाना

Cloud Dataprep में "Google Forms Analytics का डिज़ाइन पैटर्न" इंपोर्ट करना

Google Forms Analytics के डिज़ाइन पैटर्न का फ़्लो पैकेज डाउनलोड करें. इसे अनज़िप न करें. Cloud Dataprep ऐप्लिकेशन में, बाईं ओर मौजूद नेविगेशन बार में, फ़्लो आइकॉन पर क्लिक करें. इसके बाद, फ़्लो पेज में जाकर, संदर्भ मेन्यू से 'इंपोर्ट करें' चुनें.

ba7c0cb0eec398df.png

फ़्लो इंपोर्ट करने के बाद, उसमें बदलाव करने के लिए इंपोर्ट किया गया फ़्लो चुनें. आपकी स्क्रीन इस तरह दिखेगी:

44978861eb34ec71.png

Google Sheets में सर्वे के नतीजों की स्प्रेडशीट कनेक्ट करना

फ़्लो की बाईं ओर, डेटा सोर्स को Google Sheets से फिर से कनेक्ट करना होगा. इसमें Google Forms के नतीजे मौजूद होने चाहिए. Google शीट के डेटासेट ऑब्जेक्ट पर दायां क्लिक करें और "बदलें" चुनें.

55c16f0c04366f0c.png

इसके बाद, मॉडल के सबसे नीचे मौजूद "डेटासेट इंपोर्ट करें" लिंक पर क्लिक करें. "पाथ में बदलाव करें" पेंसिल पर क्लिक करें.

8afeef260c96277f.png

वहां मौजूद मौजूदा वैल्यू को इस लिंक से बदलें. यह लिंक, Google Forms के कुछ नतीजों वाली Google Sheets पर ले जाता है. इसके लिए, हमारे उदाहरण या अपनी कॉपी का इस्तेमाल किया जा सकता है: https://docs.google.com/spreadsheets/d/1DgIlvlLceFDqWEJs91F8rt1B-X0PJGLY6shkKGBPWpk/edit?usp=sharing

"जाएँ" पर क्लिक करें. इसके बाद, सबसे नीचे दाईं ओर मौजूद, "इंपोर्ट करें और फ़्लो में जोड़ें" पर क्लिक करें. मॉडल में वापस आने के बाद, सबसे नीचे दाईं ओर मौजूद "बदलें" बटन पर क्लिक करें.

BigQuery टेबल कनेक्ट करना

फ़्लो की दाईं ओर, आपको आउटपुट को अपने BigQuery इंस्टेंस से कनेक्ट करना होगा. हर आउटपुट के लिए, आइकॉन पर क्लिक करें. इसके बाद, उसकी प्रॉपर्टी में इस तरह बदलाव करें.

सबसे पहले, "मैन्युअल डेस्टिनेशन" में बदलाव करके शुरू करें

a3fc2cb80153ec25.png

यहां दी गई "पब्लिश करने की सेटिंग" स्क्रीन पर, बदलाव करें बटन पर क्लिक करें

85791e6162a370de.png

"पब्लिश करने की कार्रवाई" स्क्रीन दिखने पर, आपको BigQuery कनेक्शन पर क्लिक करके और उसकी प्रॉपर्टी में बदलाव करके, कनेक्शन की सेटिंग बदलनी होगी.

1f3e4887baaeaffd.png

वह BigQuery डेटासेट चुनें जिसमें आपको Google Forms के नतीजे लोड करने हैं. अगर आपने अब तक कोई BigQuery डेटासेट नहीं बनाया है, तो "डिफ़ॉल्ट" चुनें.

f4eaa05ecf9de162.png

"मैन्युअल डेस्टिनेशन" में बदलाव करने के बाद, "शेड्यूल किए गए डेस्टिनेशन" आउटपुट के लिए भी इसी तरह से आगे बढ़ें.

46edea1b8ca63270.png

इसी तरीके का इस्तेमाल करके, हर आउटपुट के लिए यह तरीका अपनाएं. आपको कुल आठ डेस्टिनेशन में बदलाव करना होगा.

5. Cloud Dataprep फ़्लो के बारे में जानकारी

"Google Forms के Analytics डिज़ाइन पैटर्न" फ़्लो का बुनियादी आइडिया, सर्वे के जवाबों में बदलाव करना है. इसके लिए, हर सवाल की कैटगरी को Cloud Dataprep के डेटा ट्रांसफ़ॉर्मेशन रेसिपी में बांटा जाता है.

यह फ़्लो, सवालों को चार टेबल में बांटता है. ये टेबल, सवालों की चार कैटगरी से जुड़ी होती हैं, ताकि उन्हें आसानी से समझा जा सके

afa421849b1bd398.png

हमारा सुझाव है कि आप हर रेसिपी को एक-एक करके एक्सप्लोर करें. इसके लिए, "क्लीन हेडर" से शुरुआत करें. इसके बाद, "SingleChoiceSELECT-Questions" और फिर नीचे दी गई अन्य रेसिपी आज़माएं.

सभी रेसिपी में टिप्पणियां की गई हैं, ताकि बदलाव के अलग-अलग चरणों के बारे में बताया जा सके. किसी रेसिपी में, किसी चरण में बदलाव किया जा सकता है. साथ ही, किसी कॉलम की पहले/बाद की स्थिति की झलक देखी जा सकती है.

449da06d96cd520e.png

4ac6e14f578d0707.png

6. Cloud Dataprep फ़्लो चलाना

अब आपके सोर्स और डेस्टिनेशन सही तरीके से कॉन्फ़िगर हो गए हैं. इसलिए, जवाबों को BigQuery में ट्रांसफ़ॉर्म और लोड करने के लिए, फ़्लो चलाया जा सकता है. हर आउटपुट चुनें और "चालू करें" बटन पर क्लिक करें. अगर बताई गई BigQuery टेबल मौजूद है, तो Dataprep नई लाइनें जोड़ देगा. अगर टेबल मौजूद नहीं है, तो वह एक नई टेबल बना देगा.

47cf50f6d17a5b1e.png

नौकरियों पर नज़र रखने के लिए, बाईं ओर मौजूद पैनल में "नौकरी का इतिहास" आइकॉन पर क्लिक करें. आगे बढ़ने और BigQuery टेबल लोड होने में कुछ मिनट लग सकते हैं.

afc79eeb27202fb4.png

सभी जॉब पूरा होने के बाद, सर्वे के नतीजे BigQuery में साफ़, व्यवस्थित, और सामान्य फ़ॉर्मैट में लोड हो जाएंगे. ये नतीजे विश्लेषण के लिए तैयार होंगे.

7. BigQuery में सर्वे के डेटा का विश्लेषण करना

BigQuery के लिए Google Console में, आपको हर नई टेबल की जानकारी दिखनी चाहिए

df370873572511ac.png

BigQuery में मौजूद सर्वे के डेटा की मदद से, आसानी से ज़्यादा बेहतर सवाल पूछे जा सकते हैं. इससे, सर्वे के जवाबों को बेहतर तरीके से समझा जा सकता है. उदाहरण के लिए, मान लें कि आपको यह समझना है कि अलग-अलग प्रोफ़ेशनल टाइटल वाले लोग, आम तौर पर किस प्रोग्रामिंग भाषा का इस्तेमाल करते हैं - इसके लिए, इस तरह की क्वेरी लिखी जा सकती है:

SELECT
   programming_answers.Language  AS programming_answers_language,
   project_answers.Title  AS project_answers_title,
   AVG((case when programming_answers.Level='None' then 0 
when programming_answers.Level='beginner' then 1
when programming_answers.Level='competent' then 2 
when programming_answers.Level='proficient' then 3
when programming_answers.Level='expert' then 4 
else null end) ) AS programming_answers_average_level_value
FROM `my-project.DesignPattern.A000111_ProjectAnswers` AS project_answers
INNER JOIN `my-project.A000111_ProgrammingAnswers` AS programming_answers
ON programming_answers.RESPONSE_ID = project_answers.RESPONSE_ID
GROUP BY 1,2
ORDER BY 3 DESC

अपने विश्लेषण को ज़्यादा असरदार बनाने के लिए, सर्वे के जवाबों को सीआरएम डेटा से जोड़ा जा सकता है. इससे यह पता चलता है कि क्या सर्वे में हिस्सा लेने वाले लोग, आपके डेटा वेयरहाउस में पहले से शामिल किसी खाते से मैप होते हैं. इससे आपके कारोबार को ग्राहक सहायता या नए लॉन्च के लिए उपयोगकर्ताओं को टारगेट करने के बारे में, ज़्यादा सोच-समझकर फ़ैसले लेने में मदद मिल सकती है.

यहां हम आपको बताते हैं कि जवाब देने वाले व्यक्ति के डोमेन और खाते की वेबसाइट के आधार पर, सर्वे के डेटा को खाते की टेबल में कैसे जोड़ा जा सकता है. अब, खाता टाइप के हिसाब से जवाबों का बंटवारा देखा जा सकता है. इससे आपको यह समझने में मदद मिलती है कि जवाब देने वाले कितने लोग मौजूदा ग्राहक खातों से जुड़े हैं.

SELECT
   account.TYPE  AS account_type,
   COUNT(DISTINCT project_answers.Domainname) AS project_answers_count_domains
FROM `my-project.A000111_ProjectAnswers` AS project_answers
LEFT JOIN `my-project.testing.account` AS account 
ON project_answers.Domainname=account.website
GROUP BY 1

8. विज़ुअल ऐनलिटिक्स का इस्तेमाल करना

अब आपका सर्वे डेटा, डेटा वेयरहाउस में सेव हो गया है. इसलिए, बिज़नेस इंटेलिजेंस टूल में डेटा का आसानी से विश्लेषण किया जा सकता है. हमने Data Studio और Looker में, उदाहरण के तौर पर कुछ रिपोर्ट बनाई हैं.

Looker

अगर आपके पास पहले से ही Looker इंस्टेंस है, तो इस पैटर्न के लिए सैंपल सर्वे और सीआरएम डेटा का विश्लेषण शुरू करने के लिए, इस फ़ोल्डर में मौजूद LookML का इस्तेमाल किया जा सकता है. बस एक नया Looker प्रोजेक्ट बनाएं, LookML जोड़ें, और फ़ाइल में कनेक्शन और टेबल के नाम बदलें, ताकि वे आपके BigQuery कॉन्फ़िगरेशन से मेल खा सकें. अगर आपके पास Looker इंस्टेंस नहीं है, लेकिन आपको ज़्यादा जानना है, तो यहां डेमो शेड्यूल करें.

129db05d6f85f484.png

Data Studio

इसके अलावा, Data Studio में रिपोर्ट बनाने के लिए, Google क्रॉस "खाली रिपोर्ट" वाले फ़्रेम पर क्लिक करें और BigQuery से कनेक्ट करें. Data Studio में दिए गए सभी निर्देशों का पालन करें. ज़्यादा जानने के लिए, Data Studio की मुख्य सुविधाओं के बारे में यहां जानें. यहां आपको पहले से बने हमारे डेटा स्टूडियो डैशबोर्ड भी मिल सकते हैं.

5e744869e3fe3f8f.png

9. क्लीनअप करना

बिलिंग की सुविधा बंद करने का सबसे आसान तरीका, ट्यूटोरियल के लिए बनाया गया Cloud प्रोजेक्ट मिटाना है. इसके अलावा, अलग-अलग संसाधनों को मिटाया जा सकता है.

  1. Cloud Console में, संसाधन मैनेज करने के लिए जाएं
  2. प्रोजेक्ट की सूची में, वह प्रोजेक्ट चुनें जिसे मिटाना है. इसके बाद, मिटाएं पर क्लिक करें.
  3. डायलॉग बॉक्स में, प्रोजेक्ट आईडी टाइप करें. इसके बाद, प्रोजेक्ट मिटाने के लिए बंद करें पर क्लिक करें.