Codelab zu „BigQuery-Benutzeroberfläche für Navigation und Datenexploration“

1. Einführung

BigQuery ist ein serverloses, hoch skalierbares und kostengünstiges Data Warehouse. Verschieben Sie einfach Ihre Daten zu BigQuery und überlassen Sie uns den Rest, damit Sie sich auf das Wesentliche konzentrieren können: Ihr Geschäft. Sie können den Zugriff auf das Projekt und auf Ihre Daten entsprechend Ihren Unternehmensanforderungen steuern und anderen Personen das Aufrufen oder Abfragen Ihrer Daten ermöglichen.

In diesem Lab lernen Sie die Analysemöglichkeiten von BigQuery kennen. Sie erfahren, wie Sie ein Dataset aus einem Google Cloud Storage-Bucket importieren und sich mit der BigQuery-Benutzeroberfläche vertraut machen, indem Sie mit einem Dataset für das Retail Banking arbeiten. Außerdem lernen Sie in diesem Lab, wie Sie wichtige Funktionen in BigQuery nutzen, die Ihre täglichen Analysen erheblich erleichtern. Dazu gehören das Exportieren von Abfrageergebnissen in eine Tabelle, das Aufrufen und Ausführen von Abfragen aus Ihrem Abfrageverlauf, das Aufrufen der Abfrageleistung und das Erstellen von Tabellenansichten, die von anderen Teams und Abteilungen verwendet werden können.

Lerninhalte

Aufgaben in diesem Lab:

• Neue Daten in BigQuery laden
• Mit der BigQuery-UI vertraut machen
• Abfragen in BigQuery ausführen
• Abfrageleistung ansehen
• Ansichten in BigQuery erstellen
• Datasets sicher für andere freigeben

2. Einführung: Die BigQuery-UI

In diesem Abschnitt erfahren Sie, wie Sie in der BigQuery-Benutzeroberfläche navigieren, verfügbare Datasets ansehen und eine einfache Abfrage ausführen.

BQ-Benutzeroberfläche wird geladen

1. Geben Sie oben in der Google Cloud Console „BigQuery“ ein.
2. Wählen Sie BigQuery aus der Optionsliste aus. Wählen Sie die Option mit dem BigQuery-Logo (Lupe) aus.

Datasets ansehen und Abfragen ausführen

1. Klicken Sie im linken Bereich unter „Ressource“ auf Ihr BigQuery-Projekt.
2. Klicken Sie auf bq_demo, um die Tabellen in diesem Dataset aufzurufen.
3. Geben Sie in das Suchfeld „card“ ein, um eine Liste von Tabellen und Datasets aufzurufen, deren Namen „card“ enthalten.
4. Wählen Sie in der Suchergebnisliste die Tabelle „card_transactions“ aus.

5. Klicken Sie im Bereich card_transactions auf den Tab „Details“, um die Metadaten für diese Tabelle aufzurufen.
6. Klicken Sie auf den Tab „Vorschau“, um eine Vorschau der Tabelle aufzurufen.

[Wettbewerbsvorteil ]: Durch die Integration in Google Data Catalog können BigQuery-Metadaten zusammen mit anderen Datenquellen wie Data Lakes oder operativen Datenquellen verwaltet werden. Dieses Beispiel zeigt, dass Google Cloud nicht nur ein relationales Data Warehouse, sondern eine vollständige Plattform für Analysedaten ist.

7. Klicken Sie auf das Lupensymbol, um die Tabelle „card_transactions“ abzufragen. Im BigQuery-Abfrageeditor wird automatisch generierter Text eingefügt.
8. Geben Sie den folgenden Code ein, um uns eindeutige Händler aus der Tabelle „Card_Transactions“ zu zeigen.

SELECT distinct (merchant) FROM bq_demo.card_transactions LIMIT 1000

9. Klicken Sie auf die Schaltfläche „Ausführen“, um die Abfrage auszuführen.

3. Datasets erstellen und Ansichten freigeben

Die Freigabe von Daten und die Governance sind von entscheidender Bedeutung und können intuitiv über die BQ-Benutzeroberfläche erfolgen. In diesem Abschnitt erfahren Sie, wie Sie ein neues Dataset erstellen, es mit einer Ansicht füllen und freigeben.

Abfrageverlauf ansehen

1. Klicken Sie im linken Bereich der GCP Console auf „Abfrageverlauf“.
2. Klicken Sie im Bereich „Abfrageverlauf“ auf „Aktualisieren“.
3. Klicken Sie ganz rechts neben der Anfrage auf das Symbol zum Herunterladen des Bildes bzw. auf den Pfeil, um die Ergebnisse der Anfrage aufzurufen.

Neues Dataset erstellen

1. Wählen Sie in der BigQuery-UI im Bereich „Ressourcen“ [Ihr Projektname] aus.
2. Wählen Sie im Bereich mit den Projektinformationen „Neues Dataset erstellen“ aus.
3. Für „Dataset-ID“:

bq_demo_shared

4. Übernehmen Sie für alle anderen Felder die Standardwerte.
5. Klicken Sie auf „Dataset erstellen“.

Ansichten erstellen

[Wettbewerbsvorteil ]: BigQuery ist vollständig ANSI-SQL-konform und unterstützt sowohl einfache als auch komplexe Joins mit mehreren Tabellen sowie umfangreiche Analysefunktionen. Wir haben kontinuierlich die Unterstützung für gängige SQL-Datentypen und -Funktionen verbessert, die in herkömmlichen Data Warehouses verwendet werden, um die Migration zu erleichtern.

1. Wählen Sie oben im Bereich „Abfrageeditor“ die Option „Neue Abfrage erstellen“ aus.
2. Fügen Sie den folgenden Code in den Abfrageeditor ein.

WITH revenue_by_month AS (
SELECT
    card.type AS card_type,
    FORMAT_DATE('%Y-%m', trans_date) as revenue_date,
    SUM(amount) as revenue
FROM bq_demo.card_transactions
JOIN bq_demo.card ON card_transactions.cc_number = card.card_number
WHERE trans_date  DATE_ADD(CURRENT_DATE, INTERVAL -1 YEAR)
GROUP BY card_type, revenue_date
)
SELECT
    card_type,
    revenue_date,
    revenue as monthly_rev,
    revenue -  LAG(revenue) OVER (ORDER BY card_type, revenue_date ASC) as rev_change
FROM revenue_by_month
ORDER BY card_type, revenue_date ASC;

3. Klicken Sie auf „Ansicht speichern“.
4. Wählen Sie Ihr aktuelles Projekt für „Projektname“ aus.
5. Wählen Sie das neu erstellte Dataset aus:

bq_demo_shared

6. Tabellenname:

rev_change_by_card_type

7. Klicken Sie auf „Speichern“.

Ansichten und Datasets freigeben

1. Wählen Sie in der BigQuery-UI im linken Ressourcenbereich das Dataset „bq_demo_shared“ aus.
2. Klicken Sie im Bereich mit den Dataset-Informationen auf „Dataset freigeben“.
3. E‑Mail-Adresse eingeben
4. Wählen Sie im Drop-down-Menü „Rolle“ die Option „BigQuery Data Viewer“ aus.
5. Klicken Sie auf „Hinzufügen“
6. Klicken Sie auf Fertig .

Datenanalyse in Google Sheets

[Competitive Talking Point] : Ein weiterer Vorteil von BigQuery gegenüber seinen Mitbewerbern ist die BI Engine. Mit BI Engine können Sie dafür sorgen, dass Zusammenfassungsabfragen vom Typ BI durch In-Memory-Caching in weniger als einer Sekunde zurückgegeben werden. Das wird derzeit von Google Data Studio unterstützt, ist aber bald verfügbar, um alle Abfragen in BigQuery zu beschleunigen.

Beispiel:

Snowflake setzt für Dashboards und Datenvisualisierung auf BI-Tools von Drittanbietern, während GCP eine Reihe integrierter BI-Tools wie verbundene Tabellenblätter, Data Studio und Looker bietet.

1. Wählen Sie im linken Ressourcenbereich der BigQuery-Benutzeroberfläche die Ansicht „rev_change_by_card_type“ aus.
2. Klicken Sie auf die Lupe, um die Ansicht abzufragen. 
3. Typ:

SELECT *

FROM bq_demo_shared.rev_change_by_card_type

4. Klicken Sie auf „Ausführen“.
5. Klicken Sie im Bereich „Ergebnisse“ auf das Exportsymbol.
6. „Daten mit Google Tabellen analysieren“ auswählen

7. Klicken Sie auf „Start Analyzing“ (Analyse starten).
8. Wählen Sie „Pivot-Tabelle“ aus.
9. Wählen Sie „Neues Tabellenblatt“ aus.
10. Klicken Sie auf "Erstellen".
11. Fügen Sie „revenue_date“ im Bereich „Zeile“ des Editors für Pivot-Tabellen rechts im Google Sheets-Fenster hinzu.
12. Fügen Sie „card_type“ im Bereich „Spalte“ des Editors für Pivot-Tabellen hinzu.
13. Fügen Sie „monthly_rev“ im Editor für Pivot-Tabellen im Bereich „Spalte“ hinzu.
14. Klickt auf "Übernehmen".

15. Klicken Sie oben in der Sheets-Benutzeroberfläche auf „Einfügen“ „Diagramm“.

4. Einrichtung: Datenintegration

In diesem Abschnitt erfahren Sie, wie Sie eine neue Tabelle erstellen und JOINS für eines der vielen öffentlichen Datasets ausführen, die in Google Cloud verfügbar sind.

[Competitive Talking Point]:

BigQuery unterstützt seit Jahren freigegebene Datasets. Kunden in einem beliebigen Projekt können sowohl öffentliche Datasets als auch Datasets in anderen Projekten abfragen, die für sie freigegeben wurden.

BigQuery kann Data Lakes in GCS mithilfe externer Tabellen unterstützen. Zusätzlich zum Bulk-Laden unterstützt BigQuery das Streamen von Daten in die Datenbank mit Raten von Hunderten von MB pro Sekunde. Snowflake unterstützt keine Streamingdaten.

Daten in eine neue Tabelle importieren

1. Wählen Sie im Bereich „Ressourcen“ das Dataset „bq_demo“ aus.
2. Wählen Sie im Bereich mit den Dataset-Informationen „Tabelle erstellen“ aus.
3. Google Cloud Storage als Quelle auswählen
4. Gehen Sie im Textfeld für den Dateipfad so vor:

gs://retail-banking-looker/district

5. CSV als Dateiformat auswählen
6. Geben Sie „district“ als Tabellennamen ein.
7. Aktivieren Sie das Kästchen für „Schema automatisch erkennen“.
8. Klicken Sie auf „Tabelle erstellen“.

Öffentliches Dataset abfragen

1. Geben Sie im Abfrageeditor die folgende Abfrage ein:

SELECT
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    housing_units,
    vacant_housing_units_for_sale,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    ROUND(SAFE_DIVIDE(bachelors_degree_or_higher_25_64, pop_25_64),4) AS rate_bachelors_degree_or_higher_25_64
  FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`;

2. Klicken Sie auf „Ausführen“.
3. Ergebnisse ansehen

4. Nun kombinieren wir diese öffentlichen Daten mit einer anderen Abfrage. Geben Sie den folgenden SQL-Code in den Abfrageeditor ein:

WITH customer_counts AS (
    select regexp_extract(address, "[0-9][0-9][0-9][0-9][0-9]") as zip_code, 
    count(*) as num_clients
    FROM bq_demo.client
    GROUP BY zip_code
    )
SELECT 
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    num_clients
FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`
JOIN customer_counts on zip_code = geo_id
ORDER BY num_clients DESC

5. Klicken Sie auf „Ausführen“.
6. Ergebnisse ansehen

5. Kapazitätsverwaltung

Mit Slots und Reservierungen arbeiten

BQ bietet mehrere Preismodelle, die Ihren Anforderungen entsprechen. Die meisten großen Kunden nutzen hauptsächlich die Pauschale, um von vorhersehbaren Preisen mit reservierter Kapazität zu profitieren. Für Spitzenlasten, die über diese Basiskapazität hinausgehen, bietet BQ Flex-Slots. Damit können Sie die Kapazität im Handumdrehen erhöhen und dann automatisch wieder verringern, ohne dass laufende Abfragen beeinträchtigt werden. BQ bietet auch ein Byte-Scan-Modell, bei dem Sie nur für die ausgeführten Abfragen bezahlen.

[Wettbewerbsvorteil : Einige Wettbewerber arbeiten ausschließlich mit einem Modell mit fester Kapazität, bei dem Kunden für jede Arbeitslast in ihrer Organisation ein virtuelles Warehouse zuweisen müssen. Zusätzlich zu einem kostengünstigen Modell pro Abfrage, das den Einstieg in BigQuery erleichtert, unterstützen wir ein Pauschalpreismodell für die Kapazität, bei dem die Leerlaufkapazität für eine Reihe von Arbeitslasten freigegeben werden kann.]

1. Rufen Sie den Tab „Reservierungen“ auf.

2. Klicken Sie auf „Slots kaufen“.

3. Wählen Sie „Flexibel“ als Dauer aus.
4. Wählen Sie 500 Slots aus.
5. Bestätigen Sie den Kauf.

6. Klicken Sie auf „Slot-Zusicherungen anzeigen“.
7. Klicken Sie auf „Reservierung erstellen“.
8. Nutzer „demo“ als Reservierungsname
9. USA als Standort auswählen
10. Geben Sie „500“ für Slots ein (alle verfügbar).
11. Klicken Sie auf „Aufgaben“.
12. Aktuelles Projekt für Organisationsprojekt auswählen
13. Wählen Sie „demo“ für die Reservierungs-ID aus.
14. Klicke auf „Erstellen“.