Kreditkartentransaktionsdaten mit BigQuery und Looker in Bigtable analysieren und visualisieren

1. Übersicht

In diesem Codelab wird gezeigt, wie Sie einen Stream von Kreditkartentransaktionsdaten analysieren, die in Bigtable geschrieben werden. Sie erfahren, wie Sie die Vorlage „Bigtable-Änderungsstreams zu BigQuery“ verwenden, um Daten in Echtzeit zu exportieren. Anschließend sehen Sie Techniken zum Abfragen des Änderungsstream-Logs und zum Umformatieren der Daten, um mit Looker ein Dashboard zu erstellen.

Dieses Codelab richtet sich an technische Nutzer, die mit Bigtable, Befehlszeilentools und Event-Streaming-Diensten vertraut sind.

In diesem Codelab erfahren Sie, wie Sie Folgendes tun:

• Bigtable-Tabelle mit aktiviertem Änderungsstream erstellen
• BigQuery-Dataset erstellen
• Dataflow-Vorlage bereitstellen Bigtable change streams to BigQuery.
• Ereignisstream in BigQuery abfragen
• Ereignisstream mit Looker visualisieren

Dieses Diagramm zeigt die Architektur des Systems, das Sie bereitstellen werden.

2. Projekt einrichten

1. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

2. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
3. Rufen Sie diese Seite auf, um die erforderlichen APIs für Dataflow, Bigtable, BigQuery, Looker und Cloud Storage zu aktivieren.

3. BigQuery-Dataset erstellen

Später in diesem Codelab analysieren Sie Daten mit BigQuery. Folgen Sie dieser Anleitung, um das Dataset für die Ausgabe Ihrer Datenpipeline zu erstellen.

1. Öffnen Sie in der Google Cloud Console die BigQuery-Seite.
2. Suchen Sie im Bereich Explorer nach Ihrem Projektnamen und klicken Sie auf das Dreipunkt-Menü (drei vertikale Punkte neben der Projekt-ID).
3. Klicken Sie auf Dataset erstellen.

4. Führen Sie im Bereich Dataset erstellen die folgenden Schritte aus:

• Geben Sie unter Dataset-ID bigtable_bigquery_tutorial ein.
• Übernehmen Sie die anderen Standardeinstellungen.
• Klicken Sie auf Dataset erstellen.

4. Bigtable-Tabelle mit aktiviertem Änderungsstream erstellen

Bigtable ist ein NoSQL-Datenbankdienst mit niedriger Latenz und horizontaler Skalierbarkeit. Ein häufiger Anwendungsfall ist die Bereitstellung von Finanzdaten. Hier erstellen Sie eine Tabelle, in der Kreditkartentransaktionen gespeichert werden können. Bigtable kann den hohen Durchsatz von Schreibvorgängen für Transaktionen auf der ganzen Welt verarbeiten und diese Daten sogar für die Echtzeit-Betrugserkennung verwenden.

1. Rufen Sie in der Google Cloud Console die Seite Bigtable-Instanzen auf.
2. Klicken Sie auf die ID der Instanz, die Sie für diese Anleitung verwenden. Wenn Sie keine Instanz haben, erstellen Sie eine Instanz mit einem Namen Ihrer Wahl in einer Region in Ihrer Nähe. Für alles andere können Sie die Standardkonfigurationen verwenden.

3. Klicken Sie im linken Navigationsbereich auf Sicherungen.
4. Klicken Sie auf Tabelle erstellen.

• Geben Sie der Tabelle den Namen retail-database.
• Fügen Sie eine Spaltenfamilie mit dem Namen transactions hinzu.
• Wählen Sie Änderungsstream aktivieren aus.
• Behalten Sie die Standardwerte für die Richtlinie zur automatischen Speicherbereinigung und den Aufbewahrungszeitraum bei.
• Klicken Sie auf Erstellen.

5. Datenpipeline initialisieren, um den Änderungsstream zu erfassen

Die Leistung von Bigtable ist für Punktlesevorgänge und Zeilenbereichsscans optimal. Tabellenweite Analysen können jedoch die Bereitstellungskapazität und die CPU-Ressourcen belasten. BigQuery eignet sich hervorragend für die tabellenweite Analyse. Daher verwenden Sie hier Dual-Writes. Das bedeutet, dass Sie Ihre Daten in Bigtable und BigQuery schreiben. Das ist eine gängige Methode. Dafür ist kein zusätzlicher Code erforderlich, da Sie die Dataflow-Vorlage Bigtable change streams to BigQuery verwenden: Wenn Daten in Bigtable geschrieben werden, schreibt die Pipeline einen Änderungsdatensatz in BigQuery. Sobald die Daten in BigQuery sind, können Sie optimierte Abfragen für Ihr gesamtes Dataset ausführen, ohne die Leistung Ihrer Serving-Daten in Bigtable zu beeinträchtigen.

1. Suchen Sie auf der Bigtable-Seite Tabellen nach Ihrer Tabelle retail-database.
2. Klicken Sie in der Spalte Änderungsstream auf Verbinden.
3. Wählen Sie im Dialogfeld Mit Dataflow verbinden die Option BigQuery aus.
4. Klicken Sie auf Dataflow-Job erstellen.
5. Geben Sie Ihre Parameterwerte in die Parameterfelder ein. Sie müssen keine optionalen Parameter angeben.

• Legen Sie die Cloud Bigtable-Anwendungsprofil-ID auf default fest.
• Legen Sie das BigQuery-Dataset auf bigtable_bigquery_tutorial fest.

Hinweis: Zum Lesen eines Änderungsstreams müssen Sie ein Anwendungsprofil verwenden, das für Single-Cluster-Routing konfiguriert ist. Dies ist die Standardeinstellung für neue Instanzen mit einem Cluster. Wenn Sie jedoch eine vorhandene Instanz mit mehreren Clustern verwenden, müssen Sie möglicherweise ein Anwendungsprofil für dieses Codelab erstellen.

6. Klicken Sie auf Job ausführen.
7. Warten Sie, bis der Jobstatus Wird gestartet oder Wird ausgeführt lautet, bevor Sie fortfahren. Sobald der Job in die Warteschlange eingereiht wurde, kann es etwa fünf Minuten dauern. Die Seite wird automatisch aktualisiert. Mit dieser Vorlage wird ein Streamingjob erstellt, sodass neue Daten, die in Bigtable geschrieben werden, kontinuierlich verarbeitet werden können, bis der Job manuell beendet wird.

6. Daten in Bigtable schreiben

Als Nächstes schreiben Sie ein Jahr lang Kreditkartentransaktionen in Ihre Bigtable-Tabelle. Dieses Beispiel-Dataset enthält Informationen wie Kreditkartennummer, Händlername und ‑ID sowie Betrag. In einer tatsächlichen Anwendung zur Kreditkartenverarbeitung würden diese Daten in Echtzeit in Ihre Datenbank gestreamt, sobald eine Transaktion erfolgt.

1. Klicken Sie zum Öffnen der Cloud Shell auf die Schaltfläche oben rechts in der Cloud Console.

2. Wenn Sie dazu aufgefordert werden, autorisieren Sie die Cloud Shell.
3. Laden Sie das Dataset herunter.

gsutil cp gs://cloud-bigtable-public-datasets/change-streams-tutorial/cc-transactions-2023.csv .

4. Umgebungsvariablen in der Befehlszeile festlegen

PROJECT_ID=your-project-id
BIGTABLE_INSTANCE_ID=your-bigtable-instance-id

5. Verwenden Sie die cbt-Befehlszeile, um eine Reihe von Kreditkartentransaktionen in die Tabelle retail-database zu schreiben.

cbt -instance=$BIGTABLE_INSTANCE_ID -project=$PROJECT_ID import \
retail-database cc-transactions-2023.csv  column-family=transactions

Die Ausgabe lautet

Done importing 10000 rows.

7. Änderungsprotokolle in BigQuery ansehen

1. Öffnen Sie in der Google Cloud Console die BigQuery-Seite.
2. Maximieren Sie im Bereich Explorer Ihr Projekt und das Dataset bigtable_bigquery_tutorial.
3. Klicken Sie auf die Tabelle retail-database_changelog. Wenn die Tabelle nicht vorhanden ist, müssen Sie das Dataset möglicherweise aktualisieren.
4. Wenn Sie das Änderungsprotokoll aufrufen möchten, klicken Sie auf Vorschau.

Suchanfragen ausprobieren

Sie können nun einige Abfragen für dieses Dataset ausführen, um Einblicke zu erhalten. Die SQL-Abfragen werden hier bereitgestellt. In der Dokumentation Bigtable-Änderungslog in BigQuery abfragen finden Sie weitere Informationen zum Schreiben von Abfragen für die Änderungslogdaten.

Einzelne Transaktion suchen

Mit der folgenden Abfrage können Sie die Daten für eine bestimmte Transaktion abrufen.

SELECT *
FROM `bigtable_bigquery_tutorial.retail-database_changelog`
WHERE row_key="3034-442694-3052#2023-03-03T14:50:46.824Z"

Jede geschriebene Spalte wurde in BigQuery in eine separate Zeile umgewandelt.

Anzahl der Käufe in jeder Kategorie ermitteln

Verwenden Sie die folgende Abfrage, um die Anzahl der Käufe pro Kategorie zu zählen.

SELECT value as category, count(*) as `number of sales`
FROM `bigtable_bigquery_tutorial.retail-database_changelog`
WHERE column="category"
GROUP BY category

Daten neu formatieren

Um jede Transaktion in einer einzelnen BigQuery-Tabellenzeile zu rekonstruieren, müssen Sie die Daten pivotieren und das Ergebnis in einer neuen Tabelle speichern. Dieses Format ist einfacher abzufragen.

CREATE VIEW bigtable_bigquery_tutorial.retail_transactions_view AS (
    SELECT *, parse_numeric(amount) as sales_dollars FROM (
      SELECT row_key, timestamp, column, value
      FROM `bigtable_bigquery_tutorial.retail-database_changelog`
      )
      PIVOT (
      MAX(value)
      FOR column in ("merchant", "amount", "category", "transaction_date")
    )
)

Looker-Dashboard erstellen

1. Klicken Sie auf Zur Ansicht, um die Detailseite der neuen Ansicht aufzurufen.
2. Klicken Sie auf Exportieren.
3. Wählen Sie Mit Looker Studio auswerten aus.

8. Diagramme zum Dashboard hinzufügen

Sie können die Informationen jetzt grafisch darstellen, um sie leichter zu erfassen und als Bericht zu teilen. Sie fügen Ihrem Dashboard drei Diagramme hinzu:

• Transaktionsbeträge im Zeitverlauf
• Gesamtzahl der Transaktionen für jeden Händler
• Prozentsatz der Transaktionen pro Kategorie

Seite einrichten

1. Klicken Sie auf jedes vorhandene Diagramm und drücken Sie die Entf-Taste, um es zu entfernen.
2. Wählen Sie rechts auf der Seite Properties (Eigenschaften) aus, um die Diagrammdaten zu ändern.

Diagramme hinzufügen

Transaktionsbeträge im Zeitverlauf

1. Klicken Sie auf Diagramm hinzufügen und erstellen Sie ein Zeitreihendiagramm.
2. Legen Sie die Dimension auf transaction_date fest.

Verwenden Sie nicht commit_timestamp, da dies der Zeitpunkt ist, zu dem die Daten in BigQuery geschrieben wurden, und für alle Zeilen gleich ist.

3. Legen Sie den Messwert auf sales_dollars fest.

Gesamtzahl der Transaktionen für jeden Händler

1. Klicken Sie auf Diagramm hinzufügen und erstellen Sie eine Tabelle.
2. Legen Sie für Dimension den Wert merchant fest.
3. Setzen Sie Messwert auf sales_dollars.

Prozentsatz der Transaktionen pro Kategorie

1. Klicken Sie auf Diagramm hinzufügen und erstellen Sie ein Kreisdiagramm.
2. Legen Sie für Dimension den Wert category fest.
3. Setzen Sie Messwert auf sales_dollars.

Änderungen in Echtzeit sehen

Nehmen Sie sich etwas Zeit, um die Werte in den Grafiken zu untersuchen. Sie können in der Tabelle auf bestimmte Händler oder Kategorien klicken. Dadurch werden alle Diagramme nach diesen Werten gefiltert und Sie erhalten weitere Informationen. Als Nächstes können Sie weitere Daten eingeben und sehen, wie sich das Diagramm in Echtzeit aktualisiert.

1. Kehren Sie zu Cloud Shell zurück.
2. Laden Sie das zweite Dataset herunter und schreiben Sie es.

gsutil cp gs://cloud-bigtable-public-datasets/change-streams-tutorial/cc-transactions-2024-jan.csv .

cbt -instance=$BIGTABLE_INSTANCE_ID -project=$PROJECT_ID import \
retail-database cc-transactions-2024-jan.csv  column-family=transactions

3. Kehren Sie zu Ihrem Looker-Dashboard zurück und aktualisieren Sie die Daten mit dem Befehl Ctrl+Shift+E oder klicken Sie im Menü Ansicht auf Daten aktualisieren. Sie sollten jetzt die Daten für Januar 2024 in den Diagrammen sehen.

Darüber hinaus gibt es viele weitere Diagramme und Messwerte, die Sie erstellen können. Weitere Informationen finden Sie in der Looker-Dokumentation.

9. Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, können Sie entweder das Projekt löschen, das die Ressourcen enthält, oder das Projekt beibehalten und die einzelnen Ressourcen löschen.

Pipeline für Änderungsstream beenden

1. Rufen Sie in der Google Cloud Console die Seite Dataflow-Jobs auf.
2. Wählen Sie den Streaming-Job aus der Jobliste aus.
3. Klicken Sie im Navigationsbereich auf Beenden.
4. Wählen Sie im Dialogfeld „Job beenden“ die Option Abbrechen aus und klicken Sie dann auf Job beenden.

Bigtable-Ressourcen löschen

Wenn Sie eine Bigtable-Instanz für diese Anleitung erstellt haben, können Sie sie löschen oder die von Ihnen erstellte Tabelle bereinigen.

1. Rufen Sie in der Google Cloud Console die Seite Bigtable-Instanzen auf.
2. Klicken Sie auf die ID der Instanz, die Sie für diese Anleitung verwenden.
3. Klicken Sie im linken Navigationsbereich auf Sicherungen.
4. Suchen Sie die Tabelle retail-database.
5. Klicken Sie auf Bearbeiten.
6. Deaktivieren Sie Änderungsstream aktivieren.
7. Klicken Sie auf Speichern.
8. Öffnen Sie das Dreipunkt-Menü für die Tabelle.
9. Klicken Sie auf Löschen und geben Sie den Tabellennamen zur Bestätigung ein.
10. Optional: Instanz löschen, wenn Sie für diese Anleitung eine neue Instanz erstellt haben

BigQuery-Dataset löschen

1. Öffnen Sie in der Google Cloud Console die BigQuery-Seite.
2. Suchen Sie im Bereich Explorer nach dem Dataset bigtable_bigquery_tutorial und klicken Sie darauf.
3. Klicken Sie auf Löschen, geben Sie „delete“ ein und klicken Sie dann auf Löschen, um den Löschvorgang zu bestätigen.

Nächste Schritte

• Dokumentation zu Änderungsstreams lesen
• Weitere Informationen zum Schreiben ereignisgesteuerter Funktionen mit Cloud Functions