Analysez et visualisez des données sur les transactions par carte de crédit dans Bigtable à l'aide de BigQuery et Looker

1. Présentation

Cet atelier de programmation vous explique comment analyser un flux de données de transactions par carte de crédit écrites dans Bigtable. Vous allez découvrir comment utiliser le modèle de flux de modifications Bigtable vers BigQuery pour exporter des données en temps réel. Vous découvrirez ensuite des techniques pour interroger le journal du flux de modifications et reformater les données afin de créer un tableau de bord à l'aide de Looker.

Cet atelier de programmation est destiné aux utilisateurs techniques qui connaissent Bigtable, les outils de ligne de commande et les services de streaming d'événements.

Cet atelier de programmation vous explique comment effectuer les tâches suivantes:

• Créez une table Bigtable avec un flux de modifications activé.
• Créez un ensemble de données BigQuery.
• Déployez le modèle Dataflow Bigtable change streams to BigQuery.
• Interrogez le flux d'événements dans BigQuery.
• Visualisez le flux d'événements avec Looker.

Ce schéma illustre l'architecture du système que vous allez déployer.

2. Configuration du projet

1. Dans la console Google Cloud, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

Remarque: Si vous ne prévoyez pas de conserver les ressources que vous créez dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

2. Vérifiez que la facturation est activée pour votre projet Google Cloud.
3. Consultez la page préremplie d'activation des API pour activer les API nécessaires pour Dataflow, Bigtable, BigQuery, Looker et Cloud Storage.

3. Créer un ensemble de données BigQuery

Vous analyserez les données à l'aide de BigQuery plus tard dans l'atelier de programmation. Suivez ces instructions afin de créer l'ensemble de données pour la sortie de votre pipeline de données.

1. Dans la console Google Cloud, accédez à la page BigQuery.
2. Dans le volet Explorer, recherchez le nom de votre projet, puis cliquez sur le menu à développer (trois points verticaux à côté de l'ID de projet).
3. Cliquez sur Créer un ensemble de données.

4. Dans le panneau Créer un ensemble de données, procédez comme suit:

• Dans le champ ID de l'ensemble de données, saisissez bigtable_bigquery_tutorial.
• Conservez les autres paramètres par défaut.
• Cliquez sur Créer un ensemble de données.

4. Créer une table Bigtable avec un flux de modifications activé

Bigtable est un service de base de données NoSQL à faible latence et évolutif horizontalement. Un cas d'utilisation courant est la diffusion de données financières. Vous allez maintenant créer une table pouvant stocker les transactions par carte de crédit. Bigtable peut gérer les écritures de transactions à haut débit des transactions du monde entier et même utiliser ces données pour détecter les fraudes en temps réel.

1. Dans la console Google Cloud, accédez à la page Instances Bigtable.
2. Cliquez sur l'ID de l'instance que vous utilisez pour ce tutoriel. Si vous n'avez pas d'instance disponible, créez-en une avec le nom de votre choix dans une région proche de vous. Vous pouvez utiliser les configurations par défaut pour tout le reste.

3. Dans le volet de navigation de gauche, cliquez sur Tables.
4. Cliquez sur Créer une table.

• Nommez la table retail-database.
• Ajoutez une famille de colonnes nommée transactions.
• Sélectionnez Activer le flux de modifications.
• Conservez les valeurs par défaut de la règle de récupération de mémoire et de la durée de conservation.
• Cliquez sur Créer.

5. Initialiser un pipeline de données pour capturer le flux de modifications

Les performances de Bigtable sont optimales pour les lectures ponctuelles et les analyses de plage de lignes, mais les analyses à l'échelle de la table peuvent mettre à rude épreuve la capacité de diffusion et les ressources de processeur. BigQuery est idéal pour l'analyse à l'échelle de la table. La solution que vous allez utiliser ici est les écritures doubles. Cela signifie que vous allez écrire vos données dans Bigtable et BigQuery, ce qui est une technique courante. Cela ne nécessitera pas de codage supplémentaire, car vous utiliserez le modèle Dataflow Bigtable change streams to BigQuery: lorsque des données sont écrites dans Bigtable, le pipeline écrit un enregistrement de modification dans BigQuery. Une fois les données dans BigQuery, vous pouvez effectuer des requêtes optimisées sur l'ensemble de données complet, sans affecter les performances de vos données de diffusion dans Bigtable.

1. Sur la page Tables de Bigtable, recherchez la table retail-database.
2. Dans la colonne Flux de modifications, cliquez sur Se connecter.
3. Dans la boîte de dialogue Se connecter avec Dataflow, sélectionnez BigQuery.
4. Cliquez sur Créer une tâche Dataflow.
5. Dans les champs fournis, saisissez vos valeurs de paramètres. Vous n'avez pas besoin de fournir de paramètres facultatifs.

• Définissez l'ID du profil d'application Cloud Bigtable sur default.
• Définissez l'ensemble de données BigQuery sur bigtable_bigquery_tutorial.

Remarque: Pour lire un flux de modifications, vous devez utiliser un profil d'application configuré pour le routage vers un cluster unique. Il s'agit de la valeur par défaut pour les nouvelles instances avec un seul cluster. Toutefois, si vous utilisez une instance existante avec plusieurs clusters, vous devrez peut-être créer un profil d'application pour cet atelier de programmation.

6. Cliquez sur Run Job (Exécuter la tâche).
7. Attendez que l'état de la tâche indique Starting (Démarrage) ou Running (En cours d'exécution) avant de continuer. L'opération peut prendre environ cinq minutes une fois la tâche mise en file d'attente. La page sera automatiquement mise à jour. Ce modèle crée une tâche de streaming afin de pouvoir traiter en continu les nouvelles données écrites dans Bigtable jusqu'à ce que la tâche soit arrêtée manuellement.

6. Écrire des données dans Bigtable

Vous allez maintenant écrire une année de transactions par carte de crédit dans votre table Bigtable. Cet exemple d'ensemble de données inclut des informations telles que le numéro de carte de crédit, le nom et l'ID du marchand, ainsi que le montant. Dans une application de traitement des cartes de crédit, ces données seraient transmises en temps réel à votre base de données à chaque transaction.

1. Ouvrez Cloud Shell en cliquant sur le bouton en haut à droite de la console Cloud.

2. Si vous y êtes invité, acceptez l'invite pour autoriser Cloud Shell.
3. Téléchargez l'ensemble de données.

gsutil cp gs://cloud-bigtable-public-datasets/change-streams-tutorial/cc-transactions-2023.csv .

4. Définir vos variables d'environnement dans la ligne de commande

PROJECT_ID=your-project-id
BIGTABLE_INSTANCE_ID=your-bigtable-instance-id

5. Utilisez la CLI cbt pour écrire un certain nombre de transactions par carte de crédit dans la table retail-database.

cbt -instance=$BIGTABLE_INSTANCE_ID -project=$PROJECT_ID import \
retail-database cc-transactions-2023.csv  column-family=transactions

Le résultat indique

Done importing 10000 rows.

7. Afficher les journaux des modifications dans BigQuery

1. Dans la console Google Cloud, accédez à la page BigQuery.
2. Dans le volet Explorateur, développez votre projet et l'ensemble de données bigtable_bigquery_tutorial.
3. Cliquez sur la table retail-database_changelog. Vous devrez peut-être actualiser l'ensemble de données si la table n'est pas présente.
4. Pour afficher le journal des modifications, cliquez sur Aperçu.

Essayez quelques requêtes

Vous pouvez maintenant exécuter quelques requêtes sur ce jeu de données pour obtenir des insights. Les requêtes SQL sont fournies ici, mais la documentation Interroger un journal des modifications Bigtable dans BigQuery fournit plus d'informations sur la création de requêtes pour les données du journal des modifications.

Rechercher une transaction

Utilisez la requête suivante pour rechercher les données d'une transaction spécifique.

SELECT *
FROM `bigtable_bigquery_tutorial.retail-database_changelog`
WHERE row_key="3034-442694-3052#2023-03-03T14:50:46.824Z"

Vous constaterez que chaque colonne écrite a été transformée en ligne individuelle dans BigQuery.

Trouver le nombre d'achats dans chaque catégorie

Utilisez la requête suivante pour compter le nombre d'achats par catégorie.

SELECT value as category, count(*) as `number of sales`
FROM `bigtable_bigquery_tutorial.retail-database_changelog`
WHERE column="category"
GROUP BY category

Reformater les données

Pour reconstruire chaque transaction dans une seule ligne de table BigQuery, vous allez pivoter les données et enregistrer ce résultat dans une nouvelle table. Il s'agit d'un format plus facile à interroger.

CREATE VIEW bigtable_bigquery_tutorial.retail_transactions_view AS (
    SELECT *, parse_numeric(amount) as sales_dollars FROM (
      SELECT row_key, timestamp, column, value
      FROM `bigtable_bigquery_tutorial.retail-database_changelog`
      )
      PIVOT (
      MAX(value)
      FOR column in ("merchant", "amount", "category", "transaction_date")
    )
)

Créer un tableau de bord Looker

1. Cliquez sur Accéder à la vue pour accéder à la page d'informations de la nouvelle vue.
2. Cliquez sur Exporter.
3. Sélectionnez Explorer avec Looker Studio.

8. Ajouter des graphiques au tableau de bord

Vous pouvez désormais représenter les informations sous forme de graphiques pour les assimiler et les partager plus facilement sous forme de rapport. Vous allez ajouter trois graphiques à votre tableau de bord:

• Montant des transactions au fil du temps
• Nombre total de transactions pour chaque marchand
• Pourcentage de transactions par catégorie

Configurer la page

1. Cliquez sur chaque graphique existant, puis appuyez sur "Supprimer" pour les supprimer.
2. Sélectionnez Établissements sur la droite de la page pour modifier les données du graphique.

Ajouter les graphiques

Montant des transactions au fil du temps

1. Cliquez sur Ajouter un graphique, puis créez un graphique de séries temporelles.
2. Définissez Dimension sur transaction_date.

Veillez à ne pas utiliser commit_timestamp, car c'est à ce moment-là que les données ont été écrites dans BigQuery et qu'elles seront les mêmes pour toutes les lignes.

3. Définissez Metric (Métrique) sur sales_dollars.

Nombre total de transactions pour chaque marchand

1. Cliquez sur Ajouter un graphique, puis créez un tableau.
2. Définissez Dimension sur merchant.
3. Définissez Métrique sur sales_dollars.

Pourcentage de transactions par catégorie

1. Cliquez sur Ajouter un graphique, puis créez un graphique à secteurs.
2. Définissez le champ Dimension sur category.
3. Définissez Métrique sur sales_dollars.

Afficher les modifications en temps réel

Prenez le temps d'explorer les valeurs des graphiques. Vous pouvez cliquer sur des marchands spécifiques dans le tableau ou sur des catégories spécifiques du tableau. Les graphiques seront alors filtrés en fonction de ces valeurs spécifiques, ce qui vous donnera plus d'insights. Vous pouvez ensuite écrire d'autres données et voir comment ce graphique s'actualise en temps réel.

1. Revenez à Cloud Shell.
2. Téléchargez et écrivez le deuxième ensemble de données.

gsutil cp gs://cloud-bigtable-public-datasets/change-streams-tutorial/cc-transactions-2024-jan.csv .

cbt -instance=$BIGTABLE_INSTANCE_ID -project=$PROJECT_ID import \
retail-database cc-transactions-2024-jan.csv  column-family=transactions

3. Revenez à votre tableau de bord Looker et actualisez les données à l'aide de la commande Ctrl+Shift+E ou cliquez sur Actualiser les données dans le menu Vue. Les données de janvier 2024 devraient maintenant s'afficher dans les graphiques.

Vous pouvez créer de nombreuses variations de graphiques et de métriques. Pour en savoir plus, consultez la documentation Looker.

9. Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez chaque ressource individuellement.

Arrêter le pipeline du flux de modifications

1. Dans la console Google Cloud, accédez à la page Tâches Dataflow.
2. Sélectionnez votre tâche de traitement par flux dans la liste des tâches.
3. Dans la barre de navigation, cliquez sur Arrêter.
4. Dans la boîte de dialogue "Arrêter la tâche", sélectionnez Annuler, puis cliquez sur Arrêter la tâche.

Supprimer les ressources Bigtable

Si vous avez créé une instance Bigtable pour ce tutoriel, vous pouvez la supprimer ou nettoyer la table que vous avez créée.

1. Dans la console Google Cloud, accédez à la page Instances Bigtable.
2. Cliquez sur l'ID de l'instance que vous utilisez pour ce tutoriel.
3. Dans le volet de navigation de gauche, cliquez sur Tables.
4. Recherchez la table retail-database.
5. Cliquez sur Modifier.
6. Décochez la case Activer le flux de modifications.
7. Cliquez sur Enregistrer.
8. Ouvrez le menu à développer de la table.
9. Cliquez sur Supprimer et saisissez le nom de la table pour confirmer.
10. Facultatif: Supprimez l'instance si vous en avez créé une autre pour ce tutoriel

Supprimer l'ensemble de données BigQuery

1. Dans la console Google Cloud, accédez à la page BigQuery.
2. Dans le panneau Explorateur, recherchez l'ensemble de données bigtable_bigquery_tutorial, puis cliquez dessus.
3. Cliquez sur Supprimer, saisissez "delete" (supprimer), puis cliquez sur Supprimer pour confirmer.

Étape suivante

• Consultez la documentation sur les flux de modifications.
• Découvrez comment écrire des fonctions basées sur les événements avec Cloud Functions.