Analisar e visualizar dados de transações de cartões de crédito no Bigtable usando o BigQuery e o Looker

1. Visão geral

Este codelab ajuda você a analisar um fluxo de dados de transação de cartão de crédito que está sendo gravado no Bigtable. Você vai aprender a usar o modelo de fluxo de alterações do Bigtable para o BigQuery para exportar dados em tempo real. Em seguida, você vai conhecer técnicas para consultar o registro de fluxo de alterações e como reformatar os dados para criar um painel usando o Looker.

Este codelab é destinado a usuários técnicos que já conhecem o Bigtable, o uso de ferramentas de linha de comando e os serviços de streaming de eventos.

Este codelab mostra como fazer o seguinte:

• Criar uma tabela do Bigtable com um fluxo de alterações ativado
• Criar um conjunto de dados do BigQuery
• Implante o modelo do Dataflow Bigtable change streams to BigQuery.
• Consultar o fluxo de eventos no BigQuery.
• Visualizar o fluxo de eventos com o Looker.

Este diagrama mostra a arquitetura do sistema que você vai implantar.

2. Configurar o projeto

1. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

2. Verifique se o faturamento está ativado para o projeto do Google Cloud.
3. Acesse esta página de ativação de API pré-preenchida para ativar as APIs necessárias do Dataflow, Bigtable, BigQuery, Looker e Cloud Storage.

3. Criar um conjunto de dados do BigQuery

Mais adiante no codelab, você analisará dados usando o BigQuery. Siga estas instruções para criar o conjunto de dados para a saída do pipeline de dados.

1. No console do Google Cloud, acesse a página do BigQuery.
2. No painel Explorer, encontre o nome do projeto e clique no menu flutuante (três pontos verticais ao lado do ID do projeto).
3. Clique em Criar conjunto de dados.

4. No painel Criar conjunto de dados, faça o seguinte:

• Para o código do conjunto de dados, insira bigtable_bigquery_tutorial.
• Não altere as outras configurações padrão.
• Clique em Criar conjunto de dados.

4. Criar uma tabela do Bigtable com um fluxo de alterações ativado

O Bigtable é um serviço de banco de dados NoSQL de baixa latência e escalonável horizontalmente, e um caso de uso comum para ele é disponibilizar dados financeiros. Aqui, você vai criar uma tabela que pode armazenar transações de cartão de crédito. O Bigtable lida com as gravações de alta capacidade de processamento de transações em todo o mundo e pode até mesmo usar esses dados para detecção de fraudes em tempo real.

1. No console do Google Cloud, acesse a página Instâncias do Bigtable.
2. Clique no ID da instância que você está usando neste tutorial. Se você não tiver uma instância disponível, crie uma com o nome que preferir em uma região perto de você. Você pode usar as configurações padrão para tudo o que não for necessário.

3. No painel de navegação à esquerda, clique em Tabelas.
4. Clique em Criar tabela.

• Nomeie a tabela como retail-database.
• Adicione um grupo de colunas chamado transactions.
• Selecione Ativar fluxo de alterações.
• Não altere a política de coleta de lixo e o período de armazenamento com os valores padrão.
• Clique em Criar.

5. Inicializar um pipeline de dados para capturar o fluxo de alterações

O desempenho do Bigtable é ideal para leituras de ponto e verificações de intervalo de linha, mas a análise em toda a tabela pode sobrecarregar a capacidade de exibição e os recursos da CPU. O BigQuery é ótimo para análises em toda a tabela. Portanto, a solução que você vai usar aqui é a gravação dupla. Isso significa que você vai gravar seus dados no Bigtable e no BigQuery, que é uma técnica comum. Isso não exigirá mais programação porque você usará o modelo Bigtable change streams to BigQuery do Dataflow: quando os dados são gravados no Bigtable, o pipeline grava um registro de alterações no BigQuery. Depois que os dados estiverem no BigQuery, você poderá executar consultas otimizadas em todo o conjunto de dados sem afetar o desempenho dos dados de veiculação no Bigtable.

1. Na página Tabelas do Bigtable, encontre sua tabela retail-database.
2. Na coluna Fluxo de alterações, clique em Conectar.
3. Na caixa de diálogo Conectar com o Dataflow, selecione BigQuery.
4. Clique em Criar job do Dataflow.
5. Nos campos de parâmetro fornecidos, insira os valores de parâmetro. Não é necessário fornecer parâmetros opcionais.

• Defina o ID do perfil de aplicativo do Cloud Bigtable como default.
• Defina o conjunto de dados do BigQuery como bigtable_bigquery_tutorial.

Observação: para ler um fluxo de alterações, você precisa usar um perfil de aplicativo configurado para roteamento de cluster único. Esse é o padrão para novas instâncias com um cluster, mas, se você estiver usando uma instância com vários clusters, talvez seja necessário criar um perfil de aplicativo para este codelab.

6. Cliquem em Executar job.
7. Aguarde o status do job ser Iniciando ou Em execução antes de continuar. Pode levar cerca de cinco minutos assim que o job é colocado na fila. A página será atualizada automaticamente. Esse modelo cria um job de streaming para processar continuamente novos dados gravados no Bigtable até que o job seja interrompido manualmente.

6. Gravar alguns dados no Bigtable

Agora, você vai gravar um ano de transações de cartão de crédito na tabela do Bigtable. Esse conjunto de dados de exemplo inclui informações como número do cartão de crédito, nome e ID do comerciante e valor. Em um aplicativo real de processamento de cartão de crédito, esses dados seriam transmitidos para seu banco de dados em tempo real à medida que cada transação ocorre.

1. Clique no botão no canto superior direito do console do Cloud para abrir o Cloud Shell.

2. Se necessário, aceite o comando para autorizar o Cloud Shell.
3. Faça o download do conjunto de dados.

gsutil cp gs://cloud-bigtable-public-datasets/change-streams-tutorial/cc-transactions-2023.csv .

4. Definir as variáveis de ambiente na linha de comando

PROJECT_ID=your-project-id
BIGTABLE_INSTANCE_ID=your-bigtable-instance-id

5. Use a CLI cbt para gravar um número de transações de cartão de crédito na tabela retail-database.

cbt -instance=$BIGTABLE_INSTANCE_ID -project=$PROJECT_ID import \
retail-database cc-transactions-2023.csv  column-family=transactions

A saída vai mostrar

Done importing 10000 rows.

7. Ver os registros de alterações no BigQuery

1. No console do Google Cloud, acesse a página do BigQuery.
2. No painel Explorer, expanda seu projeto e o conjunto de dados bigtable_bigquery_tutorial.
3. Clique na tabela retail-database_changelog. Talvez seja necessário atualizar o conjunto de dados se a tabela não estiver presente.
4. Para acessar o registro de alterações, clique em Visualização.

Teste algumas consultas

Agora, você pode executar algumas consultas sobre esse conjunto de dados para receber insights. As consultas SQL são fornecidas aqui, mas a documentação Consultar um registro de alterações do Bigtable no BigQuery tem mais informações sobre como gravar consultas para os dados do registro de alterações.

Procurar uma transação

Use a consulta abaixo para procurar os dados de uma transação específica.

SELECT *
FROM `bigtable_bigquery_tutorial.retail-database_changelog`
WHERE row_key="3034-442694-3052#2023-03-03T14:50:46.824Z"

Você vai notar que cada coluna gravada foi transformada em uma linha individual no BigQuery.

Encontrar o número de compras em cada categoria

Use a consulta a seguir para contar o número de compras por categoria.

SELECT value as category, count(*) as `number of sales`
FROM `bigtable_bigquery_tutorial.retail-database_changelog`
WHERE column="category"
GROUP BY category

Reformatar os dados

Para reconstruir cada transação em uma única linha de tabela do BigQuery, você vai girar os dados e salvar o resultado em uma nova tabela. Esse é um formato mais gerenciável para consulta.

CREATE VIEW bigtable_bigquery_tutorial.retail_transactions_view AS (
    SELECT *, parse_numeric(amount) as sales_dollars FROM (
      SELECT row_key, timestamp, column, value
      FROM `bigtable_bigquery_tutorial.retail-database_changelog`
      )
      PIVOT (
      MAX(value)
      FOR column in ("merchant", "amount", "category", "transaction_date")
    )
)

Criar um painel do Looker

1. Clique em Acessar visualização para acessar a página de detalhes da nova visualização.
2. Clique em Exportar.
3. Selecione Explorar com o Looker Studio

8. Adicionar gráficos ao painel

Agora você pode representar as informações em um gráfico para facilitar a compreensão e compartilhar como um relatório. Você vai adicionar três gráficos ao painel:

• Valores das transações ao longo do tempo
• Total de transações de cada comerciante
• Porcentagem de transações por categoria

Configurar a página

1. Clique em cada gráfico e pressione "Excluir" para removê-los.
2. Selecione Propriedades no lado direito da página para modificar os dados do gráfico.

Adicionar os gráficos

Valores das transações ao longo do tempo

1. Clique em Adicionar um gráfico e crie um gráfico de séries temporais.
2. Defina a dimensão como transaction_date.

Não use commit_timestamp, porque os dados serão gravados no BigQuery e serão iguais em todas as linhas.

3. Defina a Métrica como sales_dollars.

Total de transações de cada comerciante

1. Clique em Adicionar um gráfico e crie uma tabela.
2. Defina Dimensão como merchant.
3. Defina Métrica como sales_dollars.

Porcentagem de transações por categoria

1. Clique em Adicionar um gráfico e crie um gráfico de pizza.
2. Defina Dimensão como category.
3. Defina Métrica como sales_dollars.

Ver alterações em tempo real

Analise os valores nos gráficos. Você pode clicar em comerciantes ou categorias específicos na tabela para filtrar todos os gráficos com base nesses valores e ter mais insights. Em seguida, grave mais dados e veja como esse gráfico será atualizado em tempo real.

1. Volte para o Cloud Shell.
2. Faça o download e grave o segundo conjunto de dados.

gsutil cp gs://cloud-bigtable-public-datasets/change-streams-tutorial/cc-transactions-2024-jan.csv .

cbt -instance=$BIGTABLE_INSTANCE_ID -project=$PROJECT_ID import \
retail-database cc-transactions-2024-jan.csv  column-family=transactions

3. Volte ao painel do Looker e atualize os dados com o comando Ctrl+Shift+E ou clique em Atualizar dados no menu visualização. Agora você vai ver os dados de janeiro de 2024 nos gráficos.

Além disso, há muitas variações de gráficos e métricas que você pode criar. Leia mais na documentação do Looker.

9. Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto ou mantenha o projeto e exclua cada um dos recursos.

Interromper o pipeline de fluxo de alterações

1. No console do Google Cloud, acesse a página Jobs do Dataflow.
2. Selecione o job de streaming na lista de jobs.
3. Na navegação, clique em Parar.
4. Na caixa de diálogo "Interromper job", selecione Cancelar e clique em Interromper job.

Excluir os recursos do Bigtable

Se você criou uma instância do Bigtable para este tutorial, é possível excluí-la ou limpar a tabela criada.

1. No console do Google Cloud, acesse a página Instâncias do Bigtable.
2. Clique no ID da instância que você está usando neste tutorial.
3. No painel de navegação à esquerda, clique em Tabelas.
4. Localize a tabela retail-database.
5. Clique em Editar.
6. Desmarque Ativar fluxo de alterações.
7. Clique em Salvar.
8. Abra o menu flutuante da tabela.
9. Clique em Excluir e insira o nome da tabela para confirmar.
10. Opcional: exclua a instância se você criou uma nova para este tutorial

Excluir o conjunto de dados do BigQuery

1. No console do Google Cloud, acesse a página do BigQuery.
2. No painel Explorer, encontre o conjunto de dados bigtable_bigquery_tutorial e clique nele.
3. Clique em Excluir, digite "excluir" e clique em Excluir para confirmar.

A seguir

• Leia a documentação sobre fluxos de alterações.
• Saiba mais sobre como escrever funções orientadas por eventos com o Cloud Functions.