Codelab: navegação na interface e exploração de dados do BigQuery

1. Introdução

O BigQuery é um data warehouse sem servidor, altamente escalonável e econômico. Basta mover seus dados para o BigQuery, e ele fará todo o trabalho pesado para que você possa se concentrar no que realmente importa: administrar sua empresa. Controle o acesso ao projeto e aos dados de acordo com a necessidade dos negócios, por exemplo, definindo quem tem permissão para visualizar ou consultar os dados.

Neste laboratório, você vai descobrir as possibilidades analíticas do BigQuery. Você vai aprender a importar um conjunto de dados de um bucket do Cloud Storage e entender a interface do BigQuery trabalhando com um conjunto de dados de banco de varejo. Além disso, este laboratório vai ensinar você a descobrir recursos importantes do BigQuery que facilitam muito sua análise diária, como exportar resultados de consultas em uma planilha, ver e executar consultas do histórico, conferir o desempenho das consultas e criar visualizações de tabelas para serem usadas por outras equipes e departamentos.

O que você vai aprender

Neste laboratório, você aprenderá a fazer o seguinte:

  • Como carregar novos dados no BigQuery
  • Conheça a interface do BigQuery
  • Executar consultas no BigQuery
  • Conferir a performance da consulta
  • Como criar visualizações no BigQuery
  • Compartilhar conjuntos de dados com outras pessoas de forma segura

2. Introdução: noções básicas sobre a interface do BigQuery

Nesta seção, você vai aprender a navegar pela interface do BigQuery, ver os conjuntos de dados disponíveis e executar uma consulta simples.

Carregando a interface do BigQuery

  1. Digite "BigQuery" na parte de cima do console do Google Cloud Platform.
  2. Selecione BigQuery na lista de opções. Selecione a opção com o logotipo do BigQuery, a lupa.

Como visualizar conjuntos de dados e executar consultas

ee95ce13969ee1ad.png

  1. No painel esquerdo da seção "Recursos", clique no seu projeto do BigQuery.
  2. Clique em bq_demo para ver as tabelas no conjunto de dados.
  3. Na caixa de pesquisa, digite "card" para ver uma lista de tabelas e conjuntos de dados que contêm "card" no nome.
  4. Selecione a tabela "card_transactions" na lista de resultados da pesquisa.

beb6ff6ca2930125.png

  1. Clique na guia "Detalhes" no painel card_transactions para ver os metadados dessa tabela.
  2. Clique na guia "Visualização" para conferir uma prévia da tabela.

[Argumento competitivo ]: a integração com o Google Data Catalog significa que os metadados do BigQuery podem ser gerenciados com outras fontes de dados, como data lakes ou fontes de dados operacionais. Este é um exemplo que mostra que o Google Cloud não é apenas um data warehouse relacional, mas uma plataforma completa de dados analíticos.

  1. Clique no ícone de lupa para consultar a tabela "card_transactions". Um texto gerado automaticamente vai preencher o editor de consultas do BigQuery.
  2. Insira o código abaixo para mostrar comerciantes distintos da tabela "Card_Transactions"
SELECT distinct (merchant) FROM bq_demo.card_transactions LIMIT 1000
  1. Clique no botão "Executar" para processar a consulta.

35113542e7ec6fa6.png

3. Como criar conjuntos de dados e compartilhar visualizações

O compartilhamento de dados e a governança são cruciais e podem ser feitos de maneira intuitiva na interface do BigQuery. Nesta seção, você vai aprender a criar um conjunto de dados, preenchê-lo com uma visualização e compartilhar esse conjunto.

Como acessar o histórico de consultas

  1. Clique em "Histórico de consultas" no painel esquerdo do Console do GCP.
  2. Clique em "Atualizar" no painel "Histórico de consultas".
  3. Clique na imagem/seta de download no canto direito da consulta para ver os resultados.

6e3232ed96f647b8.png

Como criar um conjunto de dados

  1. Selecione [nome do projeto] no painel de recursos da interface do BigQuery.
  2. Selecione "Criar novo conjunto de dados" no painel de informações do projeto.
  3. Para o ID do conjunto de dados:

bq_demo_shared

  1. Mantenha os valores padrão em todos os outros campos.
  2. Clique em "Criar conjunto de dados".

b433eba38f55124f.png dd774aca416e7fbc.png

Como criar visualizações

[Ponto de discussão competitiva ]: o BigQuery é totalmente compatível com ANSI SQL e oferece suporte a junções simples e complexas de várias tabelas, além de funções analíticas avançadas. Lançamos continuamente suporte aprimorado para tipos de dados e funções SQL comuns usados em data warehouses tradicionais para facilitar o processo de migração.

  1. Selecione "Escrever nova consulta" na parte de cima do painel do Editor de consultas.
  2. Insira o código a seguir no editor de consultas:
WITH revenue_by_month AS (
SELECT
    card.type AS card_type,
    FORMAT_DATE('%Y-%m', trans_date) as revenue_date,
    SUM(amount) as revenue
FROM bq_demo.card_transactions
JOIN bq_demo.card ON card_transactions.cc_number = card.card_number
WHERE trans_date  DATE_ADD(CURRENT_DATE, INTERVAL -1 YEAR)
GROUP BY card_type, revenue_date
)
SELECT
    card_type,
    revenue_date,
    revenue as monthly_rev,
    revenue -  LAG(revenue) OVER (ORDER BY card_type, revenue_date ASC) as rev_change
FROM revenue_by_month
ORDER BY card_type, revenue_date ASC;
  1. Clique em "Salvar visualização".
  2. Selecione o projeto atual em "Nome do projeto".
  3. Selecione o conjunto de dados recém-criado:

bq_demo_shared

  1. Para "Nome da tabela":

rev_change_by_card_type

  1. Clique em "Salvar".

4b111056b544c27d.png

Como compartilhar visualizações e conjuntos de dados

  1. Selecione o conjunto de dados "bq_demo_shared" no painel de recursos à esquerda na interface do BigQuery.
  2. Clique em "Compartilhar conjunto de dados" no painel de informações do conjunto de dados.
  3. Insira um endereço de e-mail
  4. Selecione "Leitor de dados do BigQuery" no menu suspenso "Papel".
  5. Clique em "Adicionar"
  6. Clique em Concluído

1c04b6b5ebc191dc.png

Análise de dados no Planilhas Google

[Ponto de discussão competitiva ]: Outro benefício do BigQuery em comparação com os concorrentes é o BI Engine. O BI Engine pode ser usado para fazer com que consultas de resumo do tipo BI retornem em menos de um segundo usando o mecanismo de cache na memória. Atualmente, isso é compatível com o Google Data Studio, mas em breve estará disponível para acelerar todas as consultas no BigQuery.

Por exemplo:

O Snowflake depende de ferramentas de BI de terceiros para painéis e visualização de dados, enquanto o GCP oferece uma variedade de ferramentas de BI integradas, incluindo Páginas Google conectadas, Data Studio e Looker.

  1. Selecione a visualização "rev_change_by_card_type" no painel de recursos à esquerda na interface do BigQuery.
  2. Clique na lupa para consultar a visualização 255be22b0eaf339.png
  3. Tipo:

SELECT *

FROM bq_demo_shared.rev_change_by_card_type

  1. Clique em "Executar".
  2. Clique no ícone "Exportar" no painel de resultados.
  3. Selecione "Analisar dados com as Planilhas".

9617b522025fd337.png

  1. Clique em"Começar a análise".
  2. Selecione "Tabela dinâmica".
  3. Selecione "Nova planilha".
  4. Clique em "Criar".
  5. Adicione "revenue_date" na seção "Linha" do editor de tabela dinâmica, que fica à direita da janela do Google Sheets.
  6. Adicione "card_type" na seção "Coluna" do editor de tabelas dinâmicas.
  7. Adicione "monthly_rev" na seção "Coluna" do editor da tabela dinâmica.
  8. Clique em "Aplicar"

48e67c2e04965796.png

  1. Navegue até a parte de cima da interface das Planilhas e selecione "Inserir" > "Gráfico".

4. Configuração: integração de dados

Nesta seção, você vai aprender a criar uma tabela e realizar uma junção em um dos vários conjuntos de dados públicos disponíveis no Google Cloud.

[Competitive Talking Point]:

O BigQuery oferece suporte a conjuntos de dados compartilhados há anos. Os clientes em qualquer projeto podem consultar conjuntos de dados públicos e conjuntos de dados em outros projetos que foram compartilhados com eles.

O BigQuery pode oferecer suporte a data lakes no GCS usando tabelas externas. Além do carregamento em massa, o BigQuery oferece suporte à capacidade de transmitir dados para o banco de dados a taxas de centenas de MB por segundo. O Snowflake não oferece suporte a dados de streaming.

Importar dados para uma nova tabela

  1. No painel de recursos, selecione o conjunto de dados bq_demo.
  2. No painel de informações do conjunto de dados, selecione "Criar tabela".
  3. Selecionar o Google Cloud Storage como origem
  4. Na caixa de texto do caminho do arquivo:

gs://retail-banking-looker/district

  1. Selecione CSV em "Formato de arquivo"
  2. Insira "district" em "Nome da tabela"
  3. Marque a caixa de seleção "Detectar esquema automaticamente".
  4. Clique em "Criar tabela".

Consultar um conjunto de dados público

  1. No editor de consultas, insira a seguinte consulta:
SELECT
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    housing_units,
    vacant_housing_units_for_sale,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    ROUND(SAFE_DIVIDE(bachelors_degree_or_higher_25_64, pop_25_64),4) AS rate_bachelors_degree_or_higher_25_64
  FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`;
  1. Clique em "Executar".
  2. Ver os resultados

dff40709db70d75.png

  1. Agora vamos combinar esses dados públicos com outra consulta. Insira o seguinte código SQL no editor de consultas:
WITH customer_counts AS (
    select regexp_extract(address, "[0-9][0-9][0-9][0-9][0-9]") as zip_code, 
    count(*) as num_clients
    FROM bq_demo.client
    GROUP BY zip_code
    )
SELECT 
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    num_clients
FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`
JOIN customer_counts on zip_code = geo_id
ORDER BY num_clients DESC
  1. Clique em "Executar".
  2. Ver os resultados

b853ad571e7a3038.png

5. Gerenciamento de capacidade

Como trabalhar com slots e reservas

O BQ oferece vários modelos de preços para atender às suas necessidades. A maioria dos grandes clientes usa principalmente a taxa fixa para preços previsíveis com capacidade reservada. Para exceder essa capacidade básica, o BQ oferece slots flexíveis, que permitem aumentar a capacidade adicional rapidamente e depois reduzir automaticamente sem afetar as consultas em execução. O BQ também tem um modelo de verificação de bytes que permite pagar apenas pelas consultas executadas.

[Argumento competitivo : alguns concorrentes trabalham exclusivamente em um modelo de capacidade fixa em que os clientes precisam alocar um data warehouse virtual para cada carga de trabalho na organização. Além de um modelo de baixo custo por consulta que facilita o início com o BigQuery, oferecemos suporte a um modelo de preços de capacidade de taxa fixa em que a capacidade ociosa pode ser compartilhada entre um conjunto de cargas de trabalho.]

  1. Acesse a guia "Reservas".

964f4ab78d35d067.png

  1. Clique em "Comprar slots".

c8cb5ee61bbea814.png

  1. Selecione "Flex" como duração.
  2. Selecione 500 slots.
  3. Confirme a compra.

d615f5908dffc1ee.png

  1. Clique em "Ver compromissos de slot".
  2. Clique em "Criar reserva".
  3. Usuário "demo" como nome da reserva
  4. Selecione Estados Unidos como local
  5. Digite 500 para slots (todos disponíveis)
  6. Clique em "Atribuições"
  7. Escolher o projeto atual para o projeto da organização
  8. Selecione "demo" para o ID da reserva.
  9. Clique em "Criar".