Codelab de Navigation y exploración de datos de la IU de BigQuery

1. Introducción

BigQuery es un almacén de datos sin servidores, rentable y altamente escalable. Simplemente mueve tus datos a BigQuery y déjanos el trabajo duro a nosotros para que puedas concentrarte en lo que realmente importa: administrar tu empresa. Puedes controlar el acceso al proyecto y a tus datos (por ejemplo, puedes otorgar permisos de visualización o consulta de datos) según tus necesidades empresariales.

En este lab, descubrirás las posibilidades analíticas de BigQuery. Aprenderás a importar un conjunto de datos desde un bucket de Google Cloud Storage y a comprender la IU de BigQuery trabajando con un conjunto de datos de banca minorista. Además, en este lab, aprenderás a descubrir funciones clave de BigQuery que facilitan mucho tu análisis diario, como exportar resultados de consultas a una hoja de cálculo, ver y ejecutar consultas desde tu historial de consultas, ver el rendimiento de las consultas y crear vistas de tablas para que las usen otros equipos y departamentos.

Qué aprenderás

En este lab, aprenderás a realizar las siguientes tareas:

• Cómo cargar datos nuevos en BigQuery
• Familiarízate con la IU de BigQuery
• Ejecuta consultas en BigQuery
• Cómo ver el rendimiento de las búsquedas
• Crea vistas en BigQuery
• Comparte conjuntos de datos de forma segura con otras personas

2. Introducción: Información sobre la IU de BigQuery

En esta sección, aprenderás a navegar por la IU de BigQuery, ver los conjuntos de datos disponibles y ejecutar una consulta simple.

Cargando la IU de BQ

1. Escribe "BigQuery" en la parte superior de la consola de Google Cloud.
2. Selecciona BigQuery en la lista de opciones. Asegúrate de seleccionar la opción que tiene el logo de BigQuery, la lupa.

Visualiza conjuntos de datos y ejecuta consultas

1. En el panel izquierdo, en la sección Recurso, haz clic en tu proyecto de BigQuery.
2. Haz clic en bq_demo para ver las tablas de ese conjunto de datos.
3. En el cuadro de búsqueda, escribe "tarjeta" para ver una lista de tablas y conjuntos de datos que contienen la palabra "tarjeta" en su nombre.
4. Selecciona la tabla "card_transactions" en la lista de resultados de la búsqueda.

5. Haz clic en la pestaña Detalles en el panel card_transactions para ver los metadatos de esta tabla.
6. Haz clic en la pestaña Vista previa para ver una vista previa de la tabla.

[Argumento de venta competitivo]: La integración con Google Data Catalog significa que los metadatos de BigQuery se pueden administrar junto con otras fuentes de datos, como los data lakes o las fuentes de datos operativas. Este es un ejemplo que muestra que Google Cloud no es solo un almacén de datos relacional, sino una plataforma de datos analíticos completa.

7. Haz clic en el ícono de lupa para consultar la tabla "card_transactions". Se propagará un texto generado automáticamente en el editor de consultas de BigQuery.
8. Ingresa el siguiente código para mostrarnos comercios distintos de la tabla Card_Transactions.

SELECT distinct (merchant) FROM bq_demo.card_transactions LIMIT 1000

9. Haz clic en el botón Ejecutar para ejecutar la consulta.

3. Creación de conjuntos de datos y uso compartido de vistas

Compartir datos y la administración es fundamental, y se puede hacer de forma intuitiva en la IU de BQ. En esta sección, aprenderás a crear un nuevo conjunto de datos, propagarlo con una vista y compartirlo.

Cómo ver el historial de consultas

1. Haz clic en "Historial de consultas" en el panel izquierdo de GCP Console.
2. Haz clic en Actualizar en el panel Historial de consultas.
3. Haz clic en la imagen o la flecha de descarga que se encuentra en el extremo derecho de la consulta para ver los resultados.

Cómo crear un conjunto de datos nuevo

1. Selecciona [el nombre de tu proyecto] en el panel de recursos de la IU de BigQuery.
2. Selecciona "Crear conjunto de datos nuevo" en el panel de información del proyecto.
3. Para el ID del conjunto de datos, haz lo siguiente:

bq_demo_shared

4. Deja el resto de los campos con sus valores predeterminados.
5. Haz clic en "Crear conjunto de datos".

Cómo crear vistas

[Argumento de venta competitivo]: BigQuery es totalmente compatible con ANSI SQL y admite combinaciones de varias tablas simples y complejas, y funciones analíticas enriquecidas. Lanzamos continuamente compatibilidad mejorada para los tipos de datos y las funciones de SQL comunes que se usan en los almacenes de datos tradicionales para facilitar el proceso de migración.

1. Selecciona "Redactar consulta nueva" en la parte superior del panel Editor de consultas.
2. Inserta el siguiente código en el editor de consultas.

WITH revenue_by_month AS (
SELECT
    card.type AS card_type,
    FORMAT_DATE('%Y-%m', trans_date) as revenue_date,
    SUM(amount) as revenue
FROM bq_demo.card_transactions
JOIN bq_demo.card ON card_transactions.cc_number = card.card_number
WHERE trans_date  DATE_ADD(CURRENT_DATE, INTERVAL -1 YEAR)
GROUP BY card_type, revenue_date
)
SELECT
    card_type,
    revenue_date,
    revenue as monthly_rev,
    revenue -  LAG(revenue) OVER (ORDER BY card_type, revenue_date ASC) as rev_change
FROM revenue_by_month
ORDER BY card_type, revenue_date ASC;

3. Haz clic en "Guardar vista".
4. Selecciona tu proyecto actual en Nombre del proyecto.
5. Selecciona el conjunto de datos recién creado:

bq_demo_shared

6. En Nombre de la tabla, haz lo siguiente:

rev_change_by_card_type

7. Haz clic en Guardar.

Cómo compartir vistas y conjuntos de datos

1. Selecciona el conjunto de datos "bq_demo_shared" en el panel de recursos de la izquierda en la IU de BigQuery.
2. Haz clic en "Compartir conjunto de datos" en el panel de información del conjunto de datos.
3. Ingresa una dirección de correo electrónico
4. Selecciona "Visualizador de datos de BigQuery" en el menú desplegable Rol.
5. Haz clic en "Agregar".
6. Haga clic en Finalizado.

Análisis de datos en Hojas de cálculo

[Argumento competitivo]: Otro beneficio de BigQuery en comparación con sus competidores es BI Engine. BI Engine se puede usar para que las consultas de resumen de tipo IE se muestren en menos de un segundo a través del motor de almacenamiento en caché en memoria. Actualmente, Google Data Studio admite esta función, pero pronto estará disponible para acelerar todas las consultas en BigQuery.

Por ejemplo:

Snowflake se basa en herramientas de IE de terceros para los paneles y la visualización de datos, mientras que GCP ofrece una variedad de herramientas de IE integradas, incluidas Hojas conectadas, Data Studio y Looker.

1. Selecciona la vista "rev_change_by_card_type" en el panel de recursos de la izquierda en la IU de BigQuery.
2. Haz clic en la lupa para consultar la vista.
3. Tipo:

SELECT *

FROM bq_demo_shared.rev_change_by_card_type

4. Haz clic en Ejecutar.
5. Haz clic en el ícono "Exportar" en el panel de resultados.
6. Selecciona "Explorar datos con Hojas de cálculo".

7. Haz clic en"Start Analyzing".
8. Selecciona "Tabla dinámica".
9. Selecciona "Hoja nueva".
10. Haga clic en "Crear".
11. Agrega "revenue_date" en la sección Row del Editor de tabla dinámica que se encuentra a la derecha de la ventana de Hojas de cálculo.
12. Agrega "card_type" en la sección Columna del Editor de tabla dinámica.
13. Agrega "monthly_rev" en la sección Columna del editor de tablas dinámicas.
14. Haz clic en Aplicar.

15. Navega a la parte superior de la IU de Hojas de cálculo y selecciona Insertar > Gráfico.

4. Configuración: Integración de datos

En esta sección, aprenderás a crear una tabla nueva y a realizar una operación JOIN en uno de los muchos conjuntos de datos públicos que Google Cloud tiene disponibles.

[Competitive Talking Point]:

BigQuery admite conjuntos de datos compartidos desde hace años. Los clientes de cualquier proyecto pueden consultar tanto los conjuntos de datos públicos como los conjuntos de datos de otros proyectos que se hayan compartido con ellos.

BigQuery puede admitir data lakes en GCS a través del uso de tablas externas. Además de la carga masiva, BigQuery admite la capacidad de transmitir datos a la base de datos a velocidades de cientos de MB por segundo. Snowflake no admite datos de transmisión.

Cómo importar datos a una tabla nueva

1. En el panel de recursos, selecciona el conjunto de datos bq_demo.
2. En el panel de información del conjunto de datos, selecciona “Crear tabla”.
3. Selecciona Google Cloud Storage como fuente
4. En el cuadro de texto de la ruta de acceso al archivo, haz lo siguiente:

gs://retail-banking-looker/district

5. Selecciona CSV como formato de archivo
6. Ingresa "district" en Nombre de la tabla.
7. Selecciona la casilla de verificación para detectar el esquema automáticamente.
8. Haz clic en Crear tabla.

Consulta de conjuntos de datos públicos

1. En el editor de consultas, ingresa la siguiente consulta:

SELECT
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    housing_units,
    vacant_housing_units_for_sale,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    ROUND(SAFE_DIVIDE(bachelors_degree_or_higher_25_64, pop_25_64),4) AS rate_bachelors_degree_or_higher_25_64
  FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`;

2. Haz clic en Ejecutar.
3. Cómo ver los resultados

4. Ahora combinaremos estos datos públicos con otra búsqueda. Ingresa el siguiente código SQL en el editor de consultas:

WITH customer_counts AS (
    select regexp_extract(address, "[0-9][0-9][0-9][0-9][0-9]") as zip_code, 
    count(*) as num_clients
    FROM bq_demo.client
    GROUP BY zip_code
    )
SELECT 
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    num_clients
FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`
JOIN customer_counts on zip_code = geo_id
ORDER BY num_clients DESC

5. Haz clic en Ejecutar.
6. Cómo ver los resultados

5. Administración de capacidad

Trabaja con ranuras y reservas

BQ ofrece varios modelos de precios para satisfacer tus necesidades. La mayoría de los clientes grandes aprovechan principalmente la tarifa plana para obtener precios predecibles con capacidad reservada. Para superar esa capacidad básica, BQ ofrece ranuras flexibles que te permiten aumentar la capacidad adicional sobre la marcha y, luego, reducirla automáticamente sin afectar las consultas en ejecución. BQ también tiene un modelo de análisis de bytes que te permite pagar solo por las consultas que ejecutas.

[Argumento competitivo: Algunos competidores trabajan exclusivamente con un modelo de capacidad fija en el que los clientes deben asignar un almacén virtual para cada carga de trabajo de su organización. Además de un modelo de bajo costo por consulta que facilita el inicio con BigQuery, admitimos un modelo de precios de capacidad de tarifa plana en el que la capacidad inactiva se puede compartir entre un conjunto de cargas de trabajo.]

1. Ve a la pestaña de reservas.

2. Haz clic en "Comprar ranuras".

3. Selecciona “Flexible” como duración.
4. Selecciona 500 ranuras.
5. Confirma la compra.

6. Haz clic en Ver compromisos de ranuras.
7. Haz clic en "Crear reserva".
8. Usuario "demo" como nombre de reserva
9. Selecciona Estados Unidos como ubicación.
10. Escribe 500 para las ranuras (todas las disponibles).
11. Haz clic en Assignments.
12. Elegir el proyecto actual para el proyecto de la organización
13. Selecciona "demo" para el ID de reserva.
14. Haz clic en Crear".