Transforma y carga las respuestas de las encuestas de Formularios de Google en BigQuery
Acerca de este codelab
1. Introducción
Hay muchos motivos para realizar encuestas: evaluar la satisfacción del cliente, realizar investigaciones de mercado, mejorar un producto o servicio, o valorar el compromiso de los empleados. Sin embargo, si has intentado trabajar con los datos de las encuestas antes, probablemente sepas que es difícil trabajar con el formato estándar. En esta guía, creamos una canalización automatizada que captura los resultados de Formularios de Google, prepara los datos para su análisis con Cloud Dataprep, los carga en BigQuery y permite que tu equipo realice análisis visuales con herramientas como Looker o Data Studio.
Qué compilarás
En este codelab, usarás Dataprep para transformar las respuestas de nuestra encuesta de ejemplo de Formularios de Google en un formato útil para el análisis de datos. Enviarás los datos transformados a BigQuery, donde podrás hacer preguntas más detalladas con SQL y unirlos a otros conjuntos de datos para realizar análisis más potentes. Al final, puedes explorar los paneles prediseñados o conectar tu propia herramienta de inteligencia empresarial a BigQuery para crear informes nuevos.
Qué aprenderás
- Cómo transformar los datos de una encuesta con Dataprep
- Cómo enviar datos de encuestas a BigQuery
- Cómo obtener más estadísticas a partir de los datos de las encuestas
Requisitos
- Un proyecto de Google Cloud con facturación, BigQuery y Dataprep habilitados
- Tener conocimientos básicos de Dataprep es útil, pero no obligatorio
- Un conocimiento básico de BigQuery y SQL es útil, pero no obligatorio
2. Administra las respuestas de Formularios de Google
Para comenzar, analizaremos en detalle las respuestas de Formularios de Google a nuestra encuesta de ejemplo.
Los resultados de la encuesta se pueden exportar desde las “respuestas” haciendo clic en el ícono de Hojas de cálculo de Google y creando una hoja de cálculo nueva o cargando los resultados en una existente. Formularios de Google seguirá agregando respuestas a la hoja de cálculo a medida que las personas que respondan las envíen hasta que anules la selección de "Se aceptan respuestas" .
Ahora, revisemos cada tipo de respuesta y cómo se traduce en el archivo de Hojas de cálculo de Google.
3. Transforma las respuestas de la encuesta
Las preguntas de la encuesta se pueden agrupar en cuatro familias que tendrán un formato de exportación particular. Según el tipo de pregunta, tendrás que reestructurar los datos de cierta manera. Aquí, revisaremos cada uno de los grupos y los tipos de transformaciones que necesitamos aplicar.
Preguntas de opción única: respuesta corta, párrafo, menú desplegable, escala lineal, etcétera
- Nombre de la pregunta: Nombre de la columna
- Respuesta: valor de celda
- Requisitos de transformación: No se necesita ninguna transformación. la respuesta se carga como está.
Preguntas de opción múltiple: opciones múltiples, casilla de verificación
- Nombre de la pregunta: Nombre de la columna
- Respuesta: lista de valores con separador de punto y coma (p.ej., "Resp 1; Resp 4; Resp 6")
- Requisitos de transformación: La lista de valores se debe extraer y dinamizar para que cada respuesta se convierta en una fila nueva.
Preguntas de cuadrícula de opciones múltiples
Este es un ejemplo de una pregunta de opción múltiple. Se debe seleccionar un solo valor de cada fila.
- Nombre de la pregunta: Cada pregunta individual se convierte en el nombre de una columna con este formato "Pregunta [Opción]".
- Respuesta: Cada respuesta individual de la cuadrícula se convierte en una columna con un valor único.
- Requisitos de transformación: Cada pregunta o respuesta debe convertirse en una nueva fila de la tabla y dividirse en dos columnas. Una columna menciona la opción de la pregunta y la otra columna con la respuesta.
Preguntas de cuadrícula con casillas de verificación de varias opciones
Este es un ejemplo de una cuadrícula de casillas de verificación. Se puede seleccionar Ninguno o Varios valores de cada fila.
- Nombre de la pregunta: Cada pregunta individual se convierte en el nombre de una columna con este formato "Pregunta [Opción]".
- Respuesta: Cada respuesta individual de la cuadrícula se convierte en una columna con una lista de valores separados por punto y coma.
- Requisitos de transformación: Estos tipos de preguntas combinan la “casilla de verificación” y la "Cuadrícula de opciones múltiples" categorías y se deben resolver en este orden.
Primero, se debe extraer y dinamizar la lista de valores de cada respuesta, de modo que cada respuesta se convierta en una nueva fila para la pregunta en particular.
En segundo lugar, cada respuesta individual debe convertirse en una nueva fila de la tabla y dividirse en dos columnas. Una columna menciona la opción de la pregunta y la otra columna con la respuesta.
A continuación, te mostraremos cómo estas transformaciones se controlan con Cloud Dataprep.
4. Compila el flujo de Cloud Dataprep
Importa el "Patrón de diseño de Analytics en Formularios de Google" en Cloud Dataprep
Descarga el paquete de flujo Patrón de diseño de Analytics en Formularios de Google (sin descomprimirlo). En la aplicación de Cloud Dataprep, haz clic en el ícono Flujos en la barra de navegación izquierda. Luego, en la página Flujos, selecciona Importar en el menú contextual.
Después de importar el flujo, selecciónalo para editarlo. Tu pantalla debería verse de la siguiente manera:
Conecta el documento de Hojas de cálculo de Google con los resultados de las encuestas
En el lado izquierdo del flujo, la fuente de datos debe volver a conectarse a una hoja de cálculo de Google que contenga los resultados de Formularios de Google. Haz clic con el botón derecho en el objeto de los conjuntos de datos de la hoja de cálculo de Google y selecciona “Reemplazar”.
Luego, haz clic en "Import Datasets" en la parte inferior de la ventana modal. Haz clic en el botón "Editar ruta" lápiz.
Luego, reemplaza el valor actual con este vínculo que apunta a Hojas de cálculo de Google con algunos resultados de Formularios de Google. Puedes usar nuestro ejemplo o tu propia copia: https://docs.google.com/spreadsheets/d/1DgIlvlLceFDqWEJs91F8rt1B-X0PJGLY6shkKGBPWpk/edit?usp=sharing
Haz clic en "Ir". y luego "Importar y Add to Flow" abajo a la derecha. Cuando vuelvas a la ventana modal, haz clic en "Reemplazar". botón en la esquina inferior derecha.
Conecta tablas de BigQuery
En el lado derecho del flujo, debes conectar los resultados a tu propia instancia de BigQuery. Para cada uno de los resultados, haz clic en el ícono y, luego, edita sus propiedades de la siguiente manera.
Primero, edite los "Destinos manuales"
En la siguiente sección, "Configuración de publicación" pantalla, haz clic en el botón Editar
Cuando veas la opción "Acción de publicación" , debes cambiar la configuración de conexión. Para ello, haz clic en la conexión de BigQuery y edita sus propiedades.
Selecciona el conjunto de datos de BigQuery en el que quieres cargar los resultados de Formularios de Google. Puedes seleccionar “predeterminada” si aún no creaste un conjunto de datos de BigQuery.
Después de editar los "Destinos manuales", procede de la misma manera con la sección "Destinos programados". salida.
Itera en cada resultado siguiendo los mismos pasos. En total, debes editar 8 destinos.
5. Explicación del flujo de Cloud Dataprep
La idea básica del "Patrón de diseño de Analytics en Formularios de Google" es realizar las transformaciones en las respuestas de la encuesta, como se describió anteriormente, mediante el desglose de cada categoría de pregunta en una receta de transformación de datos de Cloud Dataprep específica.
Este flujo divide las preguntas en 4 tablas (corresponden a las 4 categorías de preguntas, por motivos de simplicidad)
Te sugerimos que explores cada una de las recetas una por una, empezando por "Encabezados claros". y, luego, "SingleChoiceSELECT-Questions" seguidas de las demás recetas debajo.
Todas las recetas tienen comentarios para explicar los diversos pasos de la transformación. Cuando usas una receta, puedes editar un paso y obtener una vista previa del estado de antes y después de una columna en particular.
6. Ejecuta el flujo de Cloud Dataprep
Ahora que la fuente y los destinos están configurados correctamente, puedes ejecutar el flujo para transformar y cargar las respuestas en BigQuery. Selecciona cada uno de los resultados y haz clic en “Ejecutar” . Si la tabla de BigQuery especificada existe, Dataprep agregará filas nuevas; de lo contrario, creará una tabla nueva.
Haz clic en el "Historial de trabajos". en el panel izquierdo para supervisar los trabajos. Continuar y cargar las tablas de BigQuery debería tardar unos minutos.
Cuando se completen todos los trabajos, los resultados de la encuesta se cargarán en BigQuery en un formato limpio, estructurado y normalizado, listo para el análisis.
7. Analiza los datos de las encuestas en BigQuery
En la consola de Google para BigQuery, deberías poder ver los detalles de cada una de las tablas nuevas.
Con los datos de encuestas en BigQuery, puedes hacer preguntas más completas con facilidad para comprender las respuestas de la encuesta a un nivel más profundo. Por ejemplo, supongamos que estás tratando de entender qué lenguaje de programación es el más utilizado por personas de diferentes cargos profesionales. Puedes escribir una consulta como la siguiente:
SELECT
programming_answers.Language AS programming_answers_language,
project_answers.Title AS project_answers_title,
AVG((case when programming_answers.Level='None' then 0
when programming_answers.Level='beginner' then 1
when programming_answers.Level='competent' then 2
when programming_answers.Level='proficient' then 3
when programming_answers.Level='expert' then 4
else null end) ) AS programming_answers_average_level_value
FROM `my-project.DesignPattern.A000111_ProjectAnswers` AS project_answers
INNER JOIN `my-project.A000111_ProgrammingAnswers` AS programming_answers
ON programming_answers.RESPONSE_ID = project_answers.RESPONSE_ID
GROUP BY 1,2
ORDER BY 3 DESC
Para que tus análisis sean aún más potentes, puedes unir las respuestas de la encuesta a los datos de CRM para ver si los participantes se asignan a alguna cuenta que ya está incluida en tu almacén de datos. Esto puede ayudar a tu empresa a tomar decisiones mejor fundamentadas sobre la asistencia al cliente o a segmentar los anuncios para usuarios nuevos.
A continuación, te mostramos cómo puedes unir los datos de la encuesta a una tabla de cuenta basada en el dominio del usuario que responde y el sitio web de la cuenta. Ahora puedes ver la distribución de las respuestas por tipo de cuenta, lo que te ayuda a comprender cuántos encuestados pertenecen a cuentas de clientes existentes.
SELECT
account.TYPE AS account_type,
COUNT(DISTINCT project_answers.Domainname) AS project_answers_count_domains
FROM `my-project.A000111_ProjectAnswers` AS project_answers
LEFT JOIN `my-project.testing.account` AS account
ON project_answers.Domainname=account.website
GROUP BY 1
8. Realiza análisis visuales
Ahora que los datos de tu encuesta están centralizados en un almacén de datos, puedes analizarlos con facilidad en una herramienta de inteligencia empresarial. Creamos algunos informes de ejemplo en Data Studio y en Looker.
Looker
Si ya tienes una instancia de Looker, puedes usar LookML en esta carpeta para empezar a analizar la encuesta de muestra y los datos de CRM para este patrón. Simplemente crea un nuevo proyecto de Looker, agrega LookML y reemplaza los nombres de las conexiones y de las tablas en el archivo para que coincidan con tu configuración de BigQuery. Si no tienes una instancia de Looker, pero te interesa obtener más información, puedes programar una demostración aquí.
Data Studio
De forma alternativa, para crear un informe en Data Studio, haz clic en el marco con la combinación de Google "Informe en blanco" y conectarse a BigQuery. Sigue todas las instrucciones de Data Studio. Si desea obtener más información, aquí encontrará un inicio rápido y una introducción a las funciones principales de Data Studio. También puedes encontrar nuestros paneles de Data Studio previamente compilados aquí.
9. Limpieza
La manera más fácil de eliminar la facturación es borrar el proyecto de Cloud que creaste para el instructivo. Como alternativa, puedes borrar los recursos individuales.
- En la consola de Cloud, ve a Administrar recursos.
- En la lista de proyectos, elige el proyecto que deseas borrar y haz clic en Borrar.
- En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrarlo.