Otimizar o preço de produtos de varejo

1. Introdução

Última atualização:15/09/2021

Os dados necessários para gerar insights e otimizações de preços são diferentes por natureza (sistemas e realidades locais diferentes etc.). Por isso, é fundamental desenvolver uma tabela de CDM bem estruturada, padronizada e limpa. Isso inclui atributos importantes para a otimização de preços, como transações, produtos, preços e clientes. Neste documento, vamos mostrar as etapas abaixo, oferecendo um início rápido para a análise de preços que você pode estender e personalizar de acordo com suas necessidades. O diagrama a seguir descreve as etapas abordadas neste documento.

1. Avalie as fontes de dados:primeiro, faça um inventário das fontes de dados que serão usadas para criar o CDM. Nesta etapa, o Dataprep também é usado para analisar e identificar problemas nos dados de entrada. Por exemplo, valores ausentes e incompatíveis, convenções de nomenclatura inconsistentes, duplicatas, problemas de integridade de dados, outliers etc.
2. Padronizar os dados:em seguida, os problemas identificados anteriormente são corrigidos para garantir a precisão, a integridade, a consistência e a integridade dos dados. Esse processo pode envolver várias transformações no Dataprep, como formatação de data, padronização de valores, conversão de unidades, filtragem de campos e valores desnecessários e divisão, junção ou remoção de duplicidades dos dados de origem.
3. Unificação em uma estrutura:a próxima etapa do pipeline mescla cada fonte de dados em uma única tabela ampla no BigQuery, que contém todos os atributos no nível granular mais refinado. Essa estrutura desnormalizada permite consultas analíticas eficientes que não exigem junções.
4. Fornecer análise de dados e ML/IA:depois que os dados são limpos e formatados para análise, os analistas podem explorar dados históricos para entender o impacto das mudanças de preços anteriores. Além disso, o BigQuery ML pode ser usado para criar modelos preditivos que estimam as vendas futuras. A saída desses modelos pode ser incorporada a painéis no Looker para criar "cenários hipotéticos", em que os usuários empresariais podem analisar como seriam as vendas com determinadas mudanças de preço.

O diagrama a seguir mostra os componentes do Google Cloud usados para criar o pipeline de análise de otimização de preços.

O que você vai criar

Aqui, vamos mostrar como criar um data warehouse de otimização de preços, automatizar a preparação de dados ao longo do tempo, usar o aprendizado de máquina para prever o impacto das mudanças nos preços dos produtos e desenvolver relatórios para fornecer insights úteis à sua equipe.

O que você vai aprender

• Como conectar o Dataprep a fontes de dados para análise de preços, que podem ser armazenadas em bancos de dados relacionais, arquivos simples, Google Planilhas e outros aplicativos compatíveis.
• Como criar um fluxo do Dataprep para criar uma tabela do CDM no seu data warehouse do BigQuery.
• Como usar o BigQuery ML para prever a receita futura.
• Como criar relatórios no Looker para analisar tendências históricas de preços e vendas e entender o impacto de mudanças futuras de preços.

O que é necessário

• Ter um projeto do Google Cloud com o faturamento ativado. Saiba como confirmar se o faturamento está ativado para o projeto.
• O BigQuery precisa estar ativado no seu projeto. Ele é ativado automaticamente em novos projetos. Caso contrário, ative em um projeto atual. Você também pode saber mais sobre como começar a usar o BigQuery no console do Cloud.
• O Dataprep também precisa estar ativado no seu projeto. O Dataprep é ativado no Console do Google, no menu de navegação à esquerda, na seção "Big Data". Siga as etapas de inscrição para ativar.
• Para configurar seus próprios painéis do Looker, é preciso ter acesso de desenvolvedor em uma instância do Looker. Para solicitar um teste, entre em contato com nossa equipe ou use nosso painel público para analisar os resultados do pipeline de dados nos nossos dados de amostra.
• É útil ter experiência com a linguagem de consulta estruturada (SQL) e conhecimento básico do seguinte: Dataprep by Trifacta, BigQuery e Looker.

Observação:para saber mais sobre os recursos do Dataprep usados neste documento, consulte o Analytics Framework for Data-driven Pricing Strategy and Optimization (em inglês) neste repositório do GitHub. Para informações sobre o modelo de dados e o painel do Looker, consulte O que é LookML? e o repositório do GitHub associado.

2. Criar o CDM no BigQuery

Nesta seção, você vai criar o Common Data Model (CDM), que oferece uma visão consolidada das informações necessárias para analisar e sugerir mudanças de preços.

1. Abra o console do BigQuery.
2. Selecione o projeto que você quer usar para testar esse padrão de referência.
3. Use um conjunto de dados atual ou crie um conjunto de dados do BigQuery. Nomeie o conjunto de dados como Pricing_CDM.
4. Crie a tabela:

create table `CDM_Pricing`
(
  Fiscal_Date DATETIME,
  Product_ID STRING,
  Client_ID INT64,
  Customer_Hierarchy STRING,
  Division STRING,
  Market STRING,
  Channel STRING,
  Customer_code INT64,
  Customer_Long_Description STRING,
  Key_Account_Manager INT64,
  Key_Account_Manager_Description STRING,
  Structure STRING,
  Invoiced_quantity_in_Pieces FLOAT64,
  Gross_Sales FLOAT64,
  Trade_Budget_Costs FLOAT64,
  Cash_Discounts_and_other_Sales_Deductions INT64,
  Net_Sales FLOAT64,
  Variable_Production_Costs_STD FLOAT64,
  Fixed_Production_Costs_STD FLOAT64,
  Other_Cost_of_Sales INT64,
  Standard_Gross_Margin FLOAT64,
  Transportation_STD FLOAT64,
  Warehouse_STD FLOAT64,
  Gross_Margin_After_Logistics FLOAT64,
  List_Price_Converged FLOAT64
);

3. Avaliar fontes de dados

Neste tutorial, você vai usar fontes de dados de amostra armazenadas no Google Planilhas e no BigQuery.

• A planilha do Google transações, que contém uma linha para cada transação. Ele tem detalhes como a quantidade de cada produto vendido, o total de vendas brutas e os custos associados.
• A planilha do Google preços dos produtos, que contém o preço de cada produto para um determinado cliente em cada mês.
• A tabela do BigQuery "company_descriptions", que contém informações de clientes individuais.

Essa tabela do BigQuery "company_descriptions" pode ser criada usando a seguinte instrução:

create table `Company_Descriptions`
(
 Customer_ID INT64,
 Customer_Long_Description STRING
);
insert into `Company_Descriptions` values (15458, 'ENELTEN');
insert into `Company_Descriptions` values (16080, 'NEW DEVICES CORP.');
insert into `Company_Descriptions` values (19913, 'ENELTENGAS');
insert into `Company_Descriptions` values (30108, 'CARTOON NT');
insert into `Company_Descriptions` values (32492, 'Thomas Ed Automobiles');

4. Criar o fluxo

Nesta etapa, você importa um fluxo de Dataprep de amostra, que será usado para transformar e unificar os conjuntos de dados de exemplo listados na seção anterior. Um fluxo representa um pipeline ou um objeto que reúne conjuntos de dados e receitas, que são usados para transformar e combinar esses elementos.

1. Faça o download do pacote de fluxo Padrão de otimização de preços do GitHub, mas não descompacte. Esse arquivo contém o fluxo do padrão de projeto de otimização de preços usado para transformar os dados de amostra.
2. No Dataprep, clique no ícone "Fluxos" na barra de navegação à esquerda. Em seguida, na visualização "Fluxos", selecione Importar no menu de contexto. Depois de importar o fluxo, você pode selecioná-lo para visualizar e editar.

3. No lado esquerdo do fluxo, o preço do produto e cada uma das três transações do Google Planilhas precisam estar conectados como conjuntos de dados. Para fazer isso, clique com o botão direito do mouse nos objetos do conjunto de dados do Google Planilhas e selecione Substituir. Em seguida, clique no link Importar conjuntos de dados. Clique no lápis "Editar trajeto", conforme mostrado no diagrama a seguir.

Substitua o valor atual pelo link que aponta para transações e preços de produtos no Google Planilhas .

Quando o Google Planilhas contém várias guias, é possível selecionar a guia que você quer usar no menu. Clique em Editar, selecione as guias que você quer usar como fonte de dados e clique em Salvar e Importar e adicionar ao fluxo. Quando voltar ao modal, clique em Substituir. Nesse fluxo, cada planilha é representada como um conjunto de dados próprio para demonstrar a união de fontes diferentes em uma receita posterior.

Observação:se você estiver adaptando esse padrão para trabalhar com fontes de dados personalizadas, clique no botão "+ Novo" na parte de baixo da tela.

4. Definir tabelas de saída do BigQuery:

Nesta etapa, você vai associar o local da tabela de saída CDM_Pricing do BigQuery para que ela seja carregada sempre que você executar o job do Dataprep.

Na visualização de fluxo, clique no ícone "Saída do mapeamento de esquema". No painel de detalhes, clique na guia "Destinos". Edite a saída de destinos manuais usada para testes e a saída de destinos programados usada quando você quer automatizar todo o fluxo. Para fazer isso, siga estas instruções:

1. Edite os "Destinos manuais": no painel de detalhes, na seção "Destinos manuais", clique no botão "Editar". Na página Configurações de publicação, em "Ações de publicação", se uma ação de publicação já existir, edite-a. Caso contrário, clique no botão "Adicionar ação". Navegue pelos conjuntos de dados do BigQuery até o conjunto Pricing_CDM que você criou em uma etapa anterior e selecione a tabela CDM_Pricing. Confirme se a opção Adicionar a esta tabela a cada execução está marcada e clique em Adicionar e em Salvar configurações.
2. Editar os "Destinos programados"

No painel "Detalhes", na seção "Destinos programados", clique em Editar.

As configurações são herdadas dos destinos manuais, e você não precisa fazer nenhuma mudança. Clique em "Save Settings".

Com os destinos manuais, é possível executar cada job de saída individual de forma independente e sob demanda. Isso é conveniente para testar um roteiro de preparação de dados e validar um resultado durante o design do fluxo.

Os destinos programados são usados quando você quer executar seu fluxo rotineiramente. Por exemplo, talvez você queira recarregar o CDM no BigQuery todos os dias para atualizar seus relatórios com as respostas mais recentes.

5. Padronizar dados

Os fluxos fornecidos unem, formatam e limpam os dados de transações e, em seguida, combinam o resultado com as descrições das empresas e os dados de preços agregados para geração de relatórios. Aqui, você vai conhecer os componentes do fluxo, que podem ser vistos na imagem abaixo.

6. Conheça o roteiro de dados transacionais

Primeiro, você vai descobrir o que acontece na receita de dados transacionais, que é usada para preparar dados de transações. Clique no objeto "Dados de transação" na visualização de fluxo. No painel de detalhes, clique no botão "Editar receita".

A página "Transformer" é aberta com o roteiro apresentado no painel de detalhes. A receita contém todas as etapas de transformação aplicadas aos dados. Para navegar na receita, clique entre cada uma das etapas e confira o estado dos dados nessa posição específica.

Você também pode clicar no menu "Mais" em cada etapa da receita e selecionar "Ir para o item selecionado" ou "Editar" para saber como a transformação funciona.

1. União de transações:a primeira etapa do roteiro de dados transacionais une as transações armazenadas em diferentes planilhas que representam cada mês.
2. Padronizar descrições de clientes:a próxima etapa do roteiro padroniza as descrições de clientes. Isso significa que os nomes dos clientes podem ser semelhantes com pequenas mudanças, e queremos normalizá-los como um só nome. A receita demonstra duas abordagens possíveis. Primeiro, ele usa o algoritmo de padronização, que pode ser configurado com diferentes opções de padronização, como "Strings semelhantes", em que valores com caracteres em comum são agrupados, ou "Pronúncia", em que valores com pronúncia semelhante são agrupados. Como alternativa, é possível pesquisar a descrição da empresa na tabela do BigQuery referenciada acima usando o ID da empresa.

Observação:este tutorial oferece um exemplo de padronização das descrições dos clientes. No entanto, para otimizar os preços, recomendamos padronizar dados como nomes de produtos e formatação de datas.

Navegue mais pela receita para descobrir as várias outras técnicas aplicadas para limpar e formatar os dados: excluir linhas, formatar com base em padrões, enriquecer dados com pesquisas, lidar com valores ausentes ou substituir caracteres indesejados.

7. Conheça a receita de dados de preços de produtos

Em seguida, confira o que acontece na receita de dados de preços de produtos, que une os dados de transações preparados aos dados de preços agregados.

Clique em "PADRÃO DE DESIGN DE OTIMIZAÇÃO DE PREÇOS" na parte de cima da página para fechar a página do Transformer e voltar à Visualização de fluxo. Em seguida, clique no objeto "Dados de preços de produtos" e edite o roteiro.

1. Remover a rotação das colunas de preço mensal:clique na receita entre as etapas 2 e 3 para ver como os dados ficam antes da etapa de remoção da rotação. Os dados contêm o valor da transação em uma coluna distinta para cada mês: Jan, Fev, Mar. Esse não é um formato conveniente para aplicar o cálculo de agregação (ou seja, soma, transação média) em SQL. Os dados precisam ser desagrupados para que cada coluna se torne uma linha na tabela do BigQuery. A receita usa a função unpivot para transformar as três colunas em uma linha para cada mês. Assim, fica mais fácil aplicar cálculos de grupo.
2. Calcular o valor médio da transação por cliente, produto e data: queremos calcular o valor médio da transação para cada cliente, produto e data. É possível usar a função de agregação e gerar uma nova tabela (opção "Agrupar por como uma nova tabela"). Nesse caso, os dados são agregados no nível do grupo, e perdemos os detalhes de cada transação individual. Ou podemos manter os detalhes e os valores agregados no mesmo conjunto de dados (opção "Agrupar por como novas colunas"), o que é muito conveniente para aplicar uma proporção (por exemplo, % de contribuição da categoria dos produtos para a receita geral). Para testar esse comportamento, edite a etapa 7 da receita e selecione a opção "Agrupar por como uma nova tabela" ou "Agrupar por como uma nova coluna" para ver as diferenças.
3. Data de preços da junção:por fim, uma junção é usada para combinar vários conjuntos de dados em um maior, adicionando colunas ao conjunto inicial. Nesta etapa, os dados de preços são unidos à saída da receita de dados transacionais com base em "Dados de preços.Código do produto" = "Dados de transação.SKU" e "Dados de preços.Data do preço" = "Dados de transação.Data fiscal".

Para saber mais sobre as transformações que podem ser aplicadas com o Dataprep, consulte o Guia de referência do Trifacta Data Wrangling.

8. Conheça a receita de mapeamento de esquema

A última receita, "Mapeamento de esquema", garante que a tabela CDM resultante corresponda ao esquema da tabela de saída do BigQuery. Aqui, a funcionalidade Rapid Target é usada para reformatar a estrutura de dados e corresponder à tabela do BigQuery usando a correspondência aproximada para comparar os dois esquemas e aplicar mudanças automáticas.

9. Unificar em uma estrutura

Agora que as origens e os destinos foram configurados e as etapas dos fluxos foram analisadas, é possível executar o fluxo para transformar e carregar a tabela do CDM no BigQuery.

1. Executar a saída do mapeamento de esquema:na visualização de fluxo, selecione o objeto de saída do mapeamento de esquema e clique no botão "Executar" no painel "Detalhes". Selecione o ambiente de execução "Trifacta Photon" e desmarque "Ignorar erros de receita". Em seguida, clique no botão "Executar". Se a tabela especificada do BigQuery existir, o Dataprep vai anexar novas linhas. Caso contrário, ele vai criar uma tabela.
2. Ver o status do job:o Dataprep abre automaticamente a página "Executar job" para que você possa monitorar a execução do job. Deve levar alguns minutos para processar e carregar a tabela do BigQuery. Quando o job for concluído, a saída do CDM de preços será carregada no BigQuery em um formato limpo, estruturado e normalizado pronto para análise.

10. Oferecer análises e ML/IA

Pré-requisitos do Google Analytics

Para executar algumas análises e um modelo preditivo com resultados interessantes, criamos um conjunto de dados maior e relevante para descobrir insights específicos. Faça upload desses dados para seu conjunto de dados do BigQuery antes de continuar este guia.

• Faça o download do conjunto de dados grande deste repositório do GitHub.
• No console do Google para BigQuery, navegue até seu projeto e o conjunto de dados "CDM_Pricing".
• Clique no menu e abra o conjunto de dados. Vamos criar a tabela carregando os dados de um arquivo local.

Clique no botão + Criar tabela e defina estes parâmetros:

• Crie uma tabela por upload e selecione o arquivo CDM_Pricing_Large_Table.csv.
• Detecção automática de esquema, marque "Parâmetros de esquema e entrada"
• Opções avançadas, Preferência de gravação, Substituir tabela

• Clique em "Criar tabela".

Depois que a tabela for criada e os dados forem enviados, no Console do Google para BigQuery, você vai encontrar os detalhes da nova tabela, conforme mostrado abaixo. Com os dados de preços no BigQuery, podemos fazer perguntas mais abrangentes para analisar seus dados de preços em um nível mais profundo.

11. Conferir o efeito das mudanças de preço

Por exemplo, você pode analisar uma mudança no comportamento de pedidos depois de alterar o preço de um item.

1. Primeiro, crie uma tabela temporária com uma linha para cada vez que o preço de um produto mudou, com informações sobre o preço específico, como quantos itens foram pedidos com cada preço e o total de vendas líquidas associadas a esse preço.

create temp table price_changes as (
select
       product_id,
       list_price_converged,
       total_ordered_pieces,
       total_net_sales,
       first_price_date,
       lag(list_price_converged) over(partition by product_id order by first_price_date asc) as previous_list,
       lag(total_ordered_pieces) over(partition by product_id order by first_price_date asc) as previous_total_ordered_pieces,
       lag(total_net_sales) over(partition by product_id order by first_price_date asc) as previous_total_net_sales,
       lag(first_price_date) over(partition by product_id order by first_price_date asc) as previous_first_price_date
       from (
           select
               product_id,list_price_converged,sum(invoiced_quantity_in_pieces) as total_ordered_pieces, sum(net_sales) as total_net_sales, min(fiscal_date) as first_price_date
           from `{{my_project}}.{{my_dataset}}.CDM_Pricing` AS cdm_pricing
           group by 1,2
           order by 1, 2 asc
       )
);
select * from price_changes where previous_list is not null order by product_id, first_price_date desc

2. Em seguida, com a tabela temporária no lugar, calcule a mudança média de preço nas SKUs:

select avg((previous_list-list_price_converged)/nullif(previous_list,0))*100 as average_price_change from price_changes;

3. Por fim, analise o que acontece depois que um preço é alterado. Para isso, observe a relação entre cada mudança de preço e a quantidade total de itens pedidos:

select
(total_ordered_pieces-previous_total_ordered_pieces)/nullif(previous_total_ordered_pieces,0) 

as

price_changes_percent_ordered_change,
(list_price_converged-previous_list)/nullif(previous_list,0)  

as

price_changes_percent_price_change
from price_changes

12. Criar um modelo de previsão de série temporal

Em seguida, com os recursos de machine learning integrados do BigQuery, você pode criar um modelo de previsão de série temporal ARIMA para prever a quantidade de cada item que será vendida.

1. Primeiro, crie um modelo ARIMA_PLUS.

create or replace `{{my_project}}.{{my_dataset}}.bqml_arima`
options
 (model_type = 'ARIMA_PLUS',
  time_series_timestamp_col = 'fiscal_date',
  time_series_data_col = 'total_quantity',
  time_series_id_col = 'product_id',
  auto_arima = TRUE,
  data_frequency = 'AUTO_FREQUENCY',
  decompose_time_series = TRUE
 ) as
select
 fiscal_date,
 product_id,
 sum(invoiced_quantity_in_pieces) as total_quantity
from
 `{{my_project}}.{{my_dataset}}.CDM_Pricing` 
group by 1,2;

2. Em seguida, use a função ML.FORECAST para prever as vendas futuras de cada produto:

select
*
from
ML.FORECAST(model testing.bqml_arima,
            struct(30 as horizon, 0.8 as confidence_level));

3. Com essas previsões disponíveis, você pode tentar entender o que aconteceria se aumentasse os preços. Por exemplo, se você aumentar o preço de todos os produtos em 15%, poderá calcular a receita total estimada para o próximo mês com uma consulta como esta:

select
sum(forecast_value * list_price) as total_revenue
from ml.forecast(mode testing.bqml_arima,
            struct(30 as horizon, 0.8 as confidence_level)) forecasts
left join (select product_id,
                array_agg(list_price_converged
                       order by fiscal_date desc limit 1)[offset(0)] as list_price
                from `leigha-bq-dev.retail.cdm_pricing` group by 1)  recent_prices
using (product_id);

Observação:essa consulta pressupõe que a mudança de preço não afetaria o comportamento de compra.

13. Criar um relatório

Agora que seus dados de preços desnormalizados estão centralizados no BigQuery e você sabe como executar consultas significativas com eles, é hora de criar um relatório para que os usuários comerciais possam analisar e usar essas informações.

Se você já tiver uma instância do Looker, use a LookML neste repositório do GitHub para começar a analisar os dados de preços desse padrão. Basta criar um projeto do Looker, adicionar a LookML e substituir os nomes de conexão e tabela em cada um dos arquivos de visualização para corresponder à sua configuração do BigQuery.

Observação:se você não tiver uma instância do Looker, mas quiser saber mais, agende uma demonstração aqui.

Nesse modelo, você vai encontrar a tabela derivada ( neste arquivo de visualização) que mostramos antes para examinar as mudanças de preço:

view: price_changes {
    derived_table: {
      sql: select
        product_id,
        list_price_converged,
        total_ordered_pieces,
        total_net_sales,
        first_price_date,
        lag(list_price_converged) over(partition by product_id order by first_price_date asc) as previous_list,
        lag(total_ordered_pieces) over(partition by product_id order by first_price_date asc) as previous_total_ordered_pieces,
        lag(total_net_sales) over(partition by product_id order by first_price_date asc) as previous_total_net_sales,
        lag(first_price_date) over(partition by product_id order by first_price_date asc) as previous_first_price_date
        from (
      select
         product_id,list_price_converged,sum(invoiced_quantity_in_pieces) as total_ordered_pieces, sum(net_sales) as total_net_sales, min(fiscal_date) as first_price_date
      from ${cdm_pricing.SQL_TABLE_NAME}  AS cdm_pricing
      group by 1,2
      order by 1, 2 asc
      )
       ;;
    }
...

}

Assim como o modelo ARIMA do BigQuery ML mostrado anteriormente, para prever vendas futuras ( neste arquivo de visualização)

view: arima_model {
  derived_table: {
    persist_for: "24 hours"
    sql_create:
      create or replace model ${sql_table_name}
            options
              (model_type = 'arima_plus',
               time_series_timestamp_col = 'fiscal_date',
               time_series_data_col = 'total_quantity',
               time_series_id_col = 'product_id',
               auto_arima = true,
               data_frequency = 'auto_frequency',
               decompose_time_series = true
              ) as
            select
              fiscal_date,
              product_id,
              sum(invoiced_quantity_in_pieces) as total_quantity
            from
              ${cdm_pricing.sql_table_name}
            group by 1,2 ;;
          }
   }
...
}

A LookML também contém um painel de amostra. Acesse uma versão de demonstração do painel aqui. A primeira parte do painel oferece aos usuários informações de alto nível sobre mudanças em vendas, custos, preços e margens. Como usuário comercial, talvez você queira criar um alerta para saber se as vendas caíram abaixo de X%, já que isso pode significar que você precisa reduzir os preços.

A próxima seção, mostrada abaixo, permite que os usuários analisem as tendências relacionadas às mudanças de preços. Aqui, você pode detalhar produtos específicos para ver o preço de tabela exato e os preços que foram alterados. Isso pode ser útil para identificar produtos específicos e fazer mais pesquisas sobre eles.

Por fim, na parte de baixo do relatório, você encontra os resultados do nosso modelo do BigQuery ML. Usando os filtros na parte de cima do painel do Looker, é fácil inserir parâmetros para simular diferentes cenários, como descrito acima. Por exemplo, o que aconteceria se o volume de pedidos caísse para 75% do valor previsto e os preços de todos os produtos aumentassem em 25%, conforme mostrado abaixo

Isso é feito com parâmetros em LookML, que são incorporados diretamente aos cálculos de métricas encontrados aqui. Com esse tipo de relatório, você pode encontrar o preço ideal para todos os produtos ou analisar produtos específicos para determinar onde aumentar ou diminuir os preços e qual seria o resultado na receita bruta e líquida.

14. Adaptar-se aos seus sistemas de preços

Embora este tutorial transforme fontes de dados de exemplo, você vai enfrentar desafios de dados muito semelhantes para os recursos de preços que estão nas suas várias plataformas. Os recursos de preços têm diferentes formatos de exportação (geralmente xls, planilhas, csv, txt, bancos de dados relacionais, aplicativos comerciais) para resultados resumidos e detalhados, e cada um deles pode ser conectado ao Dataprep. Recomendamos que você comece descrevendo seus requisitos de transformação de maneira semelhante aos exemplos acima. Depois que as especificações forem esclarecidas e você identificar os tipos de transformações necessárias, poderá projetá-las com o Dataprep.

1. Faça uma cópia do fluxo do Dataprep (clique no botão **...** "mais" à direita do fluxo e selecione a opção "Duplicar") que você vai personalizar ou comece do zero usando um novo fluxo do Dataprep.
2. Conecte-se ao seu próprio conjunto de dados de preços. Formatos de arquivo como Excel, CSV, Google Planilhas e JSON são compatíveis nativamente com o Dataprep. Também é possível se conectar a outros sistemas usando conectores do Dataprep.
3. Envie seus recursos de dados para as várias categorias de transformação que você identificou. Para cada categoria, crie uma receita. Inspire-se no fluxo fornecido neste padrão de design para transformar os dados e escrever suas próprias receitas. Se você tiver dificuldades, peça ajuda na caixa de diálogo de chat no canto inferior esquerdo da tela do Dataprep.
4. Conecte sua receita à instância do BigQuery. Não é necessário criar as tabelas manualmente no BigQuery. O Dataprep faz isso automaticamente. Ao adicionar a saída ao fluxo, selecione um destino manual e descarte a tabela a cada execução. Teste cada receita individualmente até o ponto em que você entrega os resultados esperados. Depois que o teste for concluído, converta a saída para "Adicionar à tabela" em cada execução para evitar a exclusão dos dados anteriores.
5. Você pode associar o fluxo para ser executado de acordo com uma programação. Isso é útil se o processo precisa ser executado continuamente. Você pode definir uma programação para carregar a resposta todos os dias ou a cada hora, de acordo com a atualização necessária. Se você decidir executar o fluxo de acordo com uma programação, adicione uma saída de destino de programação no fluxo para cada receita.

Modificar o modelo de machine learning do BigQuery

Este tutorial apresenta um exemplo de modelo ARIMA. No entanto, há outros parâmetros que podem ser controlados ao desenvolver o modelo para garantir que ele se ajuste melhor aos seus dados. Confira mais detalhes no exemplo da nossa documentação aqui. Além disso, é possível usar as funções ML.ARIMA_EVALUATE, ML.ARIMA_COEFFICIENTS e ML.EXPLAIN_FORECAST do BigQuery para ter mais detalhes sobre o modelo e tomar decisões de otimização.

Editar relatórios do Looker

Depois de importar o LookML para seu próprio projeto conforme descrito acima, você pode fazer edições diretas para adicionar mais campos, modificar cálculos ou parâmetros inseridos pelo usuário e mudar as visualizações nos painéis de acordo com as necessidades da sua empresa. Confira detalhes sobre desenvolvimento em LookML aqui e visualização de dados no Looker aqui .

15. Parabéns

Agora você sabe as principais etapas necessárias para otimizar os preços dos seus produtos de varejo.

Qual é a próxima etapa?

Conheça outros padrões de referência de análises inteligentes

Leia mais

• Leia o blog aqui
• Saiba mais sobre o Dataprep
• Saiba mais sobre o BigQuery Machine Learning aqui
• Saiba mais sobre o Looker