Codelab Eksplorasi Data dan Navigasi UI BigQuery

1. Pengantar

BigQuery adalah data warehouse serverless, sangat skalabel, dan hemat biaya. Cukup pindahkan data Anda ke BigQuery dan biarkan kami yang menangani sisanya sehingga Anda dapat berfokus pada hal yang benar-benar penting, yaitu menjalankan bisnis Anda. Anda dapat mengontrol akses baik ke project maupun data Anda berdasarkan kebutuhan bisnis, seperti mengizinkan orang lain melihat atau mengkueri data Anda.

Di lab ini, Anda akan menemukan kemungkinan analisis BigQuery. Anda akan mempelajari cara mengimpor set data dari bucket Google Cloud Storage dan memahami UI BigQuery dengan menggunakan set data Retail banking. Selain itu, lab ini akan mengajarkan cara menemukan fitur utama di BigQuery yang mempermudah analisis sehari-hari Anda, seperti mengekspor hasil kueri dalam spreadsheet, melihat dan menjalankan kueri dari histori kueri, melihat performa kueri, dan membuat tampilan tabel untuk digunakan oleh tim dan departemen lain.

Yang akan Anda pelajari

Di lab ini, Anda akan mempelajari cara melakukan tugas berikut:

• Memuat data baru ke BigQuery
• Mengenal UI BigQuery
• Menjalankan Kueri di BigQuery
• Melihat Performa Kueri
• Membuat Tampilan di BigQuery
• Membagikan set data kepada orang lain dengan aman

2. Pengantar: Memahami UI BigQuery

Di bagian ini, Anda akan mempelajari cara menjelajahi UI BigQuery, melihat set data yang tersedia, dan menjalankan kueri sederhana.

Memuat UI BQ

1. Ketik "BigQuery" di bagian atas Konsol Google Cloud Platform.
2. Pilih BigQuery dari daftar opsi. Pastikan untuk memilih opsi yang memiliki logo BigQuery, yaitu kaca pembesar.

Melihat Set Data dan Menjalankan Kueri

1. Di panel kiri pada bagian Resource, klik project BigQuery Anda.
2. Klik bq_demo untuk melihat tabel dalam set data tersebut
3. Di kotak penelusuran, ketik "kartu" untuk melihat daftar tabel dan set data yang berisi "kartu" dalam namanya.
4. Pilih tabel "card_transactions" dari daftar hasil penelusuran

5. Klik tab Detail di panel card_transactions untuk melihat metadata tabel ini.
6. Klik tab Preview untuk melihat pratinjau tabel

[Competitive Talking Point]: Integrasi dengan Google Data Catalog berarti metadata BigQuery dapat dikelola bersama dengan sumber data lain, seperti data lake atau sumber data operasional. Ini adalah salah satu contoh yang menunjukkan bahwa Google Cloud bukan hanya data warehouse relasional, tetapi merupakan platform Data Analisis secara keseluruhan.

7. Klik ikon kaca pembesar untuk membuat kueri tabel "card_transactions". Teks yang dibuat otomatis akan mengisi editor kueri BigQuery.
8. Masukkan kode di bawah untuk menunjukkan kepada kami penjual yang berbeda dari tabel Card_Transactions

SELECT distinct (merchant) FROM bq_demo.card_transactions LIMIT 1000

9. Klik tombol Run untuk menjalankan kueri.

3. Membuat set data dan membagikan tampilan

Berbagi data dan tata kelola sangat penting, hal ini dapat dilakukan secara intuitif di UI BQ. Di bagian ini, Anda akan mempelajari cara membuat set data baru, mengisinya dengan tampilan, dan membagikan set data tersebut.

Melihat Histori Kueri

1. Klik "Histori Kueri" di panel kiri GCP Console
2. Klik muat ulang di panel Histori Kueri
3. Klik panah/download gambar di paling kanan kueri untuk melihat hasil kueri.

Membuat set data baru

1. Pilih [nama project Anda] di panel resource UI BigQuery.
2. Pilih "Buat Set Data baru" dari panel informasi project
3. Untuk ID Set Data:

bq_demo_shared

4. Biarkan semua kolom lain tetap pada nilai defaultnya
5. Klik "Buat Set Data"

Membuat Tampilan

[Competitive Talking Point]: BigQuery sepenuhnya kompatibel dengan ANSI SQL dan mendukung gabungan multi-tabel sederhana dan kompleks serta fungsi analitik yang canggih. Kami terus merilis dukungan yang ditingkatkan untuk jenis dan fungsi data SQL umum yang digunakan di data warehouse tradisional untuk mempermudah proses migrasi.

1. Pilih "Compose New Query" di bagian atas panel Query Editor.
2. Masukkan kode berikut di editor kueri

WITH revenue_by_month AS (
SELECT
    card.type AS card_type,
    FORMAT_DATE('%Y-%m', trans_date) as revenue_date,
    SUM(amount) as revenue
FROM bq_demo.card_transactions
JOIN bq_demo.card ON card_transactions.cc_number = card.card_number
WHERE trans_date  DATE_ADD(CURRENT_DATE, INTERVAL -1 YEAR)
GROUP BY card_type, revenue_date
)
SELECT
    card_type,
    revenue_date,
    revenue as monthly_rev,
    revenue -  LAG(revenue) OVER (ORDER BY card_type, revenue_date ASC) as rev_change
FROM revenue_by_month
ORDER BY card_type, revenue_date ASC;

3. Klik "Simpan Tampilan"
4. Pilih project Anda saat ini untuk Nama Project
5. Pilih Set Data yang baru dibuat:

bq_demo_shared

6. Untuk Nama Tabel:

rev_change_by_card_type

7. Klik Simpan.

Membagikan Tampilan dan Set Data

1. Pilih set data "bq_demo_shared" dari panel resource kiri di UI BigQuery.
2. Klik "Bagikan Set Data" dari panel informasi set data
3. Masukkan alamat email
4. Pilih "BigQuery Data Viewer" dari menu dropdown Peran
5. Klik "Tambahkan"
6. Klik Selesai

Menjelajahi Data di Spreadsheet

[Competitive Talking Point]: Manfaat lain dari BigQuery dibandingkan dengan pesaingnya adalah BI Engine. BI Engine dapat digunakan untuk membuat kueri ringkasan jenis BI ditampilkan dalam waktu kurang dari satu detik melalui mesin caching dalam memori. Saat ini, fitur ini didukung oleh Google Data Studio, tetapi akan segera tersedia untuk mempercepat semua kueri di BigQuery.

Contoh:

Snowflake mengandalkan alat BI pihak ketiga untuk dasbor dan visualisasi data, sementara GCP menawarkan berbagai alat BI terintegrasi, termasuk Sheet yang Terhubung, Data Studio, dan Looker.

1. Pilih tampilan "rev_change_by_card_type" dari panel resource kiri di UI BigQuery.
2. Klik kaca pembesar untuk membuat kueri tampilan
3. Jenis:

SELECT *

FROM bq_demo_shared.rev_change_by_card_type

4. Klik Run
5. Klik Ikon "Ekspor" dari Panel Hasil
6. Pilih "Jelajahi Data dengan Spreadsheet"

7. Klik"Mulai Analisis"
8. Pilih "Pivot Table"
9. Pilih "Spreadsheet Baru"
10. Klik "Buat"
11. Tambahkan "revenue_date" di bagian Baris pada Editor Tabel Pivot yang ada di sebelah kanan jendela Spreadsheet
12. Tambahkan "card_type" di bagian Kolom pada Editor Tabel Pivot
13. Tambahkan "monthly_rev" di bagian Kolom pada Editor Tabel Pivot
14. Klik Terapkan

15. Buka robbin atas UI Spreadsheet dan pilih Sisipkan Diagram

4. Penyiapan: Integrasi Data

Di bagian ini, Anda akan mempelajari cara membuat tabel baru dan melakukan JOINS pada salah satu dari banyak set data publik yang tersedia di Google Cloud.

[Competitive Talking Point]:

BigQuery telah mendukung set data bersama selama bertahun-tahun. Pelanggan di project mana pun dapat membuat kueri set data publik dan set data di project lain yang telah dibagikan kepada mereka.

BigQuery dapat mendukung data lake di GCS melalui penggunaan tabel eksternal. Selain pemuatan massal, BigQuery mendukung kemampuan untuk melakukan streaming data ke dalam database dengan kecepatan lebih dari ratusan MB per detik. Snowflake tidak mendukung streaming data.

Mengimpor Data ke tabel baru

1. Di panel resource, pilih set data bq_demo
2. Di panel informasi set data, pilih "Buat Tabel"
3. Pilih Google Cloud Storage untuk Sumber
4. Di kotak teks jalur file:

gs://retail-banking-looker/district

5. Pilih CSV untuk Format File
6. Masukkan "district" untuk Nama Tabel
7. Centang kotak untuk skema Deteksi Otomatis
8. Klik Buat Tabel

Membuat Kueri Set Data Publik

1. Di editor kueri, masukkan kueri berikut:

SELECT
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    housing_units,
    vacant_housing_units_for_sale,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    ROUND(SAFE_DIVIDE(bachelors_degree_or_higher_25_64, pop_25_64),4) AS rate_bachelors_degree_or_higher_25_64
  FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`;

2. Klik Run
3. Lihat Hasilnya

4. Sekarang kita akan menggabungkan data publik ini dengan kueri lain. Masukkan Kode SQL berikut di Query Editor:

WITH customer_counts AS (
    select regexp_extract(address, "[0-9][0-9][0-9][0-9][0-9]") as zip_code, 
    count(*) as num_clients
    FROM bq_demo.client
    GROUP BY zip_code
    )
SELECT 
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    num_clients
FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`
JOIN customer_counts on zip_code = geo_id
ORDER BY num_clients DESC

5. Klik Run
6. Lihat Hasilnya

5. Pengelolaan Kapasitas

Bekerja dengan slot dan reservasi

BQ menawarkan beberapa model harga untuk memenuhi kebutuhan Anda. Sebagian besar pelanggan besar terutama memanfaatkan tarif tetap untuk harga yang dapat diprediksi dengan kapasitas yang dicadangkan. Untuk melakukan bursting di luar kapasitas dasar tersebut, BQ menawarkan slot fleksibel yang memungkinkan Anda meningkatkan kapasitas tambahan dengan cepat, lalu otomatis menyusut kembali tanpa memengaruhi kueri yang sedang berjalan. BQ juga memiliki model pemindaian byte yang memungkinkan Anda hanya membayar kueri yang dijalankan.

[Poin Pembicaraan Kompetitif: Beberapa pesaing bekerja secara eksklusif pada model kapasitas tetap di mana pelanggan harus mengalokasikan gudang virtual untuk setiap beban kerja di organisasi mereka. Selain model per kueri berbiaya rendah yang mempermudah penggunaan BigQuery, kami mendukung model harga kapasitas tarif tetap yang memungkinkan kapasitas tidak terpakai dibagikan di antara serangkaian workload.]

1. Buka tab pemesanan.

2. Klik "Beli Slot"

3. Pilih "Fleksibel" sebagai durasi.
4. Pilih 500 slot.
5. Konfirmasi pembelian.

6. Klik Lihat Komitmen Slot.
7. Klik "Buat Pemesanan"
8. Pengguna "demo" sebagai nama reservasi
9. Pilih Amerika Serikat sebagai lokasi
10. Ketik 500 untuk slot (semua tersedia)
11. Klik Tugas
12. Pilih project saat ini untuk project organisasi
13. Pilih "demo" untuk ID reservasi
14. Klik Buat."