BigQuery Kullanıcı Arayüzünde Gezinme ve Veri Keşfi Codelab

1. Giriş

BigQuery, sunucusuz, yüksek düzeyde ölçeklenebilir ve uygun maliyetli bir veri ambarıdır. Verilerinizi BigQuery'ye taşıyın ve zorlu işleri bize bırakın. Böylece, işletmenizi yönetmek gibi gerçekten önemli olan konulara odaklanabilirsiniz. İş ihtiyaçlarınıza (ör. başka kullanıcılara verilerinizi görüntüleme veya sorgulama yetkisi verme) göre hem projeye hem verilerinize erişimi kontrol edebilirsiniz.

Bu laboratuvarda BigQuery'nin analitik olanaklarını keşfedeceksiniz. Google Cloud Storage paketinden nasıl veri kümesi içe aktaracağınızı ve perakende bankacılığı veri kümesiyle çalışarak BigQuery kullanıcı arayüzünü nasıl kullanacağınızı öğreneceksiniz. Ayrıca bu laboratuvarda, sorgu sonuçlarını bir e-tabloya aktarma, sorgu geçmişinizden sorguları görüntüleme ve çalıştırma, sorgu performansını görüntüleme ve diğer ekiplerin ve bölümlerin kullanması için tablo görünümleri oluşturma gibi BigQuery'deki günlük analizlerinizi çok daha kolay hale getiren temel özellikleri nasıl keşfedeceğinizi öğreneceksiniz.

Öğrenecekleriniz

Bu laboratuvarda, aşağıdaki görevleri nasıl gerçekleştireceğinizi öğreneceksiniz:

• BigQuery'ye yeni veri yükleme
• BigQuery kullanıcı arayüzünü tanıma
• BigQuery'de sorgu çalıştırma
• Sorgu Performansını Görüntüleme
• BigQuery'de Görünüm Oluşturma
• Veri kümelerini başkalarıyla güvenli bir şekilde paylaşma

2. Giriş: BigQuery kullanıcı arayüzünü anlama

Bu bölümde, BigQuery kullanıcı arayüzünde gezinmeyi, kullanılabilir veri kümelerini görüntülemeyi ve basit bir sorgu çalıştırmayı öğreneceksiniz.

BQ kullanıcı arayüzünü yükleme

1. Google Cloud Platform Console'un üst kısmındaki "BigQuery"yi yazın.
2. Seçenek listesinden BigQuery'yi seçin. BigQuery logosunu (büyüteç) içeren seçeneği belirlediğinizden emin olun.

Veri Kümelerini Görüntüleme ve Sorgu Çalıştırma

1. Kaynak bölümündeki sol bölmede BigQuery projenizi tıklayın.
2. Veri kümesindeki tabloları görüntülemek için bq_demo simgesini tıklayın.
3. Arama yapmak için yazın kutusuna "kart" yazarak adında "kart" geçen tabloların ve veri kümelerinin listesini görün.
4. Arama sonuçları listesinden "card_transactions" tablosunu seçin.

5. Bu tablonun meta verilerini görüntülemek için card_transactions bölmesindeki Ayrıntılar sekmesini tıklayın.
6. Tablonun önizlemesini görmek için Önizleme sekmesini tıklayın.

[Rekabet Avantajı]: Google Data Catalog ile entegrasyon sayesinde BigQuery meta verileri, veri gölleri veya operasyonel veri kaynakları gibi diğer veri kaynaklarıyla birlikte yönetilebilir. Bu, Google Cloud'un yalnızca ilişkisel bir veri ambarı değil, aynı zamanda eksiksiz bir analitik veri platformu olduğunu gösteren bir örnektir.

7. "card_transactions" tablosunu sorgulamak için büyüteç simgesini tıklayın. BigQuery sorgu düzenleyicisi, otomatik olarak oluşturulan bir metinle doldurulur.
8. Card_Transactions tablosundaki farklı satıcıları göstermek için aşağıdaki kodu girin.

SELECT distinct (merchant) FROM bq_demo.card_transactions LIMIT 1000

9. Sorguyu çalıştırmak için Çalıştır düğmesini tıklayın.

3. Veri kümeleri oluşturma ve görünümleri paylaşma

Veri paylaşımı ve yönetimi çok önemlidir. Bu işlemler BQ kullanıcı arayüzünde sezgisel olarak yapılabilir. Bu bölümde, yeni bir veri kümesi oluşturmayı, bu kümeyi bir görünümle doldurmayı ve veri kümesini paylaşmayı öğreneceksiniz.

Sorgu Geçmişini Görüntüleme

1. GCP Console'un sol bölmesinde "Sorgu Geçmişi"ni tıklayın.
2. Sorgu Geçmişi bölmesinde yenile'yi tıklayın.
3. Sorgunun sonuçlarını görüntülemek için sorgunun en sağındaki resmi/oku indirme simgesini tıklayın.

Yeni veri kümesi oluşturma

1. BigQuery kullanıcı arayüzünün kaynaklar bölmesinde [proje adınızı] seçin.
2. Proje bilgileri bölmesinden "Yeni veri kümesi oluştur"u seçin.
3. Veri kümesi kimliği için:

bq_demo_shared

4. Diğer tüm alanları varsayılan değerlerinde bırakın.
5. "Veri kümesi oluştur"u tıklayın.

Görünüm oluşturma

[Rekabet Avantajı]: BigQuery, ANSI SQL ile tamamen uyumludur ve hem basit hem de karmaşık çok tablolu birleştirmeleri ve zengin analitik işlevleri destekler. Taşıma sürecini kolaylaştırmak için geleneksel veri ambarlarında kullanılan yaygın SQL veri türleri ve işlevleri için sürekli olarak gelişmiş destek yayınladık.

1. Sorgu Düzenleyici bölmesinin üst kısmında "Yeni Sorgu Oluştur"u seçin.
2. Sorgu düzenleyiciye aşağıdaki kodu ekleyin.

WITH revenue_by_month AS (
SELECT
    card.type AS card_type,
    FORMAT_DATE('%Y-%m', trans_date) as revenue_date,
    SUM(amount) as revenue
FROM bq_demo.card_transactions
JOIN bq_demo.card ON card_transactions.cc_number = card.card_number
WHERE trans_date  DATE_ADD(CURRENT_DATE, INTERVAL -1 YEAR)
GROUP BY card_type, revenue_date
)
SELECT
    card_type,
    revenue_date,
    revenue as monthly_rev,
    revenue -  LAG(revenue) OVER (ORDER BY card_type, revenue_date ASC) as rev_change
FROM revenue_by_month
ORDER BY card_type, revenue_date ASC;

3. "Görünümü Kaydet"i tıklayın.
4. Proje adı için mevcut projenizi seçin.
5. Yeni oluşturulan veri kümesini seçin:

bq_demo_shared

6. Tablo Adı için:

rev_change_by_card_type

7. Kaydet'i tıklayın.

Görünümleri ve Veri Kümelerini Paylaşma

1. BigQuery kullanıcı arayüzündeki soldaki kaynak bölmesinden "bq_demo_shared" veri kümesini seçin.
2. Veri kümesi bilgileri bölmesinde "Veri kümesini paylaş"ı tıklayın.
3. E-posta adresi girin
4. Rol açılır menüsünden "BigQuery Veri Görüntüleyici"yi seçin.
5. "Ekle"yi tıklayın
6. Bitti'yi tıklayın.

E-Tablolar'daki verileri keşfetme

[Rekabet Avantajı]: BigQuery'nin rakiplerine kıyasla bir diğer avantajı da BI Engine'dir. BI Engine, bellek içi önbelleğe alma motoru sayesinde BI türü özet sorgularının bir saniyeden kısa sürede döndürülmesini sağlamak için kullanılabilir. Bu özellik şu anda Google Data Studio tarafından desteklenmektedir ancak yakında BigQuery'deki tüm sorguları hızlandırmak için kullanılabilecektir.

Örneğin:

Snowflake, kontrol panelleri ve veri görselleştirme için üçüncü taraf BI araçlarını kullanırken GCP, Bağlı E-Tablolar, Data Studio ve Looker dahil olmak üzere çeşitli entegre BI araçları sunar.

1. BigQuery kullanıcı arayüzündeki soldaki kaynak bölmesinden "rev_change_by_card_type" görünümünü seçin.
2. Görünümü sorgulamak için büyüteci tıklayın.
3. Tür:

SELECT *

FROM bq_demo_shared.rev_change_by_card_type

4. Çalıştır'ı tıklayın.
5. Sonuçlar bölmesinde "Dışa Aktar" simgesini tıklayın.
6. "E-Tablolar ile Verileri Keşfet"i seçin.

7. "Analizi Başlat"ı tıklayın.
8. "Özet Tablo"yu seçin.
9. "Yeni Sayfa"yı seçin.
10. "Oluştur"u tıklayın
11. E-Tablolar penceresinin sağında bulunan Pivot Tablo Düzenleyicisi'nin Satır bölümüne "revenue_date" öğesini ekleyin.
12. Pivot tablo düzenleyicisinin Sütun bölümüne "card_type" öğesini ekleyin.
13. Pivot tablo düzenleyicisinin Sütun bölümüne "monthly_rev" öğesini ekleyin.
14. Uygula'yı tıklayın

15. E-Tablolar kullanıcı arayüzünün üst şeridine gidin ve Grafik Ekle'yi seçin.

4. Kurulum: Veri Entegrasyonu

Bu bölümde, yeni bir tablo oluşturmayı ve Google Cloud'un sunduğu herkese açık veri kümelerinden birinde JOIN işlemi gerçekleştirmeyi öğreneceksiniz.

[Competitive Talking Point]:

BigQuery, yıllardır paylaşılan veri kümelerini desteklemektedir. Herhangi bir projedeki müşteriler hem herkese açık veri kümelerini hem de kendileriyle paylaşılan diğer projelerdeki veri kümelerini sorgulayabilir.

BigQuery, harici tabloları kullanarak GCS'deki veri göllerini destekleyebilir. BigQuery, toplu yüklemenin yanı sıra verileri saniyede yüzlerce MB'ı aşan hızlarda veritabanına aktarma özelliğini de destekler. Snowflake, akış verilerini desteklemez.

Yeni bir tabloya veri aktarma

1. Kaynaklar bölmesinde bq_demo veri kümesini seçin.
2. Veri kümesi bilgileri bölmesinde "Tablo Oluştur"u seçin.
3. Kaynak için Google Cloud Storage'ı seçin
4. Dosya yolu metin kutusuna:

gs://retail-banking-looker/district

5. Dosya biçimi olarak CSV'yi seçin.
6. Tablo Adı için "district" (bölge) girin.
7. Şemayı otomatik algıla onay kutusunu işaretleyin.
8. Tablo Oluştur'u tıklayın.

Herkese açık veri kümelerini sorgulama

1. Sorgu düzenleyiciye aşağıdaki sorguyu girin:

SELECT
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    housing_units,
    vacant_housing_units_for_sale,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    ROUND(SAFE_DIVIDE(bachelors_degree_or_higher_25_64, pop_25_64),4) AS rate_bachelors_degree_or_higher_25_64
  FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`;

2. Çalıştır'ı tıklayın.
3. Sonuçları görüntüleme

4. Şimdi bu herkese açık verileri başka bir sorguyla birleştireceğiz. Sorgu düzenleyiciye aşağıdaki SQL kodunu girin:

WITH customer_counts AS (
    select regexp_extract(address, "[0-9][0-9][0-9][0-9][0-9]") as zip_code, 
    count(*) as num_clients
    FROM bq_demo.client
    GROUP BY zip_code
    )
SELECT 
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    num_clients
FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`
JOIN customer_counts on zip_code = geo_id
ORDER BY num_clients DESC

5. Çalıştır'ı tıklayın.
6. Sonuçları görüntüleme

5. Kapasite yönetimi

Zaman aralıkları ve rezervasyonlarla çalışma

BQ, ihtiyaçlarınızı karşılamak için birden fazla fiyatlandırma modeli sunar. Büyük müşterilerin çoğu, ayrılmış kapasiteyle öngörülebilir fiyatlandırma için öncelikle sabit ücreti kullanır. Bu temel kapasitenin ötesinde ani artışlar için BQ, anında ek kapasiteye geçmenize ve ardından çalışan sorguları etkilemeden otomatik olarak geri küçülmenize olanak tanıyan Esnek Slotlar sunar. BQ, yalnızca çalıştırdığınız sorgular için ödeme yapmanıza olanak tanıyan bir bayt tarama modeline de sahiptir.

[Rekabet Avantajı: Bazı rakipler yalnızca sabit kapasite modeliyle çalışır. Bu modelde müşterilerin kuruluşlarındaki her iş yükü için sanal bir depo ayırması gerekir. BigQuery'yi kullanmaya başlamayı kolaylaştıran düşük maliyetli sorgu başına ödeme modelinin yanı sıra, boşta kalan kapasitenin bir dizi iş yükü arasında paylaşılabildiği sabit ücretli kapasite fiyatlandırma modelini de destekliyoruz.]

1. Rezervasyonlar sekmesine gidin.

2. "Yer Satın Al"ı tıklayın.

3. Süre olarak "Esnek"i seçin.
4. 500 slot seçin.
5. Satın alma işlemini onaylayın.

6. "Slot Taahhütlerini Görüntüle"yi tıklayın.
7. "Rezervasyon Oluştur"u tıklayın.
8. Rezervasyon adı olarak "demo" kullanıcısı
9. Konum olarak Amerika Birleşik Devletleri'ni seçin.
10. Slotlar için 500 yazın (tümü kullanılabilir)
11. Atamalar'ı tıklayın.
12. Kuruluş projesi için mevcut projeyi seçin
13. Rezervasyon kimliği için "demo"yu seçin.
14. Oluştur'u tıklayın.