Membuat diagram hasil kueri SQL

Dokumen ini menjelaskan cara membuat diagram hasil kueri Log Analytics, yang memungkinkan Anda mengidentifikasi pola dan tren dalam data log. Log Analytics memungkinkan Anda menelusuri dan menggabungkan log untuk menghasilkan insight yang berguna menggunakan kueri SQL.

Setelah Anda menjalankan kueri, hasil kueri dapat dilihat dalam tabel, atau dikonversi menjadi diagram, dan kueri serta visualisasinya dapat disimpan ke dasbor. Misalnya, untuk melihat jenis tingkat keparahan yang dihasilkan log Anda, buat diagram yang menampilkan jumlah log yang dihasilkan selama 12 jam terakhir dan perincian log menurut severity. Screenshot berikut mengilustrasikan titik data yang dikelompokkan ke dalam berbagai jenis tingkat keparahan:

Sebelum memulai

Bagian ini menjelaskan langkah-langkah yang harus Anda selesaikan sebelum dapat menggunakan Log Analytics.

Mengonfigurasi bucket log

Pastikan bucket log Anda telah diupgrade untuk menggunakan Log Analytics:

1. Di konsol Google Cloud, buka halaman Logs Storage:

   Buka Penyimpanan Log

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Untuk setiap bucket log yang memiliki tampilan log yang ingin Anda buat kuerinya, pastikan kolom Log Analytics tersedia menampilkan Buka. Jika Upgrade ditampilkan, klik Upgrade dan selesaikan dialog.

Mengonfigurasi peran dan izin IAM

Bagian ini menjelaskan peran atau izin IAM yang diperlukan untuk menggunakan Log Analytics:

• Untuk mendapatkan izin yang diperlukan guna menggunakan Log Analytics dan tampilan log kueri, minta administrator untuk memberi Anda peran IAM berikut di project Anda:

  • Untuk membuat kueri bucket log _Required dan _Default: Logs Viewer (roles/logging.viewer)
  • Untuk membuat kueri semua tampilan log dalam project: Logs View Accessor (roles/logging.viewAccessor)

  Anda dapat membatasi akun utama ke tampilan log tertentu dengan menambahkan kondisi IAM ke pemberian peran Logs View Accessor yang dilakukan di tingkat project, atau dengan menambahkan binding IAM ke file kebijakan tampilan log. Untuk mengetahui informasi selengkapnya, lihat Mengontrol akses ke tampilan log.

  Izin ini sama dengan izin yang Anda perlukan untuk melihat entri log di halaman Logs Explorer. Untuk mengetahui informasi tentang peran tambahan yang Anda perlukan untuk membuat kueri tampilan di bucket yang ditentukan pengguna atau untuk membuat kueri tampilan _AllLogs dari bucket log _Default, lihat Peran Cloud Logging.

• Untuk mendapatkan izin yang diperlukan guna membuat diagram, minta administrator untuk memberi Anda peran IAM Monitoring Editor (roles/monitoring.editor) di project Anda.

Memilih data yang akan dibuat diagramnya

Untuk mengonfigurasi data yang akan ditampilkan pada diagram, buat kueri menggunakan SQL. Saat Anda memilih tab Diagram, logging akan otomatis membuat diagram berdasarkan hasil kueri Anda. Setelah kueri dijalankan dan diagram dibuat, Anda dapat menyesuaikan konfigurasi diagram dengan mengubah jenis diagram, dan memilih kolom untuk melihat data yang berbeda.

Untuk melihat hasil kueri sebagai diagram, jalankan kueri dengan melakukan tindakan berikut:

1. Di konsol Google Cloud, buka halaman Log Analytics:

   Buka Log Analytics

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Di panel Query, masukkan kueri, lalu klik Run.

3. Setelah kueri selesai, di tab Results, pilih cara Anda ingin melihat hasil kueri:

   • Tabel: Khusus format tabel.

   • Diagram: Hanya format diagram

   • Keduanya: Format diagram dan tabel.

     Setelah memilih cara melihat hasil kueri, Anda dapat mengonfigurasi kolom apa pun untuk visualisasi yang dipilih, lalu menyimpan kueri dan hasilnya ke dasbor kustom. Format yang disimpan berbentuk tabel jika Anda memilih opsi Tabel. Jika tidak, formatnya adalah diagram.

     Untuk diagram, opsi visualisasi memungkinkan Anda memilih jenis diagram, dan memilih baris dan kolom yang dipetakan. Untuk mengetahui informasi selengkapnya tentang konfigurasi diagram, lihat Menyesuaikan konfigurasi diagram.

Menyesuaikan konfigurasi diagram

Anda dapat menyesuaikan konfigurasi diagram dengan mengubah jenis diagram, memilih dimensi dan ukuran untuk dipetakan, serta menerapkan pengelompokan. Dimensi digunakan untuk mengelompokkan atau mengategorikan baris dan merupakan nilai sumbu X. Ukur, atau nilai sumbu Y, adalah deret data yang dipetakan terhadap sumbu Y.

Mengubah jenis diagram

Anda dapat memilih dari jenis diagram berikut, bergantung pada jenis baris dan kolom yang dipilih sebagai dimensi dan ukuran, serta cara Anda ingin data tersebut divisualisasikan.

• Diagram batang (default) : Diagram batang memetakan data pada dua sumbu. Jika diagram menggunakan kategori atau string sebagai dimensi, Anda dapat menetapkan konfigurasi diagram untuk diagram batang ke horizontal atau vertikal, dengan sumbu dimensi dan pengukuran ditukar.

• Diagram garis: Diagram garis dapat digunakan untuk menampilkan perubahan data dari waktu ke waktu. Saat Anda menggunakan diagram garis, setiap deret waktu ditampilkan dengan garis yang berbeda yang sesuai dengan pengukuran yang telah Anda pilih.

  Jika sumbu X Anda berbasis waktu, setiap titik data akan ditempatkan di awal interval waktu. Setiap titik data dihubungkan dengan interpolasi linear.

• Diagram area bertumpuk: Diagram area didasarkan pada diagram garis, dan area di bawah setiap garis diarsir. Dalam diagram area, deret data ditumpuk. Misalnya, jika Anda memiliki dua deret yang identik, deret akan tumpang-tindih dalam diagram garis, tetapi area yang diarsir akan ditumpuk dalam diagram area.

• Diagram lingkaran atau donat: Diagram lingkaran menunjukkan hubungan kategori dalam set data dengan seluruh set data, dengan menggunakan lingkaran untuk mewakili seluruh set data dan irisan dalam lingkaran untuk mewakili kategori dalam set data. Ukuran irisan menunjukkan kontribusi kategori terhadap keseluruhan, sering kali dalam bentuk persentase.

• Tabel: Tabel menampilkan satu baris untuk setiap baris dalam hasil kueri. Kolom dalam tabel ditentukan oleh klausa SELECT. Jika Anda berencana menampilkan data dalam bentuk tabel di dasbor, gunakan klausa LIMIT untuk membatasi jumlah baris dalam hasil menjadi kurang dari beberapa ratus.

• Pengukur atau kartu skor: Pengukur dan kartu skor memberi Anda nilai terbaru beserta indikasi hijau, kuning, atau merah berdasarkan perbandingan nilai tersebut dengan serangkaian nilai minimum. Tidak seperti pengukur, yang hanya menampilkan informasi tentang nilai terbaru, kartu skor juga dapat menyertakan informasi tentang nilai sebelumnya.

  Indikator dan kartu skor hanya dapat menampilkan hasil kueri jika hasil kueri berisi minimal satu baris, dan baris tersebut berisi kolom dengan stempel waktu dan kolom dengan data numerik. Hasil kueri dapat berisi beberapa baris dan lebih dari dua kolom.

  Jika Anda ingin melakukan agregasi berbasis waktu sebagai bagian dari kueri, lakukan hal berikut:

  • Konfigurasikan kueri Anda untuk menggabungkan data selama interval waktu, mengurutkan hasil menurut stempel waktu menurun, dan membatasi jumlah baris dalam hasil. Anda dapat menggunakan klausa LIMIT atau menggunakan pemilih rentang waktu untuk membatasi jumlah baris dalam hasil kueri.

    Misalnya, kueri berikut menggabungkan data berdasarkan jam, menerapkan batas, dan mengurutkan hasilnya:

    SELECT TIMESTAMP_TRUNC(timestamp, HOUR) AS hour, severity, COUNT(*) AS count
    FROM `TABLE_NAME_OF_LOG_VIEW`
    WHERE severity IS NOT NULL AND severity = "DEFAULT"
    GROUP BY hour,severity
    ORDER BY hour DESC
    LIMIT 10
    

  • Tetapkan Dimensi agar cocok dengan kolom yang melaporkan satuan waktu. Misalnya, jika kueri Anda menggabungkan data berdasarkan satu jam dan membuat kolom bernama hour, tetapkan menu Dimensi ke hour.

  • Pilih Nonaktifkan interval karena kueri Anda sudah menentukan interval agregasi. Dalam contoh ini, intervalnya adalah satu jam.

  • Tetapkan Measure ke kolom numerik, dan tetapkan fungsi ke none.

  Jika Anda ingin mengandalkan Log Analytics untuk melakukan agregasi berbasis waktu untuk Anda, lakukan hal berikut:

  • Konfigurasikan pemilih rentang waktu, yang memengaruhi jumlah baris dalam hasil kueri.
  • Tetapkan Dimensi agar cocok dengan kolom yang melaporkan satuan waktu. Misalnya, Anda dapat menetapkan menu ini ke timestamp.
  • Tetapkan menu Interval ke interval agregasi ke interval tertentu. Misalnya, tetapkan nilai kolom ini ke 1 hour. Jangan pilih Interval otomatis.
  • Tetapkan Ukur ke kolom numerik, lalu pilih fungsi seperti jumlah.

Mengubah dimensi dan ukuran

Anda dapat memilih baris dan kolom yang akan dipetakan dengan memilih kolom dimensi dan ukur.

• Dimensi

  Dimensi harus berupa kolom stempel waktu, numerik, atau string. Secara default, dimensi ditetapkan ke kolom berbasis stempel waktu pertama dalam skema. Jika tidak ada stempel waktu dalam kueri, kolom string pertama akan dipilih sebagai dimensi. Anda juga dapat menyesuaikan dimensi di panel Tampilan diagram. Jika kolom stempel waktu dipilih sebagai dimensi, diagram akan menampilkan perubahan data dari waktu ke waktu.

  Secara default, interval stempel waktu ditetapkan secara otomatis, tetapi Anda juga dapat memilih interval kustom. Interval otomatis mengubah nilai berdasarkan pemilih rentang waktu untuk mempertahankan grup dengan ukuran yang serupa.

  Anda juga dapat menonaktifkan interval, yang memungkinkan Anda menentukan agregasi dan rentang waktu Anda sendiri dalam kueri untuk analisis yang lebih kompleks. Menonaktifkan interval akan menetapkan fungsi agregasi pengukuran ke none. Hanya ukuran numerik yang diizinkan jika interval dimensi dinonaktifkan.

• Ukur

  Anda dapat memilih beberapa ukuran di panel Tampilan diagram. Saat memilih ukuran, Anda juga harus memilih fungsi agregasi yang akan dilakukan pada nilai yang dikelompokkan, seperti count, sum, average, dan percentile-99. Misalnya, count-distinct menampilkan jumlah nilai unik dalam kolom tertentu.

  Jika Anda mencentang kotak Nonaktifkan interval untuk dimensi, opsi fungsi agregasi none akan tersedia. Jika dimensi adalah nilai string, kotak centang Nonaktifkan interval tidak akan ditampilkan. Namun, menetapkan fungsi agregasi pengukuran ke none juga menonaktifkan interval.

Menambahkan perincian

Untuk membagi satu deret data menjadi beberapa deret data berdasarkan kolom lain, tambahkan pengelompokan.

Saat memilih pengelompokan, pilih kolom yang berisi sedikit label singkat dan bermakna, seperti region_name, bukan kolom yang mungkin berisi banyak string atau string panjang, seperti textPayload.

Misalnya, lihat konfigurasi diagram berikut, dengan kolom Dimensi ditetapkan ke jenis, kolom Ukuran ditetapkan ke Hitung baris, dan kolom Perincian ditetapkan ke keparahan:

Diagram berikut adalah contoh diagram dengan pengelompokan tambahan:

Pada screenshot sebelumnya, Anda melihat deret data yang ditumpuk, dengan jenis resource k8s_container dibagi menjadi berbagai jenis severity. Hal ini memungkinkan Anda mengidentifikasi jumlah log dari setiap jenis tingkat keparahan yang dihasilkan oleh resource tertentu.

Menyimpan diagram ke dasbor kustom

Setelah diagram dibuat dari kueri, Anda dapat menyimpan diagram tersebut ke dasbor kustom. Dasbor kustom memungkinkan Anda menampilkan dan mengatur informasi yang berguna bagi Anda menggunakan berbagai jenis widget. Dasbor ini juga memungkinkan Anda menentukan variabel, yaitu filter tingkat dasbor yang hanya berlaku untuk widget tertentu. Untuk menerapkan variabel ke widget, Anda harus mengubah kueri. Untuk mengetahui informasi selengkapnya, lihat Menerapkan variabel ke widget.

Misalnya, Anda dapat membuat dasbor yang memberikan detail tentang penggunaan bucket Cloud Storage:

Untuk menyimpan diagram ke dasbor, lakukan tindakan berikut:

1. Di konsol Google Cloud, buka halaman Log Analytics:

   Buka Log Analytics

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Jalankan kueri untuk membuat diagram, lalu klik Simpan diagram di tab Diagram.

3. Pada dialog Save to dashboard, masukkan judul untuk diagram dan pilih dasbor tempat Anda ingin menyimpan diagram.

4. Opsional: Untuk melihat dasbor kustom, di toast, klik Lihat dasbor.

Untuk melihat daftar dasbor kustom yang berisi diagram yang dihasilkan oleh kueri SQL Log Analytics, buka tombol Simpan Diagram, lalu klik arrow_drop_down Menu.

Mengedit diagram yang disimpan ke dasbor kustom

Untuk mengedit diagram yang dihasilkan oleh kueri SQL Log Analytics yang disimpan ke dasbor, lihat Mengubah konfigurasi widget. Dalam dialog Configure widget, Anda dapat mengedit kueri yang digunakan untuk membuat diagram, atau Anda dapat menyesuaikan konfigurasi diagram untuk memvisualisasikan data yang berbeda.

Batasan

• Jika project Google Cloud Anda berada dalam folder yang menggunakan Assured Workloads, diagram yang Anda buat tidak dapat ditampilkan di dasbor kustom.

• Filter tingkat dasbor tidak berlaku untuk diagram yang dihasilkan dari kueri SQL Log Analytics.

Sampel kueri

Bagian ini memberikan contoh kueri SQL untuk memetakan hasil kueri Anda. Untuk mendapatkan insight yang lebih berguna dari log, sesuaikan konfigurasi diagram. Untuk menggunakan kueri contoh, lakukan hal berikut:

1. Di konsol Google Cloud, buka halaman Log Analytics:

   Buka Log Analytics

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Identifikasi nama tabel untuk tampilan log yang ingin Anda buat kueri.

   Untuk mengidentifikasi nama ini, buka daftar Tampilan log, temukan tampilan log, lalu pilih Kueri. Panel Kueri diisi dengan kueri default, yang mencakup nama tabel tampilan log yang dikueri. Nama tabel memiliki format project_ID.region.bucket_ID.view_ID.

   Untuk mengetahui informasi selengkapnya tentang cara mengakses kueri default, lihat Mengkueri tampilan log.

3. Ganti TABLE_NAME_OF_LOG_VIEW dengan nama tabel untuk tampilan log yang ingin Anda kueri, lalu salin kueri.

4. Tempelkan kueri di panel Query, lalu klik Run query.

Membuat diagram entri log menurut lokasi dan tingkat keparahan

Kueri berikut memilih location dan severity, dengan lokasi ditransmisikan sebagai string:

SELECT
  CAST(JSON_VALUE(resource.labels.location) AS STRING) AS location,
  severity,
FROM
  `TABLE_NAME_OF_LOG_VIEW`

Contoh diagram dan konfigurasi diagram terlihat seperti berikut:

Pada screenshot sebelumnya, konfigurasi diagram memiliki konfigurasi diagram berikut:

• Jenis diagram: Diagram batang, horizontal
• Dimensi: location, dengan batas 10
• Ukur: Menghitung baris
• Perincian: severity, dengan batas lima

Membuat diagram log audit Akses Data BigQuery

Kueri berikut memfilter log audit data_access BigQuery, dan memilih kolom tertentu, seperti user_email, ip, auth_permission, dan job_execution_project. Misalnya, Anda dapat membuat diagram yang memvisualisasikan frekuensi penggunaan BigQuery API setiap akun utama dari waktu ke waktu.

SELECT
  timestamp,
  proto_payload.audit_log.authentication_info.principal_email as user_email,
  proto_payload.audit_log.request_metadata.caller_ip as ip,
  auth.permission as auth_permission,
  auth.granted as auth_granted,
  JSON_VALUE(data_access.resource.labels.project_id) AS job_execution_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(1)] AS referenced_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(3)] AS referenced_dataset,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(5)] AS referenced_table
FROM `TABLE_NAME_OF_LOG_VIEW` as data_access,
  UNNEST(proto_payload.audit_log.authorization_info) AS auth
WHERE
  log_id="cloudaudit.googleapis.com/data_access"
  AND data_access.resource.type = 'bigquery_dataset'

Contoh diagram dan konfigurasi diagram terlihat seperti berikut:

Pada screenshot sebelumnya, konfigurasi diagram memiliki konfigurasi diagram berikut:

• Jenis diagram: Diagram batang, vertikal
• Dimensi: user_email, dengan batas lima
• Ukur: Menghitung baris
• Perincian: auth_permission, dengan batas lima

Batasan

• Kolom yang dipilih harus memiliki minimal satu baris dengan nilai non-null.

• Jika Anda menyimpan kueri dan menyesuaikan konfigurasi diagram, konfigurasi diagram kustom tidak akan disimpan.

• Jika kueri Anda sudah berisi agregasi, diagram yang dihasilkan mungkin berbeda karena agregasi tambahan yang diterapkan secara otomatis oleh Log Analytics.

• Jalur JSON harus ditransmisikan ke string dan angka agar dapat dipetakan.

Langkah selanjutnya

• Untuk ringkasan Log Analytics, lihat Ringkasan cara membuat kueri dan menganalisis log.

• Untuk contoh kueri, lihat Contoh kueri SQL.

• Untuk mempelajari cara menganalisis dengan log audit menggunakan Log Analytics, lihat Kueri SQL untuk insight keamanan.