Membuat stream

Di bagian ini, Anda akan mempelajari cara membuat aliran. Datastream menggunakan stream ini untuk mentransfer data dari database sumber ke BigQuery atau Cloud Storage.

Pembuatan stream mencakup:

  • Menentukan setelan untuk streaming.
  • Memilih profil koneksi yang Anda buat, atau membuat profil koneksi.
  • Mengonfigurasi informasi tentang database sumber untuk aliran data dengan menentukan tabel dan skema dalam database sumber yang akan:
    • Dapat ditransfer ke tujuan.
    • Dibatasi agar tidak ditransfer ke tujuan.

  • Menentukan apakah Datastream akan mengisi ulang data historis, serta mengalirkan perubahan yang sedang berlangsung ke tujuan, atau hanya mengalirkan perubahan pada data. Saat mengaktifkan pengisian ulang historis, Anda dapat secara opsional menentukan skema dan tabel dalam database sumber yang tidak boleh diisi ulang oleh Datastream ke tujuan.

  • Memilih profil koneksi yang Anda buat untuk BigQuery atau Cloud Storage (profil koneksi tujuan), atau membuat profil koneksi tujuan jika Anda belum membuatnya.

  • Mengonfigurasi informasi tentang tujuan untuk aliran data. Informasi ini mencakup:

    • Untuk BigQuery:
      • Kumpulan data tempat Datastream akan mereplikasi skema, tabel, dan data dari database sumber.
    • Untuk Cloud Storage:
      • Folder bucket tujuan tempat Datastream akan mentransfer skema, tabel, dan data dari database sumber.

  • Memvalidasi aliran untuk memastikan aliran akan berjalan dengan berhasil. Memvalidasi aliran memeriksa:

    • Apakah sumber dikonfigurasi dengan benar untuk memungkinkan Datastream melakukan streaming data dari sumber tersebut.
    • Apakah aliran dapat terhubung ke sumber dan tujuan.
    • Konfigurasi aliran data secara menyeluruh.

Sebelum memulai

  • Pastikan Anda telah menyiapkan database sumber untuk replikasi. Untuk mengetahui informasi tentang langkah-langkah yang diperlukan untuk setiap jenis sumber yang didukung, lihat Mengonfigurasi sumber.
  • Cari tahu langkah-langkah yang mungkin diperlukan untuk menyiapkan negara tujuan yang Anda pilih. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi tujuan.

Menentukan setelan untuk streaming

  1. Buka halaman Streams di konsol Google Cloud .

    Buka halaman Streams

  2. Klik BUAT ALIRAN DATA.

  3. Gunakan tabel berikut untuk mengisi kolom bagian Tentukan detail aliran data di halaman Buat aliran data:

    KolomDeskripsi
    Nama aliran dataMasukkan nama tampilan streaming.
    ID Aliran DataDatastream mengisi kolom ini secara otomatis berdasarkan nama stream yang Anda masukkan. Anda dapat mempertahankan ID yang dibuat secara otomatis atau mengubahnya.
    WilayahPilih region tempat aliran disimpan. Seperti halnya semua resource, aliran data disimpan di region. Pemilihan region tidak memengaruhi apakah stream Anda dapat terhubung ke database sumber atau tujuan, tetapi dapat memengaruhi ketersediaan jika region mengalami periode nonaktif. Sebaiknya simpan semua resource untuk aliran di region yang sama dengan data sumber Anda untuk mengoptimalkan biaya dan performa.
    Jenis sumber

    Pilih jenis profil yang Anda tentukan saat membuat profil koneksi untuk sumber Anda. Atau, jika Anda belum membuat profil koneksi untuk database sumber, Anda dapat membuatnya sekarang.

    Jenis tujuanPilih jenis profil yang Anda tentukan saat membuat profil koneksi untuk tujuan BigQuery atau Cloud Storage. Atau, jika belum membuat profil koneksi untuk tujuan, Anda dapat membuatnya sekarang.
    Enkripsi

    Secara default, data Anda dienkripsi dengan kunci yang dikelola oleh Google Cloud. Jika ingin mengelola enkripsi, Anda dapat menggunakan kunci enkripsi yang dikelola pelanggan (CMEK):

    1. Centang kotak Kunci Cloud KMS.
    2. Dari menu drop-down Key type, pilih Cloud KMS, lalu pilih CMEK Anda.

    Jika Anda tidak melihat kunci Anda, klik MASUKKAN NAMA RESOURCE KUNCI untuk memberikan nama resource kunci yang ingin Anda gunakan. Misalnya, Anda dapat memasukkan projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key di kolom Key resource name, lalu mengklik SAVE.

  4. Secara opsional, gunakan label untuk mengatur resource Datastream Anda.

    1. Untuk membuat label, klik TAMBAHKAN LABEL, lalu masukkan pasangan nilai kunci untuk label.
    2. Untuk menghapus label, klik ikon tempat sampah di sebelah kanan baris yang berisi label.

  5. Secara opsional, tambahkan kebijakan pemberitahuan untuk streaming Anda. Kebijakan pemberitahuan menentukan kapan dan bagaimana Anda ingin diberi tahu tentang kegagalan streaming.

    1. Untuk membuat kebijakan pemberitahuan, klik Tambahkan kebijakan pemberitahuan.
    2. Halaman Buat kebijakan pemberitahuan akan muncul di Cloud Monitoring. Di halaman ini, Anda menentukan kebijakan pemberitahuan jika streaming Anda gagal.

    Untuk mengetahui informasi selengkapnya tentang kebijakan pemberitahuan, lihat Mengelola kebijakan pemberitahuan berbasis metrik.

  6. Tinjau prasyarat yang diperlukan yang dibuat secara otomatis guna mencerminkan cara lingkungan harus disiapkan untuk stream. Prasyarat ini dapat mencakup cara mengonfigurasi database sumber dan cara menghubungkannya ke tujuan. Sebaiknya Anda menyelesaikan prasyarat tersebut pada langkah ini, tetapi Anda dapat menyelesaikannya kapan saja sebelum menguji atau memulai streaming. Untuk mengetahui informasi selengkapnya tentang prasyarat ini, lihat Sumber.

  7. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis database sumber Anda.

Menentukan informasi tentang profil koneksi sumber

  1. Jika Anda telah membuat profil koneksi sumber, pilih profil tersebut dari daftar profil koneksi.

    Jika Anda belum membuat profil koneksi sumber, buat profil koneksi dengan mengklik BUAT PROFIL KONEKSI di bagian bawah daftar drop-down, lalu lakukan langkah-langkah yang sama seperti di Membuat profil koneksi.

  2. Klik RUN TEST untuk memverifikasi bahwa database sumber dan Datastream dapat saling berkomunikasi.

    Jika pengujian gagal, masalah yang terkait dengan profil koneksi akan muncul. Lihat halaman Mendiagnosis masalah untuk mengetahui langkah-langkah pemecahan masalah. Lakukan perubahan yang diperlukan untuk memperbaiki masalah, lalu tes ulang.

  3. Klik LANJUTKAN. Panel Konfigurasi sumber aliran data di halaman Buat aliran data akan muncul.

Mengonfigurasi informasi tentang database sumber untuk aliran data

Mengonfigurasi database sumber PostgreSQL

  1. Tentukan properti replikasi untuk database sumber PostgreSQL Anda. Di bagian Replication properties, tentukan properti berikut:
    1. Di kolom Replication slot name, masukkan nama slot yang Anda buat khusus untuk aliran ini. Server database menggunakan slot ini untuk mengirim peristiwa ke Datastream.
    2. Di kolom Publication name, masukkan nama publikasi yang Anda buat di database. Publikasi adalah grup semua tabel yang ingin Anda replikasi perubahannya menggunakan aliran ini.
  2. Di bagian Pilih objek yang akan disertakan, gunakan menu drop-down Objek yang akan disertakan untuk menentukan tabel dan skema dalam database sumber yang dapat ditransfer Datastream ke tujuan.
    • Jika Anda ingin Datastream mentransfer semua tabel dan skema, pilih Semua tabel dari semua skema.
    • Jika Anda ingin Datastream mentransfer hanya tabel dan skema tertentu, pilih Skema dan tabel tertentu, lalu centang kotak untuk skema dan tabel yang ingin Anda tarik oleh Datastream.
    • Untuk memberikan definisi tekstual tabel dan skema yang ingin Anda transfer oleh Datastream, pilih Kustom, lalu di kolom Kriteria pencocokan objek, masukkan skema dan tabel yang ingin Anda tarik oleh Datastream. Jika database Anda memiliki banyak tabel dan skema, sebaiknya gunakan opsi Kustom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.
  3. Jika tujuan Anda adalah BigQuery, Anda dapat mengonfigurasi partisi dan pengelompokan untuk tabel Anda:
    1. Untuk setiap tabel yang ingin Anda tetapkan partisi atau pengelompokan, klik Pilih kolom.
    2. Untuk mengonfigurasi partisi, di bagian Partisi, pilih salah satu opsi berikut:
      • Tanpa partisi: saat Anda memilih opsi ini, tidak ada partisi yang diterapkan ke tabel Anda.
      • Membuat partisi menurut waktu penyerapan: jika Anda memilih opsi ini, data akan diatur ke dalam partisi berbasis waktu. Pilih nilai dari daftar Partitioning type untuk mengonfigurasi perincian partisi dengan opsi yang tersedia adalah per jam, harian, bulanan, atau tahunan. Harian adalah perincian default.
      • Mempartisi menurut kolom: saat memilih opsi ini, Anda perlu memilih kolom sumber yang akan digunakan untuk mempartisi tabel, dan jenis partisi. Hanya kolom sumber dengan jenis data yang didukung yang dapat dipilih. Untuk mengetahui informasi tentang jenis data sumber yang didukung dan jenis partisi yang tersedia, lihat Mengonfigurasi partisi dan pengelompokan untuk tujuan BigQuery.

      Jika ingin, pilih opsi Filter partisi. Jika Anda memilih opsi ini, filter partisi diperlukan pada semua kueri untuk tabel ini. Filter partisi dapat mengurangi biaya dan meningkatkan performa. Untuk mengetahui informasi selengkapnya, lihat Menetapkan persyaratan filter partisi.

    3. Untuk mengonfigurasi pengelompokan, di bagian Pengelompokan, pilih kolom yang akan digunakan untuk mengelompokkan tabel. Anda dapat memilih hingga empat kolom. Urutan penambahan kolom pengelompokan menentukan tata urutan data. Jika Anda tidak menentukan setelan pengelompokan untuk tabel, Datastream secara default akan menggunakan hingga empat kunci utama dari tabel sumber sebagai kunci pengelompokan di BigQuery.
    4. Klik Simpan untuk menyimpan setelan Anda.

      5. Untuk mengetahui informasi selengkapnya tentang partisi dan pengelompokan, lihat Mengonfigurasi partisi dan pengelompokan.

  4. Jika perlu, luaskan node Pilih objek yang akan dikecualikan. Di kolom Objek yang akan dikecualikan, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang dikecualikan lebih diprioritaskan daripada daftar Objek yang disertakan. Jika objek memenuhi kriteria dalam daftar sertakan dan kecualikan, objek tersebut akan dikecualikan dari aliran.
  5. Secara opsional, luaskan node Pilih mode pengisian ulang untuk data historis, lalu pilih salah satu opsi berikut:
    • Pilih opsi Otomatis untuk mengalirkan semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objek yang dikecualikan dari pengisian ulang otomatis, masukkan tabel dan skema di database sumber yang ingin Anda batasi pengisian ulangnya oleh Datastream ke tujuan.
    • Pilih opsi Manual untuk mengalirkan hanya perubahan pada data ke tujuan.
  6. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi database sumber MySQL

  1. Di bagian Pilih objek yang akan disertakan, gunakan menu drop-down Objek yang akan disertakan untuk menentukan tabel dan skema dalam database sumber yang dapat ditransfer Datastream ke tujuan.
    • Jika Anda ingin Datastream mentransfer semua tabel dan skema, pilih Semua tabel dari semua skema.
    • Jika Anda ingin Datastream mentransfer hanya tabel dan skema tertentu, pilih Skema dan tabel tertentu, lalu centang kotak untuk skema dan tabel yang ingin Anda tarik oleh Datastream.
    • Untuk memberikan definisi tekstual tabel dan skema yang ingin Anda transfer oleh Datastream, pilih Kustom, lalu di kolom Kriteria pencocokan objek, masukkan skema dan tabel yang ingin Anda tarik oleh Datastream. Jika database Anda memiliki banyak tabel dan skema, sebaiknya gunakan opsi Kustom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.
  2. Jika tujuan Anda adalah BigQuery, Anda dapat mengonfigurasi partisi dan pengelompokan untuk tabel Anda:
    1. Untuk setiap tabel yang ingin Anda tetapkan partisi atau pengelompokan, klik Pilih kolom.
    2. Untuk mengonfigurasi partisi, di bagian Partisi, pilih salah satu opsi berikut:
      • Tanpa partisi: saat Anda memilih opsi ini, tidak ada partisi yang diterapkan ke tabel Anda.
      • Membuat partisi menurut waktu penyerapan: jika Anda memilih opsi ini, data akan diatur ke dalam partisi berbasis waktu. Pilih nilai dari daftar Partitioning type untuk mengonfigurasi perincian partisi dengan opsi yang tersedia adalah per jam, harian, bulanan, atau tahunan. Harian adalah perincian default.
      • Mempartisi menurut kolom: saat memilih opsi ini, Anda perlu memilih kolom sumber yang akan digunakan untuk mempartisi tabel, dan jenis partisi. Hanya kolom sumber dengan jenis data yang didukung yang dapat dipilih. Untuk mengetahui informasi tentang jenis data sumber yang didukung dan jenis partisi yang tersedia, lihat Mengonfigurasi partisi dan pengelompokan untuk tujuan BigQuery.

      Jika ingin, pilih opsi Filter partisi. Jika Anda memilih opsi ini, filter partisi diperlukan pada semua kueri untuk tabel ini. Filter partisi dapat mengurangi biaya dan meningkatkan performa. Untuk mengetahui informasi selengkapnya, lihat Menetapkan persyaratan filter partisi.

    3. Untuk mengonfigurasi pengelompokan, di bagian Pengelompokan, pilih kolom yang akan digunakan untuk mengelompokkan tabel. Anda dapat memilih hingga empat kolom. Urutan penambahan kolom pengelompokan menentukan tata urutan data. Jika Anda tidak menentukan setelan pengelompokan untuk tabel, Datastream secara default akan menggunakan hingga empat kunci utama dari tabel sumber sebagai kunci pengelompokan di BigQuery.
    4. Klik Simpan untuk menyimpan setelan Anda.

      5. Untuk mengetahui informasi selengkapnya tentang partisi dan pengelompokan, lihat Mengonfigurasi partisi dan pengelompokan.

  3. Jika perlu, luaskan node Pilih objek yang akan dikecualikan. Di kolom Objek yang akan dikecualikan, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang dikecualikan lebih diprioritaskan daripada daftar Objek yang disertakan. Jika objek memenuhi kriteria dalam daftar sertakan dan kecualikan, objek tersebut akan dikecualikan dari aliran.
  4. Tentukan metode CDC untuk stream Anda:
    • Replikasi berbasis GTID (ID Transaksi Global): pilih metode ini jika Anda ingin Datastream mendukung failover dan menyediakan replikasi yang lancar terlepas dari perubahan dalam cluster database Anda.
    • Replikasi berbasis binlog: pilih metode ini untuk membaca dan mereplikasi perubahan langsung dari file log biner instance database yang dipilih. Anda tidak dapat mengalihkan aliran yang sedang berjalan ke instance sumber atau replika lain menggunakan metode CDC ini.
  5. Secara opsional, luaskan node Pilih mode pengisian ulang untuk data historis, lalu pilih salah satu opsi berikut:
    • Pilih opsi Otomatis untuk mengalirkan semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objek yang dikecualikan dari pengisian ulang otomatis, masukkan tabel dan skema di database sumber yang ingin Anda batasi pengisian ulangnya oleh Datastream ke tujuan.
    • Pilih opsi Manual untuk mengalirkan hanya perubahan pada data ke tujuan.
  6. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi database sumber Oracle

  1. Di bagian Pilih objek yang akan disertakan, gunakan menu drop-down Objek yang akan disertakan untuk menentukan tabel dan skema dalam database sumber yang dapat ditransfer Datastream ke tujuan.
    • Jika Anda ingin Datastream mentransfer semua tabel dan skema, pilih Semua tabel dari semua skema.
    • Jika Anda ingin Datastream mentransfer hanya tabel dan skema tertentu, pilih Skema dan tabel tertentu, lalu centang kotak untuk skema dan tabel yang ingin Anda tarik oleh Datastream.
    • Untuk memberikan definisi tekstual tabel dan skema yang ingin Anda transfer oleh Datastream, pilih Kustom, lalu di kolom Kriteria pencocokan objek, masukkan skema dan tabel yang ingin Anda tarik oleh Datastream. Jika database Anda memiliki banyak tabel dan skema, sebaiknya gunakan opsi Kustom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.
  2. Jika tujuan Anda adalah BigQuery, Anda dapat mengonfigurasi partisi dan pengelompokan untuk tabel Anda:
    1. Untuk setiap tabel yang ingin Anda tetapkan partisi atau pengelompokan, klik Pilih kolom.
    2. Untuk mengonfigurasi partisi, di bagian Partisi, pilih salah satu opsi berikut:
      • Tanpa partisi: saat Anda memilih opsi ini, tidak ada partisi yang diterapkan ke tabel Anda.
      • Membuat partisi menurut waktu penyerapan: jika Anda memilih opsi ini, data akan diatur ke dalam partisi berbasis waktu. Pilih nilai dari daftar Partitioning type untuk mengonfigurasi perincian partisi dengan opsi yang tersedia adalah per jam, harian, bulanan, atau tahunan. Harian adalah perincian default.
      • Mempartisi menurut kolom: saat memilih opsi ini, Anda perlu memilih kolom sumber yang akan digunakan untuk mempartisi tabel, dan jenis partisi. Hanya kolom sumber dengan jenis data yang didukung yang dapat dipilih. Untuk mengetahui informasi tentang jenis data sumber yang didukung dan jenis partisi yang tersedia, lihat Mengonfigurasi partisi dan pengelompokan untuk tujuan BigQuery.

      Jika ingin, pilih opsi Filter partisi. Jika Anda memilih opsi ini, filter partisi diperlukan pada semua kueri untuk tabel ini. Filter partisi dapat mengurangi biaya dan meningkatkan performa. Untuk mengetahui informasi selengkapnya, lihat Menetapkan persyaratan filter partisi.

    3. Untuk mengonfigurasi pengelompokan, di bagian Pengelompokan, pilih kolom yang akan digunakan untuk mengelompokkan tabel. Anda dapat memilih hingga empat kolom. Urutan penambahan kolom pengelompokan menentukan tata urutan data. Jika Anda tidak menentukan setelan pengelompokan untuk tabel, Datastream secara default akan menggunakan hingga empat kunci utama dari tabel sumber sebagai kunci pengelompokan di BigQuery.
    4. Klik Simpan untuk menyimpan setelan Anda.

      5. Untuk mengetahui informasi selengkapnya tentang partisi dan pengelompokan, lihat Mengonfigurasi partisi dan pengelompokan.

  3. Jika perlu, luaskan node Pilih objek yang akan dikecualikan. Di kolom Objek yang akan dikecualikan, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang dikecualikan lebih diprioritaskan daripada daftar Objek yang disertakan. Jika objek memenuhi kriteria dalam daftar sertakan dan kecualikan, objek tersebut akan dikecualikan dari aliran.
  4. Tentukan metode CDC untuk stream Anda:
    • LogMiner: pilih metode ini untuk mengkueri log redo yang diarsipkan menggunakan LogMiner API. LogMiner mendukung sebagian besar opsi yang tersedia untuk Oracle, seperti opsi enkripsi dan kompresi.
    • Pembaca biner (Pratinjau): pilih metode ini untuk mengekstrak perubahan langsung dari log Oracle. Hal ini memungkinkan replikasi database Oracle besar yang lebih cepat serta mengurangi latensi dan overhead. Jika Anda memilih opsi ini, drop-down tambahan akan ditampilkan. Pilih cara yang Anda inginkan untuk mengakses file log Oracle: