Criar stream

Nesta seção, você aprenderá a criar um stream. O Datastream usa esse stream para transferir dados de bancos de dados de origem para o BigQuery ou o Cloud Storage.

A criação de um stream inclui o seguinte:

  • Como definir as configurações da transmissão.
  • Selecione ou crie um perfil de conexão.
  • Configure informações sobre o banco de dados de origem para o fluxo especificando as tabelas e os esquemas no banco de dados de origem que o Datastream:
    • Pode ser transferido para o destino.
    • esteja impedido de ser transferido para o destino;

  • Determinar se o Datastream preencherá dados históricos, bem como as alterações em andamento no destino ou apenas as alterações nos dados. Ao ativar o preenchimento histórico, você pode especificar esquemas e tabelas no banco de dados de origem que o Datastream não pode preencher no destino.

  • Selecione o perfil de conexão que você criou para BigQuery ou Cloud Storage (o perfil de conexão de destino) ou crie um perfil de conexão de destino se ainda não tiver feito isso.

  • Configurar informações sobre o destino do stream. Exemplos dessas informações:

    • Para o BigQuery:
      • Os conjuntos de dados em que o Datastream vai replicar esquemas, tabelas e dados de um banco de dados de origem.
    • Para o Cloud Storage:
      • A pasta do bucket de destino para o qual o Datastream transferirá esquemas, tabelas e dados de um banco de dados de origem.

  • Validação do stream para garantir que ele será executado com êxito. Como validar verificações de stream:

    • Indica se a fonte está configurada corretamente para permitir que o Datastream faça streaming de dados.
    • Se a transmissão pode se conectar à origem e ao destino.
    • A configuração completa do stream.

Antes de começar

  • Verifique se você configurou o banco de dados de origem para replicação. Para informações sobre as etapas necessárias para cada tipo de origem compatível, consulte Configurar origens.
  • Saiba quais etapas podem ser necessárias para configurar o destino selecionado. Para mais informações, consulte Configurar destinos.

Definir configurações do stream

  1. Acesse a página Streams no console do Google Cloud .

    Acessar a página "Mural"

  2. Clique em CRIAR STREAM.

  3. Use a tabela a seguir para preencher os campos da seção Definir detalhes do fluxo da página Criar fluxo:

    CampoDescrição
    Nome do fluxoInsira o nome de exibição do stream.
    ID do streamO Datastream preenche esse campo automaticamente com base no nome do stream que você inserir. É possível manter o ID gerado automaticamente ou alterá-lo.
    RegiãoSelecione a região em que o stream é armazenado. Assim como todos os recursos, os streams são salvos em uma região. A seleção de região não afeta a capacidade do stream de se conectar ao banco de dados de origem ou ao destino, mas pode afetar a disponibilidade se a região tiver um período de inatividade. Recomendamos manter todos os recursos do fluxo na mesma região dos dados de origem para otimizar o custo e o desempenho.
    Tipo de origem

    Selecione o tipo de perfil que você especificou ao criar um perfil de conexão para sua origem. Se você ainda não criou um perfil de conexão para o banco de dados de origem, crie um agora.

    Tipo de destinoSelecione o tipo de perfil que você especificou ao criar um perfil de conexão para um destino do BigQuery ou do Cloud Storage. Se você ainda não criou um perfil de conexão para o destino, crie um agora.
    Criptografia

    Por padrão, seus dados são criptografados com uma chave gerenciada pelo Google Cloud. Se você quiser gerenciar a criptografia, use uma chave de criptografia gerenciada pelo cliente (CMEK):

    1. Marque a caixa de seleção Chave do Cloud KMS.
    2. No menu suspenso Tipo de chave, selecione Cloud KMS e escolha sua CMEK.

    Se você não encontrar sua chave, clique em INSERIR NOME DO RECURSO DA CHAVE para fornecer o nome do recurso da chave que você quer usar. Por exemplo, insira projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key no campo Nome do recurso da chave e clique em SALVAR.

  4. Também é possível usar rótulos para organizar os recursos do Datastream.

    1. Para criar um rótulo, clique em ADICIONAR MARCADOR e insira o par de chave-valor.
    2. Para remover o rótulo, clique no ícone da lixeira à direita da linha que contém esse rótulo.

  5. Se quiser, adicione políticas de alertas ao stream. As políticas de alertas definem quando e como você quer ser notificado sobre falhas de transmissão.

    1. Para criar uma política de alertas, clique em Adicionar política de alertas.
    2. A página Criar política de alertas aparece no Cloud Monitoring. Nesta página, você define a política de alertas caso o stream falhe.

    Para mais informações sobre políticas de alertas, consulte Gerenciar políticas de alertas baseadas em métricas.

  6. Revise os pré-requisitos necessários que são gerados automaticamente para refletir como o ambiente precisa estar preparado para um stream. Esses pré-requisitos podem incluir como configurar o banco de dados de origem e como conectá-lo ao destino. É melhor concluir esses pré-requisitos nessa etapa, mas é possível concluí-los a qualquer momento antes do teste ou do início da transmissão. Para mais informações sobre esses pré-requisitos, consulte Fontes.

  7. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para seu tipo de banco de dados de origem.

Especificar informações sobre o perfil de conexão de origem

  1. Se você criou um perfil de conexão de origem, selecione-o na lista de perfis de conexão.

    Se você não tiver criado um perfil de conexão de origem, crie um clicando em CRIAR PERFIL DE CONEXtO na parte inferior da lista suspensa. Depois siga as mesmas etapas de Criar perfis de conexão

  2. Clique em EXECUTAR TESTE para verificar se o banco de dados de origem e o Datastream podem se comunicar entre si.

    Se o teste falhar, o problema associado ao perfil de conexão será exibido. Consulte a página Diagnosticar problemas para conferir as etapas de solução de problemas. Faça as alterações necessárias para corrigir o problema e teste novamente.

  3. Clique em CONTINUAR. O painel Configurar origem da transmissão é exibido na página Criar stream.

Configurar informações sobre o banco de dados de origem para o fluxo

Configurar um banco de dados de origem do PostgreSQL

  1. Defina as propriedades de replicação do banco de dados de origem do PostgreSQL. Na seção Propriedades de replicação, especifique o seguinte:
    1. No campo Nome do slot de replicação, insira o nome do slot criado especificamente para esse stream. O servidor de banco de dados usa esse slot para enviar eventos ao Datastream.
    2. No campo Nome da publicação, insira o nome da publicação criada no banco de dados. Uma publicação é um grupo de todas as tabelas de que você quer replicar as mudanças usando esse stream.
  2. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos para incluir para especificar as tabelas e esquemas no banco de dados de origem que o Datastream pode transferir para o destino.
    • Se você quiser que o Datastream transfira todas as tabelas e esquemas, selecione Todas as tabelas de todos os esquemas.
    • Se você quiser que o Datastream transfira apenas tabelas e esquemas específicos, selecione Esquemas e tabelas específicos e marque as caixas de seleção dos esquemas e das tabelas que você quer que o Datastream extraia.
    • Para fornecer uma definição textual das tabelas e esquemas que o Datastream vai transferir, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira os esquemas e as tabelas que você quer que o Datastream extraia. Se o banco de dados tiver um grande número de tabelas e esquemas, recomendamos usar a opção Personalizado, porque algumas tabelas e esquemas podem não estar incluídos na lista de objetos a serem extraídos.
  3. Se o destino for o BigQuery, você poderá configurar o particionamento e o clustering das tabelas:
    1. Para cada tabela em que você quer definir o particionamento ou o agrupamento por cluster, clique em Selecionar colunas.
    2. Para configurar o particionamento, na seção Particionamento, selecione uma das seguintes opções:
      • Sem particionamento: quando você seleciona essa opção, nenhum particionamento é aplicado às suas tabelas.
      • Particionamento por tempo de ingestão: quando você seleciona essa opção, os dados são organizados em partições baseadas no tempo. Selecione um valor na lista Tipo de particionamento para configurar a granularidade do particionamento com as opções disponíveis: por hora, diário, mensal ou anual. A granularidade diária é a padrão.
      • Particionamento por campo: quando você seleciona essa opção, é necessário escolher a coluna de origem pela qual quer particionar a tabela e o tipo de particionamento. Só é possível selecionar colunas de origem com tipos de dados compatíveis. Para informações sobre os tipos de dados de origem compatíveis e os tipos de particionamento disponíveis, consulte Configurar particionamento e clustering para um destino do BigQuery.

      Se quiser, selecione a opção Filtro de particionamento. Se você selecionar essa opção, um filtro de partição será necessário em todas as consultas dessa tabela. Um filtro de partição pode reduzir custos e melhorar o desempenho. Para mais informações, consulte Definir requisitos de filtro de partição.

    3. Para configurar o agrupamento, na seção Agrupamento, selecione os campos que você quer usar para agrupar a tabela. É possível selecionar até quatro campos. A ordem em que você adiciona os campos de clustering determina a ordem de classificação dos dados. Se você não especificar as configurações de clustering para uma tabela, o Datastream usará até quatro chaves primárias da tabela de origem como chaves de clustering no BigQuery.
    4. Clique em Salvar para salvar suas configurações.

      5. Para mais informações sobre particionamento e clustering, consulte Configurar particionamento e clustering.

  4. Se quiser, expanda o nó Selecionar objetos a serem excluídos. No campo Objetos a serem excluídos, insira as tabelas e os esquemas no banco de dados de origem que você quer restringir ao Datastream. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, ele será excluído do stream.
  5. Se quiser, expanda o nó Escolher o modo de preenchimento dos dados históricos e faça uma das seguintes seleções:
    • Selecione a opção Automático para fazer streaming de todos os dados existentes, além das alterações dos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira as tabelas e os esquemas no banco de dados de origem que você quer impedir que o Datastream preencha no destino.
    • Selecione a opção Manual para transmitir apenas as alterações dos dados para o destino.
  6. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para seu tipo de destino.

Configurar um banco de dados de origem do MySQL

  1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos para incluir para especificar as tabelas e esquemas no banco de dados de origem que o Datastream pode transferir para o destino.
    • Se você quiser que o Datastream transfira todas as tabelas e esquemas, selecione Todas as tabelas de todos os esquemas.
    • Se você quiser que o Datastream transfira apenas tabelas e esquemas específicos, selecione Esquemas e tabelas específicos e marque as caixas de seleção dos esquemas e das tabelas que você quer que o Datastream extraia.
    • Para fornecer uma definição textual das tabelas e esquemas que o Datastream vai transferir, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira os esquemas e as tabelas que você quer que o Datastream extraia. Se o banco de dados tiver um grande número de tabelas e esquemas, recomendamos usar a opção Personalizado, porque algumas tabelas e esquemas podem não estar incluídos na lista de objetos a serem extraídos.
  2. Se o destino for o BigQuery, você poderá configurar o particionamento e o clustering das tabelas:
    1. Para cada tabela em que você quer definir o particionamento ou o agrupamento por cluster, clique em Selecionar colunas.
    2. Para configurar o particionamento, na seção Particionamento, selecione uma das seguintes opções:
      • Sem particionamento: quando você seleciona essa opção, nenhum particionamento é aplicado às suas tabelas.
      • Particionamento por tempo de ingestão: quando você seleciona essa opção, os dados são organizados em partições baseadas no tempo. Selecione um valor na lista Tipo de particionamento para configurar a granularidade do particionamento com as opções disponíveis: por hora, diário, mensal ou anual. A granularidade diária é a padrão.
      • Particionamento por campo: quando você seleciona essa opção, é necessário escolher a coluna de origem pela qual quer particionar a tabela e o tipo de particionamento. Só é possível selecionar colunas de origem com tipos de dados compatíveis. Para informações sobre os tipos de dados de origem compatíveis e os tipos de particionamento disponíveis, consulte Configurar particionamento e clustering para um destino do BigQuery.

      Se quiser, selecione a opção Filtro de particionamento. Se você selecionar essa opção, um filtro de partição será necessário em todas as consultas dessa tabela. Um filtro de partição pode reduzir custos e melhorar o desempenho. Para mais informações, consulte Definir requisitos de filtro de partição.

    3. Para configurar o agrupamento, na seção Agrupamento, selecione os campos que você quer usar para agrupar a tabela. É possível selecionar até quatro campos. A ordem em que você adiciona os campos de clustering determina a ordem de classificação dos dados. Se você não especificar as configurações de clustering para uma tabela, o Datastream usará até quatro chaves primárias da tabela de origem como chaves de clustering no BigQuery.
    4. Clique em Salvar para salvar suas configurações.

      5. Para mais informações sobre particionamento e clustering, consulte Configurar particionamento e clustering.

  3. Se quiser, expanda o nó Selecionar objetos a serem excluídos. No campo Objetos a serem excluídos, insira as tabelas e os esquemas no banco de dados de origem que você quer restringir ao Datastream. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, ele será excluído do stream.
  4. Especifique o método de CDC para seu stream:
    • Replicação baseada em GTID (IDs de transação global): selecione esse método se quiser que o Datastream ofereça suporte a failovers e replicação contínua, independentemente das mudanças no cluster de banco de dados.
    • Replicação baseada em binlog: selecione esse método para ler e replicar mudanças diretamente dos arquivos de registro binário de uma instância de banco de dados selecionada. Não é possível alternar um stream em execução para uma instância de origem ou réplica diferente usando esse método de CDC.
  5. Se quiser, expanda o nó Escolher o modo de preenchimento dos dados históricos e faça uma das seguintes seleções:
    • Selecione a opção Automático para fazer streaming de todos os dados existentes, além das alterações dos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira as tabelas e os esquemas no banco de dados de origem que você quer impedir que o Datastream preencha no destino.
    • Selecione a opção Manual para transmitir apenas as alterações dos dados para o destino.
  6. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para seu tipo de destino.

Configurar um banco de dados Oracle de origem

  1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos para incluir para especificar as tabelas e esquemas no banco de dados de origem que o Datastream pode transferir para o destino.
    • Se você quiser que o Datastream transfira todas as tabelas e esquemas, selecione Todas as tabelas de todos os esquemas.
    • Se você quiser que o Datastream transfira apenas tabelas e esquemas específicos, selecione Esquemas e tabelas específicos e marque as caixas de seleção dos esquemas e das tabelas que você quer que o Datastream extraia.
    • Para fornecer uma definição textual das tabelas e esquemas que o Datastream vai transferir, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira os esquemas e as tabelas que você quer que o Datastream extraia. Se o banco de dados tiver um grande número de tabelas e esquemas, recomendamos usar a opção Personalizado, porque algumas tabelas e esquemas podem não estar incluídos na lista de objetos a serem extraídos.
  2. Se o destino for o BigQuery, você poderá configurar o particionamento e o clustering das tabelas:
    1. Para cada tabela em que você quer definir o particionamento ou o agrupamento por cluster, clique em Selecionar colunas.
    2. Para configurar o particionamento, na seção Particionamento, selecione uma das seguintes opções:
      • Sem particionamento: quando você seleciona essa opção, nenhum particionamento é aplicado às suas tabelas.
      • Particionamento por tempo de ingestão: quando você seleciona essa opção, os dados são organizados em partições baseadas no tempo. Selecione um valor na lista Tipo de particionamento para configurar a granularidade do particionamento com as opções disponíveis: por hora, diário, mensal ou anual. A granularidade diária é a padrão.
      • Particionamento por campo: quando você seleciona essa opção, é necessário escolher a coluna de origem pela qual quer particionar a tabela e o tipo de particionamento. Só é possível selecionar colunas de origem com tipos de dados compatíveis. Para informações sobre os tipos de dados de origem compatíveis e os tipos de particionamento disponíveis, consulte Configurar particionamento e clustering para um destino do BigQuery.

      Se quiser, selecione a opção Filtro de particionamento. Se você selecionar essa opção, um filtro de partição será necessário em todas as consultas dessa tabela. Um filtro de partição pode reduzir custos e melhorar o desempenho. Para mais informações, consulte Definir requisitos de filtro de partição.

    3. Para configurar o agrupamento, na seção Agrupamento, selecione os campos que você quer usar para agrupar a tabela. É possível selecionar até quatro campos. A ordem em que você adiciona os campos de clustering determina a ordem de classificação dos dados. Se você não especificar as configurações de clustering para uma tabela, o Datastream usará até quatro chaves primárias da tabela de origem como chaves de clustering no BigQuery.
    4. Clique em Salvar para salvar suas configurações.

      5. Para mais informações sobre particionamento e clustering, consulte Configurar particionamento e clustering.

  3. Se quiser, expanda o nó Selecionar objetos a serem excluídos. No campo Objetos a serem excluídos, insira as tabelas e os esquemas no banco de dados de origem que você quer restringir ao Datastream. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, ele será excluído do stream.
  4. Especifique o método de CDC para seu stream:
    • LogMiner: selecione esse método para consultar registros de refazer arquivados usando a API LogMiner. O LogMiner é compatível com a maioria das opções disponíveis para o Oracle, como opções de criptografia e compactação.
    • Leitor binário (prévia): selecione esse método para extrair mudanças diretamente dos registros do Oracle. Isso permite uma replicação mais rápida de grandes bancos de dados Oracle e reduz a latência e o overhead. Quando você seleciona essa opção, outro menu suspenso é mostrado. Selecione como você quer acessar os arquivos de registro do Oracle:
      • Gerenciamento automático de armazenamento (ASM): selecione essa opção se o banco de dados usar o ASM. Verifique se você selecionou a caixa de seleção Ativar o acesso ao ASM para o leitor binário e preencheu os detalhes da instância do ASM no perfil de conexão de origem.
      • Diretórios de banco de dados: selecione essa opção se você não usa o ASM para armazenar os arquivos de registro. Se você selecionar diretórios de banco de dados, será necessário fornecer os nomes dos diretórios de redo logs e de registros arquivados.
  5. Se quiser, expanda o nó Escolher o modo de preenchimento dos dados históricos e faça uma das seguintes seleções:
    • Selecione a opção Automático para fazer streaming de todos os dados existentes, além das alterações dos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira as tabelas e os esquemas no banco de dados de origem que você quer impedir que o Datastream preencha no destino.
    • Selecione a opção Manual para transmitir apenas as alterações dos dados para o destino.
  6. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para seu tipo de destino.

Configurar um banco de dados de origem do SQL Server

  1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos para incluir para especificar as tabelas e esquemas no banco de dados de origem que o Datastream pode transferir para o destino.
    • Se você quiser que o Datastream transfira todas as tabelas e esquemas, selecione Todas as tabelas de todos os esquemas.
    • Se você quiser que o Datastream transfira apenas tabelas e esquemas específicos, selecione Esquemas e tabelas específicos e marque as caixas de seleção dos esquemas e das tabelas que você quer que o Datastream extraia.
    • Para fornecer uma definição textual das tabelas e esquemas que o Datastream vai transferir, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira os esquemas e as tabelas que você quer que o Datastream extraia. Se o banco de dados tiver um grande número de tabelas e esquemas, recomendamos usar a opção Personalizado, porque algumas tabelas e esquemas podem não estar incluídos na lista de objetos a serem extraídos.
  2. Se o destino for o BigQuery, você poderá configurar o particionamento e o clustering das tabelas:
    1. Para cada tabela em que você quer definir o particionamento ou o agrupamento por cluster, clique em Selecionar colunas.
    2. Para configurar o particionamento, na seção Particionamento, selecione uma das seguintes opções:
      • Sem particionamento: quando você seleciona essa opção, nenhum particionamento é aplicado às suas tabelas.
      • Particionamento por tempo de ingestão: quando você seleciona essa opção, os dados são organizados em partições baseadas no tempo. Selecione um valor na lista Tipo de particionamento para configurar a granularidade do particionamento com as opções disponíveis: por hora, diário, mensal ou anual. A granularidade diária é a padrão.
      • Particionamento por campo: quando você seleciona essa opção, é necessário escolher a coluna de origem pela qual quer particionar a tabela e o tipo de particionamento. Só é possível selecionar colunas de origem com tipos de dados compatíveis. Para informações sobre os tipos de dados de origem compatíveis e os tipos de particionamento disponíveis, consulte Configurar particionamento e clustering para um destino do BigQuery.

      Se quiser, selecione a opção Filtro de particionamento. Se você selecionar essa opção, um filtro de partição será necessário em todas as consultas dessa tabela. Um filtro de partição pode reduzir custos e melhorar o desempenho. Para mais informações, consulte Definir requisitos de filtro de partição.

    3. Para configurar o agrupamento, na seção Agrupamento, selecione os campos que você quer usar para agrupar a tabela. É possível selecionar até quatro campos. A ordem em que você adiciona os campos de clustering determina a ordem de classificação dos dados. Se você não especificar as configurações de clustering para uma tabela, o Datastream usará até quatro chaves primárias da tabela de origem como chaves de clustering no BigQuery.
    4. Clique em Salvar para salvar suas configurações.

      5. Para mais informações sobre particionamento e clustering, consulte Configurar particionamento e clustering.

  3. Se quiser, expanda o nó Selecionar objetos a serem excluídos. No campo Objetos a serem excluídos, insira as tabelas e os esquemas no banco de dados de origem que você quer restringir ao Datastream. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, ele será excluído do stream.
  4. Especifique o método de CDC para seu stream:
    • Registros de transação: selecione esse método para processar mudanças diretamente dos registros do banco de dados. Esse método oferece o melhor desempenho e é mais eficiente, mas requer outras etapas de configuração.
    • Tabelas de mudanças: selecione esse método para processar mudanças de tabelas de mudanças dedicadas. Esse método é mais fácil de configurar e tem menos limitações, mas oferece menor capacidade de processamento e produz uma carga maior no banco de dados do que o método de registros de transações.
  5. Se quiser, expanda o nó Escolher o modo de preenchimento dos dados históricos e faça uma das seguintes seleções:
    • Selecione a opção Automático para fazer streaming de todos os dados existentes, além das alterações dos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira as tabelas e os esquemas no banco de dados de origem que você quer impedir que o Datastream preencha no destino.
    • Selecione a opção Manual para transmitir apenas as alterações dos dados para o destino.
  6. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para seu tipo de destino.

Configurar uma organização de origem do Salesforce

  1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos para incluir para especificar os objetos e campos na sua organização que você quer que o Datastream transfira para o destino.
    • Se você quiser que o Datastream transfira todos os objetos, selecione Todos os objetos.
    • Se você quiser que o Datastream transfira apenas objetos específicos, selecione Objetos específicos e marque as caixas de seleção dos objetos que você quer que o Datastream extraia.
    • Para fornecer uma definição textual dos objetos que você quer que o Datastream transfira, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira os objetos que você quer que o Datastream extraia. Insira os objetos como uma lista separada por vírgulas, usando o formato [object].[field]. Se o banco de dados tiver um grande número de objetos, recomendamos usar a opção Personalizada, porque algumas tabelas e esquemas podem não estar incluídos na lista de objetos a serem extraídos.
  2. Defina o valor do intervalo de pesquisa em minutos. O Datastream usa esse valor para verificar se há alterações de dados na sua organização do Salesforce. Quanto maior o valor, menor o custo e a carga na sua organização. Quanto menor o valor, mais atualizados estarão os dados no destino.
  3. Se o destino for o BigQuery, você poderá configurar o particionamento e o clustering dos seus objetos:
    1. Para cada objeto em que você quer definir o particionamento ou o clustering, clique em Selecionar campos.
    2. Para configurar o particionamento, na seção Particionamento, selecione uma das seguintes opções:
      • Sem particionamento: quando você seleciona essa opção, nenhum particionamento é aplicado aos seus objetos.
      • Particionamento por tempo de ingestão: quando você seleciona essa opção, os dados são organizados em partições baseadas no tempo. Selecione um valor na lista Tipo de particionamento para configurar a granularidade do particionamento com as opções disponíveis: por hora, diário, mensal ou anual. A granularidade diária é a padrão.
      • Particionamento por campo: ao selecionar essa opção, você precisa escolher o campo de origem pelo qual quer particionar o objeto e o tipo de particionamento. Só é possível selecionar campos com tipos de dados compatíveis. Para informações sobre os tipos de dados de origem compatíveis e os tipos de particionamento disponíveis, consulte Particionar e agrupar tabelas do BigQuery.

      Se quiser, selecione a opção Filtro de particionamento. Se você selecionar essa opção, um filtro de partição será necessário em todas as consultas desse objeto. Um filtro de partição pode reduzir custos e melhorar o desempenho. Para mais informações, consulte Definir requisitos de filtro de partição.

    3. Para configurar o agrupamento, na seção Agrupamento, selecione os campos que você quer usar para agrupar o objeto. É possível selecionar até quatro campos. A ordem em que você adiciona os campos de clustering determina a ordem de classificação dos dados. Se você não especificar configurações de clusterização para um objeto, o Datastream usará até quatro chaves primárias do objeto de origem como chaves de clusterização no BigQuery.
    4. Clique em Salvar para salvar suas configurações.

      5. Para mais informações sobre particionamento e clustering, consulte Particionar e agrupar tabelas do BigQuery.

  4. Se quiser, expanda o nó Selecionar objetos a serem excluídos. No campo Objetos a serem excluídos, insira os objetos e campos na organização de origem que você quer restringir ao Datastream. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, ele será excluído do stream.
  5. Se quiser, expanda o nó Escolher o modo de preenchimento dos dados históricos e faça uma das seguintes seleções:
    • Selecione a opção Automático para replicar todos os dados existentes, além das alterações, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira os objetos na organização de origem que você quer impedir que o Datastream preencha no destino.
    • Selecione a opção Manual para replicar apenas as alterações dos dados para o destino.
  6. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para seu tipo de destino.

Configurar uma instância de origem do Salesforce Marketing Cloud (pré-lançamento)

  1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos para incluir para especificar os objetos na sua instância que você quer que o Datastream transfira para o destino.
    • Se você quiser que o Datastream transfira todos os objetos, selecione Todos os objetos.
    • Se você quiser que o Datastream transfira apenas objetos específicos, selecione Objetos específicos e marque as caixas de seleção dos objetos que você quer que o Datastream extraia.
    • Se você quiser fornecer uma definição textual dos objetos que o Datastream vai transferir, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira os objetos que você quer que o Datastream extraia. Insira os objetos como uma lista separada por vírgulas. Se o banco de dados tiver um grande número de objetos, recomendamos usar a opção Personalizada, porque alguns objetos podem não estar incluídos na lista de objetos a serem extraídos.
  2. Defina o valor do intervalo de pesquisa em minutos. O Datastream usa esse valor para verificar se há mudanças de dados na sua instância do Salesforce Marketing Cloud em objetos que oferecem suporte à sincronização incremental. É possível usar um valor no intervalo de 5 a 1440.
  3. Defina o valor do intervalo de pesquisa de atualização completa em minutos. O Datastream usa esse valor para realizar uma atualização completa periódica de objetos que não oferecem suporte à sincronização incremental, como extensões de dados. É possível usar um valor no intervalo de 60 a 1440.
  4. Se quiser, expanda o nó Mostrar opções avançadas.
  5. No campo Objetos a serem excluídos, insira os objetos na instância de origem que você quer restringir ao Datastream. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, ele será excluído do stream.
  6. Na seção Escolher o modo de preenchimento para dados históricos, selecione o modo de preenchimento:
    • Selecione a opção Automático para fazer streaming de todos os dados existentes, além das alterações dos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira os objetos no banco de dados de origem que você quer impedir que o Datastream preencha no destino.
    • Selecione a opção Manual para transmitir apenas as alterações dos dados para o destino.
  7. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para seu tipo de destino.

Configurar uma instância de origem do ServiceNow (prévia)

  1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos para incluir para especificar as tabelas e os campos na sua instância do ServiceNow que você quer que o Datastream transfira para o destino.
    • Se você quiser que o Datastream transfira todas as tabelas, selecione Todos os objetos.
    • Se você quiser que o Datastream transfira apenas tabelas específicas, selecione Objetos específicos e marque as caixas de seleção das tabelas que você quer que o Datastream extraia.
    • Se você quiser fornecer uma definição textual das tabelas que o Datastream vai transferir, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira as tabelas que você quer que o Datastream extraia. Insira as tabelas como uma lista separada por vírgulas usando o formato [table].[field].
  2. Defina o valor do intervalo de pesquisa em minutos. O Datastream usa esse valor para verificar se há mudanças nos dados da sua instância do ServiceNow. Quanto maior o valor, menor o custo e a carga na instância. Quanto menor o valor, mais atualizados estarão os dados no destino.
  3. Se quiser, no campo Objetos a serem excluídos, insira as tabelas e os campos na instância de origem que você quer impedir que o Datastream extraia. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, o Datastream o excluirá do stream.
  4. Se quiser, na seção Escolher o modo de preenchimento dos dados históricos, faça uma das seguintes seleções:
    • Selecione a opção Automático para replicar todos os dados existentes, além das alterações, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira as tabelas na instância de origem que você quer impedir que o Datastream preencha no destino.
    • Selecione a opção Manual para replicar apenas as alterações dos dados para o destino.
  5. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para seu tipo de destino.

Configurar um banco de dados de origem do MongoDB

  1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos para incluir para especificar os bancos de dados e as coleções que você quer que o Datastream transfira para o destino.
    • Se você quiser que o Datastream transfira todas as coleções, selecione Todos os bancos de dados e coleções.
    • Se você quiser que o Datastream transfira apenas coleções específicas, selecione Bancos de dados e coleções específicos e marque as caixas de seleção das coleções que você quer que o Datastream extraia.
    • Para fornecer uma definição textual das coleções que você quer que o Datastream transfira, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira as coleções que você quer que o Datastream extraia. Insira os objetos como uma lista separada por vírgulas, usando o formato