Usar la calidad de los datos automática

En esta página se describe cómo crear un análisis de calidad de datos de Dataplex Universal Catalog.

Para obtener información sobre los análisis de calidad de los datos, consulta el artículo Acerca de la calidad automática de los datos.

Antes de empezar

1. Enable the Dataplex API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. Opcional: Si quieres que Dataplex Universal Catalog genere recomendaciones de reglas de calidad de los datos basadas en los resultados de un análisis de perfil de datos, crea y ejecuta el análisis de perfil de datos.

Roles obligatorios

• Para ejecutar un análisis de calidad de los datos en una tabla de BigQuery, necesitas permiso para leer la tabla de BigQuery y para crear un trabajo de BigQuery en el proyecto usado para analizar la tabla.

• Si la tabla de BigQuery y el análisis de calidad de los datos están en proyectos diferentes, debes dar permiso de lectura a la cuenta de servicio de Dataplex Universal Catalog del proyecto que contiene el análisis de calidad de los datos para la tabla de BigQuery correspondiente.

• Si las reglas de calidad de los datos hacen referencia a otras tablas, la cuenta de servicio del proyecto de análisis debe tener permisos de lectura en esas tablas.

• Para obtener los permisos que necesitas para exportar los resultados del análisis a una tabla de BigQuery, pide a tu administrador que asigne a la cuenta de servicio del catálogo universal de Dataplex el rol de gestión de identidades y accesos Editor de datos de BigQuery (roles/bigquery.dataEditor) en el conjunto de datos y la tabla de resultados. Esto concede los siguientes permisos:

  • bigquery.datasets.get
  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.update
  • bigquery.tables.updateData

• Si los datos de BigQuery están organizados en un lake de Dataplex Universal Catalog, concede a la cuenta de servicio de Dataplex Universal Catalog los roles de gestión de identidades y accesos Lector de metadatos de Dataplex (roles/dataplex.metadataReader) y Lector de Dataplex (roles/dataplex.viewer). También puede tener todos los permisos siguientes:

  • dataplex.lakes.list
  • dataplex.lakes.get
  • dataplex.zones.list
  • dataplex.zones.get
  • dataplex.entities.list
  • dataplex.entities.get
  • dataplex.operations.get

• Si vas a analizar una tabla externa de BigQuery desde Cloud Storage, asigna a la cuenta de servicio de Universal Catalog de Dataplex el rol Lector de objetos de Storage (roles/storage.objectViewer) en el bucket. También puede asignar a la cuenta de servicio de Dataplex Universal Catalog los siguientes permisos:

  • storage.buckets.get
  • storage.objects.get

• Si quieres publicar los resultados del análisis de calidad de los datos como metadatos de Dataplex Universal Catalog, debes tener asignado el rol Editor de datos de BigQuery (roles/bigquery.dataEditor) de IAM en la tabla y el permiso dataplex.entryGroups.useDataQualityScorecardAspect en el grupo de entradas @bigquery de la misma ubicación que la tabla. También puede tener asignado el rol Editor de catálogo de Dataplex (roles/dataplex.catalogEditor) en el grupo de entradas @bigquery de la misma ubicación que la tabla.

  También puede tener todos los permisos siguientes:

  • bigquery.tables.update - on the table
  • dataplex.entryGroups.useDataQualityScorecardAspect: en el @bigquery grupo de entradas

  También puedes tener todos los permisos siguientes:

  • dataplex.entries.update: en el grupo de entradas @bigquery
  • dataplex.entryGroups.useDataQualityScorecardAspect: en el @bigquery grupo de entradas

• Si necesitas acceder a columnas protegidas por políticas de acceso a nivel de columna de BigQuery, asigna permisos a la cuenta de servicio de Universal Catalog de Dataplex para esas columnas. El usuario que cree o actualice un análisis de datos también necesita permisos para las columnas.

• Si una tabla tiene habilitadas las políticas de acceso a nivel de fila de BigQuery, solo puedes analizar las filas visibles para la cuenta de servicio de Universal Catalog de Dataplex. Ten en cuenta que los privilegios de acceso de cada usuario no se evalúan en las políticas a nivel de fila.

Roles obligatorios para analizar datos

Para usar la calidad de los datos automática, pide a tu administrador que te conceda uno de los siguientes roles de gestión de identidades y accesos:

• Acceso completo a los recursos de DataScan: administrador de Dataplex DataScan (roles/dataplex.dataScanAdmin)
• Para crear recursos de DataScan, se necesita el rol Creador de análisis de datos de Dataplex (roles/dataplex.dataScanCreator) en el proyecto.
• Acceso de escritura a los recursos de DataScan: editor de análisis de datos de Dataplex (roles/dataplex.dataScanEditor)
• Acceso de lectura a los recursos de DataScan, excepto las reglas y los resultados: Visor de DataScan de Dataplex (roles/dataplex.dataScanViewer)
• Acceso de lectura a los recursos de DataScan, incluidas las reglas y los resultados: Dataplex DataScan DataViewer (roles/dataplex.dataScanDataViewer)

En la siguiente tabla se enumeran los permisos de DataScan:

Nombre del permiso	Concede permiso para hacer lo siguiente:
dataplex.datascans.create	Crear un DataScan
dataplex.datascans.delete	Eliminar un DataScan
dataplex.datascans.get	Ver metadatos operativos, como el ID o la programación, pero no los resultados ni las reglas
dataplex.datascans.getData	Ver los detalles de DataScan, incluidas las reglas y los resultados
dataplex.datascans.list	Listar DataScans
dataplex.datascans.run	Ejecutar DataScan
dataplex.datascans.update	Actualizar la descripción de un DataScan
dataplex.datascans.getIamPolicy	Ver los permisos de gestión de identidades y accesos actuales de la exploración
dataplex.datascans.setIamPolicy	Definir permisos de gestión de identidades y accesos en la búsqueda