メタデータのインポート用にカスタム コネクタを開発する

このドキュメントには、サードパーティ ソースからメタデータを抽出するカスタム コネクタを構築するためのリファレンス テンプレートが掲載されています。コネクタは、メタデータを Dataplex Universal Catalog にインポートするマネージド接続パイプラインを実行するときに使用します。

サードパーティ ソースからメタデータを抽出するコネクタを構築できます。たとえば、MySQL、SQL Server、Oracle、Snowflake、Databricks などのソースからデータを抽出するコネクタを構築できます。

このドキュメントのコネクタの例を参考に、独自のコネクタを構築します。このコネクタの例は、Oracle Database Express Edition(XE)データベースに接続します。このコネクタは Python で構築されていますが、Java、Scala、R も使用できます。

コネクタの仕組み

コネクタは、サードパーティ データソースからメタデータを抽出して、メタデータを Dataplex Universal Catalog ImportItem 形式に変換し、Dataplex Universal Catalog によってインポートできるメタデータ インポート ファイルを生成します。

このコネクタは、マネージド接続パイプラインの一部です。マネージド接続パイプラインは、Dataplex Universal Catalog のメタデータをインポートするために使用するオーケストレートされたワークフローです。マネージド接続パイプラインは、コネクタを実行し、インポート ワークフローの他のタスク(メタデータ インポート ジョブの実行、ログのキャプチャなど)を実行します。

マネージド接続パイプラインは、