Google Cloud 【Google Cloud】Associate Data Practitioner 受験前レポート
今回は、Google Cloud認定資格に新しく追加された「Associate Data Practitioner」の受験前レポートです。実際にどんな対策をして臨んだのかを記録しようと思います。
Cloud Data Fusion
Google Cloud Google Cloud 【GCP】Cloud Pub/SubをトリガーにしたDataFusionリアルタイムパイプラインを作成する
GCPのCloud Pub/SubをトリガーとしたData Fusionのリアルタイムパイプラインを作成しました。Cloud Pub/Subにデータを投入後、Data Fusionパイプラインを経由し、BigQueryのテーブルに格納されるフローの構築となります。リアルタイムパイプラインではSourceにPub/Sub、TransformにWrangler、SinkにBigQueryをしました。
Google Cloud 【GCP】Cloud FunctionsのCloud StorageトリガーでDataFusionパイプラインを起動
今回は、Cloud Functions とData Fusionを組み合わせて、Cloud Storageバケットの変更を検知しパイプラインを起動する仕組みを構築してみたいと思います。
Google Cloud 【GCP】Cloud Data Fusion で Wrangler を柔軟に使い倒す
Google CloudのData Fusionでパイプラインを構築する機会が多くあり、その中でも「Wrangler」のプライグインを多く使用したので、その際に便利だった機能をご紹介します。