石黒克典

Google Cloud

【Google Cloud】Infrastructure Managerを使ってみた

Infrastructure ManagerはTerraformを使用したリソースの自動構築をGoogle Cloud上で行うマネジメントサービスです。今回はBigQueryテーブルを自動構築してみました。
Google Cloud

【GCP】Cloud Pub/SubをトリガーにしたDataFusionリアルタイムパイプラインを作成する

GCPのCloud Pub/SubをトリガーとしたData Fusionのリアルタイムパイプラインを作成しました。Cloud Pub/Subにデータを投入後、Data Fusionパイプラインを経由し、BigQueryのテーブルに格納されるフローの構築となります。リアルタイムパイプラインではSourceにPub/Sub、TransformにWrangler、SinkにBigQueryをしました。