Google Cloud 【GCP】Cloud FunctionsのCloud StorageトリガーでDataFusionパイプラインを起動
今回は、Cloud Functions とData Fusionを組み合わせて、Cloud Storageバケットの変更を検知しパイプラインを起動する仕組みを構築してみたいと思います。
Google Cloud Storage
Google Cloud 
Google Cloud Cloud FunctionsのCloud Storageトリガーをフォルダレベルで指定したい！！
先日、Dialogflow CXのAgentからのテストケース作成を自動化していて、「あるフォルダにファイルがアップロードされたら起動するCloud Functionsを作りたい」とふと思いました。そこで今回はバケットレベルで指定するCloud Storageトリガーをどうにかしてフォルダレベルで指定できないか調べてみました。
Google Cloud Dialogflow CX Agentからの単体テストケース作成を自動化してみる
今回はテストケース作成の時間を削減すべく、グラフ理論を使って、単体テストケース作成を自動化する方法を実装してみました。このグラフ理論の考え方は他にも使えると思うので、ぜひご覧ください。
Google Cloud BigQuery MLのML.GENERATE_TEXT関数を使ってテキストデータを要約してみた
BigQuery MLのML.GENERATE_TEXT関数を使って、テキストのデータセットを要約してみたので、実装方法を紹介します。
AWS Amazon S3からGoogle Cloud Storageにアクセスキーを使わずデータコピーする
GCPのData Transferを利用すると、AWSのIAMロールを利用してS3からCloud Storageにデータをコピーすることができます。
アクセスキーは定期的なローテーションが推奨されています。アクセスキーを使わなくていいのは管理面で有効ですね。