Google Cloud BigQueryでDELETE時のスキャン量をゼロにしたい ~パーティションプルーニング~ BigQueryでDELETE時の不要なスキャン量を削減する方法をご紹介します。特にdataformではDELETE&INSERTでデータを更新するケースもあると思います。WHERE句の書き方によって不要なスキャン量を削減することが可能です。 2025.08.14 Google Cloudクラウドソリューションデータ分析・活用基盤
Google Cloud Cloud Run jobs 利用におけるNW設計 Cloud Run jobsを利用するにあたり、当チームで最終的に採用したNW設計をご紹介します。なぜegress(外向き)通信はNAT経由が良いのか?NAT/静的外部IPアドレスの作成単位は?など、判断に迷ったポイントを理由・実装方法と併せて記載しています。 2025.08.14 Google Cloudクラウドソリューションネットワーク
Google Cloud GCPのVMインスタンス(パブリックWebサイト)のモニタリング方法 VMで稼働しているパブリックなWebサイトに対して、どのように死活監視をすればよいかをご紹介します。 2025.07.07 Google Cloudアプリケーション開発クラウド運用・監視
Google Cloud Dataformのアサーション出力先を環境ごとに変える方法 Dataformにおけるアサーション結果の出力先について、環境ごとにプロジェクトやデータセットを変更する方法をご紹介します。 2025.07.07 Google Cloudクラウドソリューションデータベースデータ分析・活用基盤
Google Cloud Dataformのアサーションを増分ロジックで実装する方法 Dataformのアサーションにおいて、増分ロジックでスキャンする方法についてご紹介します。組み込みアサーションはフルスキャンとなってしまいますが、手動アサーションによる実装であれば、クエリの書き方次第で増分ロジックでアサーションを実装することが可能です。 2025.07.07 Google Cloudクラウドソリューションデータベースデータ分析・活用基盤
Google Cloud Dataformで使用しているGitHubリポジトリ名を変更してみた Dataformでは、リモートリポジトリをGitHubリポジトリと接続することができます。Dataformに接続済みのGitHubリポジトリの名称を変更したくなったので、どのような影響があるのかを調査してみました。 2025.07.02 Google Cloudクラウド
Google Cloud Google Cloud における監視方法について- モニタリングとロギング Google Cloudにおける監視はログ監視とメトリクス監視の2種類に分けることができます。Cloud Loggingの使い方、Cloud Monitoringにおけるクエリの書き方、Terraformでアラート実装方法等をご紹介します。 2025.06.09 Google Cloudクラウドソリューション運用・監視
Google Cloud Cloud Monitoring におけるアラート通知をカスタマイズする Cloud Monitoringでアラートの通知内容をカスタマイズする方法とTerraformでの記載例についてご紹介します。ログ監視・メトリクス監視共に、アラートのdocumentation・ラベルを活用することで通知内容をカスタマイズ可能です。カスタムラベルの作成方法もご紹介します。 2025.06.09 Google Cloudクラウドソリューション運用・監視
Google Cloud Google Workspaceの監査ログ 保持期間延長方法 ~BigQueryへ転送~ Google Workspaceの監査ログ保持期間を延長するために、Reports APIを使用してログをBigQueryへ転送する方法を紹介します。 2025.01.28 Google Cloudクラウドソリューション運用・監視
Google Cloud BigQueryで大きなテーブルを扱う際のTips~高額課金を防止したい~ BigQueryでTBレベルの大きなデータを扱うとき、意図しない高額課金のリスクを抑えたいと思ったことはありませんか?大きなテーブルを扱う上で、コスト削減につながるTipsをいくつかご紹介します。 2024.09.24 Google Cloudデータ分析・活用基盤