磯野桃子

Google Cloud

BigQueryでDELETE時のスキャン量をゼロにしたい ~パーティションプルーニング~

BigQueryでDELETE時の不要なスキャン量を削減する方法をご紹介します。特にdataformではDELETE&INSERTでデータを更新するケースもあると思います。WHERE句の書き方によって不要なスキャン量を削減することが可能です。
Google Cloud

Cloud Run jobs 利用におけるNW設計

Cloud Run jobsを利用するにあたり、当チームで最終的に採用したNW設計をご紹介します。なぜegress(外向き)通信はNAT経由が良いのか?NAT/静的外部IPアドレスの作成単位は?など、判断に迷ったポイントを理由・実装方法と併せて記載しています。
Google Cloud

GCPのVMインスタンス(パブリックWebサイト)のモニタリング方法

VMで稼働しているパブリックなWebサイトに対して、どのように死活監視をすればよいかをご紹介します。
Google Cloud

Dataformのアサーション出力先を環境ごとに変える方法

Dataformにおけるアサーション結果の出力先について、環境ごとにプロジェクトやデータセットを変更する方法をご紹介します。
Google Cloud

Dataformのアサーションを増分ロジックで実装する方法

Dataformのアサーションにおいて、増分ロジックでスキャンする方法についてご紹介します。組み込みアサーションはフルスキャンとなってしまいますが、手動アサーションによる実装であれば、クエリの書き方次第で増分ロジックでアサーションを実装することが可能です。
Google Cloud

Dataformで使用しているGitHubリポジトリ名を変更してみた

Dataformでは、リモートリポジトリをGitHubリポジトリと接続することができます。Dataformに接続済みのGitHubリポジトリの名称を変更したくなったので、どのような影響があるのかを調査してみました。
Google Cloud

Google Cloud における監視方法について- モニタリングとロギング

Google Cloudにおける監視はログ監視とメトリクス監視の2種類に分けることができます。Cloud Loggingの使い方、Cloud Monitoringにおけるクエリの書き方、Terraformでアラート実装方法等をご紹介します。
Google Cloud

Cloud Monitoring におけるアラート通知をカスタマイズする

Cloud Monitoringでアラートの通知内容をカスタマイズする方法とTerraformでの記載例についてご紹介します。ログ監視・メトリクス監視共に、アラートのdocumentation・ラベルを活用することで通知内容をカスタマイズ可能です。カスタムラベルの作成方法もご紹介します。
Google Cloud

Google Workspaceの監査ログ 保持期間延長方法 ~BigQueryへ転送~

Google Workspaceの監査ログ保持期間を延長するために、Reports APIを使用してログをBigQueryへ転送する方法を紹介します。
Google Cloud

BigQueryで大きなテーブルを扱う際のTips~高額課金を防止したい~

BigQueryでTBレベルの大きなデータを扱うとき、意図しない高額課金のリスクを抑えたいと思ったことはありませんか?大きなテーブルを扱う上で、コスト削減につながるTipsをいくつかご紹介します。