磯野桃子

Google Cloud

BigQueryで大きなテーブルを扱う際のTips~高額課金を防止したい~

BigQueryでTBレベルの大きなデータを扱うとき、意図しない高額課金のリスクを抑えたいと思ったことはありませんか?大きなテーブルを扱う上で、コスト削減につながるTipsをいくつかご紹介します。
Google Cloud

BigQueryのパーティションフィルタを必須にするとどうなるのか

BigQueryのパーティションフィルタを必須にしたときの挙動を確認しました。誤ったwhere句を指定した時の挙動や、ノートブックから実行したときの挙動などを検証しています。
Google Cloud

Dataformで複数プロジェクトかつ複数環境にリリースする方法

Dataformで、同一のSQLXファイルから複数環境(dev、prod)向けにリリースを行う方法を記載します。複数のプロジェクトを使用する場合でも、カスタムコンパイル変数を使用することで実現が可能です。
Google Cloud

Dataplexのデータリネージ機能が対応している、BigQueryの加工方法は?

Dataplexにはデータリネージ機能があります。BigQueryでどのように加工したときがリネージ対象なのか、調べてみました。
Google Cloud

Cloud RunジョブのログレベルをCloud Loggingへ反映する方法

Cloud RunでPythonプログラムを実行する際、ログレベルをCloud Loggingへ反映させる方法をご紹介します。
AWS

Lambdaによる営業日判定

Lambdaを用いて営業日判定を行う方法について、ソースコードも含めてご紹介します。StepfunctionsなどのAWSリソースを、営業日・平日のみ実行したい(祝日や年末年始などの会社休日は実行したくない)場合に使用することができます。