Google Cloud BigQueryで大きなテーブルを扱う際のTips~高額課金を防止したい~ BigQueryでTBレベルの大きなデータを扱うとき、意図しない高額課金のリスクを抑えたいと思ったことはありませんか?大きなテーブルを扱う上で、コスト削減につながるTipsをいくつかご紹介します。 2024.09.24 Google Cloudデータ分析・活用基盤
Google Cloud BigQueryのパーティションフィルタを必須にするとどうなるのか BigQueryのパーティションフィルタを必須にしたときの挙動を確認しました。誤ったwhere句を指定した時の挙動や、ノートブックから実行したときの挙動などを検証しています。 2024.09.24 Google Cloudデータ分析・活用基盤
Google Cloud Dataformで複数プロジェクトかつ複数環境にリリースする方法 Dataformで、同一のSQLXファイルから複数環境(dev、prod)向けにリリースを行う方法を記載します。複数のプロジェクトを使用する場合でも、カスタムコンパイル変数を使用することで実現が可能です。 2024.09.24 Google Cloudデータ分析・活用基盤
Google Cloud Dataplexのデータリネージ機能が対応している、BigQueryの加工方法は? Dataplexにはデータリネージ機能があります。BigQueryでどのように加工したときがリネージ対象なのか、調べてみました。 2024.09.09 Google Cloudデータ分析・活用基盤
Google Cloud Cloud RunジョブのログレベルをCloud Loggingへ反映する方法 Cloud RunでPythonプログラムを実行する際、ログレベルをCloud Loggingへ反映させる方法をご紹介します。 2024.07.25 Google Cloud運用・監視
AWS Lambdaによる営業日判定 Lambdaを用いて営業日判定を行う方法について、ソースコードも含めてご紹介します。StepfunctionsなどのAWSリソースを、営業日・平日のみ実行したい(祝日や年末年始などの会社休日は実行したくない)場合に使用することができます。 2022.08.01 AWSアプリケーション開発クラウドソリューション