Google Cloud BigQueryで大きなテーブルを扱う際のTips～高額課金を防止したい～
BigQueryでTBレベルの大きなデータを扱うとき、意図しない高額課金のリスクを抑えたいと思ったことはありませんか？
大きなテーブルを扱う上で、コスト削減につながるTipsをいくつかご紹介します。
データ分析・活用基盤
Google Cloud Google Cloud BigQueryのパーティションフィルタを必須にするとどうなるのか
BigQueryのパーティションフィルタを必須にしたときの挙動を確認しました。誤ったwhere句を指定した時の挙動や、ノートブックから実行したときの挙動などを検証しています。
Google Cloud Dataformで複数プロジェクトかつ複数環境にリリースする方法
Dataformで、同一のSQLXファイルから複数環境（dev、prod）向けにリリースを行う方法を記載します。
複数のプロジェクトを使用する場合でも、カスタムコンパイル変数を使用することで実現が可能です。
Google Cloud 【GCP】BigQueryML ARIMA PLUSモデルで時系列予測してみる
今回は時系列予測が可能なARIMA+（ARIMA PLUS）でモデルを作成し、実際に使ってみたブログです。
多変量時系列予測が可能なARIMA_PLUS_XREGモデルを使用して風速、気温のデータを使って将来のPM2.5の量を予測してみました。
Google Cloud Dataplexのデータリネージ機能が対応している、BigQueryの加工方法は？
Dataplexにはデータリネージ機能があります。BigQueryでどのように加工したときがリネージ対象なのか、調べてみました。
AI・ML 【GCP】BigQuery MLで作成した線形回帰モデルを評価してみる
今回はBigQuery MLで作成した線形回帰モデルを、様々な指標を使って評価してみます。
Google Cloud 【GCP】BigQuery MLを触りたいときに読むブログ
今回はBigQuery MLを使って機械学習モデルの作成、テストをやってみます。
AI/MLの知識はあまりないがとにかくBigQuery MLを触ってみたい方、BigQuery MLでモデルを作成して推論してみたい方にぜひ読んでいただきたいブログです。
Snowflake Snowflakeを始めよう! 初心者向け構築最初にやること集
Snowflakeをこれから利用する方向けに、環境構築で最低限抑えておきたいポイントをぎゅっと絞ってご紹介します。Snowflakeのアカウントは作ったけど何から始めよう…とお悩みの方はぜひご参考ください!
Google Cloud 【GCP】BigQueryの料金節約術~オンデマンドクエリの上限値を設定する~
今回はBigQuery利用の料金を抑える一つの方法として、「オンデマンドクエリの上限値設定」をやってみます。プロジェクト/クエリごとの上限値を設定し利用料金の増加を抑えるほか、意図しない大規模クエリによる利用料金の急増を抑える効果もあります。ぜひご覧ください。
Google Cloud 【GCP】BigQuery のデータマスキング
今回は、BigQuery で機密データを扱う際に欠かせない「データマスキング」について書きます。実装する中で、権限周りでかなり悩んだ部分もあったので記載しておきます。お役に立てると嬉しいです。