Google Cloud 【GCP】BigQuery Explainable AI でモデルの予測結果を説明させる BigQuery Explainable AI(XAI)を使って機会学習モデルが算出した予測値を説明させてみます。モデルの予測結果に影響を与えた特徴を数値化します。 2024.09.27 AI・MLGoogle Cloudクラウドソリューション
Google Cloud BigQueryで大きなテーブルを扱う際のTips~高額課金を防止したい~ BigQueryでTBレベルの大きなデータを扱うとき、意図しない高額課金のリスクを抑えたいと思ったことはありませんか? 大きなテーブルを扱う上で、コスト削減につながるTipsをいくつかご紹介します。 2024.09.24 Google Cloudデータ分析・活用基盤
Google Cloud BigQueryのパーティションフィルタを必須にするとどうなるのか BigQueryのパーティションフィルタを必須にしたときの挙動を確認しました。誤ったwhere句を指定した時の挙動や、ノートブックから実行したときの挙動などを検証しています。 2024.09.24 Google Cloudデータ分析・活用基盤
Google Cloud Dataformで複数プロジェクトかつ複数環境にリリースする方法 Dataformで、同一のSQLXファイルから複数環境(dev、prod)向けにリリースを行う方法を記載します。 複数のプロジェクトを使用する場合でも、カスタムコンパイル変数を使用することで実現が可能です。 2024.09.24 Google Cloudデータ分析・活用基盤
Google Cloud 【GCP】BigQueryML ARIMA PLUSモデルで時系列予測してみる 今回は時系列予測が可能なARIMA+(ARIMA PLUS)でモデルを作成し、実際に使ってみたブログです。 多変量時系列予測が可能なARIMA_PLUS_XREGモデルを使用して風速、気温のデータを使って将来のPM2.5の量を予測してみました。 2024.09.20 AI・MLGoogle Cloudソリューションデータ分析・活用基盤
Google Cloud Dataplexのデータリネージ機能が対応している、BigQueryの加工方法は? Dataplexにはデータリネージ機能があります。BigQueryでどのように加工したときがリネージ対象なのか、調べてみました。 2024.09.09 Google Cloudデータ分析・活用基盤
AI・ML 【GCP】BigQuery MLで作成した線形回帰モデルを評価してみる 今回はBigQuery MLで作成した線形回帰モデルを、様々な指標を使って評価してみます。 2024.09.06 AI・MLGoogle Cloudソリューションデータ分析・活用基盤
Google Cloud 【GCP】BigQuery MLを触りたいときに読むブログ 今回はBigQuery MLを使って機械学習モデルの作成、テストをやってみます。 AI/MLの知識はあまりないがとにかくBigQuery MLを触ってみたい方、BigQuery MLでモデルを作成して推論してみたい方にぜひ読んでいただきたいブログです。 2024.09.06 AI・MLGoogle Cloudデータ分析・活用基盤
Google Cloud 【GCP】BigQueryの料金節約術~オンデマンドクエリの上限値を設定する~ 今回はBigQuery利用の料金を抑える一つの方法として、「オンデマンドクエリの上限値設定」をやってみます。プロジェクト/クエリごとの上限値を設定し利用料金の増加を抑えるほか、意図しない大規模クエリによる利用料金の急増を抑える効果もあります。ぜひご覧ください。 2024.08.28 Google Cloudクラウドソリューションデータ分析・活用基盤
Google Cloud 【GCP】BigQuery のデータマスキング 今回は、BigQuery で機密データを扱う際に欠かせない「データマスキング」について書きます。実装する中で、権限周りでかなり悩んだ部分もあったので記載しておきます。お役に立てると嬉しいです。 2024.08.27 Google Cloudクラウドソリューションデータ分析・活用基盤