AWS Amazon Athena + AWS Glue で Amazon S3 上のデータを読み取る Amazon Athena と AWS Glue を使用して、Amazon S3 上にある CSV データに対してクエリを実行してみたので、その手順をまとめます。 2025.01.23 AWSクラウドソリューションデータ分析・活用基盤
AWS Amazon Redshift Serverless のコンピューティングキャパシティについて考える 自分が携わったプロジェクトで Amazon Redshift Serverless を構築したので、その際に分かったこと・試したことを記事にまとめてみました。 2025.01.22 AWSクラウドソリューションデータ分析・活用基盤
データ分析・活用基盤 Amazon SageMaker Unified Studio で簡単なデータ分析をやってみる(前編) SageMaker PlatformのAmazon SageMaker Unified Studioを使って、データの作成からデータをLakehouseへアップロードし、SQLにてデータ分析をするまでの手順を説明しています。 2024.12.21 AI・MLAWSデータ分析・活用基盤
AWS 【Amazon Athena】Athena初心者のための基礎知識と基本操作 初心者にも非常に扱いやすいサービスですが、「いざコンソールに入るとどこから始めていいか…」と悩んでしまう方向けに基本操作をまとめてみました。 2024.12.13 AWSクラウドソリューションデータ分析・活用基盤
Google Cloud BigQueryで大きなテーブルを扱う際のTips~高額課金を防止したい~ BigQueryでTBレベルの大きなデータを扱うとき、意図しない高額課金のリスクを抑えたいと思ったことはありませんか?大きなテーブルを扱う上で、コスト削減につながるTipsをいくつかご紹介します。 2024.09.24 Google Cloudデータ分析・活用基盤
Google Cloud BigQueryのパーティションフィルタを必須にするとどうなるのか BigQueryのパーティションフィルタを必須にしたときの挙動を確認しました。誤ったwhere句を指定した時の挙動や、ノートブックから実行したときの挙動などを検証しています。 2024.09.24 Google Cloudデータ分析・活用基盤
Google Cloud Dataformで複数プロジェクトかつ複数環境にリリースする方法 Dataformで、同一のSQLXファイルから複数環境(dev、prod)向けにリリースを行う方法を記載します。複数のプロジェクトを使用する場合でも、カスタムコンパイル変数を使用することで実現が可能です。 2024.09.24 Google Cloudデータ分析・活用基盤
Google Cloud 【GCP】BigQueryML ARIMA PLUSモデルで時系列予測してみる 今回は時系列予測が可能なARIMA+(ARIMA PLUS)でモデルを作成し、実際に使ってみたブログです。多変量時系列予測が可能なARIMA_PLUS_XREGモデルを使用して風速、気温のデータを使って将来のPM2.5の量を予測してみました。 2024.09.20 AI・MLGoogle Cloudソリューションデータ分析・活用基盤
Google Cloud Dataplexのデータリネージ機能が対応している、BigQueryの加工方法は? Dataplexにはデータリネージ機能があります。BigQueryでどのように加工したときがリネージ対象なのか、調べてみました。 2024.09.09 Google Cloudデータ分析・活用基盤
AI・ML 【GCP】BigQuery MLで作成した線形回帰モデルを評価してみる 今回はBigQuery MLで作成した線形回帰モデルを、様々な指標を使って評価してみます。 2024.09.06 AI・MLGoogle Cloudソリューションデータ分析・活用基盤