AWS Amazon Redshift テーブルのデータメンテナンス機能についての補足その2 案件事例にて実装したアプリケーションの Redshift テーブルのデータメンテナンス機能に関する補足その2です。データメンテナンス機能の対象となる Redshift の特性を踏まえた上で、アプリケーションの実装において考慮する必要があったポイント及び機能について記載しました。 2025.02.25 AWSアプリケーション開発クラウドソリューションデータベースデータ分析・活用基盤
AWS Amazon Athena に取り込んだデータを Amazon QuickSight で可視化してみた Amazon Athena 上のデータを Amazon QuickSight で可視化したいと思います。 2025.02.04 AWSクラウドソリューションデータ分析・活用基盤
AWS AWSを活用したアドホックデータ分析入門 Amazon Athenaを用いてS3に格納したファイルをデータ化し、実行時間とスキャンデータ量を削減する方法と、Amazon Managed Grafanaを活用したデータ可視化方法をご紹介します。具体的な手順やサンプルを交えながら、Athenaでのクエリ作成からGrafanaでのダッシュボード構築までを解説します。 2025.02.03 AWSクラウドソリューションデータ分析・活用基盤
AWS Amazon Athena + AWS Glue で Amazon S3 上のデータを読み取る Amazon Athena と AWS Glue を使用して、Amazon S3 上にある CSV データに対してクエリを実行してみたので、その手順をまとめます。 2025.01.23 AWSクラウドソリューションデータ分析・活用基盤
AWS Amazon Redshift Serverless のコンピューティングキャパシティについて考える 自分が携わったプロジェクトで Amazon Redshift Serverless を構築したので、その際に分かったこと・試したことを記事にまとめてみました。 2025.01.22 AWSクラウドソリューションデータ分析・活用基盤
データ分析・活用基盤 Amazon SageMaker Unified Studio で簡単なデータ分析をやってみる(前編) SageMaker PlatformのAmazon SageMaker Unified Studioを使って、データの作成からデータをLakehouseへアップロードし、SQLにてデータ分析をするまでの手順を説明しています。 2024.12.21 AI・MLAWSデータ分析・活用基盤
AWS 【Amazon Athena】Athena初心者のための基礎知識と基本操作 初心者にも非常に扱いやすいサービスですが、「いざコンソールに入るとどこから始めていいか…」と悩んでしまう方向けに基本操作をまとめてみました。 2024.12.13 AWSクラウドソリューションデータ分析・活用基盤
Google Cloud BigQueryで大きなテーブルを扱う際のTips~高額課金を防止したい~ BigQueryでTBレベルの大きなデータを扱うとき、意図しない高額課金のリスクを抑えたいと思ったことはありませんか?大きなテーブルを扱う上で、コスト削減につながるTipsをいくつかご紹介します。 2024.09.24 Google Cloudデータ分析・活用基盤
Google Cloud BigQueryのパーティションフィルタを必須にするとどうなるのか BigQueryのパーティションフィルタを必須にしたときの挙動を確認しました。誤ったwhere句を指定した時の挙動や、ノートブックから実行したときの挙動などを検証しています。 2024.09.24 Google Cloudデータ分析・活用基盤
Google Cloud Dataformで複数プロジェクトかつ複数環境にリリースする方法 Dataformで、同一のSQLXファイルから複数環境(dev、prod)向けにリリースを行う方法を記載します。複数のプロジェクトを使用する場合でも、カスタムコンパイル変数を使用することで実現が可能です。 2024.09.24 Google Cloudデータ分析・活用基盤