Google Cloud 【GCP】BigQuery -クラスタリングによるコスト削減-
BigQueryにおける「クラスタリング」についてご紹介します。
データ分析・活用基盤
Google Cloud 
イベントレポート Informatica world 2023 参加レポート
2023/5/8 - 5/11 に米国のラスベガスで開催されておりました「Informatica world 2023」に参加しました。非常に刺激的なイベントであり、私個人のキャリアとしてもよい経験になりました。皆様に興味を持ってもらえるようにアウトプットをしておきたいと思います。
データ分析・活用基盤 【GCP】BigQuery Migration Serviceを使ってクエリを移行してみた
今回は、業務で使用する機会のあった「BigQuery Migration Service」が便利だと感じたのでご紹介します。
データ分析・活用基盤 AWSを用いたデータ活用基盤でデータの可視化・分析・診断を実現しよう！
SCSKでは、アマゾン ウェブ サービス(AWS)を利用した『データ活用基盤の構築から可視化の流れ』や『データを可視化した後の分析方法』を学べる動画コンテンツを公開しました！ 皆さんのデータ活用にぜひご活用下さい。
Google Cloud 【GCP】BigQuery -パーティショニングによるコスト削減-
BigQueryでの「テーブルの論理パーティション分割の有効性」についてご紹介します。
データ分析・活用基盤 AWS GlueのJobでログの特定の文字だけを置換する
Webアプリで取得しているログを分析に利用する際に、一部の値が他データと異なる表現となっており、データのコピーと合わせて変換をした際の手順を共有できればと思います。
データ分析・活用基盤 IDMC（IICS）のCloud Mass Ingestionを利用してFTPサーバからS3にファイル転送する方法
IDMC（IICS）を利用して、FTPサーバからS3にCloud Mass Ingestionという機能を利用してファイル連携する際の備忘録です。IDMCの接続設定ではまりポイントがありました。
データ分析・活用基盤 S3からBigQueryにInformatica Data Loader for Google BigQueryを利用してデータを取り込む方法
２０２２年５月に発表された「Informatica Data Loader for Google BigQuery」を利用して、Amazon S3からBigQueryにデータをロードするまでの備忘録
Google Cloud 【GCP】BigQuery+Dataplexハンズオン受講レポート
こんにちは。最近Google CloudのDataシリーズにはまっている林です。Google Cloud Day: Digital '22の2週目に開催されたハンズオン祭のうち、『データエンジニア向けBigQuery + Dataplex ...
データ分析・活用基盤 DynamoDBにSQLを発行してデータを可視化する方法
DynamoDBのデータを可視化したいことってありますよね。可視化といえばQuickSightですが、これはDynamoDBを直接参照できません。DynamoDB可視化のために比較的簡単そうな方法を試したので、その実現手順を紹介します。