データ分析・活用基盤 AWS GlueのJobでログの特定の文字だけを置換する Webアプリで取得しているログを分析に利用する際に、一部の値が他データと異なる表現となっており、データのコピーと合わせて変換をした際の手順を共有できればと思います。 2023.03.29 AWSデータ分析・活用基盤技術ナレッジ
データ分析・活用基盤 IDMC(IICS)のCloud Mass Ingestionを利用してFTPサーバからS3にファイル転送する方法 IDMC(IICS)を利用して、FTPサーバからS3にCloud Mass Ingestionという機能を利用してファイル連携する際の備忘録です。IDMCの接続設定ではまりポイントがありました。 2023.01.30 AWSデータ分析・活用基盤技術ナレッジ
データ分析・活用基盤 S3からBigQueryにInformatica Data Loader for Google BigQueryを利用してデータを取り込む備忘録 2022年5月に発表された「Informatica Data Loader for Google BigQuery」を利用して、Amazon S3からBigQueryにデータをロードするまでの備忘録 2022.10.20 Google Cloudデータ分析・活用基盤技術ナレッジ
データ分析・活用基盤 DynamoDBにSQLを発行してデータを可視化する方法 DynamoDBのデータを可視化したいことってありますよね。可視化といえばQuickSightですが、これはDynamoDBを直接参照できません。DynamoDB可視化のために比較的簡単そうな方法を試したので、その実現手順を紹介します。 2022.07.07 AWSデータ分析・活用基盤技術ナレッジ
AWS認定資格 【AWS認定】AWS Certified Data Analytics Specialty学習メモ特集① ~概要編~ 過去に受験したAWS Certified Data Analytics Specialtyの勉強方法をまとめていきたいと思います。 本記事は勉強方法と概要です。 2022.05.30 AWSAWS認定資格データ分析・活用基盤技術ナレッジ
AWS認定資格 【AWS認定】AWS Certified Data Analytics Specialty学習メモ特集② ~Storage(格納)/Processing(処理)編~ AWS Certified Data Analytics Specialtyを受験し、分野ごとに抑えておいた方が良い点まとめました。 今回は、Storage(格納)・Processing(処理)編です! 2022.05.30 AWSAWS認定資格データ分析・活用基盤技術ナレッジ
AWS認定資格 【AWS認定】AWS Certified Data Analytics Specialty学習メモ特集④ ~Analytics(分析)/Visualization(可視化)編~ AWS Certified Data Analytics Specialtyを受験し、分野ごとに抑えておいた方が良い点まとめました。 今回は、Analytics(分析)、Visualization(可視化)編です! 2022.05.30 AWSAWS認定資格データ分析・活用基盤技術ナレッジ
AWS Amazon Redshift Spectrum ~~ Amazon Simple Storage Service (S3)のデータをクエリーする手順を紹介します。~~ 普段Amazon Redshiftを利用する方でも、Amazon Redshift Spectrumの機能はあまり利用しないのではないでしょうか。 今回は、SpectrumからAmazon Simple Storage Service (Amazon S3)上に保存されたデータをクエリーする手順について紹介します。 2021.06.02 AWSデータ分析・活用基盤技術ナレッジ