こんにちは。SCSKのふくちーぬです。
前回は、Amazon Data Firehoseを利用して、CloudWatch LogsのログをS3に転送する手法をご紹介しました。こちらの記事を読んでいない方は、是非ご一読ください。
今回は、Amazon Data FirehoseでS3へ転送する際にタイムゾーンを指定したプレフィックスがサポートされたので紹介します。
Amazon Data FirehoseでS3に転送時にタイムゾーンが指定できるようになりました
以前までは、UTC形式でプレフィックスが付与されていました。例としてJST形式でプレフィックスを付与したい場合は、Dynamic Partitioning（動的パーティショニング）機能を利用する必要があり、ひと手間かかっていました。
今回のアップデートにより、ご自身が利用する国の時間帯を利用することが可能となり視認性も向上します。また、Athena等でのETL処理が容易になることも利点となります。
検証
実際にやってみます。リソースは、前回デプロイしたものを利用します。
Amazon Data Firehoseのマネジメントコンソールを開きます。
“送信先の設定”を確認すると、新たにタイムゾーンの欄が追加されています。
“編集”を押下して、タイムゾーンを指定します。今回は、”Asia/Tokyo”を指定します。もちろん他の国のタイムゾーンもサポートされています。
ログの確認
Lambdaにてテストイベントを作成して実行します。CloudWatch Logsへログが出力され、FirehoseでS3へのログ転送を実施します。
S3のプレフィックス及びファイル名に、日本時間でタイムスタンプが付与されていることを確認できました。
最後に
いかがだったでしょうか。
Data Firehose のタイムゾーンについて解説しました。
S3バケットにオブジェクトが配信された日時と、Data Firehose によって配信されたS3プレフィックス及びファイル名が揃っていることは運用時にも嬉しいですね。
本記事が皆様のお役にたてば幸いです。
ではサウナラ～🔥