こんにちは。SCSKのふくちーぬです。
前回、Amazon Data Firehose を利用して、Amazon CloudWatch Logs のログを Amazon S3 に転送する手法をご紹介しました。こちらの記事を読んでいない方は、是非ご一読ください。
今回は、Amazon Data Firehose で Amazon S3 へ転送する際にログに含まれるヘッダー部分の抽出がサポートされたので紹介します。
Amazon Data Firehose で S3 転送時にメッセージ抽出機能がサポートされました
以前までは、ログイベント本体に加えて転送処理に関する付加情報が付与されていました。
今回のアップデートで、ログイベント本体のみS3やSplunkに配信することが可能になりました。メッセージ抽出にかかる料金は無料です。
ログイベント本体のみ配信することで、メッセージ（データ量）の削減も期待できます。
例えば後続の分析処理にてヘッダー部分の処理をわざわざ実装していた方はすぐに導入することで、カスタム処理の排除とデータ保管料の削減効果を得ることができます。
検証
実際にやってみます。リソースは、前回デプロイしたものを利用します。
Amazon Data Firehoseのマネジメントコンソールを開きます。
“レコードを変換および転換”を確認すると、新たに「ログイベントからのみメッセージデータを抽出」の欄が追加されています。
“ログイベントからのみメッセージデータを抽出”をオンに設定します。
ログの確認
Lambdaにてテストイベントを作成して実行します。CloudWatch Logsへログが出力され、FirehoseでS3へのログ転送を実施します。
ログの中身を確認すると、ログイベントのメッセージのみ配信されていることを確認できました。
データ量の削減もできていることを確認できました
メッセージ抽出機能をオフ
メッセージ抽出機能をオン
最後に
いかがだったでしょうか。
Data Firehose のメッセージ抽出機能について解説しました。
S3やSplunkに配信後、後続の分析処理で余分なヘッダー部分の除外処理を実装する必要がなくなりました。これに伴いメッセージ（データ量）も削減できるため、オブジェクトの保管料も削減できます。
本記事が皆様のお役にたてば幸いです。
ではサウナラ～🔥