はじめに
お疲れ様です。SCSKの大原です。
CloudWatch Logsでログをすべて送信していると、確認したい情報が埋もれやすくなります。
また、不要なログの送信を減らすことは、コスト削減にもつながります。
実際に案件でCloudWatch Agentを扱う中で、ログは「送る」だけでなく、「何を送るか」を考えることも大切だと学びました。
今回は、CloudWatch Agentのフィルタリング機能を使って、必要なログだけをCloudWatch Logsへ送信する方法を紹介します。
CloudWatch LogsとCloudWatch Agent
まずは、今回使用する2つのサービス・ツールの役割を簡単に整理します。
CloudWatch Logsは、AWSが提供するログ管理サービスで、アプリケーションやシステムのログを収集し、モニタリングや分析に利用できます。
ログの量に応じて料金が発生するため、不要なログを抽出することは、コスト削減にもつながります。
具体的には、東京リージョンにおけるCloudWatch Logsは、ログの量に応じて、以下のような料金が発生します。
- ログの取り込み: 1GBあたり0.76 USD
- ログの保存: 1GBあたり0.033 USD
- ログの分析: 1GBあたり0.0076 USD
このように、CloudWatch Logsは、ログの量に応じて料金が発生するため、ログをフィルターすることは、コスト削減にもつながります。
参考:Amazon CloudWatch の料金 | 無料利用枠をご利用いただけます
一方、CloudWatch Agentは、サーバ上のログなどをCloudWatchへ送信するためのエージェントです。
ログを送信するだけでなく、条件に応じて送信対象を絞り込むこともできます。
今回扱うのは、CloudWatch Logsへ送信した後に検索する方法ではなく、CloudWatch Agent側で送信するログを絞り込む方法です。
参考:CloudWatch エージェントを使用してメトリクス、ログ、トレースを収集する – Amazon CloudWatch
ログのフィルタリング
CloudWatch Agentを使用して、ログのフィルタリングを行うことができます。
フィルタリングは、CloudWatch AgentのJSON形式の設定ファイルにあるfiltersで指定します。
filtersの設定項目は次の通りです。
| 項目 | 内容 |
|---|---|
type: include |
条件に一致するログを送信する |
type: exclude |
条件に一致するログを送信しない |
expression |
判定に使う正規表現を指定する |
「この文字列を含むログだけ送りたい」場合はinclude、「この文字列を含むログは送りたくない」場合はexcludeを使います。
以下は、特定の文字列を含むログだけを抽出するための設定ファイルの例です。
{
"logs": {
"logs_collected": {
"files": {
"collect_list": [
{
"file_path": "/var/log/syslog",
"log_group_name": "syslog",
"log_stream_name": "{instance_id}",
"filters": [
{ "type": "include", "expression": "ERROR" }
]
}
]
}
},
}
}
/var/log/syslogのうち、ERRORという文字列を含むログだけを送信するようにfiltersを設定しています。
このように、CloudWatch Agentを使用することで、必要なログだけを抽出することができます。
参考: CloudWatch エージェント設定ファイルを手動で作成または編集する – Amazon CloudWatch
デモ
CloudWatch Agentのfiltersを使用した3種類のデモを行います。
各デモで使用するログファイルと送信先は、次のとおりです。
| 項目 | 設定値 |
|---|---|
| ログファイル | /var/log/test.log |
| ロググループ | /ohara/test-filters |
| ログストリーム | デモごとにtest1、test2、test3を使用 |
[ERROR] ERRORです
[INFO] INFOです
[ERROR] jogaiです
[INFO] jogaiです
デモ1: ERRORを含むログを送信する
includeを使って、ERRORを含むログだけを送信してみます。設定ファイルは次の通りです。
{
"agent": {
"run_as_user": "root"
},
"logs": {
"logs_collected": {
"files": {
"collect_list": [
{
"file_path": "/var/log/test.log",
"log_group_name": "/ohara/test-filters",
"log_stream_name": "test1",
"filters": [
{ "type": "include", "expression": "ERROR" }
]
}
]
}
}
}
}
ポイントは、次の部分です。
"filters": [
{ "type": "include", "expression": "ERROR"}
]
typeにinclude、expressionにERRORを指定しています。そのため、ERRORを含むログだけが送信対象になります。
設定を反映して4行のログを追記したら、ログストリームtest1を確認します。
送信対象となるのは、次の2行です。
[ERROR] ERRORです
[ERROR] jogaiです
以下は、AWSマネジメントコンソールのCloudWatch Logsでログストリームtest1の確認結果になります。
期待通り、送信対象の2行のみが送信されております。
このように、CloudWatch Agentのフィルタリング機能を使用することで、特定の文字列を含むログだけを送信することができます。
デモ2: jogaiを含むログを送信しない
次は、反対に「特定の文字列を含むログを送らない」設定を試してみます。
今回は、jogaiを含むログを除外します。
{
"agent": {
"run_as_user": "root"
},
"logs": {
"logs_collected": {
"files": {
"collect_list": [
{
"file_path": "/var/log/test.log",
"log_group_name": "/ohara/test-filters",
"log_stream_name": "test2",
"filters": [
{ "type": "exclude", "expression": "jogai" }
]
}
]
}
}
}
}
デモ1からの変更点は、typeをexclude、expressionをjogaiに変更した点です。
"filters": [
{ "type": "exclude", "expression": "ERROR"}
]
この設定では、jogaiを含まないログが送信対象になります。
設定を反映して同じ4行を追記したら、ログストリームtest2を確認します。
送信対象となるのは、次の2行です。
[ERROR] ERRORです
[INFO] INFOです
以下は、AWSマネジメントコンソールのCloudWatch Logsでログストリームtest2の確認結果になります。
期待通り、送信対象の2行のみが送信されております。
このように、CloudWatch Agentのフィルタリング機能を使用することで、特定の文字列を含まないログだけを送信することができます。
デモ3: 抽出条件と除外条件を組み合わせる
最後に、includeとexcludeを組み合わせてみます。
今回は、ERRORを含み、かつjogaiを含まないログを送信対象にします。
設定ファイルは次のとおりです。
{
"agent": {
"run_as_user": "root"
},
"logs": {
"logs_collected": {
"files": {
"collect_list": [
{
"file_path": "/var/log/test.log",
"log_group_name": "/ohara/test-filters",
"log_stream_name": "test3",
"filters": [
{ "type": "include", "expression": "ERROR" },
{ "type": "exclude", "expression": "jogai" }
]
}
]
}
}
}
}
filtersに、抽出条件と除外条件の両方を指定しています。"filters": [
{ "type": "include", "expression": "ERROR" },
{ "type": "exclude", "expression": "jogai" }
]
設定を反映して同じ4行を追記したら、ログストリームtest3を確認します。
送信対象となるのは、次の1行です。
[ERROR] ERRORです
※ [ERROR] jogaiですはERRORを含んでいますが、除外条件のjogaiにも一致するため、送信対象にはなりません。
以下は、AWSマネジメントコンソールのCloudWatch Logsでログストリームtest3の確認結果になります。
期待通り、送信対象のみが送信されております。
このように、CloudWatch Agentのフィルタリング機能を使用することで特定の文字列を含むログを送信し、不要なログを除外することができます。
3つの設定を比較する
各設定で送信対象となるログを整理すると、次のようになります。
| 入力したログ | デモ1:ERRORを抽出 |
デモ2:jogaiを除外 |
デモ3:両方を指定 |
|---|---|---|---|
[ERROR] ERRORです |
送信 | 送信 | 送信 |
[INFO] INFOです |
対象外 | 送信 | 対象外 |
[ERROR] jogaiです |
送信 | 対象外 | 対象外 |
[INFO] jogaiです |
対象外 | 対象外 | 対象外 |
まとめ
今回は、CloudWatch Agentのfiltersを使って、送信するログを絞り込む3つの方法を紹介しました。
include:条件に一致するログを送るexclude:条件に一致するログを送らない- 両方を組み合わせる:必要なログを抽出しつつ、不要なログを除外する
「エラーログは収集したいけれど、特定のメッセージは除外したい」といった場合にも活用できそうです。
ぜひ、CloudWatch Agentを活用して、適切なログだけを送信してください。



