AWS Step Functions の Map ステートで同一処理を並列に実行しよう!

こんにちは、広野です。

サーバーレス環境で大量の同一処理をさせようと思ったら、AWS Step Functions の Map ステートを使用するのが便利です。本記事では、その仕組みの概念やユースケースを紹介します。実際の実装例は、また別の記事で紹介したいと思います。

Map - AWS Step Functions
Learn about the AWS Step Functions Map state.

やりたいこと

  • インプットデータ(ここでは JSON)をもとに、サーバーレス環境で同一処理の並列実行(並列処理)をさせたい。
  • インプットデータの処理順序にはこだわらない。
  • 並列処理中にエラーが発生しても、全データを一通り処理させたい。
  • 並列処理後、データごとに結果をまとめて取得したい。

実現イメージ

以下のようなイメージで、AWS Step Functions ステートマシンを作成します。

ここで、Map ステートの中に並列実行させたい処理を入れます。

インプットデータは図のように1件ずつ分割されて並列処理されます。

同時実行数は AWS 推奨では 40 件ですが、変更可能です。また、同時実行数を 1 件にすると 1 件ずつ処理されます。ただし、データの処理順番は担保されません。

Map ステートの良いところ

  • やはり、データさえ渡せば同じ処理を一気に処理してくれることでしょう。ループ処理を書く必要がなく、管理も楽です。
  • データの処理順番さえ気にしなければ、使いどころは多いと思います。
    私は Amazon Cognito のユーザインポートや一括削除に使っています。データ登録のバッチ処理に使えると思います。
  • Map ステート内処理の結果を、最後に全てまとめてくれるのも最高です。後続処理で結果を一覧にして確認できますので。
    ただし、それを確実に実現するには各処理の中でエラー処理を入れておく必要があります。上の例で言えば、AWS Lambda 関数の中で予期せぬエラーが発生しても、エラーをキャッチして関数を異常終了させず、failed という結果を return してくれるようにコードを書くことが必要です。
    また、各処理が他の処理のエラーを気にせず独立して進行させられる設計でないとこの使い方はできないと思います。

まとめ

いかがでしたでしょうか?

Map ステートはめっちゃ便利です。

前述の通り、私は Amazon Cognito のユーザインポート等に使っていますが、それと似たような用途には必ずマッチすると思います。ちなみに Amazon Cognito には AWS 純正のユーザインポート API が用意されていますが、1 件 1 件の結果を確認しづらかったのと、各ユーザ登録後にグループへの所属をさせたいなど、ちょっとしたカスタマイズが必要だったので自分で Map ステートを使ってインポートジョブを作りました。

本記事が皆様のお役に立てれば幸いです。

著者について
広野 祐司

AWS サーバーレスアーキテクチャを駆使して社内クラウド人材育成アプリとコンテンツづくりに勤しんでいます。React で SPA を書き始めたら快適すぎて、他の言語には戻れなくなりました。サーバーレス & React 仲間を増やしたいです。AWSは好きですが、それよりもフロントエンド開発の方が好きでして、バックエンド構築を簡単にしてくれたAWSには感謝の気持ちの方が強いです。
取得資格:AWS 認定は13資格、ITサービスマネージャ、ITIL v3 Expert 等
2020 - 2024 Japan AWS Top Engineer 受賞
2022 - 2024 AWS Ambassador 受賞
2023 当社初代フルスタックエンジニア認定
好きなAWSサービス:AWS Amplify / AWS AppSync / Amazon Cognito / AWS Step Functions / AWS CloudFormation

広野 祐司をフォローする

クラウドに強いによるエンジニアブログです。

SCSKクラウドサービス(AWS)は、企業価値の向上につながるAWS 導入を全面支援するオールインワンサービスです。AWS最上位パートナーとして、多種多様な業界のシステム構築実績を持つSCSKが、お客様のDX推進を強力にサポートします。

AWSクラウド
シェアする
タイトルとURLをコピーしました