AWS CDK 使ってみた! (Pythonでインフラ構築)

はじめに

あけましておめでとうございます、SCSKの根岸です。

近頃はAWS CloudformationやTerraformによるコードでのインフラ管理もスタンダードになりつつありますが、面倒くさがりの私はそれらのテンプレートですら「楽して書けたらいいのになあ…」と正月のこたつの中で思っていました。

Cloudformationの場合、テンプレートはyamlかjsonの形式で作成しますが記載しなくてはならない量がそこそこ多く大変です。

そんな中、ネットの海で見つけたのがAWS CDKでした。「これは…！」と思いさらに調べてみたところ、ちょうど良さそうなハンズオン(summit-online-japan-cdk)がありましたのでこちらに挑戦してみました。

この記事にはハンズオンのページには記載されていない補足情報(「ここの手順はこうやったらいまくいったよ～」等)も記載していますので、お時間ある方はぜひ一緒に挑戦してみましょう！

AWS CDKの概要

AWS CDKとは

そもそもAWS CDK(以下、CDKと記載)とは何なのか、公式ページには以下のように記載されています。

AWS Cloud Development Kit (AWS CDK) は、使い慣れたプログラミング言語を使用してクラウドアプリケーションリソースを定義するためのオープンソースのソフトウェア開発フレームワークです。(引用元 – AWS クラウド開発キット – アマゾン ウェブ サービス)

詳細は公式ページを参照いただきたいのですが、簡単にまとめるとyamlやjsonではない使い慣れたプログラミング言語でAmazon Web Services(AWS)のリソースを定義できるツールと言うことができます。現在はTypeScript、JavaScript、Python、Java、C#、Goの6つのプログラミング言語が対応しているようです。

プログラミング言語で記載されたリソースの定義はCDKツールによって最終的にCloudformationのテンプレートに変換されて実際の環境にデプロイされていきます。

CDKのメリット

必要なツールの確認

下記の4つのコマンドを打って必要なツールが念のためインストールされているかを確認します。cdkはすでにバージョン1がインストールされていますが、今回はバージョン2を使っていきたいのでバージョン1を削除してバージョン2をインストールしていきます。

OKですね！cdkバージョンが2.3になりました。

なお、自分で作成したAmazon EC2やローカルでCDKを実行する場合はAWS認証情報の設定が必要になります。下記コマンドを実行して認証情報を設定してください。今回のようにAWS Cloud9を利用する場合は、権限周りはAWS Cloud9がよしなにしてくれるので改めての権限設定は不要です。

プロジェクトディレクトリの作成

ハンズオンの資料に沿って進めていきます。ディレクトリを作成し移動します。

Virtualenvのアクティブ化

上述の通り、cdk initコマンドによってすでに仮想環境は作成されていますので下記のコマンドでアクティベートします。資料には.envと記載がありますが、今回実際に作成されている仮想環境は.venvなのでその点が異なります。成功すると、コマンドラインの先頭に(.venv)とつくようになります。

(bootstrapの実行結果の例)
$ cdk bootstrap aws://123456789012/ap-northeast-1
Trusted accounts for deployment: (none)
Trusted accounts for lookup: (none)
Using default execution policy of ‘arn:aws:iam::aws:policy/AdministratorAccess’. Pass ‘–cloudformation-execution-policies’ to customize.
CDKToolkit: creating CloudFormation changeset…
✅ Environment aws://123456789012/ap-northeast-1 bootstrapped.

こちらのコマンドを実行すると、リージョン内のCloudformationで「CDKToolkit」というテンプレートが適用されます。これにより、リージョン内にCDKを利用するために必要なロール、ECR、Amazon Simple Storage Service(Amazon S3)バケットなどが作成されます。

すでに「CDKToolkit」が適用されているリージョンでは再度実行する必要はありません。ただ、すでに「CDKToolkit」が適用されているリージョンで再度bootstrapを実行しても特に悪いことは起きないのでCDKを使いたいときはとりあえず一度実行してみる感じでいいと思います。

(再度bootstrapを実行した結果の例)
$ cdk bootstrap aws://123456789012/ap-northeast-1
⏳ Bootstrapping environment aws://123456789012/ap-northeast-1
Trusted accounts for deployment: (none)
Trusted accounts for lookup: (none)
Using default execution policy of ‘arn:aws:iam::aws:policy/AdministratorAccess’. Pass ‘–cloudformation-execution-policies’ to customize.
✅ Environmentaws://123456789012/ap-northeast-1 bootstrapped (no changes).

AWS CDK Intro Workshopをやってみよう (サンプルコード編)

これにて準備は完了です、お疲れ様でした！

いよいよこの章からCDKを触っていきます。

サンプルコードをcdk synthしてみる

cdk_workshop/cdk_workshop_stack.pyを開いてみましょう。どのようなAWSリソースを構築していきたいかについては主にこちらのファイルの「super().__init__(scope, construct_id, **kwargs)」以降に書いていくことになります。

このファイルにはすでにサンプルコードとしてSQSキューとSNSトピックの設定が記載されています。10行にも満たない記述量ですね。

from constructs import Construct
from aws_cdk import (
    Duration,
    Stack,
    aws_iam as iam,
    aws_sqs as sqs,
    aws_sns as sns,
    aws_sns_subscriptions as subs,
)


class CdkWorkshopStack(Stack):

    def __init__(self, scope: Construct, construct_id: str, **kwargs) -> None:
        super().__init__(scope, construct_id, **kwargs)
　　　　
        queue = sqs.Queue(
            self, "CdkWorkshopQueue",
            visibility_timeout=Duration.seconds(300),
        )

        topic = sns.Topic(
            self, "CdkWorkshopTopic"
        )

        topic.add_subscription(subs.SqsSubscription(queue))

ここでcdk synthコマンドを実行してみましょう。なお、cdkコマンドはcdk.jsonファイルが存在するルートディレクトリのみで実行できます。cdkコマンド実行時にエラーが出た場合は確認してみましょう。

Resources:
  CdkWorkshopQueue50D9D426:
    Type: AWS::SQS::Queue
    Properties:
      VisibilityTimeout: 300
    UpdateReplacePolicy: Delete
    DeletionPolicy: Delete
    Metadata:
      aws:cdk:path: cdk-workshop/CdkWorkshopQueue/Resource
  CdkWorkshopQueuePolicyAF2494A5:
    Type: AWS::SQS::QueuePolicy
    Properties:
      PolicyDocument:
        Statement:
          - Action: sqs:SendMessage
            Condition:
              ArnEquals:
                aws:SourceArn:
                  Ref: CdkWorkshopTopicD368A42F
            Effect: Allow
            Principal:
              Service: sns.amazonaws.com
            Resource:
              Fn::GetAtt:
                - CdkWorkshopQueue50D9D426
                - Arn
        Version: "2012-10-17"
      Queues:
        - Ref: CdkWorkshopQueue50D9D426
    Metadata:
      aws:cdk:path: cdk-workshop/CdkWorkshopQueue/Policy/Resource
  CdkWorkshopQueuecdkworkshopCdkWorkshopTopicA7BCA841EC3B13D1:
    Type: AWS::SNS::Subscription
    Properties:
      Protocol: sqs
      TopicArn:
        Ref: CdkWorkshopTopicD368A42F
      Endpoint:
        Fn::GetAtt:
          - CdkWorkshopQueue50D9D426
          - Arn
    Metadata:
      aws:cdk:path: cdk-workshop/CdkWorkshopQueue/cdkworkshopCdkWorkshopTopicA7BCA841/Resource
  CdkWorkshopTopicD368A42F:
    Type: AWS::SNS::Topic
    Metadata:
      aws:cdk:path: cdk-workshop/CdkWorkshopTopic/Resource
  CDKMetadata:
    Type: AWS::CDK::Metadata
    Properties:
      Analytics: v2:deflate64:H4sIAAAAAAAA/1WNQQ6CMBBFz8K+HVEWHoALILg3UGocwQ522hjS9O7Skpi4mf//y0vmBBWURf9hqcZJzjhA6FyvJrGhW+A3Q7h47bWo72Yv+TY0o1p/cJ9RsNn8zg+sLC4OySTjb19pQZVoLjGm2momb1X+UZMZMZlRNKt7kDlUcIZjWTwZUVpvHL40tHt+AbotFgG9AAAA
    Metadata:
      aws:cdk:path: cdk-workshop/CDKMetadata/Default
    Condition: CDKMetadataAvailable
Conditions:
  CDKMetadataAvailable:
    Fn::Or:
      - Fn::Or:
          - Fn::Equals:
              - Ref: AWS::Region
              - af-south-1
          - Fn::Equals:
              - Ref: AWS::Region
              - ap-east-1
          - Fn::Equals:
              - Ref: AWS::Region
              - ap-northeast-1
          - Fn::Equals:
              - Ref: AWS::Region
              - ap-northeast-2
          - Fn::Equals:
              - Ref: AWS::Region
              - ap-south-1
          - Fn::Equals:
              - Ref: AWS::Region
              - ap-southeast-1
          - Fn::Equals:
              - Ref: AWS::Region
              - ap-southeast-2
          - Fn::Equals:
              - Ref: AWS::Region
              - ca-central-1
          - Fn::Equals:
              - Ref: AWS::Region
              - cn-north-1
          - Fn::Equals:
              - Ref: AWS::Region
              - cn-northwest-1
      - Fn::Or:
          - Fn::Equals:
              - Ref: AWS::Region
              - eu-central-1
          - Fn::Equals:
              - Ref: AWS::Region
              - eu-north-1
          - Fn::Equals:
              - Ref: AWS::Region
              - eu-south-1
          - Fn::Equals:
              - Ref: AWS::Region
              - eu-west-1
          - Fn::Equals:
              - Ref: AWS::Region
              - eu-west-2
          - Fn::Equals:
              - Ref: AWS::Region
              - eu-west-3
          - Fn::Equals:
              - Ref: AWS::Region
              - me-south-1
          - Fn::Equals:
              - Ref: AWS::Region
              - sa-east-1
          - Fn::Equals:
              - Ref: AWS::Region
              - us-east-1
          - Fn::Equals:
              - Ref: AWS::Region
              - us-east-2
      - Fn::Or:
          - Fn::Equals:
              - Ref: AWS::Region
              - us-west-1
          - Fn::Equals:
              - Ref: AWS::Region
              - us-west-2
Parameters:
  BootstrapVersion:
    Type: AWS::SSM::Parameter::Value
    Default: /cdk-bootstrap/hnb659fds/version
    Description: Version of the CDK Bootstrap resources in this environment, automatically retrieved from SSM Parameter Store. [cdk:skip]
Rules:
  CheckBootstrapVersion:
    Assertions:
      - Assert:
          Fn::Not:
            - Fn::Contains:
                - - "1"
                  - "2"
                  - "3"
                  - "4"
                  - "5"
                - Ref: BootstrapVersion
        AssertDescription: CDK bootstrap stack version 6 required. Please run 'cdk bootstrap' with a recent version of the CDK CLI.

すごい量のレスポンスがありますね。メタデータなど様々な情報が付与されていることもあって行数が多く見えるという面もありますが、それでもcdk_workshop_stack.pyの記述量のわりにしっかりとしたCloudformationテンプレートが作成されていることがわかります。

サンプルコードをcdk deployしてみる

それでは実際にサンプルコードの内容をデプロイしてみましょう！

デプロイが完了しました！コンソール上からCloudformationを確認してみると「cdk-workshop」というテンプレートがデプロイされています。

サンプルコードの内容を変更してcdk diffしてみる

続いて、せっかく作成したリソースですが内容を変更(すべて削除)してみようと思います。
cdk_workshop/cdk_workshop_stack.pyを開いて下記のように「super().__init__(scope, construct_id, **kwargs)」以降をすべて消してしまいます。変更後はCtr+Sなどでファイルの保存を忘れずに実施しましょう。

from constructs import Construct
from aws_cdk import (
    Duration,
    Stack,
    aws_iam as iam,
    aws_sqs as sqs,
    aws_sns as sns,
    aws_sns_subscriptions as subs,
)


class CdkWorkshopStack(Stack):

    def __init__(self, scope: Construct, construct_id: str, **kwargs) -> None:
        super().__init__(scope, construct_id, **kwargs)

cdk diffコマンドを実行します。

というのも、こちらの記事に以下のような記載があります。

v1パッケージの体験に関するお客様のフィードバックに基づき、安定したAWSコンストラクトライブラリのすべてをaws-cdk-libという単一のパッケージに統合しました。このパッケージをインストールすることで、すべての安定したAWS CDKコンストラクトにアクセスでき、サードパーティのコンストラクトライブラリも同様にこのパッケージへの依存関係を満たすだけで済みます。(引用 – Experimental construct librariesがAWS CDK v2で利用可能になりました | Amazon Web Services ブログ)

aws-cdk-libの利用は Python内のコードで言うところの「import aws_cdk」の部分と理解しています。(参考)

つまり、この記事では冒頭の準備段階でaws-cdk-lib(2.3.0)をインストール済みで、それを丸ごとimportしている状態なので、個別にLamdaやAPI Gatewayのコントラクタライブラリはインストールしなくても問題ないということです。

ハンズオンで取り扱っているCDKのバージョン記載を見つけることができませんでしたが、おそらくバージョン1を利用しているものと思われます。

今回の検証では個別のコンストラクタライブラリのインストールをしなくても以降の手順で正常にリソースのデプロイができましたので、この記事でもコンストラクタライブラリのインストール手順は割愛させていただきます。

import json

def handler(event, context):
    print('request: {}'.format(json.dumps(event)))
    return {
        'statusCode': 200,
        'headers': {
            'Content-Type': 'text/plain'
        },
        'body': 'Hello, CDK! You have hit {}\n'.format(event['path'])
    }

cdk_workshop_stack.pyの修正

続いてcdk_workshop_stack.pyを下記の通り修正します。from aws_cdk import 内の宣言を忘れないようにしましょう。

from constructs import Construct
from aws_cdk import (
    Duration,
    Stack,
    aws_lambda as _lambda,
    aws_apigateway as apigw,
)


class CdkWorkshopStack(Stack):

    def __init__(self, scope: Construct, construct_id: str, **kwargs) -> None:
        super().__init__(scope, construct_id, **kwargs)

        # Defines an AWS Lambda resource
        hello = _lambda.Function(
            self, 'HelloHandler',
            runtime=_lambda.Runtime.PYTHON_3_7,
            code=_lambda.Code.from_asset('lambda'),
            handler='hello.handler',
        )

        apigw.LambdaRestApi(
            self, 'Endpoint',
            handler=hello,
        )

また、code=_lambda.Code.from_asset(‘lambda’)の行ですが、ハンズオン資料ではcode=_lambda.Code.asset(‘lambda’)と記載されている点に注意してください。ハンズオン資料の書き方はバージョン1での書き方のようです。ファイルの更新が完了したら、cdk diffを実行してみましょう。

下記の通りデプロイに成功しました！

しかも、よく見ると出力の最後の方にこのような記述があります。(※この記事では一部伏せています)

Outputs:
cdk-workshop.Endpointxxxxxxxxx = https://xxxxxxxx.execute-api.ap-northeast-1.amazonaws.com/prod/

なんとこちらAPIエンドポイントのURLが出力されています。なんて親切なんだ…。

ブラウザからこのURLにアクセスしてみると無事にアプリケーションからレスポンスがありました！

“Hello, CDK! You’ve hit /”と表示されれば成功です！

ハンズオンの後片付け

この記事で紹介する部分は以上になります。ハンズオン資料ではこの後コントラクトの作成と続いていきますが、今回はいったんここで一区切りとさせていただきます。(続きを実施した際には、また記事を投稿させていただこうと思っています)

以下、ハンズオン環境の片付けの手順になります。

アプリケーションの削除

下記のコマンドを実行するとアプリケーションのCloudFormationスタックごと削除されます。もしちゃんと削除されているか気になる場合はブラウザからコンソールを開いてCloudFormationのページを見に行ってみましょう。リソースの作成もそうですが、削除も簡単なところがいいですよね。

開発環境の削除

もし不要であればAWS Cloud9の環境も削除しましょう。コンソールからAWS Cloud9のページを開いて、Your environmentから今回作成した環境を選択して「Delete」を選択すれば今回準備した環境はきれいさっぱり削除されます。AWS Cloud9も裏でCloudformationにて作成されており、そちらのスタックごと削除されます。

CDKToolkitの削除

CDKToolkitについてもAmazon S3バケットなどに利用料金が本当にわずかながらにかかるので、気になるようであれば削除してもいいかと思います。削除のコマンドも調べてみたのですが見つけることができなかったので、CloudformationにあるCDKToolkitスタックをそのまま削除してしまっていいかと思います。(こちら試せていないのですが、事前にAmazon S3バケットの中身を消しておかないと削除に失敗するかもしれません)

以上を実施すればハンズオンの前の状態に復旧することができます。

おわりに

CDKのハンズオンいかがでしたでしょうか。私自身、Pythonをはじめとするプログラミング言語には疎いので完全に使いこなすにはまだまだ時間がかかりそうですが、それでもCDKのすごさを知ることができました。今回は私の好みでPythonを利用してハンズオンを進めましたが、CDKではTypeScriptを利用するのが主流なようなので、ゼロから学習される方でTypeScriptに抵抗が無ければそちらを学習していったほうがお得かもしれないです。

それでは私はこたつの中に戻ることにします。最後までお読みいただきありがとうございました。