データ連携の実装でAWS Glue (Python Shell Job)を導入した際の試行錯誤を整理しました。 RDSからデータレイクであるS3 Tablesに連携する際に、横展開可能な軽量なデータ連携ジョブを実現するために気にしたポイントについて紹介します。

MySQL (RDS/Aurora) のログをマスキングする方式について、最終的に Lambda を使用することに決定するまでの検討過程と、具体的なアーキテクチャや実装についてまとめてみました。

CognitoとActive Directoryを連携させてSSOを可能にする話をネットワーク寄りの視点からまとめました。検証用環境構築のためのCloudFormationテンプレートを公開しています。

本記事では、2年前にWeb版のChatGPTを使用して作成したコードをKiroのSpecモードで改修させた際の手順と、改修にかかった時間・コストについて結果をまとめています！

AWS Glueジョブを用いたETL処理のハマりどころについて、ネットワークやETL処理のエラーについて実際にあったハマりどころを紹介します。

HPCを取り巻く現状の課題を紐解きながら、リソースの最適化と全社的な可視化を実現するSCSKのソリューション「HPC View（エイチピーシー ビュー）」の魅力と機能についてご紹介します。

MSKデータをS3 Sink ConnectorでS3にバックアップする方法を解説。プラグイン作成、コネクター設定、複数トピック処理の手順をステップバイステップで詳述。

MSK構成変更に2段階適用が必要。Configurationリビジョン更新とクラスタ切り替えの手順を詳述し、安全な運用を解説。

CloudFormationでMSK運用時の注意点。複数プロパティ同時変更不可の制約、エラー回避のための段階的変更とベストプラクティスを解説。

MSKのスケールアップとスケールアウトの違い、注意点、公式推奨を解説。IP消費、料金増加、パーティション再配置などのリスクを詳述。