Webクローリングおよび名寄せの検証において、AWS lambdaとAmazon Bedrockを活用したデータ収集アーキテクチャを検討した際の試行錯誤を整理しました。 従来のルールベースのクローリングと比較し、生成AIを用いた柔軟な情報抽出を取り入れることで、サイト構造の差異に耐えるデータ収集方式をどのように実現したか、また収集データと既存マスタを突合する名寄せの課題についても紹介します。

今回は、データの可視化・分析において、Amazon Redshiftを用いて事前集計アーキテクチャの見直しを行った際の試行錯誤を整理しました。 また、データマネジメントの観点で、Amazon Sagemaker (Amazon Datazone) を用いて改善できるポイントについてもご紹介します。

Systems ManagerのRDP録画機能を有効化するまでの手順です。

データ連携の実装でAWS Glue (Python Shell Job)を導入した際の試行錯誤を整理しました。 RDSからデータレイクであるS3 Tablesに連携する際に、横展開可能な軽量なデータ連携ジョブを実現するために気にしたポイントについて紹介します。

MySQL (RDS/Aurora) のログをマスキングする方式について、最終的に Lambda を使用することに決定するまでの検討過程と、具体的なアーキテクチャや実装についてまとめてみました。

CognitoとActive Directoryを連携させてSSOを可能にする話をネットワーク寄りの視点からまとめました。検証用環境構築のためのCloudFormationテンプレートを公開しています。

本記事では、2年前にWeb版のChatGPTを使用して作成したコードをKiroのSpecモードで改修させた際の手順と、改修にかかった時間・コストについて結果をまとめています！

AWS Glueジョブを用いたETL処理のハマりどころについて、ネットワークやETL処理のエラーについて実際にあったハマりどころを紹介します。

HPCを取り巻く現状の課題を紐解きながら、リソースの最適化と全社的な可視化を実現するSCSKのソリューション「HPC View（エイチピーシー ビュー）」の魅力と機能についてご紹介します。

MSKデータをS3 Sink ConnectorでS3にバックアップする方法を解説。プラグイン作成、コネクター設定、複数トピック処理の手順をステップバイステップで詳述。