AWS Amazon S3 Tablesを触ってみた
Amazon S3 Tablesの簡単な特徴やUpsert処理やタイムトラベルの機能について実際に触ってみた感想を踏まえた記事にしています。
Amazon S3
AWS 
AWS Amazon S3 Files を試してみた。S3 バケットをマウントして使える新機能
Amazon S3 Files を実際に試し、EC2 からのマウント手順、権限まわり、アーキテクチャの理解、Mountpoint for Amazon S3 との違いを整理します。
AWS Amazon S3 バージョニングとライフサイクルルールの「削除」を正しく理解する
本記事では、削除マーカーの仕組みや注意点、ライフサイクルルールによる現行・非現行バージョンの削除挙動を検証結果とともに解説し、バージョニング環境での適切な削除運用の重要性を整理しました。
AWS 【ここを気にした!】Amazon Bedrockを活用したWebクローリング＆名寄せ構想
Webクローリングおよび名寄せの検証において、AWS lambdaとAmazon Bedrockを活用したデータ収集アーキテクチャを検討した際の試行錯誤を整理しました。従来のルールベースのクローリングと比較し、生成AIを用いた柔軟な情報抽出を取り入れることで、サイト構造の差異に耐えるデータ収集方式をどのように実現したか、また収集データと既存マスタを突合する名寄せの課題についても紹介します。
AWS S3 Sink ConnectorでAmazon MSKのデータをS3にバックアップする
MSKデータをS3 Sink ConnectorでS3にバックアップする方法を解説。プラグイン作成、コネクター設定、複数トピック処理の手順をステップバイステップで詳述。
AWS 【ここを気にした!】Amazon S3 Tablesで構築するデータ基盤
データ基盤の構築でIceberg (S3 Tables)を導入した際の試行錯誤を整理しました。従来のS3によるファイル格納型のデータレイクと比較し、Icebergを採用することで得られたメリットや、それをマネージドで扱えるS3 Tablesの利便性について紹介します。
データ分析・活用基盤 Amazon S3からGoogle Cloud BigQuery にデータ連携させるハイブリッドデータ基盤
AWS S3のデータ資産をGoogle Cloud Data Fusionで活用するため、PrivateLinkと専用線を用いた「閉域網マルチクラウド連携」の構成を解説します。技術的な仕様の制約を回避し、運用負荷を最小限に抑えつつ100以上のインターフェースを統合した事例です。
データ分析・活用基盤 異種クラウド間データ連携における「責任分界点」と「エラーハンドリング」の考え方
異種クラウド間でのMSK活用やS3をバッファとした非同期連携の実例をもとに、技術選定と設計のポイントを解説します。単なるサービス活用に留まらず、コスト制約やネットワーク境界を踏まえた『責任分界点』の定義など、堅牢なデータ基盤を構築するための実践的な判断基準を記載しました。
AWS Amazon Bedrock Knowledge Bases で構造化データ(CSV)を使用した RAG をつくる -実装編-
Amazon Bedrock Knowledge Bases と Amazon S3 Vectors で構築した RAG 環境で、構造化データをデータソースにしたときの検索精度向上を目指しました。本記事は実装編です。
AWS Amazon API Gateway + AWS Lambda + Snowflake によるニアリアルタイムデータ連携
オンプレミスからSnowflakeへのデータ連携において、API GatewayとLambdaを用いた非同期処理による、データ基盤構築の事例を解説します。S3を境界に「取り込み」と「ロード処理」を分離することで、閉域網での高いセキュリティと耐障害性を両立させた設計をご紹介します。