データ分析・活用基盤 S3からBigQueryにInformatica Data Loader for Google BigQueryを利用してデータを取り込む備忘録
２０２２年５月に発表された「Informatica Data Loader for Google BigQuery」を利用して、Amazon S3からBigQueryにデータをロードするまでの備忘録
Google Cloud
データ分析・活用基盤 
データベース 【GCP】異種DBマイグレーションはこう備える！成功へ導く３ステップとは
異種DBマイグレーションは、事前に移行のハードルを把握し、PoCを通して移行実現性を確認することが大切です。Oracle DBからAlloyDBへの移行など、Google Cloudへ移行する際にDB変更を検討中の方必見です。
Google Cloud 【GCP】Google Cloudの新サービス「AlloyDB」、かなり期待できます。
Google Cloudから新しいRDBMSとして、AlloyDBが遂に登場。AlloyDBはどうやらPostgreSQLの完全互換となるRDBMSとのこと。
優れた性能を持つと噂されているAlloyDBですが、実際はどうなのでしょうか？
その性能について、すでにGoogle CloudでリリースされているCloud SQLとどれくらい性能に違いがあるかを検証しました。
Google Cloud Cloud Runの自動デプロイを試してみた
Cloud Runの自動デプロイを実施してみました。
また、Artifact RegistryやCloud Source Repositoriesでソースコードやイメージの管理を行い、Cloud Buildを使ってビルドやデプロイに関してもチャレンジしてみました。
Google Cloud Informatica EDCからSalesforceへのCloud NATを介した通信が一部失敗する事象
Informatica Enterprise Data Catalog(以下EDCと記載)からSalesforceへの接続でエラーが発生していました。
本件はGoogle Cloudに設定しているCloud NATの設定が良くなかったため起きた事象でした。
データベース 【GCP】AlloyDBへの移行も対応！クラウド・データベース・マイグレーション・サービス Googe Cloud対応のお知らせ
データベースのクラウド移行サービスである、クラウド・データベース・マイグレーション・サービスがGoogle Cloudに対応しました。さらに、今年発表されたAlloyDBにも対応しています。今回はAlloyDBについてお話いたします。
Google Cloud 【GCP】BigQuery+Dataplexハンズオン受講レポート
こんにちは。最近Google CloudのDataシリーズにはまっている林です。
Google Cloud Day: Digital '22の2週目に開催されたハンズオン祭のうち、『データエンジニア向けBigQuery + Datap...
Google Cloud 【GCE】リソースが売り切れた！
先日GCEのリソースが売り切れてしまい使えなくなってしまう、という問題？がありました。
今回はそのエラー内容と対策をお話ししたいと思います。
Google Cloud 【GCP】Workflows使ってみた
社内タスクの自動化にあたり、Google Cloudが提供するワークフローサービス、Workflowsを使ってみました。
WorkflowsではCloud FunctionsやCloud Runで作ったアプリやAPI系のサービスを組み合わせてワークフローを作成することができます。
技術ナレッジ Amazon S3からGoogle Cloud Storageにアクセスキーを使わずデータコピーする
GCPのData Transferを利用すると、AWSのIAMロールを利用してS3からCloud Storageにデータをコピーすることができます。
アクセスキーは定期的なローテーションが推奨されています。アクセスキーを使わなくていいのは管理面で有効ですね。