データベース

Google Cloud

Dataformのアサーション出力先を環境ごとに変える方法

Dataformにおけるアサーション結果の出力先について、環境ごとにプロジェクトやデータセットを変更する方法をご紹介します。
Google Cloud

Dataformのアサーションを増分ロジックで実装する方法

Dataformのアサーションにおいて、増分ロジックでスキャンする方法についてご紹介します。組み込みアサーションはフルスキャンとなってしまいますが、手動アサーションによる実装であれば、クエリの書き方次第で増分ロジックでアサーションを実装することが可能です。
Google Cloud

【Google Cloud】BigQuery の外部テーブル機能

BigQuery外部テーブル徹底解説!GCSのデータをロード不要で即分析。作成方法から活用例、注意点まで分かりやすく解説。データレイク連携や一時分析にも最適。
Google Cloud

【Google Cloud】BigQueryのビュー機能まとめ

BigQuery のビュー機能の基本的な概念から、具体的な活用例、そして知っておくべき重要なポイントまでを徹底解説します。今回は標準ビュー、承認済みビュー、マテリアライズドビューのそれぞれのメリット、ユースケースをまとめます。
AWS

Amazon Aurora DSQL について調べてみた (同時実行制御編)

Amazon Aurora DSQL について従来の PostgreSQL との差異に焦点をあてて調べてみたシリーズ第三弾。第三弾は同時実行制御編です。
データベース

Insight SQL Testing を触ってみた(第一回)

Insight SQL Testingを実際に触った内容を記事にしています。今後データベースのバージョンアップや移行を計画されており、それに伴う工数や懸念をお持ちの方々に是非知ってほしい製品になります。今回はMySQLを対象にして全体的な大まかな設定の流れや結果について概要レベルでまとめたものとなります。
Google Cloud

【Google Cloud】Associate Data Practitioner 受験後レポート

Associate Data Practitioner の合格レポートです。
AWS

Amazon Aurora DSQL について調べてみた (機能制限編)

Amazon Aurora DSQL について従来の PostgreSQL との差異に焦点をあてて調べてみたシリーズ第二弾。第二弾は機能制限編です。
AWS

Amazon Aurora DSQL について調べてみた (構築編)

Amazon Aurora DSQL について従来の PostgreSQL との差異に焦点をあてて調べてみたシリーズ第一弾。第一弾は DSQL の簡単な概要と構築編です。
Google Cloud

【Google Cloud】BigQueryにCSVデータを取り込むときに遭遇したエラーと解消方法

BigQueryにCSVデータを取り込む際にあたったエラーを備忘録を兼ねてまとめました。大規模データの際は、これらのエラーが複合的に出てくることがあります。その際も、今回ご紹介した解消方法を組み合わせることで(だいたいは)解消可能です。