タグ

BigQueryに関するtestedqualityのブックマーク (3)

  • Microsoft AccessのリンクテーブルからGoogle BigQuery のデータを利用 - CData Software Blog

    CData Japan 技術ディレクター桑島です。記事では、多くのお問い合わせをいただいている Microsoft AccessのリンクテーブルでGoogle BigQueryのデータを利用する方法をご紹介します。 利用製品 利用方法 Google BigQuery側の設定 ODBC Driverのインストール Google BigQueryへの接続設定 OAuthでの接続方法 DSN構成画面からの設定 Microsoft Accessリンクテーブルからのアクセス リンクテーブルの作成 リンクテーブルからの利用 Tips 集 データセット、課金プロジェクトの指定 プロキシ・ファイアウォール設置環境での利用 大量データが格納されているテーブルへのアクセス 選択クエリからの利用 データ型が長いテキスト型となってしまう BigQueryへのAPIリクエストの確認 テクニカルサポートについて ま

    Microsoft AccessのリンクテーブルからGoogle BigQuery のデータを利用 - CData Software Blog
    testedquality
    testedquality 2021/07/29
    AccessをUIとして使う例は少ないのでありがたい。BigQueryは従量課金なので、書かれたTips以外にもシーク件数気にしないといけないかな。でも弊社でも使えそうです。
  • GCP Cloud IAM と BigQuery のデータセット、テーブル、View へのアクセス制御を確認してみた | DevelopersIO

    GCP Cloud IAM と BigQuery のデータセット、テーブル、View へのアクセス制御を確認してみた こんにちは、みかみです。 GCP & BigQuery 勉強中です。 データを取り扱う以上、個人情報の閲覧可能な範囲など、セキュリティには当然十分に気を付ける必要があります。 BigQuery ではどの単位でどうやってアクセス権を指定できるのかという観点から、Cloud IAM と BigQuery のアクセス制御について確認してみました。 やりたいこと GCP の Cloud IAM はどんなものか確認したい BigQuery に Cloud IAM でアクセス制御できるかためしてみたい BigQuery ではテーブル単位でアクセス制御できるのか知りたい GCP の IAM GCP の Cloud IAM は、AWS の IAM と同じようなサービスと考えてよいのかな?

    GCP Cloud IAM と BigQuery のデータセット、テーブル、View へのアクセス制御を確認してみた | DevelopersIO
    testedquality
    testedquality 2020/01/10
    最近権限付与で悩んだのでテストせねばと思ってたから助かる。
  • Google BigQuery の View でうまく Partition を指定する方法 - YuRAN-HIKO

    TL; DR Bigquery で View の Partition を切るモチベーション View での Partition の切り方 TL; DR BigQuery の View を作成する際、Partition の情報を SELECT 句で引っ張ってきて外部参照できるようにした。 Partition を外部参照できるようにすることで、View を呼ぶときに欲しい部分だけの Partition を切ることで、取得するデータの Partition (≒日付情報) を柔軟に設定できるようになった。 ただし BigQuery の処理上、View の中で集計関数を用いている場合はこの方法が取れず、他の手段で解決する必要がありそう。 Bigquery で View の Partition を切るモチベーション 業務上 BigQuery を使ってデータの集計や加工を行うことが多いのですが、その際、

    Google BigQuery の View でうまく Partition を指定する方法 - YuRAN-HIKO
    testedquality
    testedquality 2019/12/19
    「BigQuery の仕様上、View 中で GROUP BY を使った集計を行ってしまうと」だめなんだおおお。partition指定に日付使うのとあわせて注意ですね。
  • 1